KR102500836B1

KR102500836B1 - 광각 영상 처리 방법 및 이를 위한 장치

Info

Publication number: KR102500836B1
Application number: KR1020160124244A
Authority: KR
Inventors: 송창희; 정경전; 김대환
Original assignee: 한화테크윈 주식회사
Priority date: 2016-09-27
Filing date: 2016-09-27
Publication date: 2023-02-16
Also published as: CN107871308A; US10529050B2; CN107871308B; EP3300017A1; KR20180034118A; US20180089795A1; EP3300017B1

Abstract

본 발명의 일 실시예에 따른 광각 영상 처리 방법은 광각 카메라에서 촬영된 원본 영상을 수신하는 단계, 상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 단계, 상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하는 단계, 및 상기 복수의 디워핑 맵들에 기초하여, 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 단계를 포함한다.

Description

광각 영상 처리 방법 및 이를 위한 장치{METHOD AND APPARATUS FOR PROCESSING WIDE ANGLE IMAGE}

본 발명은 광각 영상 처리 방법 및 이를 위한 장치에 관한 것이다.

어안 카메라는 공공장소, 예컨대 기차역, 시장, 거리의 교차로, 및 에이전시, 도서관, 법정, 교도소 등의 공공빌딩을 모니터링하기 위하여 사용된다. 또한 어안 카메라는 민간부문, 예컨대 경보 시스템 또는 주의가 필요한 개인들을 감시하기 위해 사용된다. 어안 카메라는 실내 및 실외 애플리케이션 모두에 대하여 적합할 수 있다.

공개특허공보 특2000-0000080

본 발명이 해결하고자 하는 과제는 사용자 인터페이스에 대한 선택이 자유로운 광각 영상 처리 기술을 제공하는데 있다.

본 실시예에서, 상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하는 단계 및 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하는 단계를 더 포함할 수 있다.

본 실시예에서, 상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하는 단계, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계, 및 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계를 더 포함할 수 있다.

본 실시예에서, 상기 복수의 보정 영상들에 우선순위를 부여하는 단계, 상기 제2 관심 영역을 선택하는 사용자 입력에 대응하여, 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상에 대응하는 제1 디워핑 맵을 삭제하는 단계를 포함할 수 있다.

본 실시예에서, 제1 관심 영역을 제2 관심 영역으로 변경하는 사용자 입력을 수신하는 단계, 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하고, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계, 및 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계를 더 포함하고, 상기 제1 관심 영역은 상기 복수의 관심 영역들 중 하나이고, 상기 제2 관심 영역은 상기 복수의 관심 영역들과 무관할 수 있다.

본 실시예에서, 상기 광각 카메라는 어안 카메라일 수 있다.

본 실시예에서, 상기 복수의 디워핑 맵들은 각각, 관심 영역에 속하는 원본 픽셀들의 위치 값과 보정 영상을 구성하는 보정 픽셀들의 위치 값을 매핑할 수 있다.

본 실시예에서, 상기 관심 영역에 속하는 상기 원본 픽셀들의 위치 값은, 팬(pan) 각도, 틸트(tilt) 각도, 및 줌(zoom) 배율을 포함하고, 상기 보정 영상을 구성하는 보정 픽셀들의 위치 값은, X좌표 값 및 Y좌표 값을 포함할 수 있다.

본 실시예에서, 상기 복수의 보정 영상들을 렌더링하는 단계는, 상기 원본 영상의 프레임 레이트를 측정하는 단계, 및 상기 프레임 레이트가 기준 프레임 레이트 미만인 경우, 상기 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링하는 단계를 포함할 수 있다.

본 실시예에서, 상기 복수의 보정 영상들에 우선순위를 부여하는 단계;를 더 포함하고, 상기 적어도 하나의 보정 영상은 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상을 포함할 수 있다.

본 발명의 일 실시예에 따른 광각 영상 처리 장치는 광각 카메라에서 촬영된 원본 영상을 수신하는 통신 인터페이스, 상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 사용자 인터페이스, 상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하고, 상기 복수의 디워핑 맵들에 기초하여 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 프로세서, 및 상기 복수의 디워핑 맵들을 저장하는 메모리를 포함한다.

본 실시예에서, 상기 사용자 인터페이스는, 상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하고, 상기 프로세서는, 상기 메모리로부터 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제할 수 있다.

본 실시예에서, 상기 사용자 인터페이스는, 상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하고, 상기 프로세서는, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하고, 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하고, 상기 메모리는, 상기 제2 디워핑 맵을 더 저장할 수 있다.

본 실시예에서, 상기 프로세서는, 상기 복수의 보정 영상들에 우선순위를 부여하고, 상기 제2 관심 영역을 선택하는 사용자 입력에 대응하여 상기 메모리로부터 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상에 대응하는 제1 디워핑 맵을 삭제할 수 있다.

본 실시예에서, 상기 사용자 인터페이스는, 제1 관심 영역을 제2 관심 영역으로 변경하는 사용자 입력을 수신하고, 상기 프로세서는, 상기 메모리로부터 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하고, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하고, 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하고, 상기 제1 관심 영역은 상기 복수의 관심 영역들 중 하나이고, 상기 제2 관심 영역은 상기 복수의 관심 영역들과 무관할 수 있다.

본 실시예에서, 상기 광각 카메라는 어안 카메라일 수 있다.

본 실시예에서, 상기 프로세서는, 상기 원본 영상의 프레임 레이트를 측정하고, 상기 프레임 레이트가 기준 프레임 레이트 미만인 경우에는 상기 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링할 수 있다.

본 실시예에서, 상기 프로세서는, 상기 복수의 보정 영상들에 우선순위를 부여하고, 상기 적어도 하나의 보정 영상은 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상을 포함할 수 있다.

본 발명의 일 실시예에 따른 광각 영상 처리 방법은, 클라이언트 단말에 의하여 광각 카메라에서 촬영된 원본 영상을 수신하는 단계, 상기 클라이언트 단말에 의하여 상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 단계, 서버에 의하여 상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하는 단계, 및 상기 클라이언트 단말에 의하여 상기 복수의 디워핑 맵들에 기초하여, 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 단계를 포함한다.

본 실시예에서, 상기 클라이언트 단말에 의하여 상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하는 단계, 및 상기 서버에 의하여 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하는 단계를 더 포함할 수 있다.

본 실시예에서, 상기 클라이언트 단말에 의하여 상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하는 단계, 상기 서버에 의하여 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계, 및 상기 클라이언트 단말에 의하여 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계를 더 포함할 수 있다.

본 발명의 실시예들에 따르면, 하나의 원본 영상에 대한 복수의 보정 영상들이 복수의 스레드(thread)들을 통해 병렬 처리되므로, 광각 영상 처리 성능을 향상시킬 수 있다.

또한, 본 발명의 실시예들에 따르면, 새로운 관심 영역이 추가되거나 기존의 관심 영역이 삭제된다 하더라도, 관심 영역 전체에 대한 처리가 반복되는 것을 방지할 수 있으므로, 광각 영상 처리를 위한 자원을 절약할 수 있다.

또한, 본 발명의 실시예들에 따르면, 사업자가 뷰어 애플리케이션에 필요한 모든 경우의 API를 정의하지 않는 경우에도 동적인 사용자 인터페이스 및 감시 화면을 제공할 수 있다.

따라서, 사용자 경험에 보다 적합하고 자유로운 광각 영상 처리 기술을 제공할 수 있다.

도 1은 일 실시예에 따른 광각 영상 처리 장치의 구성도이다.
도 2 및 도 3은 일 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 일 실시예에 따른 관심 영역 삭제에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 일 실시예에 따른 관심 영역 추가에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 관심 영역 변경에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 보정 영상 렌더링에 관한 광각 영상 처리 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 일 실시예에 따른 광각 영상 처리 장치의 구성도이다.

도 1을 참조하면, 광각 영상 처리 장치(100)는 광각 카메라(10)로부터 수신한 원본 영상을 처리한다.

광각 카메라(10)는 감시 영역을 촬영하여 감시 영역에 대한 원본 영상을 획득한다. 광각 카메라(10)는 감시 또는 보안의 목적으로 감시 영역을 실시간으로 촬영할 수 있다.

광각 카메라(10)는 180도 이상의 화각을 가지는 어안 카메라(fisheye camera)일 수 있다. 광각 카메라(10)에서 촬영된 원본 영상(original image)은 광각 영상으로서 다양한 왜곡을 가질 수 있다.

광각 영상 처리 장치(100)는 원본 영상의 왜곡을 보정한 보정 영상을 출력한다. 광각 영상 처리 장치(100)는 보정 영상을 다양한 모드로 출력할 수 있다. 광각 영상 처리 장치(100)는 뷰어 애플리케이션(viewer application)에서 제공되는 정적인 뷰 모드 및 사용자의 자유로운 선택에 따른 동적인 뷰 모드를 제공할 수도 있다.

광각 영상 처리 장치(100)는 통신 인터페이스(110), 사용자 인터페이스(120), 프로세서(130), 메모리(140), 및 디스플레이 모듈(150)을 포함한다.

통신 인터페이스(110)는 광각 카메라(10)에서 촬영된 원본 영상을 수신한다.

통신 인터페이스(110)는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communications, GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network, GPRS), 근거리 네트워크(local area network, LAN), 광역 네트워크(wide area network, WAN), 거대도시 네트워크(metropolitan area network, MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network, PSTN), 개인 네트워크(personal area network), 블루투스(bluetooth), Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크를 통해 광각 카메라(10)와 통신할 수 있다.

사용자 인터페이스(120)는 키보드, 마우스, 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치, 마이크, 포인터, 터치 패널 등과 같이 사용자가 원본 영상의 원하는 영역을 선택할 수 있도록 제공되는 입력 수단을 포함할 수 있다.

사용자 인터페이스(120)는 원본 영상에서 복수의 관심 영역(Region Of Interest, ROI)들을 선택하는 사용자 입력을 수신한다. 예를 들어, 사용자 인터페이스(120)는 터치 스크린 상에 표시된 원본 영상의 복수의 영역을 터치하는 사용자 입력을 수신할 수 있다. 관심 영역은 다각형일 수 있고, 이에 한정하지 않는다.

한편, 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나를 삭제하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나를 터치하여 원본 영상의 외부로 드래그하는 사용자 입력을 수신할 수 있다.

한편, 사용자 인터페이스(120)는 복수의 관심 영역들 이외의 관심 영역을 추가하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(120)는 복수의 관심 영역들 이외의 영역을 터치하는 사용자 입력을 수신할 수 있다.

한편, 사용자 인터페이스(120)는 관심 영역을 변경하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나를 터치하여 복수의 관심 영역들 이외의 영역으로 드래그하는 사용자 입력을 수신할 수 있다.

이처럼, 본 발명의 실시예들에 따르면, 뷰어 애플리케이션의 API(Application Programming Interface) 이외에도 사용자가 관심 영역을 자유롭게 선택할 수 있는 동적인 인터페이스를 제공함으로써, 사용자 경험에 적합한 광각 영상 처리 기술을 제공할 수 있다.

프로세서(130)는 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하고, 복수의 디워핑 맵들에 기초하여 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링한다.

프로세서(130)는 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 각각 생성할 수 있다.

디워핑 맵(dewarping map)은 관심 영역에 속하는 원본 픽셀들의 위치 값과 보정 영상을 구성하는 보정 픽셀들의 위치 값을 매핑하는 룩업 테이블일 수 있다.

원본 픽셀은 원본 영상을 구성하는 픽셀들을 의미할 수 있다. 원본 픽셀의 형상은 왜곡된 사각형일 수 있다. 원본 픽셀의 위치 값은 팬(pan) 각도, 틸트(tilt) 각도, 및 줌(zoom) 배율을 포함할 수 있다.

보정 픽셀의 형상은 사각형일 수 있다. 보정 픽셀의 위치 값은 X좌표 값 및 Y좌표 값을 포함할 수 있다.

프로세서(130)는 복수의 디워핑 맵들에 기초하여 복수의 보정 영상들을 각각 렌더링(rendering)할 수 있다. 프로세서(130)는 복수의 보정 영상들에 우선순위를 부여할 수 있다.

상세하게는, 프로세서(130)는 디워핑 맵에 기초하여 보정 픽셀에 원본 픽셀의 픽셀 값을 기록함으로써, 보정 영상을 렌더링할 수 있다.

한편, 프로세서(130)는 메모리(140)로부터 복수의 디워핑 맵들 중 하나를 삭제할 수 있다. 프로세서(130)는 복수의 관심 영역들 중 하나를 삭제하는 사용자 입력에 대응하여, 삭제된 관심 영역에 대응하는 디워핑 맵을 삭제할 수 있다.

이때, 삭제된 디워핑 맵에 대응하는 보정 영상의 렌더링은 중단되지만, 삭제되지 않은 디워핑 맵에 대응하는 보정 영상의 렌더링은 유지될 수 있다. 이처럼, 본 실시예에 따르면, 복수의 디워핑 맵에 대한 생성 및 복수의 보정 영상들에 대한 렌더링이 병렬적으로 처리되므로, 광각 영상 처리 성능을 향상시킬 수 있다.

한편, 프로세서(130)는 복수의 관심 영역들 이외의 관심 영역을 추가하는 사용자 입력에 대응하여, 추가된 관심 영역에 대응하는 디워핑 맵을 메모리(140)에 추가할 수 있다.

이때, 프로세서(130)는 복수의 관심 영역들 이외의 관심 영역을 추가하는 사용자 입력에 대응하여, 메모리(140)로부터 우선순위가 가장 낮은 보정 영상에 대응하는 디워핑 맵을 삭제할 수 있다.

즉, 사용자가 관심 영역을 추가하고자 하는 경우, 기존의 관심 영역에 대한 디워핑 맵 생성 및 보정 영상의 렌더링은 그대로 유지되면서, 추가된 관심 영역에 대한 디워핑 맵 생성 및 보정 영상 렌더링이 추가될 뿐이다.

또한, 사용자가 새로운 관심 영역을 추가함으로써 기존의 관심 영역에 대한 디워핑 맵이 삭제되고 기존의 관심 영역에 대한 보정 영상의 렌더링이 중단된다 하더라도, 삭제되지 않은 디워핑 맵에 대응하는 보정 영상의 렌더링은 그대로 유지될 수 있다.

이처럼, 본 실시예에 따르면, 새로운 관심 영역이 추가되거나 기존의 관심 영역이 삭제된다 하더라도, 관심 영역 전체에 대한 처리가 반복되는 것을 방지할 수 있으므로, 광각 영상 처리를 위한 자원을 절약할 수 있다.

한편, 프로세서(130)는 관심 영역을 변경하는 사용자 입력에 대응하여, 메모리(140)로부터 변경 전 관심 영역에 대응하는 디워핑 맵을 삭제하고, 변경 후 관심 영역에 대응하는 디워핑 맵을 메모리(140)에 추가할 수 있다.

이때에도, 삭제된 디워핑 맵에 대응하는 보정 영상의 렌더링은 중단되고, 삭제되지 않은 디워핑 맵에 대응하는 보정 영상의 렌더링은 유지되면서, 새로운 디워핑 맵에 대응하는 보정 영상의 렌더링이 추가될 뿐이다. 따라서, 새로운 관심 영역이 추가되거나 기존의 관심 영역이 삭제된다 하더라도, 관심 영역 전체에 대한 처리가 반복되는 것을 방지할 수 있다.

프로세서(130)는 원본 영상의 프레임 레이트(frame rate)를 측정하고, 측정된 프레임 레이트가 기준 프레임 레이트 미만인 경우에는 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링할 수 있다.

원본 영상은 스트리밍 데이터일 수 있으며, 프로세서(130)는 원본 영상의 프레임 레이트를 측정할 수 있다.

이때, 프로세서(130)는 측정된 프레임 레이트가 기준 프레임 레이트 미만인 경우, 광각 영상 처리의 부하가 과도하다고 판단할 수 있다.

따라서, 프로세서(130)는 광각 영상 처리의 부하를 줄이기 위하여, 현재 렌더링되고 있는 복수의 보정 영상들 중 적어도 하나의 보정 영상을 선택하고, 선택된 보정 영상의 적어도 일부 프레임을 스킵하여 렌더링할 수 있다. 이때, 프로세서(130)는 현재 렌더링되고 있는 복수의 보정 영상들 중 우선순위가 가장 낮은 보정 영상을 선택할 수 있다.

예를 들어, 기준 프레임 레이트가 16fps(frame per second)이고, 원본 영상의 프레임 레이트가 15fps인 경우, 프로세서(130)는 복수의 보정 영상들 중 적어도 하나의 보정 영상을 선택하고, 선택된 보정 영상의 적어도 일부 프레임을 스킵하여 렌더링할 수 있다.

메모리(140)는 복수의 디워핑 맵들을 서로 구별하여 저장한다.

메모리(140)는 프로세서(130)의 제어에 따라, 복수의 디워핑 맵들을 저장 또는 삭제할 수 있다.

디스플레이 모듈(150)은 원본 영상 및 복수의 보정 영상들 중 적어도 하나를 화면에 표시할 수 있다.

디스플레이 모듈(150)은 원본 영상을 화면에 표시할 수 있다. 원본 영상이 화면에 표시되면, 사용자는 원본 영상에서 복수의 관심 영역들을 선택하거나, 복수의 관심 영역들 중 하나를 삭제하거나, 복수의 관심 영역들 이외의 관심 영역을 추가하거나, 관심 영역을 변경할 수 있다.

디스플레이 모듈(150)은 보정 영상을 화면에 표시할 수 있다. 디스플레이 모듈(150)은 프로세서(130)에 의해 렌더링된 보정 영상을 화면을 통해 출력할 수 있다.

디스플레이 모듈(150)은 화면을 분할하여 원본 영상 및 복수의 보정 영상들 중 적어도 하나를 동시에 표시할 수 있다. 디스플레이 모듈(150)은 뷰어 애플리케이션의 API에 기초하여, 화면이 4분할된 쿼드 뷰(quad view)를 제공할 수 있다. 디스플레이 모듈(150)은 사용자 선택에 기초하여, 화면이 5분할된 펜타 뷰(penta view)를 제공할 수도 있다.

이처럼, 본 실시예들에 따르면, 사업자가 뷰어 애플리케이션에 필요한 모든 경우의 API를 정의하지 않는 경우에도, 동적인 사용자 인터페이스 및 감시 화면을 제공할 수 있다. 따라서, 사용자 경험에 보다 적합하고 자유로운 광각 영상 처리 기술을 제공할 수 있다.

본 발명의 실시 예들에 따른 광각 영상 처리 장치(100)는 하나의 물리적 장치로 구현될 수도 있고, 복수의 물리적 장치가 유기적으로 결합되어 구현될 수도 있다. 이를 위해 광각 영상 처리 장치(100)에 포함된 구성 중 일부는 어느 하나의 물리적 장치로 구현되거나 설치되고, 나머지 일부는 다른 물리적 장치로 구현되거나 설치될 수도 있다. 이때, 어느 하나의 물리적 장치는 클라이언트 단말의 일부로 구현될 수 있고, 다른 물리적 장치는 서버의 일부로 구현될 수 있다. 구현 예에 따라서는, 광각 영상 처리 장치(100)에 포함된 각각의 구성요소(~부) 역시 서로 다른 물리적 장치에 분산 배치될 수 있으며, 분산 배치된 구성들이 유기적으로 결합하여 본 명세서에서 정의하는 기능 및/또는 동작을 수행할 수 있도록 구현될 수도 있다.

이하에서는, 본 발명의 다양한 실시 예들 중에서 클라이언트 단말에 구비되는 광각 영상 처리 장치(100)의 구성 및 동작에 관하여 상세하게 설명하기로 한다. 클라이언트 단말에 구비되는 광각 영상 처리 장치(100)의 동작에 관하여 이하에서 설명하는 내용은, 서버에 구비되는 광각 영상 처리 장치(100)의 동작에 적용 가능하다.

클라이언트 단말은 개인용 컴퓨터 또는 이동 단말일 수 있으며, 이에 한정하지 않는다.

도 2 및 도 3은 일 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.

도 1, 도 2, 및 도 3을 참조하면, 광각 영상 처리 장치(100)의 통신 인터페이스(110)는 광각 카메라(10)에서 촬영된 원본 영상(11)을 수신한다(S210).

도시하지 않았으나, 광각 영상 처리 장치(100)의 디스플레이 모듈(150)이 화면에 원본 영상(11)을 표시할 수 있다. 원본 영상(11)은 중심의 피사체는 확대되어 촬영되고 주변의 피사체는 축소되어 촬영된 원형 영상일 수 있다.

이어서, 광각 영상 처리 장치(100)의 사용자 인터페이스(120)는 원본 영상(11)에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신한다(S220). 예를 들어, 사용자 인터페이스(120)는 원본 영상(11)에서 제1 관심 영역(ROI1), 제2 관심 영역(ROI2), 및 제3 관심 영역(ROI3)을 선택하는 사용자 입력을 수신할 수 있다.

이어서, 광각 영상 처리 장치(100)의 프로세서(130)는 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성한다(S230). 예를 들어, 프로세서(130)는 제1 관심 영역(ROI1)에 대응하는 제1 디워핑 맵, 제2 관심 영역(ROI2)에 대응하는 제2 디워핑 맵, 및 제3 관심 영역(ROI3)에 대응하는 제3 디워핑 맵을 각각 생성할 수 있다.

도시하지 않았으나, 메모리(140)는 복수의 디워핑 맵들을 저장한다. 예를 들어, 메모리(140)는 제1 디워핑 맵, 제2 디워핑 맵, 및 제3 디워핑 맵이 각각 구분되도록 저장할 수 있다.

이때, 프로세서(130)는 제1 디워핑 맵을 처리하는 제1 스레드(TH1), 제2 디워핑 맵을 처리하는 제2 스레드(TH2), 및 제3 디워핑 맵을 처리하는 제3 스레드(TH3)를 동시에 실행할 수 있다.

이어서, 프로세서(130)는 복수의 디워핑 맵들에 기초하여 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 렌더링한다(S240). 예를 들어, 프로세서(130)는 제1 스레드(TH1)를 실행함으로써, 제1 디워핑 맵에 기초하여 제1 관심 영역(ROI1)의 왜곡을 보정한 제1 보정 영상을 렌더링할 수 있다. 동시에, 프로세서(130)는 제2 스레드(TH2)를 실행함으로써, 제2 디워핑 맵에 기초하여 제2 관심 영역(ROI2)의 왜곡을 보정한 제2 보정 영상을 렌더링할 수 있다. 또한, 프로세서(130)는 제3 스레드(TH3)를 실행함으로써, 제3 디워핑 맵에 기초하여 제3 관심 영역(ROI3)의 왜곡을 보정한 제3 보정 영상을 렌더링할 수 있다.

도시하지 않았으나, 광각 영상 처리 장치(100)의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제1 내지 제3 보정 영상을 하나의 화면에 동시에 출력할 수 있다. 예를 들어, 디스플레이 모듈(150)은 원본 레이어(LO), 제1 레이어(L1), 제2 레이어(L2), 및 제3 레이어(L3)를 포함하는 쿼드 뷰를 제공할 수 있다. 이때, 원본 영상(11)이 원본 레이어(LO)에, 제1 보정 영상이 제1 레이어(L1)에, 제2 보정 영상이 제2 레이어(L2)에, 제3 보정 영상이 제3 레이어(L3)에 표시될 수 있다.

한편, 이하에서, 광각 영상 처리 장치(100)에 포함된 구성 중 일부가 클라이언트 단말로 구현되고, 나머지 일부가 서버로 구현된 실시예에 관하여 설명한다. 이때, 앞서 설명한 내용과 중복되는 내용은 생략하거나 간단히 설명한다.

클라이언트 단말의 통신 인터페이스(110)는 광각 카메라(10)에서 촬영된 원본 영상(11)을 수신한다(S210).

이어서, 클라이언트 단말의 사용자 인터페이스(120)는 원본 영상(11)에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신한다(S220). 이때, 클라이언트 단말은 서버에 복수의 관심 영역들에 대한 선택 명령을 전송할 수 있다.

이어서, 서버의 프로세서(130)는 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성한다(S230).

도시하지 않았으나, 서버의 메모리(140)는 생성된 복수의 디워핑 맵들을 저장한다. 이때, 서버는 클라이언트 단말에 복수의 디워핑 맵들에 대한 정보를 전송할 수 있다.

이어서, 클라이언트 단말의 프로세서(130)는 복수의 디워핑 맵들에 기초하여 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 렌더링한다(S240).

그리고, 클라이언트 단말의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 복수의 보정 영상들을 하나의 화면에 동시에 출력할 수 있다.

본 실시예에 따르면, 원본 영상을 수신하고 보정 영상을 렌더링하는 물리적 장치와 관심 영역에 대응하는 디워핑 맵을 관리하는 물리적 장치가 분리됨으로써, 보안이 보다 강화될 수 있다.

도 4a 및 도 4b는 일 실시예에 따른 관심 영역 삭제에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.

도 1, 도 2, 도 3, 도 4a, 및 도 4b를 참조하면, 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나인 제1 관심 영역(ROI1)을 삭제하는 사용자 입력을 더 수신한다(S420).

이어서, 프로세서(130)는 메모리(140)에 저장된 복수의 디워핑 맵들로부터 제1 관심 영역(ROI1)에 대응하는 제1 디워핑 맵을 삭제한다(S430).

프로세서(130)는 제1 디워핑 맵을 삭제함에 따라, 제1 스레드(TH1)의 실행을 중단할 수 있다. 제1 스레드(TH1)의 실행이 중단됨에 따라, 제1 보정 영상의 렌더링이 중단될 수 있다.

다만, 프로세서(130)는 제1 스레드(TH1)의 실행을 중단하는 반면, 제2 스레드(TH2) 및 제3 스레드(TH3)의 실행을 각각 유지할 수 있다. 제2 스레드(TH2) 및 제3 스레드(TH3)의 실행이 유지됨에 따라, 제2 보정 영상 및 제3 보정 영상의 렌더링이 각각 유지될 수 있다.

도시하지 않았으나, 광각 영상 처리 장치(100)의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제2 및 제3 보정 영상을 하나의 화면에 동시에 출력할 수 있다. 예를 들어, 디스플레이 모듈(150)은 원본 레이어(LO), 제2 레이어(L2), 및 제3 레이어(L3)를 포함하는 트리플 뷰(triple view)를 제공할 수 있다.

한편, 이하에서, 광각 영상 처리 장치(100)에 포함된 구성 중 일부가 클라이언트 단말로 구현되고, 나머지 일부가 서버로 구현된 실시예에 관하여 설명한다.

클라이언트 단말의 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나인 제1 관심 영역(ROI1)을 삭제하는 사용자 입력을 더 수신한다(S420). 이때, 클라이언트 단말은 서버에 제1 관심 영역(ROI1)에 대한 삭제 명령을 전송할 수 있다.

이어서, 서버의 프로세서(130)는 서버의 메모리(140)로부터 제1 관심 영역(ROI1)에 대응하는 제1 디워핑 맵을 삭제한다(S430). 이때, 서버는 클라이언트 단말에 제1 디워핑 맵이 삭제된 복수의 디워핑 맵들에 대한 정보를 전송할 수 있다.

이어서, 클라이언트 단말의 프로세서(130)는 제1 보정 영상의 렌더링을 중단하면서, 제2 보정 영상 및 제3 보정 영상의 렌더링을 각각 지속할 수 있다.

도시하지 않았으나, 클라이언트 단말의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제2 및 제3 보정 영상을 하나의 화면에 동시에 출력할 수 있다.

도 5a 및 도 5b는 일 실시예에 따른 관심 영역 추가에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.

이하에서, 도 5a의 S520, S531, 및 S540가 일 실시예에 해당하고, S500, S520, S531, S540, 및 S533가 다른 실시예에 해당한다. 이하에서는 다른 실시예가 일 실시예와 다른 부분에 한하여 설명하고, 일 실시예와 중복되는 부분에 대한 설명은 생략하거나 간단하게 한다.

도 1, 도 2, 도 3, 도 5a, 및 도 5b를 참조하면, 일 실시예에 따른 사용자 인터페이스(120)는 복수의 관심 영역들 이외의 제4 관심 영역을 선택하는 사용자 입력을 수신한다(S520). 제4 관심 영역은 예를 들어, 원본 영상의, 제1 관심 영역(ROI1), 제2 관심 영역(ROI2), 및 제3 관심 영역(ROI3)을 제외한 영역의 적어도 일부일 수 있다.

이어서, 프로세서(130)는 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성한다(S531). 이때, 프로세서(130)는 제4 디워핑 맵을 처리하는 제4 스레드(TH4)를 제1 스레드(TH1), 제2 스레드(TH2), 및 제3 스레드(TH3)와 동시에 실행할 수 있다.

도시하지 않았으나, 메모리(140)는 제4 디워핑 맵을, 제1 디워핑 맵, 제2 디워핑 맵, 및 제3 디워핑 맵과 각각 구분되도록 저장할 수 있다.

이어서, 프로세서(130)는 제4 디워핑 맵에 기초하여 제4 관심 영역의 왜곡을 보정한 제4 보정 영상을 렌더링한다(S540). 예를 들어, 프로세서(130)는 제4 스레드(TH4)를 실행함으로써, 제4 디워핑 맵에 기초하여 제4 관심 영역의 왜곡을 보정한 제4 보정 영상을 렌더링할 수 있다.

도시하지 않았으나, 디스플레이 모듈(150)은 원본 레이어(LO), 제1 레이어(L1), 제2 레이어(L2), 제3 레이어(L3), 및 제4 레이어를 포함하는 펜타 뷰를 제공할 수 있다. 이때, 원본 영상(11)이 원본 레이어(LO)에, 제1 보정 영상이 제1 레이어(L1)에, 제2 보정 영상이 제2 레이어(L2)에, 제3 보정 영상이 제3 레이어(L3)에, 제4 보정 영상이 제4 레이어에 표시될 수 있다.

클라이언트 단말의 사용자 인터페이스(120)는 복수의 관심 영역들 이외의 제4 관심 영역을 선택하는 사용자 입력을 수신한다(S520). 이때, 클라이언트 단말은 서버에 제4 관심 영역에 대한 추가 명령을 전송할 수 있다.

이어서, 서버의 프로세서(130)는 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성한다(S531). 도시하지 않았으나, 서버의 메모리(140)는 생성된 제4 디워핑 맵을 제1 디워핑 맵, 제2 디워핑 맵, 및 제3 디워핑 맵과 각각 구분되도록 저장한다. 이때, 서버는 클라이언트 단말에 제4 디워핑 맵이 추가된 복수의 디워핑 맵들에 대한 정보를 전송할 수 있다.

이어서, 클라이언트 단말의 프로세서(130)는 제4 디워핑 맵에 기초하여 제4 관심 영역의 왜곡을 보정한 제4 보정 영상을 렌더링한다(S540).

그리고, 클라이언트 단말의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제1 내지 제4 보정 영상을 하나의 화면에 동시에 출력할 수 있다.

본 실시예들에 따르면, 프로세서(130)는 관심 영역의 추가에 대응하여 스레드만 하나 더 추가함으로써, 모든 관심 영역에 대응하는 하나의 스레드를 실행하는 종래 기술에 비하여, 자원을 효율적으로 사용할 수 있다.

한편, 다른 실시예에 따른 프로세서(130)는 복수의 보정 영상들에 우선순위를 부여한다(S500). 예를 들면, 프로세서(130)는 제1 보정 영상, 제2 보정 영상, 및 제3 보정 영상 순으로 높은 우선순위를 부여할 수 있다.

이어서, 사용자 인터페이스(120)는 복수의 관심 영역들 이외의 제4 관심 영역을 선택하는 사용자 입력을 수신한다(S520).

이어서, 프로세서(130)는 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성하고(S531), 메모리(140)에서 복수의 보정 영상들 중 우선순위가 가장 낮은 제3 보정 영상에 대응하는 제3 디워핑 맵을 삭제한다(S533).

프로세서(130)는 제3 디워핑 맵을 삭제함에 따라, 제3 스레드(TH3)의 실행을 중단할 수 있다. 제3 스레드(TH3)의 실행이 중단됨에 따라, 제3 보정 영상의 렌더링이 중단될 수 있다.

다만, 프로세서(130)는 제3 스레드(TH3)의 실행을 중단하는 반면, 제1 스레드(TH1), 제2 스레드(TH2), 및 제4 스레드(TH4)의 실행을 각각 유지할 수 있다. 제1 스레드(TH1), 제2 스레드(TH2), 및 제4 스레드(TH4)의 실행이 유지됨에 따라, 제1 보정 영상, 제2 보정 영상, 및 제3 보정 영상의 렌더링이 각각 유지될 수 있다.

도시하지 않았으나, 디스플레이 모듈(150)은 원본 레이어(LO), 제1 레이어(L1), 제2 레이어(L2), 및 제4 레이어를 포함하는 쿼드 뷰를 제공할 수 있다. 이때, 원본 영상(11)이 원본 레이어(LO)에, 제1 보정 영상이 제1 레이어(L1)에, 제2 보정 영상이 제2 레이어(L2)에, 제4 보정 영상이 제4 레이어에 표시될 수 있다.

서버의 프로세서(130)는 복수의 보정 영상들에 우선순위를 부여한다(S500).

이어서, 서버의 프로세서(130)는 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성하고(S531), 서버의 메모리(140)로부터 제3 디워핑 맵을 삭제한다(S533). 이때, 서버는 클라이언트 단말에 제3 디워핑 앱이 삭제되고 제4 디워핑 맵이 추가된 복수의 디워핑 맵들에 대한 정보를 전송할 수 있다.

이어서, 클라이언트 단말의 프로세서(130)는 제3 보정 영상의 렌더링을 중단하고, 제1 보정 영상 및 제2 보정 영상의 렌더링을 각각 지속하면서 제4 보정 영상의 렌더링을 추가할 수 있다.

도시하지 않았으나, 클라이언트 단말의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제1, 제2 및 제4 보정 영상을 하나의 화면에 동시에 출력할 수 있다.

여기서, 프로세서(130)는 S531 및 S540의 동작을, S533의 동작과, 동시에 수행할 수 있다. 이처럼, 본 실시예에 따르면 복수의 스레드들을 병렬적으로 처리할 수 있으므로, 처리 성능을 보다 향상시킬 수 있다.

또한, 본 실시예들에 따르면, 프로세서(130)는 새로운 관심 영역의 추가에 대응하여 우선순위가 낮은 기존의 관심 영역을 제외함으로써, 디스플레이 모듈(150)이 출력하는 뷰 모드를 유지할 수 있다.

도 6a 및 도 6b는 일 실시예에 따른 관심 영역 변경에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.

도 1, 도 2, 도 3, 도 6a, 및 도 6b를 참조하면, 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나인 제1 관심 영역(ROI1)을, 복수의 관심 영역들과 무관한 제4 관심 영역으로 변경하는 사용자 입력을 수신한다(S620).

프로세서(130)는 관심 영역을 변경하는 사용자 입력에 대응하여, 메모리(140)에서 제1 관심 영역(ROI1)에 대응하는 제1 디워핑 맵을 삭제한다(S631).

동시에, 프로세서(130)는 관심 영역을 변경하는 사용자 입력에 대응하여, 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성하고(S633), 제4 디워핑 맵에 기초하여 제4 관심 영역의 왜곡을 보정한 제4 보정 영상을 렌더링한다(S640).

여기서, 프로세서(130)는 제4 디워핑 맵을 처리하는 제4 스레드(TH4)를 제2 스레드(TH2) 및 제3 스레드(TH3)와 동시에 실행할 수 있다.

도시하지 않았으나, 메모리(140)는 제4 디워핑 맵을, 제2 디워핑 맵 및 제3 디워핑 맵과 각각 구분되도록 저장할 수 있다.

도시하지 않았으나, 광각 영상 처리 장치(100)의 디스플레이 모듈(150)은 원본 영상(11) 및 프로세서(130)에 의해 렌더링된 제2 내지 제4 보정 영상을 하나의 화면에 동시에 출력할 수 있다. 예를 들어, 디스플레이 모듈(150)은 원본 레이어(LO), 제1 레이어(L1), 제2 레이어(L2), 및 제3 레이어(L3)를 포함하는 쿼드 뷰를 제공할 수 있다. 이때, 원본 영상(11)이 원본 레이어(LO)에, 제4 보정 영상이 제1 레이어(L1)에, 제2 보정 영상이 제2 레이어(L2)에, 제3 보정 영상이 제3 레이어(L3)에 표시될 수 있다.

클라이언트 단말의 사용자 인터페이스(120)는 복수의 관심 영역들 중 하나인 제1 관심 영역(ROI1)을, 복수의 관심 영역들과 무관한 제4 관심 영역으로 변경하는 사용자 입력을 수신한다(S620). 이때, 클라이언트 단말은 서버에 제1 관심 영역(ROI1)에 대한 제4 관심 영역으로의 변경 명령을 전송할 수 있다.

이어서, 서버의 프로세서(130)는 메모리(140)에서 제1 관심 영역(ROI1)에 대응하는 제1 디워핑 맵을 삭제하고(S631), 제4 관심 영역에 대응하는 제4 디워핑 맵을 생성한다(S633). 이때, 서버는 클라이언트 단말에 제1 디워핑 맵이 삭제되고 제4 디워핑 맵이 추가된 복수의 디워핑 맵들에 대한 정보를 전송할 수 있다.

이어서, 클라이언트 단말의 프로세서(130)는 제1 보정 영상의 렌더링을 중단하고, 제2 보정 영상 및 제3 보정 영상의 렌더링을 각각 지속하면서 제4 보정 영상의 렌더링을 추가할 수 있다.

도 7은 일 실시예에 따른 보정 영상 렌더링에 관한 광각 영상 처리 방법을 설명하기 위한 흐름도이다.

도 1, 도 2, 및 도 7을 참조하면, 프로세서(130)는 복수의 보정 영상들에 우선순위를 부여한다(S700). 예를 들면, 프로세서(130)는 제1 보정 영상, 제2 보정 영상, 및 제3 보정 영상 순으로 낮은 우선순위를 부여할 수 있다.

한편, 프로세서(130)는 원본 영상의 프레임 레이트를 측정한다(S711).

이어서, 프로세서(130)는 측정된 프레임 레이트가 기준 프레임 레이트 미만인지 여부를 판단한다(S713). 기준 프레임 레이트는 예를 들어, 16fps일 수 있다.

측정된 프레임 레이트가 기준 프레임 레이트 미만인 경우, 프로세서(130)는 복수의 보정 영상들 중 우선순위가 가장 낮은 제1 보정 영상의 적어도 일부를 스킵하여 렌더링한다(S741). 원본 영상의 측정된 프레임 레이트가 예를 들어, 15렌인 경우, 프로세서(130)는 제1 보정 영상의 적어도 일부 프레임을 스킵하여 렌더링할 수 있다.

스킵되는 제1 보정 영상의 프레임은 이벤트가 발생하지 않은 시점의 프레임일 수 있으며, 이에 한정하지 않는다. 예를 들어, 스킵되는 제1 보정 영상의 프레임은 이동하는 피사체가 없이 배경만 촬영된 프레임일 수 있다.

측정된 프레임 레이트가 기준 프레임 레이트 이상인 경우, 프로세서(130)는 복수의 디워핑 맵들에 기초하여 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 렌더링한다(S743). 즉, 프로세서(130)는 제1 보정 영상, 제2 보정 영상, 및 제3 보정 영상을 병렬적으로 렌더링할 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

10: 광각 카메라
100: 광각 영상 처리 장치
110: 통신 인터페이스
120: 사용자 인터페이스
130: 프로세서
140: 메모리
150: 디스플레이 모듈

Claims

광각 카메라에서 촬영된 원본 영상을 수신하는 단계;
상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 단계;
상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하는 단계; 및
상기 복수의 디워핑 맵들에 기초하여, 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 단계;를 포함하며,
상기 복수의 보정 영상들을 렌더링하는 단계는,
상기 원본 영상의 프레임 레이트를 측정하는 단계; 및
상기 프레임 레이트가 기준 프레임 레이트 미만인 경우, 상기 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링하는 단계;를 포함하는, 광각 영상 처리 방법.
제1항에 있어서,
상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하는 단계;를 더 포함하는, 광각 영상 처리 방법.
제1항에 있어서,
상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하는 단계;
상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계; 및
상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계;를 더 포함하는, 광각 영상 처리 방법.
제3항에 있어서,
상기 복수의 보정 영상들에 우선순위를 부여하는 단계;
상기 제2 관심 영역을 선택하는 사용자 입력에 대응하여, 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상에 대응하는 제1 디워핑 맵을 삭제하는 단계;를 포함하는, 광각 영상 처리 방법.
제1항에 있어서,
제1 관심 영역을 제2 관심 영역으로 변경하는 사용자 입력을 수신하는 단계;
상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하고, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계; 및
상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계;를 더 포함하고,
상기 제1 관심 영역은 상기 복수의 관심 영역들 중 하나이고, 상기 제2 관심 영역은 상기 복수의 관심 영역들과 무관한, 광각 영상 처리 방법.
제1항에 있어서,
상기 광각 카메라는 어안 카메라인, 광각 영상 처리 방법.
제1항에 있어서,
상기 복수의 디워핑 맵들은 각각,
관심 영역에 속하는 원본 픽셀들의 위치 값과 보정 영상을 구성하는 보정 픽셀들의 위치 값을 매핑하는, 광각 영상 처리 방법.
제7항에 있어서,
상기 관심 영역에 속하는 상기 원본 픽셀들의 위치 값은, 팬(pan) 각도, 틸트(tilt) 각도, 및 줌(zoom) 배율을 포함하고,
상기 보정 영상을 구성하는 보정 픽셀들의 위치 값은, X좌표 값 및 Y좌표 값을 포함하는, 광각 영상 처리 방법.
삭제
제1항에 있어서,
상기 복수의 보정 영상들에 우선순위를 부여하는 단계;를 더 포함하고,
상기 적어도 하나의 보정 영상은 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상을 포함하는, 광각 영상 처리 방법.
광각 카메라에서 촬영된 원본 영상을 수신하는 통신 인터페이스;
상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 사용자 인터페이스;
상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하고, 상기 복수의 디워핑 맵들에 기초하여 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 프로세서; 및
상기 복수의 디워핑 맵들을 저장하는 메모리;를 포함하며,
상기 프로세서는, 상기 원본 영상의 프레임 레이트를 측정하고, 상기 프레임 레이트가 기준 프레임 레이트 미만인 경우에는 상기 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링하는, 광각 영상 처리 장치.
제11항에 있어서,
상기 사용자 인터페이스는, 상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하고,
상기 프로세서는, 상기 메모리로부터 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하는, 광각 영상 처리 장치.
제11항에 있어서,
상기 사용자 인터페이스는, 상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하고,
상기 프로세서는, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하고, 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하고,
상기 메모리는, 상기 제2 디워핑 맵을 더 저장하는, 광각 영상 처리 장치.
제13항에 있어서,
상기 프로세서는, 상기 복수의 보정 영상들에 우선순위를 부여하고, 상기 제2 관심 영역을 선택하는 사용자 입력에 대응하여 상기 메모리로부터 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상에 대응하는 제1 디워핑 맵을 삭제하는, 광각 영상 처리 장치.
제11항에 있어서,
상기 사용자 인터페이스는, 제1 관심 영역을 제2 관심 영역으로 변경하는 사용자 입력을 수신하고,
상기 프로세서는, 상기 메모리로부터 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하고, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하고, 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하고,
상기 제1 관심 영역은 상기 복수의 관심 영역들 중 하나이고, 상기 제2 관심 영역은 상기 복수의 관심 영역들과 무관한, 광각 영상 처리 장치.
제11항에 있어서,
상기 복수의 디워핑 맵들은 각각, 관심 영역에 속하는 원본 픽셀들의 위치 값과 보정 영상을 구성하는 보정 픽셀들의 위치 값을 매핑하고,
상기 관심 영역에 속하는 상기 원본 픽셀들의 위치 값은, 팬(pan) 각도, 틸트(tilt) 각도, 및 줌(zoom) 배율을 포함하고,
상기 보정 영상을 구성하는 보정 픽셀들의 위치 값은, X좌표 값 및 Y좌표 값을 포함하는, 광각 영상 처리 장치.
제11항에 있어서,
상기 프로세서는, 상기 복수의 보정 영상들에 우선순위를 부여하고,
상기 프로세서는, 상기 원본 영상의 프레임 레이트를 측정하고, 상기 프레임 레이트가 기준 프레임 레이트 미만인 경우에는 상기 복수의 보정 영상들 중 상기 우선순위가 가장 낮은 제1 보정 영상의 적어도 일부를 스킵하여 렌더링하는, 광각 영상 처리 장치.
클라이언트 단말에 의하여, 광각 카메라에서 촬영된 원본 영상을 수신하는 단계;
상기 클라이언트 단말에 의하여, 상기 원본 영상에서 복수의 관심 영역들을 선택하는 사용자 입력을 수신하는 단계;
서버에 의하여, 상기 복수의 관심 영역들에 대응하는 복수의 디워핑 맵들을 병렬로 생성하는 단계; 및
상기 클라이언트 단말에 의하여, 상기 복수의 디워핑 맵들에 기초하여, 상기 복수의 관심 영역들의 왜곡을 보정한 복수의 보정 영상들을 병렬로 렌더링하는 단계;를 포함하며,
상기 복수의 보정 영상들을 렌더링하는 단계는,
상기 원본 영상의 프레임 레이트를 측정하는 단계; 및
상기 프레임 레이트가 기준 프레임 레이트 미만인 경우, 상기 복수의 보정 영상들 중 적어도 하나의 보정 영상의 적어도 일부를 스킵하여 렌더링하는 단계;는, 광각 영상 처리 방법.
제18항에 있어서,
상기 클라이언트 단말에 의하여, 상기 복수의 관심 영역들 중 하나인 제1 관심 영역을 삭제하는 사용자 입력을 수신하는 단계; 및
상기 서버에 의하여, 상기 제1 관심 영역에 대응하는 제1 디워핑 맵을 삭제하는 단계;를 더 포함하는, 광각 영상 처리 방법.
제18항에 있어서,
상기 클라이언트 단말에 의하여, 상기 복수의 관심 영역들 이외의 제2 관심 영역을 선택하는 사용자 입력을 수신하는 단계;
상기 서버에 의하여, 상기 제2 관심 영역에 대응하는 제2 디워핑 맵을 생성하는 단계; 및
상기 클라이언트 단말에 의하여, 상기 제2 디워핑 맵에 기초하여 상기 제2 관심 영역의 왜곡을 보정한 제2 보정 영상을 렌더링하는 단계;를 더 포함하는, 광각 영상 처리 방법.