KR101916419B1 - 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 - Google Patents

Abstract

본 발명은 하나의 광각 카메라로 촬영한 영상으로부터 하나 이상의 가상 카메라를 이용하여 하나 이상의 서로 다른 시점에서의 영상을 생성하여 조합함으로써 다중 뷰 영상을 생성할 수 있는 장치 및 방법에 관한 것으로 본 발명에 따른 광각 카메라용 다중 뷰 영상 생성 장치는 영상을 촬영하는 광각 카메라, 상기 광각 카메라에서 촬영한 영상을 입력 영상으로 하고, 하나 이상의 가상 카메라 모델을 이용하여 상기 입력 영상으로부터 각 가상 카메라 모델별로 설정된 시점에 따른 영상을 생성하고 합성하여 다중 뷰 영상을 생성하는 임의시점 영상생성부, 상기 임의시점 영상생성부가 상기 다중 뷰 영상을 생성하도록 상기 하나 이상의 가상 카메라 모델에 포함되는 가상 카메라의 수 및 각 가상 카메라의 시점을 포함하는 상기 임의시점 영상생성부의 파라미터들을 설정하는 처리부, 및 상기 임의시점 영상생성부에서 생성한 상기 다중 뷰 영상을 출력하는 화면부를 포함할 수 있다.
본 발명에 의하면, 하나의 입력 영상을 바탕으로 여러 대의 PTZ 카메라가 촬영하고 있는 것과 같은 다중 뷰 영상을 생성할 수 있는 효과가 있다.

Description

광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법{Apparatus and method for generating multi-view image from wide angle camera}

본 발명은 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 에 관한 것으로, 더욱 자세하게는 하나의 광각 카메라로 촬영한 영상으로부터 하나 이상의 가상 카메라를 이용하여 하나 이상의 서로 다른 시점에서의 영상을 생성하여 조합함으로써 다중 뷰 영상을 생성할 수 있는 장치 및 방법에 관한 것이다.

최근 많은 보안 및 감시용 카메라가 감시 시스템용으로 또는 차량의 블랙박스용으로 많이 사용되고 있다. 널리 사용되고 있는 카메라 장치는 기계적인 팬(pan), 틸트(tile), 줌(zoom) 기능을 구비한 PTZ 카메라이다. 그러나 PTZ 카메라는 PTZ 기능을 이용하여 대상물을 명확하게 촬영하는 것을 목적으로 하기에 렌즈의 화각이 넓지 않아 특정 시점에서 촬영할 수 있는 범위가 한정되어 있다.

반면에 넓은 범위를 촬영할 수 있도록 하기 위하여 어안(fish-eye)렌즈나 광각 렌즈를 채용할 수 있는데, 이 경우 촬영되는 영상이 둥근 모양으로서 전체적으로 왜곡이 심하게 된다.

특히 넓은 사무실의 전 영역을 감시하려면 많은 수의 카메라가 있어야 한다. 이러한 경우, 복수 개의 카메라를 설치하기 위한 시공기간이 길어지고, 시공비도 비싸지며, 사업장 또는 사무실의 인테리어를 해칠 수 있다는 단점이 있다. 이러한 문제점을 해결하기 위하여 천장에 하나의 광각 카메라를 설치하고 이를 이용하여 사무실 또는 사업장 전체를 감시하는 방안이 제시되고 있다. 하지만, 이처럼 광각 카메라를 사용하는 경우 영상에 나타나는 심한 왜곡을 보정해야 하는 문제점이 있고, 또한 사용자 요구하는 다양한 다중 뷰 화면을 제공하는 방법을 제시하여야 하는 문제점이 있다.

본 발명의 목적은 천정에 설치된 하나의 광각 카메라에 의해 촬영된 영상을 바탕으로 사용자가 요구하는 다양한 다중 뷰 화면을 제공할 수 있는 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 광각 카메라용 다중 뷰 영상 생성 장치는 영상을 촬영하는 광각 카메라, 상기 광각 카메라에서 촬영한 영상을 입력 영상으로 하고, 하나 이상의 가상 카메라 모델을 이용하여 상기 입력 영상으로부터 각 가상 카메라 모델별로 설정된 시점에 따른 영상을 생성하고 합성하여 다중 뷰 영상을 생성하는 임의시점 영상생성부, 상기 임의시점 영상생성부가 상기 다중 뷰 영상을 생성하도록 상기 하나 이상의 가상 카메라 모델에 포함되는 가상 카메라의 수 및 각 가상 카메라의 시점을 포함하는 상기 임의시점 영상생성부의 파라미터들을 설정하는 처리부, 및 상기 임의시점 영상생성부에서 생성한 상기 다중 뷰 영상을 출력하는 화면부를 포함할 수 있다. 이에 더하여 상기 광각 카메라에서 촬영한 영상 및 상기 임의시점 영상생성부에서 생성한 다중 뷰 영상 중 적어도 하나를 저장하는 저장부를 더 포함할 수 있는데, 상기 저장부는 상기 광각 카메라에서 촬영한 영상을 저장하는 경우에는 상기 광각 카메라에서 촬영한 영상 중 필요 없는 부분을 마스킹(masking)하여 예외 처리하고, 예외 처리된 영상을 압축하여 저장하고, 상기 임의시점 영상생성부에서 생성한 다중 뷰 영상을 저장하는 경우에는 상기 다중 뷰 영상을 생성하기 위해 설정된 상기 임의시점 영상생성부의 파라미터들을 함께 저장할 수 있다.

그리고 상기 처리부는 사용자가 입력하는 정보에 따라 상기 파라미터들을 설정하는 매뉴얼 모드, 상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우에 움직임이 검출된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 움직임 감지 모드, 상기 광각 카메라에서 촬영한 영상 내의 물체를 자동 추적하면서 상기 물체가 존재하는 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 자동 추적 모드, 및 미리 설정해 놓은 시나리오에 따라 정해진 시간에 설정된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 시나리오 모드 중 하나의 모드에 따라 상기 임의시점 영상생성부의 파라미터들을 설정할 수 있으며, 또한, 상기 처리부는 전처리부, 후처리부, 및 주처리부를 포함하고, 상기 전처리부는 상기 광각 카메라가 촬영한 영상을 수신하고, 수신한 영상에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하는 전처리 과정을 통해 전처리 영상을 생성하고, 상기 전처리 영상을 상기 후처리부로 전달하고, 상기 후처리부는 상기 전처리부로부터 수신한 상기 전처리 영상에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 포함하는 후처리 과정을 수행하여 후처리 영상을 생성하고, 상기 후처리 영상에서 움직임을 감지하는 움직임 검출기 및 물체를 추적하는 물체 추적기 중 적어도 하나를 포함하고 상기 움직임 검출기에서 획득한 움직임 정보 및 상기 물체 추적기에 획득한 물체 추적 정보 중 적어도 하나를 생성하고, 상기 주처리부는 상기 매뉴얼 모드, 움직임 감지 모드, 자동 추적 모드, 및 시나리오 모드 중 하나의 모드에 따라 상기 임의시점 영상생성부의 파라미터를 설정하고, 상기 움직임 감지 모드 또는 상기 자동 추적 모드에서는 상기 후처리부에서 생성한 상기 움직임 정보 또는 상기 추적 정보를 바탕으로 상기 임의시점 영상생성부의 파라미터를 설정할 수 있다.

상기 전처리부는 상기 수신한 영상으로부터 상기 광각 카메라의 자동 색온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고, 상기 주처리부는 상기 전처리부로부터 수신한 자동 색온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보를 바탕으로 상기 광각 카메라를 제어할 수 있는데, 상기 광각 카메라를 제어하기 위한 파라미터로 셔터 속도(Shutter speed), 색상 이득값(color gains), 영상해상도, 프레임 레이트(frame rate) 중 적어도 하나를 사용할 수 있다.

그리고 상기 후처리부는 상기 저장부가 있는 경우, 상기 후처리 영상을 비디오 코덱을 이용하여 압축하여 상기 저장부로 전달할 수 있다. 그리고 상기 임의시점 영상생성부는 상기 처리부에 의해 설정되는 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 가상 카메라 모델부, 상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라에 의해 촬영된 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 제공하는 2차 곡면 모델부, 및 상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델을 제공하는 카메라 투영 모델부를 포함할 수 있고, 이에 더하여 상기 카메라 투영 모델부는 상기 가상 카메라 모델부의 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하고 상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑함으로써 상기 각 가상 카메라별 출력 영상과 상기 입력 영상 간의 매핑을 수행할 수 있다.

그리고 상기 다중 뷰 영상은 상기 광각 카메라가 촬영하는 전체 영역을 파노라마 형식으로 출력하는 파노라마 뷰 영상, 상기 화면부를 2x2 또는 3x3으로 분할하고, 각 분할된 화면에는 상기 광각 카메라가 촬영하는 전체 영역 중 서로 다른 관심 영역을 출력하는 nxn 다중 뷰 영상, 및 상기 화면부 전체에 상기 광각 카메라가 촬영하는 전체 영역 중 설정된 하나의 관심 영역만을 출력하는 단일 뷰 영상 중 하나일 수 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 광각 카메라용 다중 뷰 영상 생성 방법은 광각 카메라로 영상을 촬영하는 단계, 상기 광각 카메라가 촬영한 영상을 입력 영상으로 하고, 하나 이상의 가상 카메라 모델을 이용하여 상기 입력 영상으로부터 각 가상 카메라 모델별로 설정된 시점에 따른 영상을 생성하고 합성하여 다중 뷰 영상을 생성하기 위하여 상기 하나 이상의 가상 카메라 모델에 포함되는 가상 카메라의 수 및 각 가상 카메라의 시점을 포함하는 파라미터들을 설정하는 단계, 상기 설정된 파라미터에 따라 상기 입력 영상을 바탕으로 상기 다중 뷰 영상을 생성하는 단계, 및 생성된 상기 다중 뷰 영상을 화면으로 출력하는 단계를 포함할 수 있고, 이에 더하여 상기 입력 영상 및 상기 다중 뷰 영상 중 적어도 하나를 저장하는 단계를 더 포함할 수 있다.

그리고 상기 입력 영상 및 상기 다중 뷰 영상 중 적어도 하나를 저장하는 단계는 상기 입력 영상을 저장하는 경우에는 상기 입력 영상 중 필요 없는 부분을 마스킹하여 예외 처리하고, 예외 처리된 영상을 압축하여 저장하는 단계를 포함하고, 상기 다중 뷰 영상을 저장하는 경우에는 상기 다중 뷰 영상을 생성하기 위해 상기 파라미터들을 설정하는 단계에서 설정된 파라미터들을 함께 저장하는 단계를 포함할 수 있다.

그리고 상기 파라미터들을 설정하는 단계는 사용자가 입력하는 정보에 따라 상기 파라미터들을 설정하는 매뉴얼 모드 단계, 상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우에 움직임이 검출된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 움직임 감지 모드 단계, 상기 광각 카메라에서 촬영한 영상 내의 물체를 자동 추적하면서 상기 물체가 존재하는 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 자동 추적 모드 단계, 및 미리 설정해 놓은 시나리오에 따라 정해진 시간에 설정된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 시나리오 모드 단계 중 하나의 단계에 따라 상기 파라미터들을 설정하는 단계를 포함할 수 있다. 여기서 상기 움직임 감지 모드 단계는 상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우 움직임 영역 정보를 획득하는 단계, 상기 움직임 영역 정보를 바탕으로 다중 뷰 영상으로 생성하기 위한 움직임 영역을 선택하는 단계, 및 선택한 상기 움직임 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계를 포함할 수 있고, 상기 자동 추적 모드 단계는 상기 광각 카메라에서 촬영한 영상 내에서 추적하고자 하는 물체를 설정하는 단계, 상기 추적하고 하는 물체에 대한 추적 정보를 획득하는 단계, 상기 추적 정보를 바탕으로 다중 뷰 영상으로 생성하기 위한 추적 영역을 계산하는 단계; 및 계산된 상기 추적 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계를 포함할 수 있고, 상기 시나리오 모드 단계는 하나 이상의 시나리오를 설정하는 단계, 상기 하나 이상의 시나리오 중 하나의 시나리오를 선택하는 단계, 선택된 상기 시나리오에 따라 다중 뷰 영상으로 생성하기 위한 관심 영역을 계산하는 단계 및 계산된 상기 관심 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계를 포함할 수 있다.

그리고 상기 설정된 파라미터에 따라 상기 입력 영상을 바탕으로 상기 다중 뷰 영상을 생성하는 단계는 상기 설정된 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 단계, 상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라가 촬영한 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 모델링하는 단계, 상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델 생성 단계, 상기 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하는 단계, 및 상기 각 가상 카메라에 대한 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑하는 단계를 포함할 수 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 제1항 내지 제9항 중 어느 하나의 항에 따른 광각 카메라용 다중 뷰 영상 생성 장치의 운용 방법은 상기 광각 카메라용 다중 뷰 영상 생성 장치가 파노라마 뷰 영상을 생성하도록 하는 제1 파라미터를 생성하는 단계, 상기 파노라마 뷰 영상 내의 하나 이상의 관심 영역을 설정하는 단계, 상기 하나 이상의 관심 영역의 각 관심 영역에 대응하는 가상 카메라가 상기 각 관심 영역에 대한 영상을 생성하도록 하는 제2 파라미터를 생성하는 단계, 미리 설정된 시나리오에 따라 생성한 상기 제1 파라미터 또는 상기 제2 파라미터 중 하나를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계를 포함할 수 있다.

그리고 미리 설정된 시나리오에 따라 생성한 상기 제1 파라미터 또는 상기 제2 파라미터 중 하나를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계는 주기적으로 파노라마 뷰 영상과 상기 하나 이상의 관심영역에 대한 영상 중 일부의 관심영역에 대한 영상을 포함하는 nxn 다중 뷰 영상이 화면에 출력되도록 주기적으로 상기 제1 파라미터 또는 상기 제2 파라미터를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계를 포함하고, 또한 움직임 발생 또는 추적하여야 할 물체 설정과 같은 이벤트가 발생하는 경우 이벤트가 발생한 관심영역이 화면에 출력되도록 상기 제2 파라미터를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계를 포함할 수 있다.

또한, 컴퓨터 또는 프로세서상에서 실행될 때, 상술한 방법 중 어느 하나에 따른 방법을 실행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.

본 발명에 의하면, 하나의 입력 영상을 바탕으로 여러 대의 PTZ 카메라가 촬영하고 있는 것과 같은 다중 뷰 영상을 생성할 수 있는 효과가 있다.

또한, 본 발명에 의한 장치는 기계적인 카메라 및 렌즈 구동부 없이 PTZ 기능을 수행하여 가격, 크기, 내구성이 뛰어날 수 있다는 효과가 있다.

또한, 본 발명에 의한 장치는 움직임 검출기, 물체 추적기 등에 의하여 실시간으로 보여주는 영상을 변경할 수 있어 보안 및 감시에 최적화된 화면을 제공할 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 하나 이상의 PTZ 기능을 갖는 임의 시점의 가상 카메라 기반으로 다중 뷰 영상을 생성할 수 있는 임의시점 영상생성부(700)의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 가상 카메라 모델부(710)의 하나의 가상 카메라 모델의 개략적인 구성을 도시한 도면이다.
도 4는 광각 카메라를 사용하여 획득된 영상에서 극좌표 형식 영상을 사용하여 전방향 파노라마 영상을 생성하는 가상 카메라를 보여주는 것으로 영상 좌표(u)와 극좌표 (r, ρ)의 관계를 도시한다.
도 5는 장면 좌표계(world coordinate)와 비교한 가상 카메라 좌표계 {n}을 도시한다.
도 6은 가상 카메라의 광축 중심을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 2차 곡면 모델부의 개략적인 구성을 도시한 도면이다.
도 8a 및 도 8b는 본 발명의 일 실시 예에 따른 타원체 모델(324), 실린더 모델(325), 및 포물면 모델(326)에 대한 파라미터를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)의 개략적인 구성을 도시한 도면이다.
도 10은 2차 곡면 모델과 가상 카메라의 투영선의 교차점(

)의 일 예를 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 장면 좌표계상의 한 점(

)을 왜곡 없는 이상적인 영상 평면(

)의 대응하는 점으로 매핑하는 과정을 도시한다.
도 12는 본 발명의 일 실시 예에 따른 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)이 왜곡을 포함하는 이상적인 영상 평면상의 좌표(

)에 재투영되는 것을 도시한 도면이다.
도 13은 입력 영상 (a)로부터 왜곡이 보정된 영상 (b), (c)를 생성한 일 예를 보여주는 도면이다.
도 14는 본 발명의 일 실시 예로서 2x2 다중 뷰를 위해 서로 다른 파라미터들을 가진 4개의 가상 카메라들의 위치와 자세를 도시한 도면이다.
도 15는 도 14의 일 실시 예에 따른 2x2 다중 뷰를 위한 4개의 가상 카메라의 영상에 매핑되는 원 영상의 영역을 표시한 도면이다.
도 16은 도 15의 원 영상의 영역에서 왜곡을 제거하고 생성된 영상들을 도시한 도면이다.
도 17은 본 발명의 일 실시 예에 따른 화면부(800)에 최종적으로 출력되는 2x2 다중 뷰 영상을 도시한 도면이다.
도 18a 내지 도 18d는 본 발명의 일 실시 예에 따른 화면부(800)에 3x3 다중 뷰 영상을 출력하기 위한 과정을 도시한 도면이다.
도 19a 내지 도 19d는 본 발명의 일 실시 예에 따른 화면부(800)에 파노라마 영상을 출력하기 위한 과정을 도시한 도면이다.
도 20은 본 발명의 일 실시 예에 따른 파노라마 뷰에서 관심 영역을 설정한 것을 도시한 도면이다.
도 21은 본 발명의 일 실시 예에 따른 저장부(300)에서 원본 영상을 저장하는 방법을 도시한 도면이다.
도 22는 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 방법을 도시한 도면이다.
도 23은 본 발명의 일 실시 예에 따른 임의시점 영상생성부에 대한 파라미터 설정 방법을 도시한 도면이다.
도 24는 본 발명의 일 실시 예에 따른 설정된 파라미터에 따라 입력 영상으로부터 다중 뷰 영상을 생성하는 방법을 도시한 도면이다.
도 25는 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 장치의 운용 방식을 도시한 도면이다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명에서 제시하는 광각 카메라용 다중 뷰(multi view) 영상 생성 장치는 광각 카메라를 이용하여 넓은 범위의 영상을 촬영하고, 팬(Pan), 틸트(Tilt), 줌(Zoom) 기능을 수행할 수 있는 PTZ 카메라 복수 개가 여러 곳에 분산되어 설치되어 있는 것과 같은 영상들을 생성하고, 단일 영상 또는 다중 영상들을 하나의 화면에 표시될 수 있도록 하나의 영상으로 합성하여 출력하는 장치이다.

본 발명에서 제시하는 장치에서 출력하는 영상은 단일 뷰(single view), 2x2 다중 뷰, 3x3 다중 뷰, 파노라마 뷰 등의 형태로 설정에 따라 달라질 수 있다. 다중 뷰는 서로 다른 곳에서 설치된 여러 대의 카메라의 영상을 동시에 보여주는 것과 같은 효과를 갖고, 파노라마 뷰는 광각 카메라로 찍은 영상을 파노라마처럼 펼친 효과의 영상으로 재생성하는 것이다.

도 1은 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 장치를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 장치는 광각 카메라(100), 광각 카메라(100)로부터 오는 영상 신호를 전처리하여 저장부(300)에 저장하거나 후처리부(400)로 전달하는 전처리부(200), 전처리부(200)에서 오는 현재 영상 또는 저장부(300)로부터 읽어 들이는 과거 영상 내에서 움직임 정보나 물체 추적 정보를 획득하여 주처리부(500)로 전달하는 후처리부(400), 사용자의 요구 사항, 설정 사항 등을 입력받기 위한 입력부(600), 입력부(600)를 통해 입력되는 사용자의 요구 사항, 또는 후처리부(400)로부터 오는 움직임 정보나 물체 추적 정보를 바탕으로 가상 임의시점 영상생성부(700)가 필요로 하는 파라미터들을 설정하는 주처리부(500), 후처리부(400)에서 입력되는 영상 및 주처리부(500)에서 입력되는 설정을 바탕으로 임의 시점의 가상 카메라 모델을 생성하여 다중 뷰 영상을 생성하는 임의 시점 영상생성부(700), 및 임의시점 영상생성부(700)에서 생성한 영상을 표시하는 화면부(800)를 포함할 수 있다. 임의시점 영상생성부(700)에서 생성한 영상은 또한 저장부(300)에 저장될 수 있다.

각 부를 좀 더 상세히 살펴보면,

전처리부(200)는 광각 카메라(100)로부터 입력되는 영상을 수신하여 입력되는 영상으로부터 자동 색온도 보정(Auto White Balance; AWB), 자동 노출(Auto Exposure; AE), 자동 초점(Auto Focus; AF) 등의 광각 카메라를 제어하는데 필요한 정보를 추출하여 주처리부(500)로 전달하고, 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction; NR) 및 광역 보정(Wide Dynamic Range; WDR)의 과정을 수행한 전처리 영상을 생성하고, 전처리 영상을 후처리부(400)로 전달한다.

후처리부(400)는 전처리부(200)를 통해 광각 카메라(100)에서 촬영한 영상을 전처리한 전처리 영상을 입력받거나 또는 저장부(300)로부터 과거에 촬영하여 저장해 놓았던 과거 영상을 입력받을 수 있다. 후처리부(400)는 전처리 영상에 대하여는 밝기 및 색상 신호를 분리하고, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 등의 후처리 과정을 수행한 후처리 영상을 생성하고, 후처리 영상을 비디오 코덱을 이용하여 압축하여 저장부(300)에 전달함으로써 저장부에서 메모리 등에 저장하도록 할 수 있다. 또한 후처리부(400)는 움직임 검출기(Motion detector) 또는 물체 추적기(Object Tracker) 등을 이용하여 후처리 영상 또는 저장부(300)로부터 받은 과거 영상으로부터 움직임 정보나 물체 추적 정보 등을 획득하여 주처리부(500)로 전달할 수 있다. 또한, 후처리부(400)는 후처리 영상 또는 저장부(300)로부터 받은 과거 영상을 임의시점 영상생성부(700)로 전달할 수 있다.

주처리부(500)는 후처리부(400)로부터 오는 정보 및 입력부(600)로부터 오는 사용자 입력 정보를 바탕으로 임의시점 영상생성부(700)에 필요한 설정 정보를 생성하여 임의시점 영상생성부(700)로 전달할 수 있다. 이에 대한 상세한 설명은 임의시점 영상생성부(700)에 대한 설명이후 계속한다.

임의시점 영상생성부(700)는 광각 카메라를 이용하여 넓은 범위를 촬영한 영상을 바탕으로 복수 개의 PTZ 카메라가 여러 곳에 분산되어 설치되어 있는 것과 같은 영상들을 생성하고, 이를 바탕으로 단일 영상 혹은 다중 영상들을 하나의 영상으로 합성하여 출력할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 하나 이상의 PTZ 기능을 갖는 임의 시점의 가상 카메라 기반으로 다중 뷰 영상을 생성할 수 있는 임의시점 영상생성부(700)의 구성을 도시한 도면이다.

임의시점 영상생성부(700)는 도 1 및 도 2에 도시된 것처럼 주처리부(500)로부터의 설정 입력과 후처리부(400)로부터의 영상 입력을 바탕으로 다중 뷰 영상을 생성하여 화면부(800)로 출력하거나 저장부(300)로 저장할 수 있다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 임의시점 영상생성부(700)는 가상 카메라 모델부(710), 2차 곡면 모델부(720), 및 카메라 투영 모델부(730)를 포함할 수 있다.

가상 카메라 모델부(710)는 화면부(800)에 영상을 임의 시점에서 보는 것처럼 표시되도록 하기 위하여, 가상 카메라가 설정된 임의의 위치에 있는 것처럼 모델링을 할 수 있다. 특히, 다중 뷰 영상을 생성하기 위하여 서로 간에 시점이 다른 하나 이상의 가상 카메라 모델을 포함할 수 있다. 또한, 각각의 가상 카메라 모델은 디지털 PTZ(Pan, Tilt, Zoom) 기능 및 특수 렌즈 효과를 생성할 수 있는데 이를 위하여 일반적인 원근 효과를 갖는 원근 투영 카메라(perspective projection camera), 원근 효과가 제거된 렌즈를 모방할 수 있는 직각 투영 카메라(orthographic projection camera), 극좌표(polar coordinate) 영상 모델을 사용하여 파노라마 영상을 생성하는 파노라마 카메라 모델 등을 포함할 수 있다. 2차 곡면 모델부(720)는 가상 카메라에 의해 보여지는 영상인 출력 영상과 입력 영상을 매핑(mapping)시 다양한 영상 효과를 추가하기 위하여 사용할 수 있는 거울 기능을 제공하는 2차 곡면을 제공하고, 카메라 투영 모델부(730)는 입력 영상에 포함되어 있는 왜곡을 제거하면서 가상 카메라에 의해 보여지는 영상의 한 점을 입력되는 영상의 한 점으로 매핑시킬 수 있다.

각 부를 좀 더 자세히 살펴보기 전에 먼저 본 발명에서 사용되는 몇 가지 좌표계를 설명한다. 본 발명에서는 가상 카메라에 의해서 보여지는 영상의 한 점 또는 픽셀을 나타내기 위한 가상 카메라 좌표계 {1}, …, {n}, 2차 곡면의 중심을 영점으로 하여 좌표를 나타내는 2차 곡면 좌표계 {q}, 실제 주변을 촬영한 광각 카메라에 의해 찍힌 각 영상 내의 좌표를 나타내기 위한 카메라 좌표계 {c}를 사용한다. 그리고 이러한 좌표계에 의해 표시되는 좌표는 기준 좌표계인 장면 좌표계(Worldwide Coordinate) {0}상의 좌표로 변환될 수 있다.

가상 카메라 모델부(710)의 각각의 가상 카메라 모델은 기계적인 구동부 및 전동 줌 렌즈를 사용하여 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ(pan, tilt, zoom) 카메라와 유사하게 가상 카메라(virtual camera)가 임의의 시점에서 보는 것과 같은 영상을 생성할 수 있도록 가상 카메라의 위치 및 자세를 모델링하고, 그에 따른 가상 카메라의 시점에서 보여지는 영상(J)의 점(픽셀)을 모델링할 수 있다. 이때 가상 카메라 좌표계가 사용될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 가상 카메라 모델부(710)의 하나의 가상 카메라 모델의 개략적인 구성을 도시한 도면이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 가상 카메라 모델은 직각좌표 표시모듈(311), 극좌표 표시모듈(312), 크기 조정 모듈(313), 위치설정 모듈(314), 변환 모듈(315), 및 광축중심 설정모듈(316)을 포함할 수 있다.

직각좌표 표시모듈(311)은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 직각 좌표 형식으로 표시할 수 있다. 직각좌표 표시모듈(311)은 좌표(u)를 가상 카메라의 시점에서 보여지는 영상(J)의 중심에 대한 상대 좌표로 나타낼 수 있다. 따라서 직각좌표 표시모듈(311)은

에 의해서 구해지는

의 직각 좌표 형식으로 좌표(u)를 표시할 수 있다. 여기서

는 가상 카메라의 시점에서 보여지는 영상(J)의 중심을 직각 좌표 형식으로 나타낸 것이고, 설정 가능한 파라미터이다. 이처럼 영상 좌표를 직각 좌표 형식을 이용하여 표시하는 영상은 원근 투영 카메라 또는 직각 투영 카메라에서 사용될 수 있다.

극좌표 표시모듈(312)은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 극좌표 형식으로 표시할 수 있다. 이때 사용되는 파라미터로는 극좌표 형식에서 사용할 반지름의 최소값(

)과 최대값(

), 반지름 방향 픽셀 수(

), 각도의 최소값(

) 과 최대값(

), 그리고 가상 카메라상에서의 극좌표 변환을 위한 극좌표 형식에서의 중심 (

)을 포함하며, 설정 가능한 파라미터들이다. 그러면 좌표(u)를 나타내는 극좌표 (r, θ)는 다음과 같이 표현될 수 있다.

여기서,

이다. 그리고 극좌표 형식으로 표시되는 영상 좌표

는 다음과 같이 표현될 수 있다.

즉, 극좌표 표시모듈(312)은

의 극좌표 형식으로 좌표(u)를 표시할 수 있다. 이러한 극좌표 형식의 표시는 전방향 파노라마 영상을 생성하는데 이용될 수 있다.

도 4는 광각 카메라를 사용하여 획득된 영상에서 극좌표 형식 영상을 사용하여 전방향 파노라마 영상을 생성하는 가상 카메라를 보여주는 것으로 영상 좌표(u)와 극좌표 (r, θ)의 관계를 도시한다.

가상 카메라 모델은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 직각 좌표 형식 또는 극좌표 형식으로 표현할 수 있으며, 사용자의 선택(

)에 의하여 어떤 표현 방식을 사용할 것인지를 결정할 수 있다.

크기 조정 모듈(313)은 사용자가 보기 편리한 형태로 가상 카메라 영상의 크기 보상을 수행하는 과정으로, 영상의 가로축과 세로축으로의 크기 비율을 조정할 수 있다. 그리고 이에 따라 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 조정할 수 있다. 즉, 크기 조정 모듈은 가상 카메라에서 생성된 영상과 사용자의 눈에 보이는 실제 공간과의 이질감이 발생하면, 사용자는 그 영상을 보면서 어지러움 등을 느낄 수 있고, 거리감이 없어져 공간적인 감각이 떨어진다. 이러한 이질감을 최소화하기 위하여 크기 조정 모듈(313)을 사용할 수 있다. 즉, 크기 조정 모듈(313)은 사용자의 선택(

)에 의해 직각 좌표 형식 또는 극좌표 형식으로 표현되는 가상 카메라 영상의 한 점의 좌표 (u')를 크기 보상 행렬과 초점거리를 이용하여 가상 카메라 좌표계 상의 좌표(

)로 표현할 수 있다. 이때의 좌표(

)는 다음 식을 이용하여 구할 수 있다.

여기서,

은 가로축과 세로축 크기 보상값들로 구성된 대각행렬(diagonal matrix)이고,

은 가상카메라의 초점 거리(focal length)다.

위치 설정 모듈(314)은 가상 카메라의 위치와 자세를 설정한다.

가상 카메라 모델은 기계적인 구동부 및 전동 줌 렌즈를 사용하여 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ(pan, tilt, zoom) 카메라와 유사하게 가상 카메라(virtual camera)가 임의의 시점에서 보는 것과 같은 영상을 생성할 수 있도록 가상 카메라의 위치 및 자세를 모델링할 수 있다. 이때 가상 카메라의 위치와 자세 설정을 위하여 가상 카메라 좌표계가 사용될 수 있다.

도 5는 장면 좌표계(world coordinate)와 비교한 가상 카메라 좌표계 {n}을 도시한다.

가상 카메라 좌표계 {n}는 팬, 틸트 기능을 위해 장면 좌표계의 중심(10)을 기준으로 상하좌우 회전이 가능하고, 줌 기능을 위해 시점의 위치를 z_n 방향으로 이동할 수 있다. 도 5를 참조하면, φ_n, θ_n을 각각 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(azimuth) 및 수직 회전각(elevation)으로 둘 수 있고,

을 장면 좌표계 {0} 상에서의 가상 카메라의 위치,

를 장면 좌표계 {0} 상에서의 2차 곡면모델의 중심 위치이며 가상 카메라의 팬, 틸트 회전의 중심으로 두면, 장면 좌표계 {0} 상에서 2차 곡면모델로 매핑되는 가상 카메라 좌표계 {n}를 표현한 변환 행렬(

)은 다음과 같이 표현할 수 있다.

여기서, trans(·)는 3차원 공간상의 이동 행렬(3-D translational matrix)을 나타내고, rot_z(·)와 rot_x(·)는 각각 z축과 x축을 회전축으로 하는 회전 행렬들(3-D rotational matrices)이다. 그리고 상기 변환 행렬(

)은

의 단위 벡터 형태로 표현될 수 있다. 여기서,

,

, 및

은 각각 가상 카메라 좌표계 {n} 상에서의 각 단위 벡터({1,0,0}, {0,1,0}, 및 {0,0,1})를 장면 좌표계 {0} 상의 좌표로 변환했을 때의 단위 벡터 표현이고,

은 가상 카메라 좌표계 {n} 상에서의 원점({0,0,0})을 장면 좌표계 {0} 상의 좌표로 변환했을 때의 단위 벡터 표현이다. 상술한 것과 같이 수평 회전각과 수직 회전각을 사용한 가상 좌표계의 표현은 상하가 뒤집히지 않고, 어떤 중심을 기준으로 하여도 회전이 가능하며, 줌 기능을 효과적으로 표현할 수 있으므로 기계적인 구동부를 사용한 PTZ 기능을 거의 흡사하게 동작시킬 수 있는 장점이 있다. 이러한 가상 좌표계의 표현 이외에도 사용자의 설정에 따라 임의 방식으로 가상 좌표계를 표현하는 것도 가능하다.

즉, 위치 설정 모듈(314)은 장면 좌표계상에서의 2차 곡면 모델의 중심(

), 장면 좌표계상에서의 가상 카메라의 위치(

), 및 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(φ_n) 및 수직 회전각(θ_n)을 파라미터로 입력받아 장면 좌표계 상에서 가상 좌표계를 표현한 변환 행렬(

)을 계산한다. 이 변환 행렬에 의하여 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)를 장면 좌표계의 한 좌표(

)로 변환할 수 있다.

변환 모듈(315)은 위치 설정 모듈(314)에서 계산한 변환 행렬(

)을 이용하여 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 한 좌표(

)를 계산한다.

광축중심 설정모듈(316)은 가상 카메라의 광축 중심을 설정하기 위한 것이다.

도 6은 가상 카메라의 광축 중심을 설명하기 위한 도면이다.

도 6을 참조하면, 원근 투영 카메라와 직각 투영 카메라는 투영선(projection ray)이 광축 중심점(optical center)으로 모이는지 여부에 따라 달라질 수 있다. 원근 투영 카메라에서는 도 6의 (a)에 도시되어 있는 것처럼 모든 투영선이 하나의 중심점으로 모이고, 직각 투영 카메라에서는 도 6의 (b)에 도시되어 있는 것처럼 모든 투영선이 광축(principal axis)과 평행하게 된다. 따라서 광축 중심(

)은 다음과 같이 표현될 수 있다. 여기서

의 왼쪽 위에 있는 '0'은 좌표계를 나타내는 것으로 {0}은 장면 좌표계상의 좌표로 표시됨을 나타낸다.

여기서,

은 초점 거리(focal length)이고,

는 상술한 바와 같이 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 좌표이고,

및

은 상술한 것처럼 변환 행렬(

)을 단위 벡터 형태인

으로 표현할 때의 단위 벡터들이다.

상술한 바와 같이 가상 카메라 모델은 가상 카메라의 위치, 직각 좌표 형식을 사용할 것인지 아니면 극좌표 형식을 사용할 것인지에 관한 파라미터를 입력받아 가상 카메라의 시점에서 보여지는 영상(J)의 한 점의 좌표(u)에 대응되는 장면 좌표계의 좌표(

) 및 가상 카메라의 광축(

) 중심에 대한 정보를 계산하여 출력할 수 있다.

다시 도 2를 참조하면, 2차 곡면 모델부(720)에서 생성하는 2차 곡면 모델은 가상 카메라의 시점에서 보여지는 영상(J)의 한 점을 왜곡을 포함하는 입력 영상의 대응하는 점(픽셀)으로 매핑하는 거울과 같은 기능을 수행할 수 있다. 이때 원하는 효과에 따라 다양한 2차 곡면을 모델링하는 2차 곡면 모델이 사용될 수 있다. 일 예로서, 타원체(Ellipsoid) 모델은 구 형태의 거울 모양으로 표현되어 가상 카메라의 PTZ 효과를 얻기 위해 주로 사용될 수 있고, 실린더(Cylinder) 모델은 실린더 기둥 모양의 거울 형태로 표현되어 광각의 영상 생성시 주로 사용될 수 있으며, 포물면(Paraboloid) 모델은 반구 형태의 거울 모양으로 표현되어 영상의 일정 부분만을 매핑한 효과 생성시 사용될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 2차 곡면 모델부의 개략적인 구성을 도시한 도면이다.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 2차 곡면 모델부(720)는 2차 곡면 모델 선정 모듈(321), 좌표 설정 모듈(322) 및 변환 모듈(323)을 포함할 수 있다.

2차 곡면 모델 선정 모듈(321)은 사용자가 원하는 효과를 얻기 위하여 복수 개의 2차 곡면 모델 중에서 하나를 선정하게 할 수 있다. 즉, 도 7에 도시되어 있는 바와 같이 파라미터 q_sel을 이용하여 타원체 모델(324), 실린더 모델(325), 포물면 모델(326), 및 사용자 설정 2차 곡면 모델(327) 중의 하나를 선택할 수 있다.

3차원 공간상에서의 상술한 2차 곡면 모델들은 다음과 같은 공통된 행렬 형태로 표현할 수 있다.

여기서,

는

로 모델링되는 2차 곡면상의 한점이고, 2차 곡면 모델(

)은 다음과 같이 4x4 대칭 행렬로 표현될 수 있다.

이때, 2차 곡면 모델(

) 행렬 내의 각 값은 2차 곡면별로 다를 수 있는데, 도 8a 및 도 8b는 본 발명의 일 실시 예에 따른 타원체 모델(324), 실린더 모델(325), 및 포물면 모델(326)에 대한 파라미터를 도시하고 있다. 여기서 도 8a 및 도 8b의 x_c, y_c, z_c는 장면 좌표계 {0} 상에서의 각 모델의 중심 위치를 나타낸다.

좌표 설정 모듈(322)은 2차 곡면을 장면 좌표계 {0} 상에서 정의하기 위해 사용되고, 가상 카메라의 위치 설정과 마찬가지로 사용자 설정이 용이한 수평회전각(ζ_q) 및 수직회전각(ρ_q)을 이용하여 표현할 수 있다. 즉, 좌표 설정 모듈(322)은 2차 곡면상의 점들에 대응하는 장면 좌표계 상의 점들로 변환하기 위한 변환행렬(

)을 생성할 수 있고, 이때의 변환행렬(

)은 다음 식을 이용하여 구할 수 있다.

변환 모듈(323)은 타원체 모델(324), 실린더 모델(325), 포물면 모델(326), 또는 사용자 설정 2차 곡면 모델(327)에 의하여 생성되는 2차 곡면을 표현하는 행렬(

)을 장면 좌표계 상에서의 선택된 2차 곡면 모델을 표현하는 행렬(

)로 변환할 수 있다. 장면 좌표계에서의 2차 곡면 모델을 표현하는 행렬 (

)는 다음 식을 이용하여 구할 수 있다.

카메라 투영 모델부(730)는 가상 카메라에서 2차 곡면 모델에 매핑 후 영상 왜곡을 포함하는 입력 영상으로 재투영하는 것으로, 영상 왜곡을 보정하는 카메라 캘리브레이션(calibration)과 카메라 투영 모델을 포함할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)의 개략적인 구성을 도시한 도면이다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 카메라 투영 모델부(730)는 교차점 모듈(331), 변환 모듈(332), 좌표 계산 모듈(333), 보간 모듈(334), 및 메모리(335)를 포함할 수 있다.

교차점 모듈(331)은 2차 곡면 모델부(720)에서 선정한 2차 곡면 모델과 가상 카메라 모델부(710)의 각 가상 카메라의 투영선의 교차점을 계산할 수 있다.

도 10은 2차 곡면 모델과 가상 카메라의 투영선의 교차점(

)의 일 예를 도시한 도면이다.

도 10을 참조하면, 가상 카메라의 광축 중심(

)과 가상 카메라의 시점에서 보여지는 영상(J)의 한 점(

)을 잇는 직선인 투영선(910)이 2차 곡면 모델과 만나기 위하여는 다음 식을 만족하여야 한다.

여기서,

은 가상 카메라의 광축 중심이고,

으로 표현되는데

는 가상 카메라의 시점에서 보여지는 영상(J)의 한 점이다. 그리고 점

는 투영선(910) 상에 존재하는 점이면서, 2차 곡면 모델 상에 존재하는 교차점이 된다. 이 교차점의 위치는

에 의해서 결정되는데,

는 다음과 같이 계산될 수 있다.

여기서,

이고,

이다.

즉, 교차점 모듈(331)은 상술한 식을 바탕으로 가상 카메라의 시점에서 보여지는 영상(J)의 한 점(

)의 투영선(910)과 교차하는 2차 곡면상의 한 점(

)을 계산하여 출력할 수 있다.

그리고 상술한 2차 곡면상의 한 점(

)은 전방향 카메라 모델(336)에 의하여 입력 영상의 한 점으로 투영될 수 있다.

도 11은 본 발명의 일 실시 예에 따른 장면 좌표계상의 한 점(

)을 왜곡 없는 이상적인 영상 평면(

)의 대응하는 점으로 매핑하는 과정을 도시한다.

도 11을 참조하면, 장면 좌표계상의 한 점

에서 광각 카메라의 광축 중심으로의 투영선(1010) 상에 벡터

가 존재하고, 이는 일반적인 원근 투영 기하를 따르고 다음 식의 관계가 성립된다.

여기서,

는 회전 행렬

과 이동 벡터

로 구성된 카메라 투영 행렬(projection matrix)이며,

는 장면 좌표계상의 한 점

의 동차 표현(homogenous representation)이다.

벡터

의

는 장면 좌표계 상의 한 점

를 이상적인 영상 평면(

) 상의 한 점(

)으로 매핑하는 왜곡보정 매핑함수이며, 렌즈의 왜곡 현상을 이론적으로 분석한 모델(analytic model) 또는 수치적으로 근사한 모델(approximation model) 등을 사용하여 표현할 수 있다. 이에 의하여 이상적인 영상 평면(

)은 왜곡이 없는 영상 평면을 의미할 수 있다. 일 실시 예로서 Scaramuzza가 제안한 것과 같은 테일러 확장(Taylor expansion series) 기반의 근사 모델을 사용하여 표현할 수 있다.

그리고 벡터

을 입력 영상(I)에서의 실제 픽셀 좌표라고 가정하면, 입력 영상(I)과 이상적인 영상 평면(

)의 관계는 어파인(affine) 변환 행렬로 다음과 같이 표현될 수 있다.

여기에서

는 어파인 변환 행렬이고,

는 이동 벡터를 나타낸다.

상술한 바와 같이 장면 좌표계 상의 한 점

는 입력 영상(I)에서 픽셀 좌표

으로 매핑되므로, 만약 이 식들이 역변환 관계가 존재한다면, 입력 영상(I)에서 원래 장면 좌표계 상의 한 점

의 픽셀 값을 구할 수 있다.

장면 좌표계 {0} 상의 한 점

를 카메라 좌표계 {c} 상의 한 점

로 왜곡 보정을 하면서 매핑시키기 위하여서는 상술한 바처럼 광각 카메라의 위치와 자세 및 왜곡보정 매핑함수(

)의 계수들을 미리 알아야만 한다.

이를 위하여 가로, 세로의 격자 크기가 미리 알려진 보정용 차트(calibration chart)를 이용하여 광각 카메라의 위치, 자세, 및 촬영한 영상에 포함되어 있는 왜곡을 인지할 수 있다. 일 예로 보정용 차트의 가로, 세로 크기를 20cm x 20cm로 설정할 수 있고, 광각 카메라에 의해 촬영된 보정용 차트 영상에서의 각 격자의 기울기 및 외곽 쪽에서의 격자의 크기 등을 측정함으로써 촬영된 영상에 포함되어 있는 왜곡을 측정할 수 있다. 그리고 이렇게 측정된 왜곡을 바탕으로 상술한 회전 행렬

과 이동 벡터

왜곡보정 매핑함수(

)의 계수, 및 어파인 변환 행렬(

)를 획득할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)이 왜곡이 해소된 이상적인 영상 평면상의 좌표(

)에 재투영되는 것을 도시한 도면이다.

도 12를 참조하면, 2차 곡면은 가상 카메라의 투영선(1110)을 광각 카메라의 투영선(1120)으로 반사하는 거울과 같은 역할을 수행할 수 있다. 여기서 광각 카메라의 투영선(1120)은 광각 카메라의 광축 중심과 교차점(

)을 연결하는 선이 된다.

가상 카메라의 투영선(1110)과 2차 곡면이 만나는 점이 교차점(

)이 되고, 교차점(

)은 다음 식을 이용하여 카메라 좌표계의 좌표(

)로 변환될 수 있다.

여기서,

는 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬로써 카메라 투영행렬(

)의

과

로 구성될 수 있다.

가상 카메라의 투영선(1110)과 2차 곡면과의 교차점(

)은 도 11에 도시된 한 점(

)과 마찬가지로 광각 카메라 광축 중심으로의 투영선(1120)상에 존재할 수 있고, 이 투영선(1120)은 전방향 카메라의 광축을 중심으로 방사형으로 대칭이므로 이상적인 영상 평면(

)과 교차점(

)과의 각도로 표현할 수 있다. 즉,

의 관계식을 얻을 수 있는데 여기서,

는 이상적인 영상 평면(

)과 교차점(

)과의 각도로서,

로 표현된다.

그리고 광각 카메라의 광축 중심으로의 투영선(1120)과 왜곡 보정 매핑 함수(

)는 상술한 바처럼 모두

의 함수이므로, 이들의 해를 구하면 이상적인 영상 평면상의 좌표(

)를 구할 수 있고, 어파인 변환 행렬을 이용하여 입력 영상(I)에서의 픽셀값(

)을 구할 수 있다. 따라서, 가상 카메라의 시점에서 보여지는 영상(J) 내의 한 점(

)의 픽셀값은 광각 카메라에서 촬영한 왜곡이 포함된 원본 영상(I)으로부터 얻어지고, 가상 카메라의 시점에서 보여지는 영상(J) 내의 각 점에 대하여 상술한 기능을 수행하면 최종 결과 영상인 가상 카메라의 시점에서 보여지는 영상(J)을 획득할 수 있고, 이 영상은 임의 시점에서 생성한 렌즈 왜곡이 제거된 영상이 된다. 그리고 상술한 방식을 하나 이상의 가상 카메라별로 적용하면 하나 이상의 가상 카메라의 각각의 시점에서 보여지는 영상(J) 내의 한 점(

)에 대하여 입력 영상으로부터 획득한 픽셀값을 가지게 된다.

상술한 작업을 수행하기 위하여 카메라 투영 모델부(730)의 변환 모듈(332)은 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬(

)를 이용하여 교차점(

)를 카메라 좌표계의 좌표(

)로 변환한다.

그리고 좌표 계산 모듈(333)은 어파인 변환 행렬(

), 이동 벡터(

), 장면 좌표계상의 한 점

를 이상적인 영상 평면(

) 상의 한 점(

)으로 매핑하는 역할을 수행하는 테일러 확장 기반의 근사 모델의 계수들을 파라미터로 입력받아 가상 카메라의 투영선과 2차 곡면 모델과의 교차점(

)으로부터 왜곡이 포함된 입력 영상(I)에서의 실제 픽셀 좌표를 나타내는 벡터

를 획득한다. 좌표 계산 모듈(333)에서 사용하는 상술한 테일러 확장 기반의 근사 모델은 렌즈의 왜곡 현상을 이론적으로 분석하고, 이를 해소하기 위하여 수치적으로 근사화한 것으로 이에 의하여 원본 영상에 존재하는 왜곡 현상을 도 13과 같이 제거할 수 있다. 도 13은 입력 영상 (a)로부터 왜곡이 보정된 영상 (b), (c)를 생성한 일 예를 보여준다.

그리고 보간 모듈(334)은 실제 픽셀 좌표를 나타내는 벡터

를 이용하여 입력 영상(I)에서 해당 좌표의 주변 픽셀값을 읽어들이고 양선형 보간 (bilinear interpolation) 등의 방법 등으로 해당 좌표의 값을 계산하여 출력할 수 있다.

상술한 임의시점 영상생성부(700)를 이용함으로써 본원 발명은 하나 이상의 임의 시점에서 보여지는 영상을 생성할 수 있으며, 각각의 영상에 대하여 왜곡이 없도록 영상을 보정함으로써 사용자가 보기에 편안한 영상을 생성할 수 있다.

도 13은 임의시점 영상생성부(700)에 입력되는 입력 영상 및 이에 포함된 왜곡을 보정하여 화면부(800)에 표시하는 영상의 일 예를 도시한 도면이다.

도 13을 참조하면, (a)는 피쉬아이 렌즈를 사용하여 획득한 왜곡을 포함한 광각 카메라 영상이고, (b)는 일반적인 방법으로 왜곡이 보정된 영상을 나타낸다. (b)처럼 왜곡 보정된 영상에는 영상의 끝쪽으로 갈수록 실제 크기 및 거리감의 차이가 크게 발생한다. 그 이유는 카메라의 왜곡된 영상의 한 점으로 들어오는 투영선 상에는 공간상의 수많은 점이 존재할 수 있고, 공간 복원(structure reconstruction)을 위해서는 두 개 이상의 투영선이 존재해야 이 점의 실제 공간상의 위치를 알 수 있게 되기 때문이다. 하지만, 본 출원에서 제안하는 방식을 이용하고, 필요한 파라미터들을 적절하게 설정하면 (c)에서 보는 것과 같이 사용자가 보기에 편안한 영상을 생성할 수 있다.

상술한 바처럼 임의시점 영상생성부(700)는 필요한 파라미터들을 적절히 설정하면 왜곡 없는 다중 뷰 영상을 생성할 수 있다. 이때 임의시점 영상생성부(700)에서 필요로 하는 파라미터들을 정리하면 가상 카메라 모델부(710)의 각 가상 카메라 모델에 필요한 파라미터로, 가상 카메라의 시점에서 보여지는 영상(J)의 각 점을 직각좌표 형식으로 표시할 것인지 아니면 극좌표 형식으로 표시할 것인지를 설정하는 파라미터(

), 가상 카메라의 시점에서 보여지는 영상(J)의 직각좌표 형식의 중심(

), 극좌표 형식에서 사용할 반지름의 최소값(

)과 최대값(

), 반지름 방향 픽셀 수(

), 각도의 최소값(

) 과 최대값(

), 그리고 가상 카메라상에서의 극좌표 변환을 위한 극좌표 형식에서의 중심 (

), 크기 보상을 위한 파라미터

, 가상카메라의 초점 거리(focal length)

, 가상 카메라의 장면 좌표계의 z축(11)에 대한 수평 회전각(azimuth) φ_n 및 수직 회전각(elevation) θ_{n ,} 장면 좌표계 {0} 상에서의 가상 카메라의 위치

, 장면 좌표계 {0} 상에서의 2차 곡면모델의 중심 위치이며 가상 카메라의 팬, 틸트 회전의 중심

, 광축 중심 선택 파라미터 (V_psel)등을 설정할 필요가 있다.

그리고 2차 곡면 모델부를 위한 파라미터로 어떤 2차 곡면 모델을 사용할 것인지를 나타내는 파라미터 q_sel, 각 2차 곡면 모델의 특징을 설정하기 위한 복수의 파라미터들, 2차 곡면을 장면 좌표계 {0}상에서 정의하기 위한 파리미터들인 수평회전각(φ_q) 및 수직회전각(θ_q)이 있을 수 있다.

그리고 카메라 투영 모델부(730)를 위한 파라미터들로 입력 영상에 포함되어 있는 왜곡을 보정하기 위한 왜곡보정 매핑함수의 각 계수들, 어파인 변환 행렬

, 장면 좌표계상에서 표현된 광각 카메라의 위치와 자세를 나타내는 변환 행렬

등이 있을 수 있다.

이러한 임의시점 영상생성부(700)는 필요한 파라미터들은 주처리부(500)에 의해서 설정될 수 있다.

주처리부(500)는 상술한 파라미터들을 사용자가 입력부(600)를 통해 직접 입력한 대로 설정하거나, 또는 후처리부(400)의 움직임 검출기, 물체 추적기에서 전송하는 이벤트 발생 신호를 바탕으로 설정하거나, 또는 정해진 시나리오를 따라 변경되도록 구성할 수 있다.

즉 주처리부(500)는 사용자 설정에 의하여 임의시점 영상생성부(700) 파라미터 설정을 위한 모드(mode)로 매뉴얼 모드, 움직임 감지 모드, 자동 추적 모드, 시나리오 모드 중의 하나로 동작할 수 있다.

그리고 매뉴얼 모드인 경우에는 입력부(600)를 통해 사용자가 입력하는 파라미터 설정 값대로 임의시점 영상생성부(700)의 파라미터들을 설정할 수 있다.

움직임 감지 모드로 설정된 경우에는 후처리부(400)의 움직임 검출기가 입력 영상에서 움직임이 발생하는 영역을 실시간으로 검출하여 제공하는 움직임이 발생한 영역에 대한 정보를 바탕으로 움직임이 발생한 영역 중에서 일부 또는 전체 영역이 화면부(800)에 보여지도록 가상 카메라의 위치와 자세를 표현하는 파라미터들을 계산하고 갱신할 수 있다.

자동 추적 모드로 설정된 경우에는 후처리부(400)의 물체 추적기가 입력 영상에서 실시간으로 획득하여 제공하는 추적 대상체의 위치와 크기 정보를 바탕으로 가상 카메라의 위치와 자세를 표현하는 파라미터들을 계산하고 갱신하여 가상 카메라가 자동으로 대상체를 추적하여 화면부(800)에 보여주는 영상을 만들어 내도록 할 수 있다.

시나리오 모드인 경우, 미리 정해진 시나리오에 따라 정해진 시간이 되면 설정된 영역이 화면부(800)에 표시될 수 있도록 임의시점 영상생성부(700)의 파라미터들을 계산하여 재설정할 수 있다.

또한 주처리부(500)는 화면부(800)에 다중 뷰의 영상이 표시될 수 있도록 임의시점 영상생성부(700)의 가상 카메라 모델부(710)의 각 가상 카메라의 위치와 자세에 대한 파라미터를 설정할 수 있다.

도 14는 본 발명의 일 실시 예로서 2x2 다중 뷰를 위해 서로 다른 파라미터들을 가진 4개의 가상 카메라들의 위치와 자세를 도시한 도면이다.

도 14를 참조하면, 4개의 가상 카메라(1401 내지 1404)는 2차 곡면(1410)을 중심으로 주위에 분포하도록 위치와 자세가 설정되었으며, 2차 곡면(1410)의 상단에는 광각 카메라의 원 영상(1420)이 표시되어 있고, 렌즈 왜곡을 표현하는 곡면(1430)이 초록색 그리드 형태로 표시되어 있다. 4개의 가상 카메라(1401 내지 1404)와 2차 곡면(1410) 사이에는 가상 카메라에서 생성할 영상(1441 내지 1444)이 보이고, 그 영상(1441 내지 1444) 내 한 점과 가상 카메라의 중심을 연결하는 투영선(projection ray)은 2차 곡면과 교차점에서 만나며, 이 점은 다시 렌즈 왜곡을 표현하는 곡면(1430)을 통해 왜곡된 원 영상(1420)에 재투영된다.

도 15는 도 14의 일 실시 예에 따른 2x2 다중 뷰를 위한 4개의 가상 카메라의 영상에 매핑되는 원 영상의 영역을 표시한 도면이고, 도 16은 도 15의 원 영상의 영역에서 왜곡을 제거하고 생성된 영상들을 도시한 도면이고 도 17은 본 발명의 일 실시 예에 따른 화면부(800)에 최종적으로 출력되는 2x2 다중 뷰 영상을 도시한 도면이다.

도 14 내지 도 17의 실시 예를 참고하면, 하나의 광각 카메라로부터 획득한 영상을 바탕으로 다양한 가상 카메라 시점을 가지도록 파라미터를 설정함으로써 다중 뷰 영상이 화면부(800)에 출력되도록 할 수 있다. 즉 하나의 광각 카메라를 이용하여 사무실 또는 사업장 전체에 대한 왜곡 없는 영상을 제공함으로써 감시를 가능하게 하는 장점이 있다.

주처리부(500)에서 화면부(800)에 출력되는 영상으로 단일 뷰, 2x2 다중 뷰, 3x3 다중 뷰, 파노라마 뷰 중의 하나를 설정할 수 있다. 이러한 설정은 사용자 요구에 따라 실시간으로 재설정이 가능할 수 있다. 주처리부(500)는 광각 카메라가 촬영하는 전체 영역을 파노라마 형식으로 출력하는 파노라마 뷰, 또는 화면부(800)를 2x2 또는 3x3으로 분할하고, 각 분할된 화면에는 광각 카메라가 촬영하는 전체 영역 중 사용자가 설정한 서로 다른 관심 영역 또는 이벤트가 발생한 서로 다른 관심 영역을 출력하는 nxn 다중 뷰 영상, 또는 전체 화면에 사용자가 설정한 또는 이벤트가 발생한 하나의 관심 영역에 대한 영상만을 출력하는 단일 뷰가 화면부(800)에 출력되도록 설정할 수 있다. 이러한 설정에 의하여 사용자는 현재 발생하는 상황을 쉽게 확인할 수 있을 것이다.

도 18a 내지 도 18d는 본 발명의 일 실시 예에 따른 화면부(800)에 3x3 다중 뷰 영상을 출력하기 위한 과정을 도시한 도면이다.

도 18a는 3x3 다중 뷰를 생성하기 위하여 사용되는 9개의 가상 카메라들의 위치와 자세를 보여주고 있으며, 도 18b는 각 가상 카메라들이 원 영상에 매핑된 영역을 그리드를 사용하여 보여주고 있으며, 도 18c는 최종적으로 생성된 3x3 다중 뷰 영상을 도시하고 있으며, 도 18d는 3x3 다중 뷰 영상을 시계방향으로 재정렬한 출력 영상으로 사용자로 하여금 원영상에서 가상 카메라들의 위치를 쉽게 알아볼 수 있도록 할 수 있다. 여기서 표시된 화살표는 원 영상과 본 발명의 장치에 의하여 생성된 영상 사이의 관계를 도시하기 위하여 삽입한 것으로 화면부(800)에는 표시되지 않는다.

도 19a 내지 도 19d는 본 발명의 일 실시 예에 따른 화면부(800)에 파노라마 영상을 출력하기 위한 과정을 도시한 도면이다.

도 19a 내지 도 19d를 참조하면 파노라마 영상을 생성하기 위하여 9개의 가상 카메라를 사용할 수 있으며 각 가상 카메라는 파노라마 카메라 모델을 사용하도록 설정될 수 있고, 이에 의해 광각 카메라에 의해 찍힌 원영상에 부채꼴 영역으로 매핑될 수 있다. 도 19a는 9개의 가상 카메라 중 제1 가상 카메라의 위치와 제1 가상 카메라에 대한 부채꼴 형태의 매핑 영역(J1)을 도시하고 있으며, 도 19b는 9개의 가상 카메라의 위치와 각 가상 카메라에 대한 매핑 영역(J1 내지 J9)을 도시하고 있다. 도 19c는 9개의 가상 카메라가 원영상에 매핑 된 영역(J1 내지 J9)을 도시하고 있고, 도 19d는 화면부(800)에 최종 출력되도록 생성된 파나라마 영상과 그 매핑 영역(J1 내지 J9)를 도시하고 있다.

본 발명에서 제시하는 광각 카메라용 다중 뷰 영상 생성 장치에서 출력되는 영상의 운용은 기본적으로 광각 카메라에서 촬영되는 전 영역을 출력하는 파노라마 뷰와 관심 영역(Region Of Interesting; ROI)을 설정하여 출력하는 관심영역 뷰들로 구성될 수 있다.

사용자는 기본 뷰인 파노라마 뷰 상에서 4 내지 9개의 관심 영역들을 지정하여 각 가상 카메라에 적용할 수 있고, 각 관심 영역을 촬영하기 위한 가상 카메라의 팬, 틸트, 줌 등이 개별적으로 설정될 수 있다. 관심 영역으로 지정될 수 있는 영역으로는 움직임이 발생하는 영역들이 될 수 있고, 실내의 경우에는 복도, 출입문, 창문 등이 해당할 수 있으며, 실외의 경우에는 도로, 보도, 건물 출입문 등이 해당할 수 있다.

도 20은 본 발명의 일 실시 예에 따른 파노라마 뷰에서 관심 영역을 설정한 것을 도시한 도면이다.

도 20을 참조하면, 각 가상 카메라의 팬, 틸트, 줌 등을 개별적으로 설정하여 9개의 관심 영역(V1 내지 V9)을 설정할 수 있다. 이렇게 설정된 9개의 관심 영역은 3x3 다중 뷰 형식으로 화면부(800)에 출력될 수 있다. 즉, 시나리오 설정을 통해 주기적으로 파노라마 뷰와 3x3 다중 뷰가 번갈아 가면서 화면부(800)에 출력되도록 할 수 있다.

주처리부(500)는 또한 광각 카메라(100)를 제어하고 광각 카메라(100)를 위한 파라미터를 설정할 수 있다. 주처리부(500)는 전처리부로부터 수신한 자동 색온도 보정, 자동 노출, 자동 초점 등과 관련된 정보를 바탕으로 광각 카메라(100)를 제어할 수 있다. 또한, 주처처리부(500)는 셔터 속도(Shutter speed), 색상 이득값 (Color gains), 영상 해상도, 프레임 레이트 등과 같은 광각 카메라(100)를 위한 파라미터를 설정할 수 있다.

본 발명에서 제시하는 광각 카메라용 다중 뷰 영상 생성 장치에서 생성한 영상들은 저장장치에 저장될 수 있다.

다시 도 2를 참고하면, 저장부(300)는 전처리부(200)를 통해 입력되는 광각 카메라(100)에서 촬영한 원본 영상과 최종적으로 화면부(800)로 출력되는 결과 영상을 모두 또는 선택적으로 저장할 수 있다. 각 영상은 용량 감소를 목적으로 비디오 코덱을 통해 압축되 데이터 형식으로 저장할 수 있다.

도 21은 본 발명의 일 실시 예에 따른 저장부(300)에서 원본 영상을 저장하는 방법을 도시한 도면이다.

도 21의 (a)를 참조하면, 광각 카메라로 촬영한 원본 영상에는 필요 없는 데이터가 있는 부분이 있고, 이러한 부분을 배제할 수 있도록 도 21의 (b)에 도시된 것과 같은 마스킹을 사용할 수 있다. 마스킹 결과로 얻어지는 도 21 (c)의 활성화된 영역만을 저장함으로써 저장 효율을 높일 수 있다.

또한, 출력 영상을 저장하는 경우에는 출력 영상을 생성하기 위하여 설정된 임의시점 영상생성부(700)의 파라미터들을 출력 영상과 함께 저장함으로써 당시 발생한 상황들을 추후에 재현할 수 있다.

본 발명에서 제시하는 광각 카메라용 다중 뷰 영상 생성 장치는 하나의 광각 카메라를 이용하여 촬영한 영상을 다양한 시점에서 보는 것처럼 재생할 수 있고, 또한 복수의 관심 영역을 하나의 화면에 표시하도록 하는 다중 뷰를 생성함으로써 모니터링의 효율성을 높일 수 있다.

도 22는 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 방법을 도시한 도면이다.

도 22를 참조하면, 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 방법은 광각 카메라를 이용하여 사무실 또는 사업장 전체의 영상을 촬영(S100)할 수 있다. 이때 어안 렌즈를 사용한 광각 카메라에 의해 촬영되는 것이기에 촬영되는 영상에는 상당한 왜곡이 포함되어 있다.

광각 카메라에서 촬영된 영상에 포함된 왜곡을 제거하면서 다양한 시점에서 보여지는 영상을 생성하기 위하여 가상 카메라 기반의 임의시점 영상생성부가 사용될 수 있다. 임의시점 영상생성부가 사용자가 원하는 다중 뷰 영상을 생성하기 위하여는 임의시점 영상생성부가 사용하는 하나 이상의 가상 카메라 모델과 2차 곡면 모델, 카메라 투영 모델을 위한 파라미터들의 설정이 필요하다. 이러한 파라미터 설정을 위하여 주처리부(500)는 임의시점 영상생성부(700)의 파라미터들을 설정(S200)하고, 임의시점 영상생성부(700)는 설정된 파라미터에 따라 광각 카메라에서 촬영하여 입력되는 영상으로부터 왜곡 없는 다중 뷰 영상을 생성(S300)하고, 생성된 다중 뷰 영상은 화면에 표시(S400)될 수 있다. 또한, 광각 카메라에 촬영한 영상과 임의시점 영상생성부(700)에서 생성한 다중 뷰 영상은 저장장치에 저장될 수 있다. 이때 생성하는 다중 뷰 영상은 광각 카메라가 촬영하는 전체 영역을 파노라마 형식으로 출력하는 파노라마 뷰, 또는 화면을 2x2 또는 3x3으로 분할하고, 각 분할된 화면에는 광각 카메라가 촬영하는 전체 영역 중 사용자가 설정한 서로 다른 관심 영역 또는 이벤트가 발생한 서로 다른 관심 영역을 출력하는 nxn 다중 뷰 영상, 또는 전체 화면에 사용자가 설정한 또는 이벤트가 발생한 하나의 관심 영역에 대한 영상만을 출력하는 단일 뷰(single view)를 포함할 수 있다.

도 23은 본 발명의 일 실시 예에 따른 임의시점 영상생성부에 대한 파라미터 설정 방법을 도시한 도면이다.

도 23을 참조하면, 임의시점 영상생성부의 파라미터를 설정하기 위하여 모드를 선택(S210)할 수 있다. 파라미터 설정을 위한 모드로는 매뉴얼 모드, 움직임 감지 모드, 자동 추적 모드, 및 시나리오 모드를 포함할 수 있다.

매뉴얼 모드에서는 사용자 입력에 따라 파라미터를 설정하고, 움직임 감지 모드에서는 움직임 검출기로부터 움직임 영역 정보를 획득하고, 만약 복수 개의 움직임이 감지된 영역이 있다면 움직임이 감지된 영역 중에서 관심 영역을 선택하고, 선택된 관심 영역이 화면에 출력될 수 있도록 파라미터를 계산(S230)한다. 만약 복수의 관심 영역이 선택된 경우에는 분할된 화면에 각각의 관심 영역을 표시할 수 있도록 파라미터를 설정할 수 있다.

자동 추적 모드에서는 물체 추적기에 의해 생성되는 추적 정보를 획득하고, 추적 영역을 계산한다. 그리고 추적 영역이 화면에 출력될 수 있도록 파라미터를 계산(S230)하여 설정한다. 이 경우 물체의 움직이는 속도에 따라 추적 영역의 크기를 조절할 수 있고, 또한 추적하고자 하는 물체를 미리 설정해 놓을 수도 있다.

시나리오 모드에서는 미리 설정되어 있는 복수 개의 시나리오 중에서 하나를 선택하고, 선택된 시나리오에 따라 관심 영역을 계산하고, 관심 영역이 화면에 출력될 수 있도록 파라미터를 계산(S230)하여 설정한다. 시나리오는 특정 시간대 별로 화면에 출력하고자 하는 관심 영역에 대한 정보를 포함할 수 있고, 다중 뷰의 형태가 변경되면서 출력되도록 설정할 수 있다. 일 실시 예로 1분 간격으로 파라미터 뷰와 3x3 다중 뷰가 번갈아 가면서 화면에 표시되도록 시나리오를 작성할 수 있다. 그러면 주제어부(500)는 매 1분마다 각 시나리오에 해당하는 화면이 출력되도록 임의시점 영상생성부의 파라미터를 변경할 수 있다.

도 24는 본 발명의 일 실시 예에 따른 설정된 파라미터에 따라 입력 영상으로부터 다중 뷰 영상을 생성하는 방법을 도시한 도면이다.

도 24를 참조하면, 주제어부(500)에 의해 설정된 파라미터에 따라 다중 뷰 영상을 생성하기 위하여 하나 이상의 가상 카메라 모델을 생성(S310)한다. 이때 주제어부(500)에 의해 설정된 파라미터에 따라 사용할 가상 카메라의 수가 결정되며 각 가상 카메라의 위치 및 자세가 설정될 수 있다. 즉, 2x2 다중 뷰의 경우에는 4개의 가상 카메라가 사용될 수 있고, 3x3 다중 뷰의 경우에는 9개의 가상 카메라가 사용될 수 있으며, 단일 뷰의 경우에는 1개의 가상 카메라만이 사용될 수 있다. 설정된 위치 및 자세는 기계식 카메라의 디지털 팬, 틸트, 줌 기능을 에뮬레이션하게 된다. 그리고 특수 렌즈 효과를 가지도록 하는 가상 카메라의 유형 및 각 유형별 파라미터들이 설정된다. 가상 카메라의 유형, 위치, 및 자세에 대한 설정이 완료되면 이를 바탕으로 가상 카메라의 시점에서 보여지는 영상(J)의 한 점에 대한 장면 좌표계의 좌표(

) 및 광축 중심(

)을 계산할 수 있다.

그리고 하나의 2차 곡면 모델을 생성(S320)할 수 있다. 2차 곡면 모델은 얻고자 하는 효과에 따라 복수 개의 모델 중에서 하나를 선택할 수 있다. 복수 개의 모델에는 가상 카메라의 팬, 틸트, 줌 효과를 얻기 위해 사용될 수 있는 타원체(Ellipsoid) 모델, 광각 영상 생성을 위한 실린더(Cylinder) 모델, 영상의 일정 부부만을 매핑한 효과를 얻기 위한 포물면 모델, 그리고 사용자가 임의로 설정할 수 있는 사용자 2차 곡면 모델을 포함할 수 있다. 2차 곡면 모델 선택 시에는 각 모델에 적합한 파라미터를 같이 설정할 수 있다. 설정된 2차 곡면 모델은 4x4 행렬(

)로 표현될 수 있고, 설정된 자세 및 위치에 따라 장면 좌표계상의 2차 곡면 모델(

)로 변환될 수 있다.

다음으로 광각 카메라로 촬영한 영상에 포함되어 있는 왜곡을 제거하기 위한 카메라 투영 모델을 생성(S330)할 수 있다. 영상에 포함되어 있는 왜곡을 제거하기 위하여 카메라 투영 모델은 이론적으로 분석한 모델과 수치적으로 근사한 모델 등에 의하여 구해진 왜곡 보정 매핑 함수를 사용할 수 있는데, 바람직하게는 테일러 확장(Taylor expansion series) 기반의 근사 모델을 사용할 수 있다. 이와 같은 왜곡 보정 매핑 함수를 이용하여 왜곡을 제거할 수 있는 입력 영상의 한 점으로 매핑할 수 있다.

그리고 상술한 바처럼 설정된 파라미터에 따라 생성된 모델을 바탕으로 각 가상 카메라 모델의 투영선과 2차 곡면 모델의 교차점을 계산(S340)한다. 여기서 투영선은 각 가상 카메라의 광축 중심과 각 가상 카메라의 시점에서 보여지는 영상의 한 점을 잇는 직선이다. 즉, 각 가상 카메라에서 보여지는 영상을 생성하기 위하여 각 가상 카메라에서 보여지는 영상의 한 점(픽셀)에 입력 영상의 어느 한 점(픽셀)을 매핑시켜야 하는데 그 1 단계 작업으로서 투영선과 2차 곡면 모델의 교차점을 계산하는 것이다. 그리고 상기 교차점을 다시 왜곡 보정 매핑 함수를 포함하는 카메라 투영 모델을 이용하여 입력 영상의 한 점으로 매핑하여 각 가상 카메라별로 영상을 생성하여 다중 뷰를 생성(S350)한다. 이때의 입력 영상의 한 점은 입력 영상에 포함되어 있는 왜곡을 제거할 수 있는 점이다. 각 가상 카메라별로 서로 다른 교차점이 생성될 수 있고, 각 교차점 별로 또한 매핑되는 입력 영상의 점들은 다를 수 있다. 그러면 각 가상 카메라별로 설정된 파라미터에 따른 영상을 획득할 수 있고, 이렇게 획득한 영상을 분할된 화면의 특정 위치를 차지하도록 합성함으로써 최종 다중 뷰 영상을 생성할 수 있다.

도 25는 본 발명의 일 실시 예에 따른 광각 카메라용 다중 뷰 영상 생성 장치의 운용 방식을 도시한 도면이다.

도 25를 참조하면, 광각 카메라용 다중 뷰 영상 생성 장치가 파노라마 뷰 영상을 생성하도록 할 수 있는 제1 파리미터를 생성(S410)할 수 있다. 이렇게 생성된 제1 파라미터는 저장장치에 저장되어 있을 수 있다. 이때 파노라마 뷰 영상에는 다중 뷰 영상 생성 장치가 장착된 사무실 또는 사업장 전체가 파노라마 형태로 포함될 수 있다. 그리고 파노라마 뷰 영상 내에서 하나 이상의 관심영역을 설정(S420)할 수 있다. 관심 영역들은 사무실 또는 사업장 내에서 움직임이 발생하는 부분들이 될 수 있고, 복도, 출입문, 창문 등을 포함하는 영역일 수도 있고, 실외의 도로, 보도, 건물 출입문 등을 포함하는 영역일 수 있다. 그리고 설정된 각 관심영역을 하나의 가상 카메라와 대응시켜, 하나의 가상 카메라가 대응되는 관심영역에 대한 영상을 생성할 수 있도록 하는 제2 파라미터를 생성(S430)할 수 있다.

그리고 시나리오에 따라 설정된 파라미터를 적용(S440)할 수 있다. 시나리오의 일 실시 예로, 파노라마 뷰 영상과 nxn 다중 뷰 영상이 주기적으로 화면에 출력되도록 할 수 있다. 예를 들면 10초마다 파노라마 뷰 영상과 2x2 다중 뷰 영상이 화면에 출력되도록 할 수 있다. 그러면 단계(S410)에서 설정된 파라미터를 적용하여 파노라마 뷰 영상을 생성하고, 10초 후에는 단계(S430)에서 설정된 파라미터를 적용하여 2x2 다중 뷰 영상을 생성하여 화면에 출력되도록 할 수 있다. 특히 2x2 다중 뷰 영상의 경우에는 출력될 때마다 다른 관심영역에 표시되도록 파라미터를 설정할 수도 있다. 일 실시 예로서, 단계(S420)에서 10개의 관심영역을 설정하고, 단계(S430)에서 상기 10개의 관심영역에 대한 영상을 생성할 수 있도록 10개의 가상 카메라에 대한 파라미터를 설정할 수 있다. 그리고 단계(S440)에서는 단계(S430)에서 설정된 파라미터를 적용하면서 또한, 10개의 가상 카메라가 생성한 영상 중 4개의 영상을 선택 조합하여 2x2 다중 뷰 영상을 생성하도록 파라미터를 설정할 수 있다. 또한, 서로 다른 시간에는 서로 다른 4개의 영상을 선택하여 조합할 수도 있다.

또한, 특정 이벤트가 발생한 경우에는 실시간으로 이벤트가 발생한 관심영역이 출력되도록 파라미터를 설정(S450)할 수 있다. 일 실시 예로 움직임 검출기에 의하여 움직임이 검지되는 이벤트가 발생하는 경우 움직임이 검지된 관심영역을 출력되는 영상에 포함하도록 파라미터를 설정할 수 있다.

상술한 것처럼 본 발명에서 제시하는 광각 카메라용 다중 뷰 영상 생성 장치는 사용자의 의도에 따라 또는 자동으로 움직임을 감지하거나 물체를 추적함에 따라 다양한 다중 뷰를 생성할 수 있으며 이에 의해 사무실 또는 사업장을 감시하기 위한 값싸고 효율적인 방법 및 장치를 제공할 수 있을 것이다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 광각 카메라
200: 전처리부
300: 저장부
400: 후처리부
500: 주처리부
600: 입력부
700: 임의시점 영상생성부
710: 가상 카메라 모델부
720: 2차곡면 모델부
730: 카메라 투영 모델부
800: 화면부

Claims (26)

1. 광각 카메라용 다중 뷰 영상 생성 장치로서,
   영상을 촬영하는 광각 카메라;
   상기 광각 카메라에서 촬영한 영상을 입력 영상으로 하고, 하나 이상의 가상 카메라 모델을 이용하여 상기 입력 영상으로부터 각 가상 카메라 모델별로 설정된 시점에 따른 영상을 생성하고 합성하여 다중 뷰 영상을 생성하는 임의시점 영상생성부;
   상기 임의시점 영상생성부가 상기 다중 뷰 영상을 생성하도록 상기 하나 이상의 가상 카메라 모델에 포함되는 가상 카메라의 수 및 각 가상 카메라의 시점을 포함하는 상기 임의시점 영상생성부의 파라미터들을 설정하는 처리부; 및
   상기 임의시점 영상생성부에서 생성한 상기 다중 뷰 영상을 출력하는 화면부;를 포함하고,
   상기 처리부는,
   사용자가 입력하는 정보에 따라 상기 파라미터들을 설정하는 매뉴얼 모드;
   상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우에 움직임이 검출된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 움직임 감지 모드;
   상기 광각 카메라에서 촬영한 영상 내의 물체를 자동 추적하면서 상기 물체가 존재하는 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 자동 추적 모드; 및
   미리 설정해 놓은 시나리오에 따라 정해진 시간에 설정된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 시나리오 모드; 중 하나의 모드에 따라 상기 임의시점 영상생성부의 파라미터들을 설정하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
2. 제1항에 있어서,
   상기 광각 카메라에서 촬영한 영상 및 상기 임의시점 영상생성부에서 생성한 다중 뷰 영상 중 적어도 하나를 저장하는 저장부를 더 포함하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
3. 제2항에 있어서, 상기 저장부는,
   상기 광각 카메라에서 촬영한 영상을 저장하는 경우,
   상기 광각 카메라에서 촬영한 영상 중 필요 없는 부분을 마스킹(masking)하여 예외 처리하고, 예외 처리된 영상을 압축하여 저장하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
4. 제2항에 있어서, 상기 저장부는,
   상기 임의시점 영상생성부에서 생성한 다중 뷰 영상을 저장하는 경우,
   상기 다중 뷰 영상을 생성하기 위해 설정된 상기 임의시점 영상생성부의 파라미터들을 함께 저장하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
5. 삭제
6. 제2항에 있어서, 상기 처리부는,
   전처리부, 후처리부, 및 주처리부를 포함하고,
   상기 전처리부는 상기 광각 카메라가 촬영한 영상을 수신하고, 수신한 영상에 대하여 불량 픽셀의 값 보정(Defect correction), 잡음 제거(Noise Reduction), 및 광역 보정(Wide Dynamic Range) 중의 적어도 하나를 수행하는 전처리 과정을 통해 전처리 영상을 생성하고, 상기 전처리 영상을 상기 후처리부로 전달하고,
   상기 후처리부는 상기 전처리부로부터 수신한 상기 전처리 영상에 대하여 밝기 및 색상 신호 분리, 경계부 개선(Edge Enhancement), 감마 보정(Gamma Correction), 색상 보정(Color Correction), 밝기 개선(Contrast Enhancement) 중의 적어도 하나를 포함하는 후처리 과정을 수행하여 후처리 영상을 생성하고,, 상기 후처리 영상에서 움직임을 감지하는 움직임 검출기 및 물체를 추적하는 물체 추적기 중 적어도 하나를 포함하고 상기 움직임 검출기에서 획득한 움직임 정보 및 상기 물체 추적기에 획득한 물체 추적 정보 중 적어도 하나를 생성하고,
   상기 주처리부는 상기 매뉴얼 모드, 움직임 감지 모드, 자동 추적 모드, 및 시나리오 모드 중 하나의 모드에 따라 상기 임의시점 영상생성부의 파라미터를 설정하고, 상기 움직임 감지 모드 또는 상기 자동 추적 모드에서는 상기 후처리부에서 생성한 상기 움직임 정보 또는 상기 추적 정보를 바탕으로 상기 임의시점 영상생성부의 파라미터를 설정하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
7. 제6항에 있어서,
   상기 전처리부는,
   상기 수신한 영상으로부터 상기 광각 카메라의 자동 색온도 보정(Auto White Balance), 자동 노출(Auto Exposure), 및 자동 초점(Auto Focus) 중 적어도 하나와 연관된 정보를 추출하여 상기 주처리부로 전달하고,
   상기 주처리부는,
   상기 전처리부로부터 수신한 자동 색온도 보정, 자동 노출, 및 자동 초점 중 적어도 하나와 연관된 정보를 바탕으로 상기 광각 카메라를 제어하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
8. 제7항에 있어서, 상기 주처리부는,
   상기 광각 카메라를 제어하기 위한 파라미터로 셔터 속도(Shutter speed), 색상 이득값(color gains), 영상해상도, 프레임 레이트 중 적어도 하나를 사용하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
9. 제6항에 있어서, 상기 후처리부는,
   상기 저장부가 있는 경우, 상기 후처리 영상을 비디오 코덱을 이용하여 압축하여 상기 저장부로 전달하는,
   광각 카메라용 다중 뷰 영상 생성 장치.
10. 제1항에 있어서, 상기 임의시점 영상생성부는,
    상기 처리부에 의해 설정되는 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 가상 카메라 모델부;
    상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라에 의해 촬영된 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 제공하는 2차 곡면 모델부; 및
    상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델을 제공하는 카메라 투영 모델부;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 장치.
11. 제10항에 있어서,
    상기 카메라 투영 모델부는,
    상기 가상 카메라 모델부의 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하고,
    상기 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑함으로써,
    상기 각 가상 카메라별 출력 영상과 상기 입력 영상 간의 매핑을 수행하는,
    광각 카메라용 다중 뷰 영상 생성 장치.
12. 제1항에 있어서,
    상기 다중 뷰 영상은
    상기 광각 카메라가 촬영하는 전체 영역을 파노라마 형식으로 출력하는 파노라마 뷰 영상;
    상기 화면부를 2x2 또는 3x3으로 분할하고, 각 분할된 화면에는 상기 광각 카메라가 촬영하는 전체 영역 중 서로 다른 관심 영역을 출력하는 nxn 다중 뷰 영상; 및
    상기 화면부 전체에 상기 광각 카메라가 촬영하는 전체 영역 중 설정된 하나의 관심 영역만을 출력하는 단일 뷰 영상; 중 하나인,
    광각 카메라용 다중 뷰 영상 생성 장치.
13. 광각 카메라용 다중 뷰 영상 생성 방법에 있어서,
    광각 카메라로 영상을 촬영하는 단계;
    상기 광각 카메라가 촬영한 영상을 입력 영상으로 하고, 하나 이상의 가상 카메라 모델을 이용하여 상기 입력 영상으로부터 각 가상 카메라 모델 별로 설정된 시점에 따른 영상을 생성하고 합성하여 다중 뷰 영상을 생성하기 위하여 상기 하나 이상의 가상 카메라 모델에 포함되는 가상 카메라의 수 및 각 가상 카메라의 시점을 포함하는 파라미터들을 설정하는 단계;
    상기 설정된 파라미터에 따라 상기 입력 영상을 바탕으로 상기 다중 뷰 영상을 생성하는 단계; 및
    생성된 상기 다중 뷰 영상을 화면으로 출력하는 단계;를 포함하고,
    상기 파라미터들을 설정하는 단계는,
    사용자가 입력하는 정보에 따라 상기 파라미터들을 설정하는 매뉴얼 모드 단계;
    상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우에 움직임이 검출된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 움직임 감지 모드 단계;
    상기 광각 카메라에서 촬영한 영상 내의 물체를 자동 추적하면서 상기 물체가 존재하는 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 자동 추적 모드 단계; 및
    미리 설정해 놓은 시나리오에 따라 정해진 시간에 설정된 영역에 대한 다중 뷰 영상을 제공하도록 상기 파라미터들을 설정하는 시나리오 모드 단계; 중 하나의 단계에 따라 상기 파라미터들을 설정하는 단계를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
14. 제13항에 있어서,
    상기 입력 영상 및 상기 다중 뷰 영상 중 적어도 하나를 저장하는 단계;를 더 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
15. 제14항에 있어서,
    상기 입력 영상 및 상기 다중 뷰 영상 중 적어도 하나를 저장하는 단계는,
    상기 입력 영상을 저장하는 경우,
    상기 입력 영상 중 필요 없는 부분을 마스킹하여 예외 처리하고, 예외 처리된 영상을 압축하여 저장하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
16. 제14항에 있어서,
    상기 입력 영상 및 상기 다중 뷰 영상 중 적어도 하나를 저장하는 단계는,
    상기 다중 뷰 영상을 저장하는 경우,
    상기 다중 뷰 영상을 생성하기 위해 상기 파라미터들을 설정하는 단계에서 설정된 파라미터들을 함께 저장하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
17. 삭제
18. 제13항에 있어서,
    상기 움직임 감지 모드 단계는,
    상기 광각 카메라에서 촬영한 영상 내에서 움직임이 검출되는 경우 움직임 영역 정보를 획득하는 단계;
    상기 움직임 영역 정보를 바탕으로 다중 뷰 영상으로 생성하기 위한 움직임 영역을 선택하는 단계; 및
    선택한 상기 움직임 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
19. 제13항에 있어서,
    상기 자동 추적 모드 단계는,
    상기 광각 카메라에서 촬영한 영상 내에서 추적하고자 하는 물체를 설정하는 단계;
    상기 추적하고 하는 물체에 대한 추적 정보를 획득하는 단계;
    상기 추적 정보를 바탕으로 다중 뷰 영상으로 생성하기 위한 추적 영역을 계산하는 단계; 및
    계산된 상기 추적 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
20. 제13항에 있어서,
    상기 시나리오 모드 단계는,
    하나 이상의 시나리오를 설정하는 단계;
    상기 하나 이상의 시나리오 중 하나의 시나리오를 선택하는 단계;
    선택된 상기 시나리오에 따라 다중 뷰 영상으로 생성하기 위한 관심 영역을 계산하는 단계; 및
    계산된 상기 관심 영역을 다중 뷰 영상에 포함되도록 하는 상기 파라미터들을 계산하고 설정하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
21. 제13항에 있어서,
    상기 설정된 파라미터에 따라 상기 입력 영상을 바탕으로 상기 다중 뷰 영상을 생성하는 단계는,
    상기 설정된 파라미터에 따라 각각의 시점 및 유형을 가지는 하나 이상의 가상 카메라를 모델링하는 단계;
    상기 하나 이상의 가상 카메라의 각 가상 카메라에 의해 보여지는 영상인 출력 영상과 상기 광각 카메라가 촬영한 영상인 입력 영상 간에 매핑 시 영상 효과를 추가하기 위하여 사용되는 2차 곡면을 모델링하는 단계;
    상기 입력 영상에 포함되어 있는 왜곡을 제거하면서 각 가상 카메라별 상기 출력 영상과 입력 영상 간의 매핑을 수행하도록 하는 카메라 투영 모델 생성 단계;
    상기 각 가상 카메라의 광축 중심과 출력 영상 상의 한 점을 연결하는 직선인 투영선과 상기 2차 곡면의 교차점을 계산하는 단계; 및
    상기 각 가상 카메라에 대한 교차점을 상기 입력 영상에 포함되어 있는 왜곡을 제거하기 위한 왜곡 보정 매핑 함수를 이용하여 상기 입력 영상 상의 한 점으로 매핑하는 단계;를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 방법.
22. 제13항에 있어서,
    상기 다중 뷰 영상은
    상기 광각 카메라가 촬영하는 전체 영역을 파노라마 형식으로 출력하는 파노라마 뷰 영상;
    상기 화면을 2x2 또는 3x3으로 분할하고, 각 분할된 화면에는 상기 광각 카메라가 촬영하는 전체 영역 중 서로 다른 관심 영역을 출력하는 nxn 다중 뷰 영상; 및
    상기 화면 전체에 상기 광각 카메라가 촬영하는 전체 영역 중 설정된 하나의 관심 영역만을 출력하는 단일 뷰 영상; 중 하나인,
    광각 카메라용 다중 뷰 영상 생성 방법.
23. 제1항 또는 제2항에 따른 광각 카메라용 다중 뷰 영상 생성 장치의 운용 방법으로서
    상기 광각 카메라용 다중 뷰 영상 생성 장치가 파노라마 뷰 영상을 생성하도록 하는 제1 파라미터를 생성하는 단계;
    상기 파노라마 뷰 영상 내의 하나 이상의 관심 영역을 설정하는 단계;
    상기 하나 이상의 관심 영역의 각 관심 영역에 대응하는 가상 카메라가 상기 각 관심 영역에 대한 영상을 생성하도록 하는 제2 파라미터를 생성하는 단계;
    미리 설정된 시나리오에 따라 생성한 상기 제1 파라미터 또는 상기 제2 파라미터 중 하나를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계; 를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 장치의 운용 방법.
24. 제23항에 있어서,
    미리 설정된 시나리오에 따라 생성한 상기 제1 파라미터 또는 상기 제2 파라미터 중 하나를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계는,
    주기적으로 파노라마 뷰 영상과 상기 하나 이상의 관심영역에 대한 영상 중 일부의 관심영역에 대한 영상을 포함하는 nxn 다중 뷰 영상이 화면에 출력되도록 주기적으로 상기 제1 파라미터 또는 상기 제2 파라미터를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 장치의 운용 방법.
25. 제23항에 있어서,
    미리 설정된 시나리오에 따라 생성한 상기 제1 파라미터 또는 상기 제2 파라미터 중 하나를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계는,
    움직임 발생 또는 추적하여야 할 물체 설정과 같은 이벤트가 발생하는 경우 이벤트가 발생한 관심영역이 화면에 출력되도록 상기 제2 파라미터를 상기 광각 카메라용 다중 뷰 영상 생성 장치에 적용하는 단계를 포함하는,
    광각 카메라용 다중 뷰 영상 생성 장치의 운용 방법.
26. 삭제

Images