KR102520118B1 - 복수의 비디오 이미지를 조합하여 파노라마 비디오 이미지를 생성하고, 생성된 파노라마 비디오 이미지에 기초하여 분리된 비디오 이미지를 생성하기 위한 장치 및 방법 - Google Patents

Abstract

전술한 바와 같은 과제를 실현하기 위한 본 개시의 다양한 실시예에 따른 복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치가 개시된다. 상기 컴퓨팅 장치는, 상기 복수의 비디오 이미지를 획득하는 복수의 비디오 카메라를 포함하는 비디오 카메라부, 상기 비디오 카메라부로부터 상기 복수의 비디오 이미지를 수신하여 저장하는 메모리, 입력 및 출력에 관한 도구(tools)들을 포함하는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 디스플레이하는 디스플레이부 및 상기 복수의 비디오 이미지들을 조합하여 하나의 파노라마 비디오 이미지를 생성하는 프로세서를 포함하고, 상기 도구들은, 상기 복수의 비디오 카메라 중 적어도 둘 이상의 특정 인접한 비디오 카메라들에 대한 클라이언트의 선택 입력을 수신하기 위한 선택 블록, 상기 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 나타내기 위하여 임의의 영역에 대한 클라이언트의 선택 입력을 수신하기 위한 관심 영역 선택 블록 및 상기 복수의 비디오 이미지 또는 상기 파노라마 비디오 이미지를 디스플레이하는 디스플레이 블록을 포함하고, 상기 프로세서는, 상기 선택 블록을 통해 선택된 상기 둘 이상의 특정 인접한 비디오 카메라 각각으로부터 복수의 비디오 이미지를 수신하고, 수신된 상기 복수의 비디오 이미지들을 상기 파노라마 비디오 이미지로 조합하기 위해 필요한 초기 변환을 설정하고, 상기 인접 비디오 카메라 각각의 비디오 이미지들 중 서로 시간적으로 대응하는 비디오 이미지들에 대해 상기 초기 변환을 수행하고, 상기 변환이 수행된 비디오 이미지들 외에 다른 이미지들에 대한 후속 변환을 수행하여 상기 복수의 비디오 이미지를 파노라마 비디오 이미지로 조합하고, 상기 디스플레이 블록에 포함된 하나의 비디오 카메라 레이아웃 셀에 상기 파노라마 비디오 이미지를 디스플레이할 것을 결정하고, 상기 관심 영역 선택 블록을 통해 상기 파노라마 비디오 이미지 내에서 상기 분리된 비디오 이미지를 나타내기 위한 임의의 관심 영역에 대한 클라이언트의 선택 입력을 수신하는 경우, 상기 디스플레이 블록에 포함된 다른 하나의 비디오 카메라 레이아웃 셀에 상기 분리된 비디오 이미지를 디스플레이할 것을 결정할 수 있다.

Description

복수의 비디오 이미지를 조합하여 파노라마 비디오 이미지를 생성하고, 생성된 파노라마 비디오 이미지에 기초하여 분리된 비디오 이미지를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A PANORAMIC VIDEO IMAGE BY COMBINING MULTIPLE VIDEO IMAGES, AND GENERATING A SEPERATED VIDEO IMAGE BASED ON THE GENERATED PANORAMIC VIDEO IMAGE}

본 개시는 비디오 감시 시스템에 의해 수신된 비디오 이미지의 처리에 관한 것으로, 보다 구체적으로, 복수의 카메라를 통해 획득되는 복수의 비디오 이미지 또는 그 일부의 후속 분석을 위해 여러 비디오 이미지를 조합하여 파노라마 비디오 이미지를 생성하는 기술에 관한 것이다.

일반적으로 영상 감시 시스템은 특정 위치에 하나 이상의 카메라를 설치하고, 다른 장소에서 특정 위치에 설치된 카메라를 통해 획득한 영상을 표시하여 특정 위치를 감시하는 시스템을 말한다. 이러한 영상 감시 시스템은 영상 정보의 특징을 기반으로 영상 데이터를 저장하여 사건이 발생할 경우 빠르게 상황을 검색하고 효율적인 데이터 관리를 할 수 있도록 지원한다. 예컨대, 영상 감시 시스템은 영상 카메라의 정보를 디지털화하여 사전에 정의한 패턴 분석에 따라 사물의 위치 및 패턴을 분석하고 침입 및 사고가 발생하는 경우, 경보, 차단 시스템 작동 및 보안 담당장에게 알림 정보를 제공할 수 있다.

오늘날, 보안 업계와 고객의 인식 제고로 인해 영상 감시 시스템 구축에 대한 요구가 높아지고 있으며, 국내에서도 최근들어 화재 및 강력범죄 등의 증가에 따라 감시 예방차원에서 영상 감시 시스템의 적용이 확대되고 있다.

이와 함께 영상 감지 기술은 CCTV 카메라, 디지털 저장장치 영상 분석 및 인식 기술들의 발전과 시장확대로 보다 진화된 기술 개발을 요구하고 있는 실정이다.

다만, 이러한 영상 감시 시스템을 활용하여 광활한 영역에 대한 모니터링(또는, 감시)을 수행하고자 하는 경우, 복수의 카메라를 통해 각 영역의 영상 데이터를 수집하여 이웃한 레이아웃을 통해 표시하더라도 전체 영역의 상황을 살피기에는 어려움이 있다. 예를 들어, 공항 감시 시스템은 복수의 카메라를 통해 영역 전체에 대한 시야를 확보할 수 있다. 이 경우, 각 카메라들은 서로 중첩된 시야를 갖도록 구비되어 전체 영역에 대한 영상 데이터를 획득할 수 있다. 다만, 광범위한 추적 영역에서 각 카메라로부터 수집된 영상 데이터를 비교하여 특정 행동이나 상황을 살피기에는 어려움이 있다. 예컨대, 영상 분석 과정에서 인식 오류 확률이 증가할 수 있으며, 각 영상을 비교하고자 하는 작업자의 피로도를 향상시킬 수 있다. 즉, 일관된 시야의 부족으로 인해 작업자의 모니터링 피로가 누적되거나, 특정 이벤트에 대한 응답 시간이 늦어짐에 따라 객체 및 상황 감지 효율이 저하될 우려가 있다.

따라서, 당 업계에는 보다 효율적인 모니터링을 위해 각 카메라로부터 획득한 개별 비디오 스트림을 파노라마 비디오로 결합하여 인식 오류 가능성을 줄이고 정확한 이벤트를 분석하기 위한 영상 감지 기술에 대한 수요가 존재할 수 있다.

공개특허공보 제10-2012-0114050호(2012.10.16)

본 개시가 해결하고자 하는 과제는 상술한 문제점을 해결하기 위한 것으로서, 복수의 비디오 이미지를 조합하여 파노라마 비디오 이미지 생성하는 것이다. 또한, 본 개시는 조합/파노라마 비디오 이미지 기반으로 특정 기능을 갖는 특정 블록을 포함하는 그래픽 사용자 인터페이스를 통한 비디오 감시 시스템을 제공하여 보다 편리하고 효율적인 작업 환경을 제공할 수 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 다양한 실시예에 따른 복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치가 개시된다. 상기 컴퓨팅 장치는, 상기 복수의 비디오 이미지를 획득하는 복수의 비디오 카메라를 포함하는 비디오 카메라부, 상기 비디오 카메라부로부터 상기 복수의 비디오 이미지를 수신하여 저장하는 메모리, 입력 및 출력에 관한 도구(tools)들을 포함하는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 디스플레이하는 디스플레이부 및 상기 복수의 비디오 이미지들을 조합하여 하나의 파노라마 비디오 이미지를 생성하는 프로세서를 포함하고, 상기 도구들은, 상기 복수의 비디오 카메라 중 적어도 둘 이상의 특정 인접한 비디오 카메라들에 대한 클라이언트의 선택 입력을 수신하기 위한 선택 블록, 상기 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 나타내기 위하여 임의의 영역에 대한 클라이언트의 선택 입력을 수신하기 위한 관심 영역 선택 블록 및 상기 복수의 비디오 이미지 또는 상기 파노라마 비디오 이미지를 디스플레이하는 디스플레이 블록을 포함하고, 상기 프로세서는, 상기 선택 블록을 통해 선택된 상기 둘 이상의 특정 인접한 비디오 카메라 각각으로부터 복수의 비디오 이미지를 수신하고, 수신된 상기 복수의 비디오 이미지들을 상기 파노라마 비디오 이미지로 조합하기 위한 초기 변환─상기 초기 변환은, 비디오 이미지들의 밝기 조정 및 대비 조정 중 적어도 하나를 포함함─을 설정하고, 상기 인접 비디오 카메라 각각의 비디오 이미지들 중 서로 시간적으로 대응하는 비디오 이미지들에 대해 상기 초기 변환을 수행하고, 상기 변환이 수행된 비디오 이미지들 외에 다른 이미지들에 대한 후속 변환을 수행하여 상기 복수의 비디오 이미지를 파노라마 비디오 이미지로 조합하고, 상기 디스플레이 블록에 포함된 하나의 비디오 카메라 레이아웃 셀에 상기 파노라마 비디오 이미지를 디스플레이할 것을 결정하고, 상기 관심 영역 선택 블록을 통해 상기 파노라마 비디오 이미지 내에서 상기 분리된 비디오 이미지를 나타내기 위한 임의의 관심 영역에 대한 클라이언트의 선택 입력을 수신하는 경우, 상기 디스플레이 블록에 포함된 다른 하나의 비디오 카메라 레이아웃 셀에 상기 분리된 비디오 이미지를 디스플레이할 것을 결정하며, 상기 파노라마 비디오 이미지 또는 상기 파노라마 비디오 이미지의 일 영역에 대응하는 상기 분리된 비디오 이미지를 외부 장치로 전송하는 것을 특징으로 할 수 있다.

대안적인 실시예에서, 상기 프로세서는, 상기 적어도 둘 이상의 특정 인접 카메라 각각으로부터 수신한 복수의 비디오 이미지들 중 시간적으로 대응하는 비디오 이미지들을 하나의 쌍으로하여 연속적인 조합을 수행함으로써, 상기 복수의 비디오 이미지를 조합하여 상기 파노라마 비디오 이미지를 생성할 수 있다.

대안적인 실시예에서, 상기 프로세서는, 상기 적어도 둘 이상의 특정 인접 카메라들로부터 동기적으로 수신된 각각의 비디오 이미지에서 제1 로컬 포인트에 대한 검색을 수행하며, 상기 제1 로컬 포인트는, 상기 적어도 둘 이상의 특정 인접 카메라들로부터 수신되는 복수의 비디오 이미지들에 대한 상기 후속 변환을 위해 비교되는 포인트일 수 있다.

대안적인 실시예에서, 상기 초기 변환 및 후속 변환 중 적어도 하나는, 비디오 이미지의 밝기 조정 및 비디오 이미지의 대비 조정 중 적어도 하나를 포함할 수 있다.

대안적인 실시예에서, 상기 적어도 둘 이상의 특정 인접 카메라들은, 서로 상이한 프레임 레이트(frame rate)를 가지며, 상기 적어도 둘 이상의 특정 인접 카메라 각각으로부터 수신된 비디오 이미지는, 서로 다른 해상도(display resolution)를 갖는 것을 특징으로 할 수 있다.

본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 개시의 다양한 실시예에 따라, 복수의 카메라로부터 획득되는 복수의 비디오 이미지에 기반하여 일관된 시야를 갖는 파노라마 비디오 이미지를 제공하여 감시(또는 감지)의 효율을 향상시키는 효과를 제공할 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 다양한 실시예에 따른 복수의 비디오 이미지에 대한 조합을 수행하여 파노라마 비디오 이미지를 생성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 2는 본 개시의 일 실시예와 관련된 복수의 비디오 이미지에 대한 조합을 수행하여 파노라마 비디오 이미지를 생성하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 3은 본 개시의 일 실시예와 관련된 그래픽 유저 인터페이스의 구성을 예시적으로 나타낸 예시도를 도시한다.
도 4는 본 개시의 일 실시예와 관련된 복수의 비디오 이미지, 파노라마 비디오 이미지 및 분리된 비디오 이미지를 하나 이상의 비디오 카메라 레이아웃 셀을 통해 디스플레이하는 방법을 예시적으로 나타낸 예시도를 도시한다.
도 5는 본 개시의 일 실시예와 관련된 파노라마 비디오 이미지 방법을 제공하기 위한 방법의 단계를 예시적으로 도시한 순서도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 개시의 다양한 실시예에 따른 복수의 비디오 이미지에 대한 조합을 수행하여 파노라마 비디오 이미지를 생성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.

도 1에 도시된 바와 같이, 시스템은 컴퓨팅 장치(100)는, 클라이언트 단말(10), 외부 서버(20) 및 네트워크를 포함할 수 있다. 전술한 시스템을 구성하는 컴포넌트들은 예시적인 것으로서, 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다. 본 개시의 실시예들에 따른 컴퓨팅 장치(100), 클라이언트 단말(10) 및 외부 서버(20)는 네트워크를 통해 본 개시의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.

본 개시의 일 실시예에 따르면, 네트워크는 본 개시의 일 실시예에 따른 이미지 데이터, 복수의 비디오 이미지 및 파노라마 비디오 이미지 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크는 시스템과 클라이언트 단말 및 외부 서버 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크는 외부 서버(예컨대, 보안 서버)로 파노라마 비디오 이미지를 전송하거나, 클라이언트 단말로부터 복수의 비디오 카메라 중 적어도 둘 이상의 특정 카메라에 대한 사용자의 선택 입력에 관한 정보를 수신할 수 있다. 추가적으로, 네트워크는 컴퓨팅 장치(100)로 프로시저를 호출하는 방식으로 컴퓨팅 장치(100)와 클라이언트 단말(10) 또는 외부 서버(20) 간의 정보 전달을 허용할 수 있다.

본 개시의 실시예들에 따른 네트워크는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.

또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.

본 개시의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.

본 개시의 컴퓨팅 장치(100)는 특정 영역을 모니터링하고자 하는 클라이언트에 관련한 단말에게 네트워크를 통해 정보를 제공하는 컴퓨팅 장치일 수 있다. 컴퓨팅 장치(100)는 복수의 비디오 이미지를 획득할 수 있으며, 획득한 복수의 비디오 이미지에 기반하여 파노라마 비디오 이미지를 생성할 수 있다. 이 경우, 복수의 비디오 이미지는, 서로 상이한 각도에서 복수의 비디오 카메라 각각을 통해 획득한 비디오 이미지들 일 수 있다. 구체적으로, 컴퓨팅 장치(100)는 서로 상이한 시야를 갖는 각각의 비디오 카메라로부터 획득된 복수의 비디오 이미지를 조합하여 파노라마 비디오 이미지를 생성할 수 있다. 이 경우, 복수의 비디오 카메라 각각은 인접한 비디오 카메라과 일부 중첩된 영역의 비디오 이미지를 획득하도록 구비될 수 있다. 파노라마 비디오 이미지는, 사용자가 보는 시야각 이상의 화각을 복수의 카메라를 통해 동시에 촬영하고, 촬영된 이미지들의 결합을 통해 보다 넓은 시야각을 확보(예컨대, 360도 방향의 시야)하기 위한 비디오 이미지일 수 있다. 예컨대, 파노라마 비디오 이미지는 위에서 바라본 합성된 원형 뷰(circular view)에 관련한 비디오 이미지일 수 있다. 즉, 컴퓨팅 장치(100)는 복수의 카메라를 통해 획득한 비디오 이미지에 기반하여 파노라마 비디오 이미지를 생성함으로써, 다양한 영역에 관련하여 보다 넓은 시야를 제공할 수 있다. 이에 따라, 클라이언트는 특정 영역의 상황을 파악하기 위해 각 카메라에 대응하는 비디오 이미지들 간의 비교를 수행할 필요없이, 하나의 파노라마 비디오 이미지를 통해 해당 영역에 상황을 보다 용이하게 파악할 수 있어, 편의성을 제공받을 수 있다.

또한, 컴퓨팅 장치(100)는 생성된 파노라마 비디오 이미지에 대한 비디오 분석을 수행할 수 있다. 비디오 분석은, 메타 데이터에 기반한 하나 이상의 검색을 포함할 수 있다. 하나 이상의 검색은, 비디오 이미지 내에 존재하는 오브젝트에 관련한 검색을 의미하는 것으로, 예를 들어, 안면 검색, 차량 등록 번호 검색, 특정 오브젝트 검색, 오브젝트의 움직임 검색, 특정 이벤트 검색 등을 포함할 수 있다. 다만 본 개시의 컴퓨팅 장치(100)가 수행하는 비디오 분석은 이에 제한되지 않으며, 비디오 이미지에 관련한 보다 다양한 분석을 더 포함할 수도 있다.

예컨대, 광범위한 영역에 대한 모니터링을 위하여 해당 영역을 관찰하기 위한 복수의 카메라가 구비될 수 있으며, 복수의 카메라 각각을 통해 복수의 비디오 이미지를 획득할 수 있다. 이 경우, 모니터링을 위하여 해당 영역의 복수의 비디오 이미지에 대한 비디오 분석이 수행될 수 있다. 다만, 획득된 복수의 비디오 이미지 각각에 대응하여 비디오 분석을 수행하는 경우, 각 비디오 이미지가 광범위한 영역 각각에서 서로 상이한 시야를 가짐에 따라 비디오 분석의 인식 오류가 증가할 우려가 있다. 즉, 본 개시의 컴퓨팅 장치(100)는, 이와 같은 우려를 해소하기 위하여, 서로 상이한 시야를 갖는 복수의 비디오 이미지를 조합하여 일관된 시야를 갖는 파노라마 비디오 이미지를 생성함으로써, 비디오 분석 과정에서의 효율 및 성능을 향상시킬 수 있다.

또한, 컴퓨팅 장치(100)는, 본 개시의 실시예들에 따른 그래픽 사용자 인터페이스(graphical user interface)를 생성할 수 있다. 그래픽 사용자 인터페이스는, 하나 이상의 비디오 카메라 레이아웃 셀을 포함할 수 있다. 하나 이상의 비디오 카메라 레이아웃 셀 각각은, 다양한 비디오 이미지를 표시하기 위하여 구분된 영역일 수 있다. 다양한 비디오 이미지는 예를 들어, 복수의 비디오 이미지, 복수의 비디오 이미지에 기반하여 생성된 파노라마 비디오 이미지 및 파노라마 비디오 이미지의 특정 관심 영역에 관한 분리된 비디오 이미지 중 적어도 하나를 포함할 수 있다. 하나 이상의 비디오 카메라 레이아웃 셀 각각에 표시되는 비디오 이미지는 클라이언트의 선택과 관련한 비디오 이미지일 수 있다. 예를 들어, 하나 이상의 비디오 레이아웃 셀 중 제 1 비디오 레이아웃 셀은 제 1 비디오 카메라를 통해 획득된 제 1 비디오 이미지들을 디스플레이할 수 있으며, 제 2 비디오 레이아웃 셀은 제 1 비디오 카메라와 인접한 제 2 비디오 카메라를 통해 획득된 제 2 비디오 이미지들을 디스플레이할 수 있고, 그리고 제 3 비디오 레이아웃 셀은 제 1 비디오 이미지들 및 제 2 비디오 이미지들의 조합을 통해 생성된 파노라마 비디오 이미지들을 디스플레이할 수 있다. 전술한 하나 이상의 비디오 레이아웃 셀 각각에 표시되는 비디오 이미지들에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.

즉, 그래픽 사용자 인터페이스는, 하나 이상의 비디오 레이아웃 셀을 통해 클라이언트의 선택에 관련한 다양한 비디오 이미지들을 동시에 디스플레이함으로써, 클라이언트로 하여금 특정 영역에 대응한 다양한 시야의 영상을 모니터링하도록 할 수 있다. 이에 따라, 특정 영역을 모니터링 하는 클라이언트의 감시 효율이 향상될 수 있다.

또한, 컴퓨팅 장치(100)는 생성한 그래픽 사용자 인터페이스를 클라이언트 단말(10)로 전송할 수 있다. 이러한 경우, 클라이언트 단말(10)은 시스템에 엑세스할 수 있는 임의의 형태의 컴퓨팅 장치일 수 있다. 컴퓨팅 장치(100)는 네트워크를 통해 클라이언트 단말(10)로 그래픽 사용자 인터페이스를 전송할 수 있다.

본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 컴퓨팅 장치(100)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 태블릿, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 컴퓨팅 장치(100)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 컴퓨팅 장치(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 개시의 컴퓨팅 장치(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 개시의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.

본 개시의 일 실시예에 따르면, 클라이언트 단말(10)은 컴퓨팅 장치(100)와의 정보 교환을 통해 특정 영역에 관련한 모니터링 정보를 제공받을 수 있는 단말로, 클라이언트가 소지한 단말을 의미할 수 있다. 예컨대, 클라이언트 단말(10)은 특정 영역에서 발생할 수 있는 다양한 이벤트들을 감지하고자 하는 사용자와 관련한 단말일 수 있다. 클라이언트는 클라이언트 단말(10)을 통해 특정 영역에 관련한 파노라마 비디오 이미지에 대한 정보 및 해당 파노라마 비디오 이미지 내에서 특정 이벤트가 발생하였다는 알림 정보 등을 수신할 수 있다.

이러한 클라이언트 단말(10)은 고객 단말기(UE), 모바일, 무선 통신이 가능한 PC, 핸드폰, 키오스크, 셀룰러 폰, 셀룰러, 셀룰러 단말, 가입자 유닛, 가입자국, 이동국, 단말, 원격국, PDA, 원격 단말, 엑세스 단말, 사용자 에이전트, 셀룰러 전화, 무선 전화, 세션 개시 프로토콜(SIP) 전화, 무선 로컬 루프(WLL) 국, 무선 접속 기능을 구비하는 휴대용 장치, 무선 모델과 같은, 무선 메커니즘을 사용할 수 있는 임의의 장치 등으로 지칭될 수 있으나, 이에 한정되지는 않는다. 또한, 클라이언트 단말(10)은, 유선 팩스, 유선 모델을 구비한 PC, 유선 전화, 유선 통신이 가능한 단말 등과 같은 유선 접속 메커니즘을 사용할 수 있는 임의의 장치 등으로 지칭될 수 있으나, 이들로 한정되지는 않는다.

본 개시의 일 실시예에 따르면, 외부 서버(20)는 컴퓨팅 장치(100)와 클라이언트 환경에서 부족한 저장 공간을 용이하게 확보하기 위하여 컴퓨팅 장치(100)에 연결되는 외부 저장 장치를 의미할 수 있다. 이러한 외부 서버(20)는 네트워크에 연결된 컴퓨팅 장치(100)에 외부 저장 장치를 추가함으로써, 데이터들의 저장 공간을 확장시킬 수 있다. 예를 들어, 외부 서버(20)는 컴퓨팅 장치(100)가 획득하는 복수의 비디오 이미지들 중 적어도 일부(예컨대, 확보된 이후 일정 시간이 지난 비디오 이미지들)를 수신하여 저장할 수 있다. 외부 서버(20)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 외부 서버(20)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 외부 서버의 종류는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

이하에서는, 도 2를 참조하여 컴퓨팅 장치(100)가 복수의 비디오 이미지들을 조합하여 파노라마 비디오 이미지를 생성하는 방법 및 생성된 파노라마 비디오 이미지를 표시하는 그래픽 사용자 인터페이스에 대하여 보다 구체적으로 후술하도록 한다.

도 2는 본 개시의 일 실시예와 관련된 복수의 비디오 이미지에 대한 조합을 수행하여 파노라마 비디오 이미지를 생성하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.

도 2에 도시된 바와 같이, 컴퓨팅 장치(100)는 네트워크부(110), 디스플레이부(130), 입력부(140), 메모리(150) 및 프로세서(160)를 포함할 수 있다. 전술한 컴퓨팅 장치(100)에 포함된 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시 내용의 실시예들에 대한 구현 양태에 따라 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라이언트 단말(10) 및 외부 서버(20) 간의 데이터를 송수신하는 네트워크부(110)를 포함할 수 있다. 일 실시예에서, 네트워크부(110)는 상술한 컴포넌트가 아닌 외부 기기 또는 애플리케이션에서 입력된 정보를 수신 받을 수 있다. 외부 기기의 예시로는, PC, 휴대 단말기, 웨어러블 장치 등이 있을 수 있다. 또한, 네트워크부(110)는 비디오 카메라부(120), 디스플레이부(130), 입력부(140) 및 프로세서(160) 간의 데이터 통신의 위한 채널을 형성할 수 있다.

본 개시의 일 실시예에 따른 네트워크부(110)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.

또한, 본 명세서에서 제시되는 네트워크부(110)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.

본 개시에서 네트워크부(110)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크부(110)는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.

본 개시의 비디오 카메라부(120)는, 특정 장소에 관련한 비디오 이미지를 획득하기 위한 복수의 카메라를 포함할 수 있다. 예컨대, 비디오 카메라부(120)는 특정 영역에 대한 모니터링을 위한 복수의 비디오 이미지들을 획득하기 위하여 특정 영역에 대응하는 방향 또는 촬영 각도로 구비된 복수의 비디오 카메라를 포함할 수 있다. 이 경우, 복수의 비디오 카메라 각각은 특정 영역을 촬영(또는 모니터링)하기 위해 서로 상이한 위치 각각에서 일부 중첩된 시야를 갖도록 구비될 수 있다. 예를 들어, 서로 인접한 제 1 비디오 카메라 및 제 2 비디오 카메라 각각을 통해 획득되는 제 1 비디오 이미지들 및 제 2 비디오 이미지들은 서로 적어도 일부의 중첩 영역을 포함할 수 있다. 중첩 영역은, 제 1 비디오 이미지와 제 2 비디오 이미지에 동일하게 포함된 영역을 의미할 수 있다. 이러한 복수의 비디오 이미지는 특정 영역에서 발생할 수 있는 이벤트를 보다 용이하게 감지하기 위해, 높은 시야를 갖도록 구비될 수 있다.

본 개시의 다른 실시예에 따르면, 특정 인접 비디오 카메라 각각은 서로 상이한 프레임 레이트(frame rate)를 가질 수 있다. 프레임 레이트는, 하나의 비디오 이미지를 표시하는 속도를 의미할 수 있다. 예컨대, 서로 인접한 제 1 비디오 카메라 및 제 2 비디오 카메라의 프레임 레이트 각각은 12fps 및 25fps일 수 있다. 다시 말해, 제 1 비디오 카메라를 통해 획득한 제 1 비디오 이미지들은 1초에 12 프레임을 표시하며, 제 2 비디오 카메라를 통해 획득한 제 2 비디오 이미지들은 1초에 25 프레임을 표시할 수 있다. 인접한 카메라 각각의 프레임 레이트가 상이함에 따라 각 카메라를 통해 수신한 복수의 이미지를 조합하는 과정에서의 효율이 향상될 수 있다.

본 개시의 또 다른 실시예에 따르면, 특정 인접 비디오 카메라 각각은 서로 상이한 해상도(display resolution)를 가질 수 있다. 해상도는 비디오 이미지에 대한 화질을 의미할 수 있다. 인접한 카메라 각각의 해상도가 서로 상이함에 따라 각 카메라를 통해 수신한 복수의 이미지들을 조합하는 과정에서의 효율이 향상될 수 있다. 이 경우, 후속되는 조합 과정에서 모든 비디오 이미지의 해상도가 서로 일치되도록 변환될 수 있다.

본 개시의 일 실시예에 따르면 디스플레이부(130)는 프로세서(160)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크를 통해 수신한 임의의 형태의 정보를 출력할 수 있다.

본 개시의 일 실시예에 따르면, 디스플레이부(130)는 비디오 카메라부(120)를 통해 획득한 복수의 비디오 이미지를 디스플레이할 수 있다. 예를 들어, 디스플레이부(130)는 비디오 카메라부(120)에 포함된 복수의 비디오 카메라 중 특정 비디오 카메라로부터 획득한 복수의 이미지를 디스플레이 할 수 있다. 이 경우, 디스플레이되는 복수의 이미지는, 시점 별로 획득되는 이미지들의 조합으로, 시간의 흐름에 따른 각 비디오 이미지를 나열하여 영상화한 것을 의미할 수 있다. 즉, 디스플레이부(130)는 복수의 비디오 카메라 각각으로부터 복수의 비디오 이미지를 수신하여 디스플레이함으로써, 사용자에게 각 비디오 카메라가 촬영하는 영역에 대한 모니터링을 가능하게할 수 있다.

또한, 디스플레이부(130)는 입력 및 출력에 관한 도구들을 포함하는 그래픽 사용자 인터페이스를 디스플레이할 수 있다. 디스플레이부(130)는 도 3에 도시된 바와 같은 그래픽 사용자 인터페이스를 표시할 수 있다. 이하에서 도시되고 그리고 후술되는 그래픽 사용자 인터페이스에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.

본 개시의 일 실시예에서 디스플레이부(130)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이 모듈은 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이 모듈이라 지칭될 수 있는데, 상기 투명 디스플레이 모듈의 대표적인 예로는 TOLED(Transparent OLED) 등이 있다.

본 개시의 실시예들에서, “표시”는 디스플레이부(130)를 통해 사용자에게 데이터가 보여 지도록 하는 동작일 수 있다. “표시”와 “디스플레이”는 상호 교환 가능하게 사용될 수 있다.

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라이언트로부터의 입력을 허용하기 위한 입력부(140)를 포함할 수 있다. 입력부(140)는 클라이언트로부터 다양한 입력을 입력 받을 수 있다. 예를 들어, 입력부(140)는, 특정 카메라에 대응하는 비디오 이미지를 표시하기 위한 클라이언트의 선택 입력 또는, 파노라마 비디오 이미지 내에서 특정 관심 영역에 관련한 클라이언트의 선택 입력 등을 입력 받을 수 있다. 입력부(140)를 통한 클라이언트의 입력에 따라 본 개시의 실시예들에 따른 복수의 비디오 이미지에 기반한 파노라마 비디오 이미지를 제공하기 위한 컴퓨터 프로그램이 실행될 수 있다.

본 개시의 실시예들에 따른 입력부(140)는 클라이언트의 버튼 조작 또는 터치 입력을 감지하여 신호를 수신하거나, 카메라 또는 마이크로폰을 통하여 사용자 등의 음성 또는 동작을 수신하여 이를 입력 신호로 변환할 수도 있다. 이를 위해 음성 인식(Speech Recognition) 기술 또는 동작 인식(Motion Recognition) 기술들이 사용될 수 있다.

본 개시의 실시예들에 따른 입력부(140)는 컴퓨팅 장치(100)와 연결된 외부 입력 장비로서 구현될 수도 있다. 예를 들어 입력 장비는, 마우스, 키보드, 터치패드, 조이스틱, 트랙 패드, 스타일러스, 입력 버튼, 터치 스크린, 또는 이들의 조합 중 적어도 하나일 수 있으나, 이는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

본 개시의 일 실시예에 따르면, 입력부(140)는 디스플레이부(130)와 동일한 구성일 수도 있다. 예컨대, 입력부(140)는 클라이언트의 선택 입력을 수신하도록 구현되는 터치 스크린으로 구성될 수 있다. 터치 스크린은 접촉식 정전용량 방식, 적외선 광 감지 방식, 표면 초음파(SAW) 방식, 압전 방식, 저항막 방식 중 어느 하나의 방식이 사용될 수 있다. 전술한 터치 스크린에 대한 자세한 기재는 본 발명의 일 실시예에 따른 예시일 뿐이며, 다양한 터치 스크린 패널이 컴퓨팅 장치(100)에 채용될 수 있다. 터치 스크린으로 구성된 입력부(140)는 터치 센서를 포함할 수 있다. 터치 센서는 입력부(140)의 특정 부위에 가해진 압력 또는 입력부(140)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적 뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 프로세서(160)로 전송한다. 이로써, 프로세서는 입력부(140)의 어느 영역이 터치 되었는지 여부 등을 인식할 수 있게 된다. 이에 따라, 본 개시의 디스플레이부(130)는 클라이언트와 컴퓨팅 장치(100)간의 정보 교환을 위한 입/출력을 허용할 수 있다. 따라서, 클라이언트는 디스플레이부(130)를 통해 디스플레이(또는, 스크린)된 모든 가시적인 화면 개체(인터페이스 장치)에 액세스할 수 있다.

본 개시의 일 실시예에 따르면, 메모리(150)는 컴퓨팅 장치(100)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크를 통해 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(150)는 비디오 카메라부(120)로부터 수신한 복수의 비디오 이미지에 관한 정보들을 저장할 수 있다. 구체적으로, 메모리(150)는 비디오 카메라부(120)에 포함된 모든 비디오 카메라 각각으로부터 수신한 비디오 이미지들에 대한 아카이브를 수행할 수 있다. 아카이브는, 실시간 정보(예컨대, 실시간으로 획득되는 복수의 비디오 이미지에 관한 정보)가 생성되는 동시에 저장되는 것을 의미할 수 있다. 이러한 아카이브는, 정보의 생산과 전달, 공유 속도를 극대화하고 지식에 대한 접근성을 향상시킬 수 있다. 예를 들어, 메모리(150)는 입/출력되는 데이터들(예를 들어, 복수의 비디오 이미지, 파노라마 비디오 이미지에 대한 정보 등)을 임시 또는 영구 저장할 수도 있다.

또한, 메모리(150)는 본 개시의 일 실시예에 따른 복수의 비디오 이미지에 대한 조합을 통해 파노라마 비디오 이미지를 생성하기 위한 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 컴퓨팅 장치를 구성하는 하나 이상의 프로세서에 의하여 판독되어 구동될 수 있다.

본 개시의 일 실시예에 따르면, 메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.

본 개시의 일 실시에에 따르면, 프로세서(160)는 메모리(150)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 파노라마 비디오 이미지를 제공할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(160)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 처리할 수 있다.

프로세서(160)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 메모리(150)에 저장된 응용 프로그램을 구동함으로써, 클라이언트에게 적절한 정보 또는, 기능을 제공하거나 처리할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 복수의 비디오 이미지에 기초하여 파노라마 비디오 이미지를 생성할 수 있다. 프로세서(160)는 위에서 살펴본 구성 요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 그래픽 사용자 인터페이스를 제공하기 위한 응용 프로그램을 구동함으로써, 클라이언트에게 적정한 정보 또는 기능을 제공하거나 처리할 수 있다.

구체적으로, 프로세서(160)는 복수의 비디오 이미지에 대한 실시간 조합 또는 아카이브 조합을 수행하여 파노라마 비디오 이미지를 생성할 수 있다. 프로세서(160)는 비디오 카메라부(120)에 포함된 복수의 비디오 카메라 및 메모리(150) 중 적어도 하나로부터 복수의 비디오 이미지를 수신할 수 있으며, 수신한 복수의 비디오 이미지들에 대한 조합을 수행하여 파노라마 비디오 이미지를 생성할 수 있다. 파노라마 비디오 이미지는, 사용자가 보는 시야각 이상의 화각을 복수의 카메라를 통해 동시에 촬영하고, 촬영된 이미지들의 결합을 통해 보다 넓은 시야각을 확보(예컨대, 360도 방향의 시야)하기 위한 비디오 이미지일 수 있다. 프로세서(160)는 비디오 카드 모듈을 포함할 수 있다. 비디오 카드 모듈은, 초기 변환 설정 과정에서 리소스에 관여하고, 복수의 비디오 이미지를 하나의 파노라마 비디오 이미지로의 조합을 수행할 수 있다. 예컨대, 프로세서(160)에 포함된 비디오 카드 모듈은, 그래픽 프로세싱 유닛(graphics processing unit)으로 구성되어 파노라마 비디오 이미지 생성 과정이 보다 고속화될 수 있다.

구체적인 예를 들어, 비디오 카메라부(120)로부터 직접적으로 복수의 비디오 이미지를 수신하는 경우, 프로세서(160)는 복수의 이미지에 대한 실시간 조합을 통해 파노라마 비디오 이미지를 생성할 수 있다. 즉, 복수의 비디오 이미지는 실시간으로 조합되도록, 복수의 비디오 카메라로부터 직접적으로 프로세서(160)로 전송될 수 있다.

또한, 메모리(150)로부터 아카이브된 복수의 비디오 이미지를 수신하는 경우, 프로세서(160)는 아카이브된 복수의 비디오 이미지에 대한 아카이브 조합을 통해 파노라마 비디오 이미지를 생성할 수 있다. 즉, 복수의 비디오 이미지는 아카이브된 데이터에 기반하여 조합되도록, 메모리(150)로부터 프로세서(160)로 전송될 수 있다. 메모리(150)에 아카이브된 복수의 비디오 이미지를 활용하는 경우, 필요에 따라 원하는 비디오 이미지들을 획득하여 파노라마 비디오 이미지를 생성할 수 있어, 다양한 상황에서 보다 명확한 모니터링 정보를 얻을 수 있다.

프로세서(160)는 비디오 카메라부(120)를 통해 실시간으로 획득되는 복수의 이미지들 및 메모리(150)에 저장된 아카이브된 복수의 이미지들 중 적어도 하나에 기반하여 본 개시의 파노라마 비디오 이미지를 생성할 수 있다. 다시 말해, 프로세서(160)는 실시간 영상에 관련하여 파노라마 비디오 영상을 생성하거나 또는, 지난 시점의 영상(즉, 아카이브된 복수의 비디오 이미지들)에 관련하여 파노라마 비디오 영상을 생성할 수 있다. 따라서, 프로세서(160)는 다양한 시점에 관련하여 파노라마 비디오 이미지를 생성하여 제공할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 그래픽 사용자 인터페이스를 생성할 수 있으며, 생성된 그래픽 사용자 인터페이스(200)를 디스플레이부(130)를 통해 디스플레이할 수 있다. 그래픽 사용자 인터페이스(200)는 그래픽 화면 구성 요소(윈도우, 아이콘, 메뉴, 버튼, 목록 등)의 형태로 사용자가 사용할 수 있는 모든 시스템 개체 및 기능을 표시하는 것을 기반으로 컴퓨팅 장치(100)와 클라이언트 간의 상호 작용을 위한 사용자 인터페이스일 수 있다.

프로세서(160)에 의해 생성된 그래픽 사용자 인터페이스는, 도 3에 도시된 바와 같이, 선택 블록(210), 관심 영역 선택 블록(220) 및 디스플레이 블록(230)을 포함할 수 있다.

그래픽 사용자 인터페이스(200)에 포함된 선택 블록(210)은 복수의 비디오 카메라 중 적어도 둘 이상의 인접한 비디오 카메라에 대한 클라이언트의 선택 입력을 수신하기 위한 블록일 수 있다. 구체적으로, 선택 블록(210)은 상이한 시야를 가진 복수의 비디오 이미지에 대한 조합을 수행하기 위하여 적어도 둘 이상의 인접한 비디오 카메라들에 대한 클라이언트의 선택을 수신하기 위한 블록일 수 있다. 즉, 클라이언트가 선택 블록(210)을 통해 적어도 둘 이상의 비디오 카메라를 선택한 경우, 프로세서(160)는 상기 둘 이상의 비디오 카메라에 대응하는 복수의 이미지들 간의 조합을 수행하여 파노라마 비디오 이미지를 생성할 수 있다.

예를 들어, 비디오 카메라부(120)가 제 1 비디오 카메라, 제 2 비디오 카메라, 제 3 비디오 카메라 및 제 4 비디오 카메라를 포함하며, 선택 블록(210)을 통해 클라이언트가 서로 인접한 제 2 비디오 카메라 및 제 3 비디오 카메라를 선택한 경우, 프로세서(160)는 해당 클라이언트의 선택에 기반하여 제 2 비디오 카메라 및 제 3 비디오 카메라 각각을 통해 획득한 제 2 비디오 이미지들 및 제 3 비디오 이미지들을 조합하여 파노라마 비디오 이미지를 생성할 수 있다. 전술한 비디오 카메라 및 비디오 이미지에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이제 제한되지 않는다.

즉, 그래픽 사용자 인터페이스(200)는 파노라마 비디오 이미지 생성에 기반이 되는 비디오 이미지에 대한 클라이언트의 입력을 수신하기 위한 선택 블록(210)을 포함할 수 있다. 따라서, 클라이언트는 선택 블록(210)을 통해 자신이 보다 넓은 시야를 통해 모니터링하고자 하는 영역(즉, 비디오 카메라들이 촬영하는 영역)을 결정할 수 있다.

또한, 그래픽 사용자 인터페이스(200)에 포함된 관심 영역 선택 블록(220)은 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 나타내기 위하여 임의의 영역에 대한 클라이언트의 선택 입력을 수신하기 위한 블록일 수 있다. 분리된 비디오 이미지는, 파노라마 비디오 이미지의 특정 영역을 보다 용이하게 식별하기 위하여 파노라마 비디오 내에서 특정 영역만을 추출한 비디오 이미지일 수 있다. 구체적으로, 관심 영역 선택 블록(220)은 복수의 비디오 이미지의 조합인 파노라마 비디오 이미지 내에서 보다 면밀히 모니터링을 수행하기 위한 임의의 영역에 관한 클라이언트의 선택 입력을 수신할 수 있다. 예를 들어, 관심 영역 선택 블록(220)은 파노라마 이미지 내에 일정 영역에 대한 클라이언트의 드래그 입력을 허용할 수 있으며, 프로세서(160)는 해당 드래그 입력에 대응하는 영역만을 추출하여 분리된 비디오 이미지를 생성할 수 있다. 즉, 클라이언트는 관심 영역 선택 블록(220)을 통해 파노라마 비디오 이미지 중 자신이 보다 면밀히 검토하고자 하는 영역만을 제공받을 수 있어, 모니터링의 효율이 상승될 수 있다. 또한, 비디오 분석의 수행 범위가 축소되어 분석의 정확도 향상에 기여할 수 있다.

또한, 그래픽 사용자 인터페이스(200)에 포함된 디스플레이 블록(230)은 복수의 비디오 이미지 또는 파노라마 비디오 이미지를 디스플레이하기 위한 블록일 수 있다. 구체적으로, 디스플레이 블록(230)은 하나 이상의 비디오 카메라 레이아웃 셀을 포함할 수 있다. 하나 이상의 비디오 카메라 레이아웃 셀 각각은, 다양한 비디오 이미지를 표시하기 위하여 구분된 영역일 수 있다. 다양한 비디오 이미지는 예를 들어, 복수의 비디오 이미지, 복수의 비디오 이미지에 기반하여 생성된 파노라마 비디오 이미지 및 파노라마 비디오 이미지의 특정 관심 영역에 관한 분리된 비디오 이미지 중 적어도 하나를 포함할 수 있다. 하나 이상의 비디오 카메라 레이아웃 셀 각각에 표시되는 비디오 이미지는 클라이언트의 선택과 관련한 비디오 이미지일 수 있다. 예를 들어, 하나 이상의 비디오 카메라 레이아웃 셀 중 제 1 레이아웃 셀은 제 1 비디오 카메라를 통해 획득된 제 1 비디오 이미지들을 디스플레이할 수 있으며, 제 2 레이아웃 셀은 제 1 비디오 카메라와 인접한 제 2 비디오 카메라를 통해 획득된 제 2 비디오 이미지들을 디스플레이할 수 있고, 그리고 제 3 레이아웃 셀은 제 1 비디오 이미지들 및 제 2 비디오 이미지들의 조합을 통해 생성된 파노라마 비디오 이미지들을 디스플레이할 수 있고, 그리고 제 4 레이아웃 셀은 파노라마 비디오 이미지에서 추출된 분리된 비디오 이미지들을 디스플레이할 수 있다. 전술한 하나 이상의 비디오 카메라 레이아웃 셀 각각에 표시되는 비디오 이미지들에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.

즉, 디스플레이 블록(230)은, 하나 이상의 비디오 카메라 레이아웃 셀을 통해 클라이언트의 선택에 관련한 다양한 비디오 이미지들을 동시에 구분된 영역에 각각 디스플레이함으로써, 클라이언트로 하여금 특정 영역에 대응한 다양한 시야의 영상을 모니터링하도록 할 수 있다. 이에 따라, 클라이언트는 다양한 시야를 통해 특정 영역에 대한 모니터링을 수행할 수 있어, 감시 효율이 향상될 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 적어도 둘 이상의 인접한 카메라로부터 획득한 복수의 이미지들을 조합하여 파노라마 비디오 이미지를 생성할 수 있다. 구체적으로, 프로세서(160)는 그래픽 사용자 인터페이스(200)를 통해 복수의 카메라 중 적어도 둘 이상의 인접한 카메라에 대한 선택에 관련한 클라이언트의 선택 입력을 수신할 수 있으며, 상기 클라이언트의 선택 입력에 대응하는 카메라들 각각이 획득한 비디오 이미지들을 조합하여 파노라마 비디오 이미지를 생성할 수 있다. 즉, 프로세서(160)는 그래픽 사용자 인터페이스(200)를 통해 클라이언트로부터 선택된(또는 지정된) 카메라들 각각으로부터 비디오 이미지들을 수신하고, 수신한 복수의 비디오 이미지들 간의 조합을 수행하여 파노라마 비디오 이미지를 생성할 수 있다.

본 개시에서의 비디오 이미지들 간의 조합은 우측, 좌측, 위, 아래, 가로 및 세로 등 모든 방향을 통한 조합을 포함할 수 있다. 따라서, 본 개시의 비디오 이미지들 간의 조합에 기반하여 생성되는 파노라마 비디오 이미지는 감지하고자 하는 전체 영역에 대한 사실감과 몰입감을 제공함에 따라, 클라이언트에서 자연스럽고 사실적인 인식을 제공하여 비정상 상황(예컨대, 도난, 경보, 재난 등)에 대한 모니터링 작업의 효율을 향상시킬 수 있다.

자세히 설명하면, 프로세서(160)는 수신된 복수의 비디오 이미지를 파노라마 비디오 이미지로 결합하기 위해 필요한 변환을 계산할 수 있다. 프로세서(160)는 인접 카메라들 각각의 비디오 이미지들 중 서로 시간적으로 대응하는 비디오 이미지들에 대한 변환을 수행할 수 있다. 예컨대, 서로 시간적으로 대응하는 비디오 이미지들은, 동일한 시점에 각 카메라를 통해 수신된 각 비디오 이미지의 순서쌍을 의미할 수 있다.

본 개시에서의 변환은, 비디오 이미지의 밝기 조정 및 비디오 이미지의 대비 조정 중 적어도 하나를 포함할 수 있다. 즉, 초기 변환 및 후속 변환 중 적어도 하나는 비디오 이미지의 밝기 조정 및 비디오 이미지의 대비 조정 중 적어도 하나를 포함할 수 있다.

예를 들어, 제 1 비디오 카메라 및 제 2 비디오 카메라 각각을 통해 획득한 제 1 비디오 이미지 및 제 2 비디오 이미지는 서로 상이한 시야를 가짐에 따라 밝기 및 대비 중 적어도 하나가 일부 상이할 수 있다. 이에 따라, 제 1 비디오 이미지 및 제 2 비디오 이미지의 조합을 통해 생성된 파노라마 비디오 이미지는 각 영역의 밝기 및 대비의 차이로 인해 부자연스러울 수 있다. 따라서, 프로세서(160)는 보다 자연스러운 파노라마 비디오 이미지 생성을 위해 각 비디오 카메라를 통해 획득한 비디오 이미지들 간의 조합을 수행하는 과정에서 각 비디오 이미지의 밝기 및 대비에 대한 조정을 수행하는 변환을 계산할 수 있다.

프로세서(160)는 변환을 계산하기 위하여 각 카메라를 통해 획득한 각 비디오 이미지에서 제1 로컬 포인트를 식별할 수 있다. 제1 로컬 포인트는, 적어도 둘 이상의 인접 카메라들로부터 수신되는 복수의 비디오 이미지 각각을 조합하기 위한 기준이 되는 영역일 수 있다. 제1 로컬 포인트는, 예를 들어, 그라디언트 변화(gradient differences) 또는 적분 특성(integral characteristics)의 배경 복잡도에 기반하여 식별될 수 있다. 적분 특성은 포인트 주변의 복잡하고 누적된 특성(예컨대, 밝기, 대비, 양방향 그래디언트 드롭 값 등)을 의미할 수 있다. 예컨대, 제1 로컬 포인트는, 각 비디오 모듈의 일부 중첩되는 시야에서 동일한 오브젝트가 식별되는 임의의 위치일 수 있다. 추가적인 실시예에서, 프로세서(160)는 수동 모드를 통해 클라이언트로부터 제1 로컬 포인트에 대한 입력을 수신할 수 있다. 이 경우, 제1 로컬 포인트는 수동 모드에서의 클라이언트의 입력에 대응하여 비교되는 포인트일 수 있다. 예컨대, 수동 모드는, 이미지에서 제1 로컬 포인트를 식별하기 어려운 경우, 활용될 수 있다.

즉, 프로세서(160)는 특정 인접 카메라들 각각으로부터 수신되는 각 비디오 이미지로부터 조합의 기준이 되는 영역인 제1 로컬 포인트를 식별하고, 각 비디오 이미지로부터 식별된 제1 로컬 포인트에 기반하여 각 비디오 이미지의 픽셀의 평균을 결합 영역에 적용하여 파노라마 비디오 이미지로 결합할 수 있다. 이에 따라, 조합을 통해 생성되는 파노라마 비디오 이미지는, 생성의 기반이 되는 이미지 데이터 즉, 각 프레임 간의 전환이 매끄러울 수 있다. 다시 말해, 이미지 데이터의 조합 과정에 경계 부분이 자연스럽게 연결되어 보다 자연스러운 파노라마 비디오 이미지 생성이 가능해질 수 있다.

또한, 프로세서(160)는 변환이 수행된 비디오 이미지들 외에 다른 이미지들에 대하여 동일한 변환을 적용하여 복수의 비디오 이미지를 파노라마 비디오 이미지로 조합할 수 있다. 다시 말해, 초기 변환이 수행된 비디오 이미지들과 상이한 시점(예컨대, 후속 시점)에 각 비디오 카메라를 통해 획득한 비디오 이미지들에 대하여 이전 변환 단계에서 설정된 변환이 동일하게 적용될 수 있다.

즉, 프로세서(160)는 서로 대응하는 시점에 인접한 비디오 모듈 각각으로부터 수신한 비디오 이미지에 대한 초기 변환을 계산하고, 해당 변환을 통해 후속적으로 획득되는 비디오 이미지들에 적용(즉, 후속 변환)함으로써, 파노라마 비디오 이미지를 생성할 수 있다. 이에 따라, 복수의 비디오 이미지들의 조합을 통한 파노라마 비디오 이미지 생성 과정에서 컴퓨팅 파워가 절감될 수 있어 효율이 향상될 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 복수의 비디오 카메라 각각에 대응하는 렌즈 파라미터 정보를 수신할 수 있다. 렌즈 파라미터 정보는 각 비디오 카메라의 이미지 획득 성능에 관련한 정보로, 예를 들어, 채도, 대비, 선명도(또는 해상도), 밝기 등에 대한 정보를 포함할 수 있다. 이러한 렌즈 파라미터 정보는 변환을 계산하는 과정에서 각 비디오 이미지에서의 제1 로컬 포인트 검색을 용이하게 하여 파라미터 비디오 이미지의 생성 효율의 증진시킬 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 복수의 비디오 이미지에 대한 조합을 통해 파노라마 비디오 이미지를 생성한 경우, 그래픽 사용자 인터페이스에 포함된 하나 이상의 비디오 카메라 레이아웃 셀 중 적어도 하나에 디스플레이할 것을 결정할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 파노라마 비디오 이미지에 대한 비디오 분석을 수행할 수 있다. 비디오 분석은 메타 데이터에 의한 적어도 하나의 검색을 포함할 수 있다. 상기 하나 이상의 검색은, 얼굴 검색, 차량 등록 번호 검색, 움직이는 물체 검색 및 이벤트 검색을 포함할 수 있다.

예컨대, 본 개시의 컴퓨팅 장치(100)는 비디오 카메라부에 포함된 복수의 비디오 카메라 각각을 통해 획득한 비디오 이미지들의 아카이브를 메모리(150)에 실시간으로 저장할 수 있다. 메모리(150)에 업로드하거나 비디오 이미지를 프로세서(160)로 전송하는 과정에서 모든 비디오 이미지들은 이미지 내 모든 객체에 대한 데이터를 특징짓는 메타 데이터를 형성되어 있을 수 있다. 이 경우, 메타 데이터는 각 카메라의 시야에서 움직이는 모든 객체(예컨대, 움직임 궤적, 얼굴에 매칭된 식별자, 인식된 번호판 등)에 대한 자세한 설명 정보를 포함할 수 있다. 이에 따라, 프로세서(160)는 메타 데이터를 기반으로 비디오 분석을 위한 하나 이상의 검색이 수행할 수 있다. 즉, 메타 데이터는 비디오 이미지 내의 검색 목적으로 활용될 수 있다.

예를 들어, 클라이언트가 감지하고자 하는 사용자의 이미지(예컨대, 사진)을 가지고 있는 경우, 해당 이미지에 기반한 메타 데이터를 생성함으로써, 복수의 비디오 이미지에 기반한 얼굴 검색을 수행할 수 있다. 다른 예를 들어, 클아이언트가 감지하고자 하는 차량의 등록 번호가 있는 경우, 해당 번호에 기반한 메타 데이터를 생성함으로써, 복수의 비디오 이미지에 기반한 차량 검색을 수행할 수 있다.

즉, 본 개시의 프로세서(160)는 파노라마 비디오 이미지 내에서 얼굴 검색, 차량 등록 번호 검색, 움직이는 물체 검색 및 이벤트 검색을 포함하는 비디오 분석으로 수행하여 검색 시간을 단축시킴에 따라, 클라이언트의 모니터링 과정에 편의성을 제공할 수 있다. 또한, 비디오 분석에 대상이 되는 비디오 이미지는 개별 스트림의 조합을 통해 생성된 파노라마 비디오 이미지임에 따라, 보다 광범위한 시야 및 균일한 시야를 제공할 수 있으므로, 비디오 분석의 정확도 및 효율이 향상될 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 분리된 비디오 이미지를 생성할 수 있다. 구체적으로, 프로세서(160)는 그래픽 사용자 인터페이스(200)에 포함된 관심 영역 선택 블록을 통해 파노라마 비디오 이미지 내에 임의의 관심 영역에 관한 클라이언트의 선택 입력을 수신할 수 있으며, 해당 선택 입력에 대응하여 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 생성할 수 있다. 즉, 프로세서(160)에 의해 생성된 분리된 비디오 이미지는 파노라마 비디오 이미지 내의 특정 영역을 확대한 비디오 이미지일 수 있다. 이러한 분리된 비디오 이미지는 프로세서(160)에 의해 그래픽 사용자 인터페이스(200)에 표시되어 디스플레이될 수 있다. 이 경우, 임의의 관심 영역에 대한 클라이언트의 선택에 대응하여 생성된 분리된 비디오 이미지는, 그래픽 사용자 인터페이스(200)에 포함된 하나 이상의 비디오 카메라 레이아웃 셀 중 파노라마 비디오 이미지가 표시된 하나의 비디오 카메라레이아웃 셀과 상이한 다른 하나의 비디오 카메라 레이아웃 셀에 별도의 이미지로써 동시에 표시될 수 있다.

따라서, 클라이언트는 전체 영역 중 자신이 보다 넓은 시야를 통해 모니터링 하고자 하는 영역(예컨대, 관심 영역)에 대한 확대 비디오 이미지(즉, 분리된 비디오 이미지)를 제공받을 수 있다. 이는 비디오 이미지 내에서 특정 영역을 면밀히 검토하고자 하는 클라이언트의 모니터링 작업의 효율을 향상시킬 수 있다. 추가적으로, 그래픽 사용자 인터페이스에 포함된 복수의 셀 각각을 통해 파노라마 비디오 이미지와 상기 파노라마 비디오 이미지의 일 영역에 대한 확대에 관련한 분리된 비디오 이미지를 동시에 표시함으로써, 클라이언트로 하여금 해당 영역의 상황을 파악하기 위한 보다 다양한 모니터링 정보를 제공할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(160)는 파노라마 비디오 이미지 내에서 임의의 관심 영역에 관련한 클라이언트의 선택 입력에 대응하여 생성된 분리된 비디오 이미지를 외부 장치로 전송할 것을 결정할 수 있다. 본 개시에서 복수의 비디오 이미지들 간의 조합을 통해 생성된 파노라마 비디오 이미지 또는 분리된 이미지는 메모리(150)에 아카이브 되지 않을 수 있다. 다시 말해, 복수의 비디오 카메라 각각을 통해 획득되는 복수의 비디오 이미지들(즉, 원본에 해당하는 데이터)은 메모리(150)를 통해 아카이브 저장되는 반면, 각 비디오 이미지들에 기반하여 생성된 파노라마 비디오 이미지 또는 파노라마 비디오 이미지의 일 영역에 대응하는 분리된 비디오 이미지는 메모리(150)에 아카이브 되지 않을 수 있다. 즉, 프로세서(160)는 복수의 비디오 이미지들의 조합을 통해 생성된 파노라마 비디오 이미지 또는 분리된 비디오 이미지를 임의의 스케일로 변환하여 외부 장치로 전송할 것을 결정할 수 있다. 예컨대, 파노라마 비디오 이미지 또는 분리된 비디오 이미지는, AVI(Adult Audio Video Interleave) 또는 MKV(Matroska Multimedia Container) 형식과 같은 표준 파일의 형태로 변환하여 외부 장치로 전송될 수 있다. 이에 따라, 본 개시의 메모리(150)는, 원본에 관련한 데이터(즉, 복수의 비디오 이미지) 만을 아카이브 함에 따라, 용량에 따른 과부하를 방지할 수 있다.

도 4는 본 개시의 일 실시예와 관련된 복수의 비디오 이미지, 파노라마 비디오 이미지 및 분리된 비디오 이미지를 하나 이상의 비디오 카메라 레이아웃 셀을 통해 디스플레이하는 방법을 예시적으로 나타낸 예시도를 도시한다. 도 4에 도시되는 내용에 대한 특징 중 도 1 내지 3과 관련하여 앞서 설명된 특징과 중복되는 특징에 대해서는 도 1 내지 3에 기재된 내용을 참고하고 여기에서는 그 설명을 생략하도록 한다.

본 개시의 그래픽 사용자 인터페이스(200)는 컴퓨팅 장치(100)와 클라이언트 간의 정보 교환을 위한 입/출력을 허용하기 위한 선택 블록(210), 관심 영역 선택 블록(220) 및 디스플레이 블록(230)을 포함할 수 있다. 선택 블록(210) 및 관심 영역 선택 블록(220)은 클라이언트의 선택 입력을 수신하기 위해 활용될 수 있으며, 디스플레이 블록(230)은 클라이언트의 선택 입력에 대응하는 데이터(예컨대, 복수의 비디오 이미지, 파노라마 비디오 이미지 또는, 분리된 비디오 이미지 등)를 출력하기 위해 활용될 수 있다.

그래픽 사용자 인터페이스(200)에 포함된 디스플레이 블록(230)은 도 4에 도시된 바와 같이, 제 1 비디오 레이아웃 셀(211), 제 2 비디오 레이아웃 셀(212), 제 3 비디오 레이아웃 셀(213) 및 제 4 비디오 레이아웃 셀(214)을 포함하여 구성될 수 있으며, 각 비디오 레이아웃 셀은 서로 상이한 종류의 비디오 이미지를 표시할 수 있다.

보다 구체적인 예를 들어, 비디오 카메라부(120)가 제 1 비디오 카메라, 제 2 비디오 카메라, 제 3 비디오 카메라 및 제 4 비디오 카메라를 포함하며, 선택 블록(210)을 통해 클라이언트가 서로 인접한 제 1 비디오 카메라 및 제 2 비디오 카메라를 선택한 경우, 프로세서(160)는 해당 클라이언트의 선택 입력에 대응하여 제 1 비디오 카메라를 통해 획득되는 제 1 비디오 이미지들을 제 1 비디오 레이아웃 셀(211)에 표시하고, 제 2 비디오 카메라를 통해 획득되는 제 2 비디오 이미지들을 제 2 비디오 레이아웃 셀(212)에 표시할 것을 결정할 수 있다.

또한, 프로세서(160)는 제 1 비디오 카메라 및 제 2 비디오 카메라 각각을 통해 획득한 제 1 비디오 이미지들 및 제 2 비디오 이미지들을 조합하여 파노라마 비디오 이미지를 생성할 수 있다. 프로세서(160)는 생성된 파노라마 비디오 이미지를 제 3 비디오 레이아웃 셀(213)에 표시할 것을 결정할 수 있다.

또한, 프로세서(160)는 관심 영역 선택 블록(220)을 통해 제 3 비디오 레이아웃 셀(213)에 표시된 파노라마 비디오 이미지로부터 임의의 영역에 대한 클라이언트의 선택 입력을 수신할 수 있다. 예컨대, 임의의 영역은 사용자가 파노라마 비디오 이미지 내에서 보다 면밀히 검토하고자 하는 영역에 관련한 것일 수 있다. 프로세서(160)는 임의의 영역에 대한 클라이언트의 선택 입력에 대응하여 파노라마 비디오 이미지 내에서 분리된 비디오 생성하여 제 4 비디오 레이아웃 셀(214)에 표시할 것을 결정할 수 있다. 즉, 프로세서(160)에 의해 생성된 분리된 비디오 이미지는 파노라마 비디오 이미지 내의 특정 영역을 확대한 비디오 이미지일 수 있다.

즉, 본 개시가 제공하는 그래픽 사용자 인터페이스는 클라이언트와 간단한 상호 작용을 통해 다양한 각도, 또는 다양한 종류의 비디오 이미지들을 복수의 비디오 레이아웃 셀 각각에 표시할 수 있어, 클라이언트에게 특정 영역에 대한 모니터링 작업의 편의성을 제공할 수 있다. 이와 더불어, 각 카메라를 통해 획득한 비디오 이미지들 각각(예컨대, 제 1 비디오 이미지 및 제 2 비디오 이미지), 비디오 이미지들의 조합을 통해 생성되어 넓고 균일한 시야를 제공하는 파노라마 비디오 이미지 및 파노라마 비디오 이미지의 일 영역에 대한 확대에 관련한 분리된 비디오 이미지를 복수의 셀 각각에 별도로 동시에 표시함으로써, 클라이언트로 하여금 해당 영역의 상황을 파악하기 위한 보다 다양한 모니터링 정보를 제공할 수 있다. 이에 따라, 모니터링 작업의 효율이 향상될 수 있다. 도 4를 참조하여 전술한 설명들은 일 예시에 불과할 뿐, 비디오 카메라, 복수의 비디오 이미지, 레이아웃 셀이 구비되는 수는, 본 개시의 구현 양태에 따라 다양할 수 있음이 당 업계의 통상의 기술자에게 명백할 것이다.

도 5는 본 개시의 일 실시예와 관련된 파노라마 비디오 이미지를 제공하는 방법에 관한 예시적인 순서도를 도시한다.

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 복수의 비디오 카메라들 중 적어도 둘 이상의 특정 인접 비디오 카메라에 관한 선택 입력을 수신할 수 있다(310).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 적어도 둘 이상의 특정 인접 비디오 카메라 각각으로부터 복수의 비디오 이미지를 수신하여 저장할 수 있다(320).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 복수의 비디오 이미지들을 파노라마 비디오 이미지로 조합하기 위해 필요한 변환을 설정하고, 인접 카메라 각각에 대응하는 비디오 이미지들 중 서로 시간적으로 대응하는 비디오 이미지들에 대해 변환을 수행할 수 있다(330).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 변환이 수행된 비디오 이미지들 외에 다른 이미지들에 대한 변환을 수행하여 복수의 비디오 이미지를 파노라마 비디오 이미지로 조합할 수 있다(340).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 디스플레이 블록에 포함된 하나의 비디오 카메라 레이아웃 셀에 파노라마 비디오 이미지를 디스플레이할 수 있다(350).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 나타내기 위한 임의의 영역에 대한 클라이언트의 입력을 수신할 수 있다(360).

본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 디스플레이 블록에 포함된 다른 하나의 비디오 카메라 레이아웃 셀에 분리된 비디오 이미지를 디스플레이 할 수 있다(370).

전술한 도 5에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 개시의 실시예에 불과할 뿐, 본 개시의 권리 범위는 이에 제한되지 않는다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 개시의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 개시의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.

제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (5)

1. 복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치로서,
   상기 복수의 비디오 이미지를 획득하는 복수의 비디오 카메라를 포함하는 비디오 카메라부;
   상기 비디오 카메라부로부터 상기 복수의 비디오 이미지를 수신하여 저장하는 메모리;
   입력 및 출력에 관한 도구(tools)들을 포함하는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 디스플레이하는 디스플레이부;
   클라이언트로부터의 입력을 허용하기 위한 입력부;
   외부 기기 또는 애플리케이션에서 입력된 정보를 수신하는 네트워크부; 및
   상기 복수의 비디오 이미지들을 조합하여 하나의 파노라마 비디오 이미지를 생성하는 프로세서;
   를 포함하고,
   상기 도구들은,
   상기 복수의 비디오 카메라 중 적어도 둘 이상의 특정 인접한 비디오 카메라들에 대한 클라이언트의 선택 입력을 수신하기 위한 선택 블록, 상기 파노라마 비디오 이미지 내에서 분리된 비디오 이미지를 나타내기 위하여 임의의 영역에 대한 클라이언트의 선택 입력을 수신하기 위한 관심 영역 선택 블록 및 상기 복수의 비디오 이미지 또는 상기 파노라마 비디오 이미지를 디스플레이하는 디스플레이 블록을 포함하고,
   상기 입력부는,
   버튼 조작 또는 터치 입력을 감지하여 입력 신호를 수신하거나, 카메라 또는 마이크로폰을 통하여 동작 또는 음성을 인식하여 입력 신호를 수신하는 것을 특징으로 하며,
   상기 프로세서는,
   상기 선택 블록을 통해 선택된 상기 둘 이상의 특정 인접한 비디오 카메라 각각으로부터 복수의 비디오 이미지를 수신하고, 수신된 상기 복수의 비디오 이미지들을 상기 파노라마 비디오 이미지로 조합하기 위한 초기 변환─상기 초기 변환은, 비디오 이미지들의 밝기 조정 및 대비 조정 중 적어도 하나를 포함함─을 설정하고, 상기 둘 이상의 특정 인접 비디오 카메라 각각의 비디오 이미지들 중 서로 시간적으로 대응하는 비디오 이미지들에 대해 상기 초기 변환을 수행하고, 상기 변환이 수행된 비디오 이미지들 외에 다른 이미지들에 대한 후속 변환을 수행하여 상기 복수의 비디오 이미지를 파노라마 비디오 이미지로 조합하고, 상기 디스플레이 블록에 포함된 하나의 비디오 카메라 레이아웃 셀에 상기 파노라마 비디오 이미지를 디스플레이할 것을 결정하고, 상기 관심 영역 선택 블록을 통해 상기 파노라마 비디오 이미지 내에서 상기 분리된 비디오 이미지를 나타내기 위한 임의의 관심 영역에 대한 클라이언트의 선택 입력을 수신하는 경우, 상기 디스플레이 블록에 포함된 다른 하나의 비디오 카메라 레이아웃 셀에 상기 분리된 비디오 이미지를 디스플레이할 것을 결정하며, 상기 파노라마 비디오 이미지에 대한 비디오 분석을 수행하며,
   상기 초기 변환 및 상기 후속 변환은, 상기 복수의 비디오 카메라 각각으로부터 수신된 렌즈 파라미터 정보에 기초하여 수행되는 것을 특징으로 하며,
   상기 렌즈 파라미터 정보는, 상기 복수의 비디오 카메라 각각의 이미지 획득 성능에 관련한 정보로, 채도, 대비, 선명도 및 밝기 중 적어도 하나에 관련한 정보를 포함하는,
   복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치.
   
2. 제 1 항에 있어서,
   상기 프로세서는,
   상기 적어도 둘 이상의 특정 인접 카메라 각각으로부터 수신한 복수의 비디오 이미지들 중 시간적으로 대응하는 비디오 이미지들을 하나의 쌍으로하여 연속적인 조합을 수행함으로써, 상기 복수의 비디오 이미지를 조합하여 상기 파노라마 비디오 이미지를 생성하는,
   복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치.
   
3. 제 1 항에 있어서,
   상기 프로세서는,
   상기 적어도 둘 이상의 특정 인접 카메라들로부터 동기적으로 수신된 각각의 비디오 이미지에서 제1 로컬 포인트에 대한 검색을 수행하며,
   상기 제1 로컬 포인트는,
   상기 적어도 둘 이상의 특정 인접 카메라들로부터 수신되는 복수의 비디오 이미지들에 대한 상기 후속 변환을 위해 비교되는 포인트인,
   복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치.
   
4. 제 1 항에 있어서,
   상기 초기 변환 및 후속 변환 중 적어도 하나는,
   비디오 이미지의 밝기 조정 및 비디오 이미지의 대비 조정 중 적어도 하나를 포함하는,
   복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치.
   
5. 제 1 항에 있어서,
   상기 적어도 둘 이상의 특정 인접 카메라들은,
   서로 상이한 프레임 레이트(frame rate)를 가지며,
   상기 적어도 둘 이상의 특정 인접 카메라 각각으로부터 수신된 비디오 이미지는,
   서로 다른 해상도(display resolution)를 갖는 것을 특징으로 하는,
   복수의 비디오 이미지를 조합하기 위한 컴퓨팅 장치.
   

Images