KR102138333B1 - 파노라마 영상 생성 장치 및 방법 - Google Patents

파노라마 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102138333B1
KR102138333B1 KR1020190062445A KR20190062445A KR102138333B1 KR 102138333 B1 KR102138333 B1 KR 102138333B1 KR 1020190062445 A KR1020190062445 A KR 1020190062445A KR 20190062445 A KR20190062445 A KR 20190062445A KR 102138333 B1 KR102138333 B1 KR 102138333B1
Authority
KR
South Korea
Prior art keywords
image
camera
panoramic
surveillance
panoramic image
Prior art date
Application number
KR1020190062445A
Other languages
English (en)
Other versions
KR20190064540A (ko
Inventor
박주형
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020190062445A priority Critical patent/KR102138333B1/ko
Publication of KR20190064540A publication Critical patent/KR20190064540A/ko
Application granted granted Critical
Publication of KR102138333B1 publication Critical patent/KR102138333B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 방사상으로 구비된 복수의 카메라를 동시에 이용하여 실시간 파노라마 영상을 생성하는 파노라마 영상 생성 장치 및 방법에 관한 것이다. 파노라마 영상 생성 장치는 방사상으로 구비된 복수의 카메라, 카메라들에 의해 촬영된 초기 파노라마 영상으로부터 파노라마 감시영역을 설정하는 설정부, 파노라마 감시영역을 촬영하도록 카메라들을 조정하는 조정부, 및 카메라들에 의해 촬영된 파노라마 감시영역에 영상에 대하여 최종 파노라마 영상을 생성하는 파노라마 영상 생성부를 포함한다.

Description

파노라마 영상 생성 장치 및 방법{Apparatus and method for generating panorama image}
본 발명은 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 방사상으로 구비된 복수의 카메라를 동시에 이용하여 화각 변화가 가능한 실시간 파노라마 영상을 생성하는 파노라마 영상 생성 장치 및 방법에 관한 것이다.
파노라마 기술은 감시 시스템 분야에서 광역 감시의 목적으로 많이 사용되고 있다. 기존의 CCTV 카메라로서는 정해진 화각 이외의 범위를 관찰할 수 없고, 또한 PTZ 카메라를 이용하다 하더라도 넓은 지역을 동시에 관찰하기에는 불가능하다. 이를 해결하기 위해 파노라마 기술을 사용하며 현재 실내/외를 가리지 않고 다양하게 사용하고 있다.
그러나, 이러한 파노라마 기술에서는 모두 화각이 고정되 있어서 고정된 화각 내의 영상만 감시할 수 있다. 또한 PTZ 카메라를 이용하여 원하는 영역을 주기적으로 스캔하면서 파노라마 영상을 업데이트 할 수 있으나, 항상 사각지대가 존재하고 실시간으로 파노라마 영상 촬영이 불가능하다.
본 발명이 해결하고자 하는 기술적인 과제는 방사상으로 구비된 복수의 카메라를 동시에 이용하여 사각지대가 없고, 화각 변화가 가능한 실시간 파노라마 영상을 생성할 수 있는 파노라마 영상 생성 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 파노라마 영상 생성 방법은 방사상으로 구비된 복수의 카메라들을 이용하여 초기 파노라마 영상을 촬영하는 단계; 상기 초기 파노라마 영상으로부터 파노라마 감시영역을 설정하는 단계; 상기 파노라마 감시영역을 촬영하도록 상기 카메라들을 조정하는 단계; 및 상기 카메라들에 의해 촬영된 상기 감시영역에 영상들에 대하여 최종 파노라마 영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 감시영역을 촬영한 각 영상의 픽셀이 상기 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 맵 데이터가 적용된 상기 감시영역 영상들을 블렌딩 처리하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 파노라마 영상 생성 장치는 방사상으로 구비된 복수의 카메라; 상기 카메라들에 의해 촬영된 초기 파노라마 영상으로부터 파노라마 감시영역을 설정하는 설정부; 상기 파노라마 감시영역을 촬영하도록 상기 카메라들을 조정하는 조정부; 및 상기 카메라들에 의해 촬영된 상기 감시영역에 영상에 대하여 최종 파노라마 영상을 생성하는 파노라마 영상 생성부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 감시영역을 촬영한 각 영상의 픽셀이 상기 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 파노라마 초기화부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 맵 데이터가 적용된 상기 감시영역 영상들을 블렌딩 처리하는 블렌딩 처리부;를 더 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 방사상으로 구비된 복수의 카메라를 동시에 이용하여 사각지대가 없고 화각 변화가 가능한 실시간 파노라마 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 초기 파노라마 영상을 보이는 도면이다.
도 3은 도 1 중 각 카메라가 촬영한 파노라마 설정영역 영상을 보이는 도면이다.
도 4는 도 1 중 각 카메라가 촬영한 파노라마 설정영역 영상의 정합을 설명하기 위한 도면이다.
도 5는 도 1 중 블렌딩 처리를 설명하기 위한 도면이다.
도 6은 도 1 중 파노라마 설정영역에 대한 최종 파노라마 영상을 보이는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 맵 데이터 생성 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 파노라마 영상 생성 장치는 카메라(100), 관리수단(200) 및 디스플레이부(300)를 포함한다. 도 1에서, 카메라(100)는 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)를 포함할 수 있다. 도 1에서 관리수단(200)은 영역 설정부(210), 카메라 조정부(220), 파노라마 초기화부(230), 블렌딩 처리부(240) 및 파노라마 영상 생성부(250)를 포함할 수 있다.
카메라(100)는 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)를 포함하는데, 제1 카메라(110) 내지 제4 카메라(140) 각각은 줌 렌즈(미도시)가 장착되어 있어서 줌 조절이 가능하며, 줌 변화가 동기화 되어 제1 카메라(110) 내지 제4 카메라(140)를 동시에 똑 같은 레벨의 줌으로 조절할 수 있다. 또한 제1 카메라(110) 내지 제4 카메라(140)는 화각이 겹칠 수 있도록 조절이 가능해 줌 변화에 의해 화각이 좁아지더라도 일정 비율로 겹칠 수 있도록 제1 카메라(110) 내지 제4 카메라(140)는 위치가 변화될 수 있다. 또한 제1 카메라(110) 내지 제4 카메라(140)에는 팬/틸트 모듈이 장착되어 원하는 영역 감시를 위해 팬 또는 틸트 방향으로 이동 가능하다. 제1 카메라(110) 내지 제4 카메라(140) 각각이 감시 가능한 최대 화각은 360도 이다. 여기서 줌 조절, 위치 변화 조절 및 팬/틸트 조정은 후술하는 카메라 조정부(220)에 의해 수행될 수 있다.
관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140)가 촬영한 영상 초기 파노라마 영상으로부터 파노라마 감시영역이 설정되면, 파노라마 감시영역을 촬영하도록 제1 카메라(110) 내지 제4 카메라(140)를 조정하고, 조정된 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영된 감시영역에 영상에 대하여 최종 파노라마 영상을 생성한다.
영역 설정부(210)는 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영된 초기 파노라마 영상으로부터 파노라마 감시영역을 설정한다. 디스플레이부(300)에 표시된 초기 파노라마 영상은 현재 감시영역을 확인할 수 있는 영상이다. 초기 파노라마 영상 촬영 시에 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 360도 최대 광각 모드로 설정할 수 있다. 도 2에는 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영되어 디스플레이부(300)에 표시되는 초기 파노라마 영상이 도시되어 있다. 영역 설정부(210)는 디스플레이부(300)에 표시되는 초기 파노라마 영상 중 임의의 파노라마 감시영역(310)을 설정한다. 파노라마 감시영역(310) 설정 시에, 마우스 및 기타 입력 장치를 이용하여 원하는 파노라마 감시영역(310)을 설정할 수 있다. 이때 제1 카메라(110) 내지 제4 카메라(140)의 최소 화각 보다 적은 영역은 파노라마 감시영역(310)으로 설정할 수 없다.
카메라 조정부(220)는 설정된 파노라마 감시영역(310)에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각을 조정한다. 제1 카메라(110) 내지 제4 카메라(140)에 대한 개별 이동에 대하여, 카메라 조정부(220)는 개별 카메라 간 일정 부분의 화각이 겹칠 수 있도록 PTZ(pan, tilt, zoom)을 조절한다. 이때 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 좌우 또는 상하로 이동시킬 수도 있다.
도 3은 설정된 파노라마 감시영역(310)에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각이 조정된 후에, 각 카메라가 촬영한 파노라마 감시영역(310)을 보이는 도면이다. 도 3a는 제1 카메라(110)가 촬영한 파노라마 감시영역(311)을, 도 3b는 제2 카메라(120)가 촬영한 파노라마 감시영역(312)을, 도 3c는 제3 카메라(130)가 촬영한 파노라마 감시영역(313)을, 도 3d는 제4 카메라(140)가 촬영한 파노라마 감시영역(314)을 나타낸다.
파노라마 초기화부(230)는 파노라마 감시영역(310:311-314)을 촬영한 각 영상의 픽셀이 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하기 위해 제1 카메라(110) 내지 제4 카메라(140)의 캘리브레이션 및 초기화를 수행한다.
이를 상세히 설명하면, 파노라마 초기화부(230)는 파노라마 감시영역(310:311-314)을 촬영한 영상들 중 기준 영상 및 대상 영상의 특징점을 추출한다. 여기서 기준 영상 및 대상 영상을 영상의 정합 동작을 수행할 두 개의 영상 즉, 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상 및 제2 카메라(120)가 촬영한 감시영역(312) 영상과, 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상 및 제3 카메라(130)가 촬영한 감시영역(313) 영상과, 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상 및 제4 카메라(140)가 촬영한 감시영역(314) 영상으로부터 특징점들을 추출한다. 특징점 추출 시에, 예를 들어, SIFT(scale invariant feature transform), SURF(speeded up robust feature), MSER(maximum stable extremal region), Harris Laplace, GLOH(gradient location and orientation histogram) 등과 같은 알고리즘을 이용하여 특징점을 추출할 수 있다. 여기서, 추출한 특징점이 일정 개수 이하인 경우, 특징점 추출을 한 번 이상 더 수행할 수 있으며, 사용자가 원하는 경우, 추출한 특징점이 일정 개수 이하이더라도 특징점 추출을 종료할 수 있다. 또한 추출한 특징점이 일정 개수 이하인 경우, 사용자가 직접 대응되는 특징점을 추출할 수 있다. 더 나아가 실내가 아닌 실외의 경우 환경이 열악하여 특징점을 추출할 수 없는 경우가 발생하는데, 이와 같은 경우 사용자가 수동으로 특징점을 추출할 수 있다.
파노라마 초기화부(230)는 대상 영상의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 선택하고, 선택된 기준 영상의 특징점과 대상 영상의 특징점을 정합 쌍으로 결정한다. 여기서, 기준 영상 내의 어느 하나의 특징점과 가장 유사한 대상 영상의 특징점을 선택하고 정합쌍으로 결정하는 동작은 정합 동작(matching operation)이라 정해질 수 있다. 파노라마 초기화부(230)는 기준 영상 내의 특징점들에 대하여 정합 동작들을 반복적으로 수행한다.
도 4에는 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역(310:311-314)의 영상 정합을 설명하는 도면이다. 도 4a는 기준 영상으로써의 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상과 대상 영상으로써의 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다. 도 4b는 기준 영상으로써의 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상과 대상 영상으로써의 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다. 도 4c는 기준 영상으로써의 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상과 대상 영상으로써의 제4 카메라(140)가 촬영한 파노라마 감시영역(314) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다.
파노라마 초기화부(230)는 특징점 매칭쌍들에 대한 정보(매칭쌍들의 좌표 정보)를 수신하여 유사도 연산을 수행 즉, 호모그래피 매트릭스(homography matrix)를 생성을 수행하고, 유사도 연산결과를 기초로 기준 영상 내의 선택된 특징점과 대상 영상 내의 특징점을 정합한다.
파노라마 초기화부(230)는 정합 전 영상의 픽셀 위치가 정합 후, 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하여 저장한다. 여기서, 정합 후 영상은 최종 파노라마 영상일 수 있으며, 다시 말해 정합 전 영상의 픽셀 위치가 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하고 저장한다. 즉, 최종 파노라마 영상은 이 맵 데이터를 이용하여 생성된다. 이와 같이 맵 데이터를 생성하여 저장해 놓으면, 이후 영상에 대해서는 특징점 추출 및 정합 과정이 필요 없이 맵 데이터만을 가지고 파노라마 영상 생성이 가능해 진다.
블렌딩 처리부(240)는 맵 데이터가 적용된 파노라마 감시영역 영상들을 블렌딩 처리한다. 영상 정합 시에 두 영상에서 서로 겹쳐지는 부분이 존재하더라도 영상을 획득한 환경의 차이로 컬러 정보가 급격하게 변할 수 있다. 이때 겹친 부분의 색 블렌딩을 통하여 두 영상이 원할히 이어질 수 있도록 한다. 예를 들어 도 5에서와 같이 A에서 C까지 폭을 가지는 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상과 B에서 D까지의 폭을 가지는 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상을 연결하는 과정에서 두 영상이 겹치는 부분 B-C에 대하여 양쪽 영상에 리니어한(linear) 가중치 W1(x) 및 W2(x)를 주어 두 영상이 부드럽게 이어질 수 있도록 한다. 마찬가지로 블렌딩 처리부(240)는 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상과 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상을 연결하는 과정에서, 또한 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상과 제4 카메라(140)가 촬영한 파노라마 감시영역(314) 영상을 연결하는 과정에서, 두 영상이 겹치는 부분에 대하여 양쪽 영상에 리니어한(linear) 가중치를 주어 두 영상이 부드럽게 이어질 수 있도록 한다. 여기서 속도 및 화질을 위해 Feathering, 멀티 밴드(multi band) 블렌딩, 그라디언트(gradient) 블랜딩 등 다양한 블렌딩 방법이 사용될 수 있다.
파노라마 영상 생성부(250)는 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역의 영상에 맵 데이터를 적용하고, 블렌딩 처리를 완료한 최종 파노라마 영상을 생성한다. 도 6에는 파노라마 설정영역에 대한 최종 파노라마 영상이 도시되어 있다.
이와 같이 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140) 및 맵 데이터를 이용하여 사각지대가 없고, 실시간으로 파노라마 영상을 생성할 수 있다
이어서, 도 7 및 도 8을 참조하여 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법을 설명하기로 한다. 본 발명에 따른 파노라마 영상 생성 방법은 도 1에 도시된 바와 같이 주변 구성 요소들의 도움을 받아 카메라(100), 관리수단(200) 및 디스플레이부(300)에서 수행될 수 있다. 이하의 설명에서, 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법의 동작을 보이는 흐름도 이다.
도 7을 참조하면 관리수단(200)은 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)로부터 촬영된 초기 파노라마 영상을 디스플레이부(300)에 디스플레이 하는 단계(S100)를 수행한다. 여기서, 초기 파노라마 영상은 감시 지역을 우선 확인하기 위한 영상일 수 있다.
초기 파노라마 영상을 디스플레이부(300)에 디스플레이 되면, 관리수단(200)은 초기 파노라마 영상으로부터 임의의 파노라마 감시영역을 설정하는 단계(S200)를 수행한다. 파노라마 감시영역 설정 시에, 마우스 및 기타 입력 장치를 이용하여 원하는 파노라마 감시영역을 설정할 수 있다. 이때 제1 카메라(110) 내지 제4 카메라(140)의 최소 화각 보다 적은 영역은 파노라마 감시영역(310)으로 설정할 수 없다.
파노라마 감시영역 설정이 완료되면, 관리수단(200)은 설정된 파노라마 감시영역에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각을 조정하는 단계(S300)를 수행한다. 제1 카메라(110) 내지 제4 카메라(140)에 대한 개별 이동에 대하여, 카메라 조정부(220)는 개별 카메라 간 일정 부분의 화각이 겹칠 수 있도록 PTZ(pan, tilt, zoom)을 조절한다. 이때 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 좌우 또는 상하로 이동시킬 수도 있다.
제1 카메라(110) 내지 제4 카메라(140)의 조정이 완료되면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140) 각각이 촬영한 파노라마 감시영역 영상의 픽셀이 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 단계(S400)를 수행한다. 도 8에는 맵 데이터 생성 방법의 상세도가 도시되어 있다.
도 8을 참조하면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140)가 촬영한 파노라마 감시영역 영상들 중 기준 영상 및 대상 영상의 특징점을 추출하는 단계(S410)를 수행한다. 여기서 기준 영상 및 대상 영상을 영상의 정합 동작을 수행할 두 개의 영상 즉, 제1 카메라(110)가 촬영한 파노라마 감시영역) 영상 및 제2 카메라(120)가 촬영한 감시영역 영상과, 제2 카메라(120)가 촬영한 파노라마 감시영역 영상 및 제3 카메라(130)가 촬영한 감시영역 영상과, 제3 카메라(130)가 촬영한 파노라마 감시영역 영상 및 제4 카메라(140)가 촬영한 감시영역 영상으로부터 특징점들을 추출한다.
이어서 관리수단(200)은 추출한 특징점이 일정 개수 이상인가를 판단하는 단계(S420)를 수행한다.
추출한 특징점이 일정 개수 이하인 경우, 관리수단(200)은 특징점 추출을 한 번 이상 수행할 수 있으며, 그래도 부족한 경우 사용자가 직접 대응되는 특징점을 수동으로 추출하는 단계(S430)를 수행한다. 여기서, 사용자가 원하는 경우, 추출한 특징점이 일정 개수 이하이더라도 특징점 추출을 종료할 수 있다. 더 나아가 실내가 아닌 실외의 경우 환경이 열악하여 특징점을 추출할 수 없는 경우가 발생하는데, 이와 같은 경우 사용자가 수동으로 특징점을 추출할 수 있다.
일정 개수 이상의 특징점 추출이 완료되면, 관리수단(200)은 대상 영상의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 선택하고, 선택된 기준 영상의 특징점과 대상 영상의 특징점을 정합 쌍으로 결정하고, 특징점 매칭쌍들에 대한 정보(매칭쌍들의 좌표 정보)를 수신하여 유사도 연산을 수행 즉, 호모그래피 매트릭스(homography matrix)를 생성을 수행하고, 유사도 연산결과를 기초로 기준 영상 내의 선택된 특징점과 대상 영상 내의 특징점을 정합하는 단계(S440)를 수행한다.
특징점 정합이 완료되면, 관리수단(200)은 정합 전 영상의 픽셀 위치가 정합 후, 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하여 저장하는 단계(S450)를 수행한다. 여기서, 정합 후 영상은 최종 파노라마 영상일 수 있으며, 다시 말해 정합 전 영상의 픽셀 위치가 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하고 저장한다. 즉, 최종 파노라마 영상은 이 맵 데이터를 이용하여 생성된다. 이와 같이 맵 데이터를 생성하여 저장해 놓으면, 이후 영상에 대해서는 특징점 추출 및 정합 과정이 필요 없이 맵 데이터만을 가지고 파노라마 영상 생성이 가능해 진다.
도 7로 돌아와서, 맵 데이터 생성 및 저장이 완료되면, 관리수단(200)은 맵 데이터가 적용된 파노라마 감시영역 영상들을 블렌딩 처리하는 단계(S500)를 수행한다. 영상 정합 시에 두 영상에서 서로 겹쳐지는 부분이 존재하더라도 영상을 획득한 환경의 차이로 컬러 정보가 급격하게 변할 수 있다. 이때 겹친 부분의 색 블렌딩을 통하여 두 영상이 원할히 이어질 수 있도록 한다. 여기서 속도 및 화질을 위해 Feathering, 멀티 밴드(multi band) 블렌딩, 그라디언트(gradient) 블랜딩 등 다양한 블렌딩 방법이 사용될 수 있다.
블렌딩 처리가 완료되면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역의 영상에 맵 데이터를 적용하고, 블렌딩 처리를 완료한 최종 파노라마 영상을 생성하는 단계(S600)를 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 카메라
110-140: 제1-제4 카메라
200: 관리 수단
210: 영역 설정부
220: 카메라 조정부
230: 파노라마 초기화부
240: 블렌딩 처리부
250: 파노라마 영상 생성부
300: 디스플레이부

Claims (5)

  1. 방사상으로 구비되고, 줌 변화가 동기화되어 동시에 동일 레벨의 줌으로 조절되는 복수의 PTZ 카메라들; 및
    상기 복수의 PTZ 카메라들 각각이 해당 감시 영역을 촬영하도록 상기 복수의 PTZ 카메라들 각각의 팬틸트를 개별적으로 조정하고, 상기 복수의 PTZ 카메라들이 동시에 동일 레벨의 줌으로 조절되도록 상기 복수의 PTZ 카메라들의 줌을 조절하고, 상기 줌 조절된 복수의 PTZ 카메라들의 화각이 일정 비율로 겹치도록 상기 복수의 PTZ 카메라들 각각을 개별적으로 팬틸트 조정하는 조정부;를 포함하고,
    상기 복수의 PTZ 카메라들 각각이 해당 감시 영역을 촬영한 복수의 감시 영상들을 기초로 파노라마 영상이 생성되는, 파노라마 영상 생성 장치.
  2. 제1항에 있어서,
    상기 조정부에 의해 360도 최대 광각 모드로 설정된 상기 복수의 PTZ 카메라들이 촬영한 복수의 감시 영상들을 기초로 생성된 초기 파노라마 영상으로부터 파노라마 감시영역 설정을 수신하는 영역설정부;를 더 포함하는 파노라마 영상 생성 장치.
  3. 제2항에 있어서,
    상기 조정부는, 상기 파노라마 감시영역을 촬영하도록 상기 복수의 PTZ 카메라들의 줌 및 화각을 다시 조정하는, 파노라마 영상 생성 장치.
  4. 제3항에 있어서,
    상기 복수의 PTZ 카메라들 각각이 상기 파노라마 감시영역을 촬영하여 획득한 복수의 감시 영상들 각각의 픽셀 위치가 상기 복수의 감시 영상들을 정합하여 생성되는 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성 및 저장하는 파노라마 초기화부; 및
    상기 복수의 감시 영상들에 상기 맵 데이터를 적용하여 최종 파노라마 영상을 생성하는 파노라마 영상 생성부;를 더 포함하는 것을 특징으로 하는 파노라마 영상 생성 장치.
  5. 제4항에 있어서,
    상기 맵 데이터가 적용된 상기 감시영역 영상들을 블렌딩 처리하는 블렌딩 처리부;를 더 포함하는 것을 특징으로 하는 파노라마 영상 생성 장치.
KR1020190062445A 2019-05-28 2019-05-28 파노라마 영상 생성 장치 및 방법 KR102138333B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190062445A KR102138333B1 (ko) 2019-05-28 2019-05-28 파노라마 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062445A KR102138333B1 (ko) 2019-05-28 2019-05-28 파노라마 영상 생성 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025260A Division KR20140110624A (ko) 2013-03-08 2013-03-08 파노라마 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190064540A KR20190064540A (ko) 2019-06-10
KR102138333B1 true KR102138333B1 (ko) 2020-07-27

Family

ID=66848848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062445A KR102138333B1 (ko) 2019-05-28 2019-05-28 파노라마 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102138333B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552326B1 (ko) 2023-01-16 2023-07-06 (주)글로벌시스템스 감시 지역에 대한 복층 파노라마 영상 생성 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339825B1 (ko) * 2021-08-11 2021-12-16 한화시스템(주) 상황인식 장치 및 이의 영상 스티칭 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585822B1 (ko) * 2004-04-26 2006-06-01 주식회사 일리시스 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
KR20110041890A (ko) * 2009-10-16 2011-04-22 삼성전기주식회사 입체촬영 기능을 갖는 파노라마 카메라 시스템
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552326B1 (ko) 2023-01-16 2023-07-06 (주)글로벌시스템스 감시 지역에 대한 복층 파노라마 영상 생성 방법

Also Published As

Publication number Publication date
KR20190064540A (ko) 2019-06-10

Similar Documents

Publication Publication Date Title
KR100799088B1 (ko) 고속 디지털 팬 틸트 줌 비디오
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
JP2006262030A (ja) 画角調整装置、カメラシステムおよび画角調整方法
Alomran et al. Feature-based panoramic image stitching
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
CN110944101A (zh) 摄像装置及图像记录方法
CN110278366B (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN107376360B (zh) 游戏直播方法及游戏直播系统
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
TWI696147B (zh) 全景圖形成方法及系統
CN110796690B (zh) 图像匹配方法和图像匹配装置
JP7192526B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
RU2716896C1 (ru) Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения
KR20140110624A (ko) 파노라마 영상 생성 장치 및 방법
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
US11900635B2 (en) Organic camera-pose mapping
KR20160101762A (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
US11823410B1 (en) Video match moving system and method
JP2023091490A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN110930303A (zh) 全景图形成方法及系统

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant