KR102189298B1 - 파노라마 영상 생성을 위한 시스템 및 방법 - Google Patents

파노라마 영상 생성을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102189298B1
KR102189298B1 KR1020140033486A KR20140033486A KR102189298B1 KR 102189298 B1 KR102189298 B1 KR 102189298B1 KR 1020140033486 A KR1020140033486 A KR 1020140033486A KR 20140033486 A KR20140033486 A KR 20140033486A KR 102189298 B1 KR102189298 B1 KR 102189298B1
Authority
KR
South Korea
Prior art keywords
image
image capturing
effective
representative
cooperative
Prior art date
Application number
KR1020140033486A
Other languages
English (en)
Other versions
KR20150109919A (ko
Inventor
석주명
임성용
조용주
안상우
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140033486A priority Critical patent/KR102189298B1/ko
Publication of KR20150109919A publication Critical patent/KR20150109919A/ko
Application granted granted Critical
Publication of KR102189298B1 publication Critical patent/KR102189298B1/ko

Links

Images

Classifications

    • G06T3/06—

Landscapes

  • Studio Devices (AREA)

Abstract

파노라마 영상 생성을 위한 시스템 및 방법을 제공한다. 독립적으로 분산된 복수의 영상촬영장치를 구비한 파노라마 영상 시스템에서 파노라마 영상을 생성하기 위해 복수의 영상촬영장치 중 촬영중심이 유사한 유효 영상촬영장치를 인지하며, 유효 영상촬영장치 중 협력촬영에 적합한 대표 영상촬영장치를 선정하고, 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상 및 군집된 유효 영상촬영장치 배치정보를 이용하여 협력형 모자이크 파노라마 영상을 생성한다.

Description

파노라마 영상 생성을 위한 시스템 및 방법{Method and apparatus for generating panorama image}
본 발명은 파노라마 영상 생성을 위한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 독립된 다수의 영상촬영장치를 이용하여 직접 촬영이 어려운 특정 공간을 재현할 수 있는 협력형 파노라마 영상을 생성하기 위한 시스템 및 방법에 관한 것이다.
일반적으로 넓은 공간을 재현하기 위하여 활용되는 파노라마 영상은 영상촬영장치가 가진 고유의 화각과 초점거리의 한계로 동일한 촬영 위치에서 이웃 촬영장치간에 겹쳐서 촬영한 후에 촬영 이미지간의 특징점 등의 연관성을 이용하여 촬영 이미지를 이어 붙이는 방법으로 공간을 재현한다.
이러한 일반적인 파노라마 영상 촬영 방법은 촬영장치의 크기 등이 달라 동일 중심점을 일치시키지 못하는 시차 문제가 발생하므로 파노라마 영상의 스티칭 왜곡을 최소화하기 위해 모든 영상촬영장치들이 동일한 촬영중심을 가질 수 있도록 릭 구조체를 탑재하여 세밀한 카메라 보정 과정을 수행한다. 그러나, 촬영자가 직접 가기 어려운 장소를 촬영하는 경우에는 영상촬영장치를 고정하는 구조체를 활용하기가 어려운 문제점이 있다.
따라서, 자유롭게 배치된 다수의 영상촬영장치를 이용하여 파노라마 영상을 생성하기 위한 기술이 요구된다.
한국 등록 특허 제10-1323099호("모자이크 영상생성장치", 쎄트렉아이, 2013.05.28 공개)
전술한 문제점을 해결하기 위한 본 발명의 목적은 독립된 다수의 영상촬영장치를 이용하여 직접 촬영이 어려운 특정 공간을 재현할 수 있는 협력형 파노라마 영상을 생성하기 위한 시스템 및 방법에 관한 것이다.
발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명의 목적을 달성하기 위한 본 발명의 실시예에 따른 독립적으로 분산된 복수의 영상촬영장치를 구비한 파노라마 영상 시스템에서 파노라마 영상을 생성하는 방법에 있어서, 상기 복수의 영상촬영장치 중 촬영중심이 유사한 유효 영상촬영장치를 인지하는 단계; 상기 유효 영상촬영장치 중 협력촬영에 적합한 대표 영상촬영장치를 선정하는 단계; 및 상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상 및 상기 군집된 유효 영상촬영장치 배치정보를 이용하여 협력형 모자이크 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 파노라마 영상 생성을 위한 시스템 및 방법에 따르면, 특정 공간에서 자유롭게 배치된 독립된 다수의 촬영 장치 노드 중 촬영중심이 유사한 연관성이 높은 유효 영상촬영장치를 선별한 후 유효 영상촬영장치로부터 획득한 협력영상을 이용하여 특정 공간을 촬영한 유효 영상촬영장치의 위치를 산출함에 따라 촬영중심이 동일해 지도록 하기 위한 카메라 보정없이 공간 재현에 필요한 영상촬영장치를 선별하여 협력형 파노라마 영상을 생성할 수 있다. 그에 따라, 사람이 직접 가서 촬영하기 어려운 장소나 하나의 카메라로 실제 공간을 촬영하기 어려운 점을 해결할 수 있다.
또한, 독립된 다수 영상촬영장치로 촬영된 협력영상을 이용하여 특정 공간을 재현하는 협력형 파노라마 서비스를 제공하여 다양한 파노라마 영상 콘텐츠 획득을 통한 촬영 편의성을 제공할 수 있다. 그에 따라, 실사 기반 파노라마 영상 서비스 산업 활성화에 기여할 수 있으며, 영화의 특수촬영, 산불 감시, 지역탐사 등과 같은 다양한 산업 분야에 광범위하게 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 파노라마 영상 생성 시스템을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 도시한 복수의 영상촬영장치를 통해 생성된 토폴로지 정보의 일례를 나타내는 도면이다.
도 3은 도 1에 도시한 영상촬영장치의 구성을 개략적으로 나타내는 도면이다.
도 4는 도 1에 도시한 영상생성장치의 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 영상촬영장치의 동작을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 영상생성장치의 동작을 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 파노라마 영상 생성 시스템을 개략적으로 나타내는 블록도이다. 도 2는 도 1에 도시한 복수의 영상촬영장치를 통해 생성된 토폴로지 정보의 일례를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)은 복수의 영상촬영장치(110) 및 영상생성장치(120)를 포함한다.
복수의 영상촬영장치(110)는 각각 카메라를 구비하여 영상을 촬영할 수 있는 장치이며, 직접 촬영이 어려운 특정 공간(100a)에서 자유롭게 흩어져 있다. 본 발명의 실시예에 따른 복수의 영상촬영장치(110)는 N 개인 것으로 가정한다. 복수의 영상촬영장치(110)는 각각 서로간의 통신을 수행하여 영상촬영장치 별 위치정보, 카메라의 자세정보, 촬영영상을 포함하는 협력촬영정보를 송수신하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다. 여기서, 영상촬영장치 별 위치정보는 복수의 영상촬영장치(110)의 GPS 및 GIS 측위정보를 포함하는 위성지리정보이다. 카메라의 자세정보는 위성지리정보에 의한 방향과 수평계를 기준으로 하거나 또는 다른 영상촬영장치의 카메라 자세기준 대비 영상촬영장치의 렌즈 방향에 대하여 공간 상의 카메라 3차원 각도(X/Y/Z 각도: 패닝/틸팅/회전)에 대한 정보이다. 이때, 영상촬영장치에 장착된 렌즈는 동일한 화각을 갖는 것으로 가정한다.
구체적으로, 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보를 검출한다. 복수의 영상촬영장치(110)는 영상촬영장치 별 위치정보에 포함된 위성지리정보를 이용하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다. 이때, 측위정보 정확성의 한계로 인해 거리계산 오차가 발생할 수 있으나, 위성지리정보에 의한 거리계산 오차는 영상촬영장치에 탑재된 무선 송수신기(WIFI, 3G)(도시하지 않음) 등을 통해 영상촬영장치 사이에서의 무선세기 송수신피드백 시간 등과 같은 무선 시그널링을 수행하여 세밀하게 보정할 수 있다.
직접 촬영이 어려운 특정 공간을 재현하기 위한 파노라마 영상을 생성하기 위해서는 동일한 촬영중심을 가져야 파노라마 영상 생성시 왜곡이 최소화되므로, 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출하고, 이를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다.
유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 인접범위 기준에서 이웃 유효 영상촬영장치를 검색하여 개수를 누적한다. 이때, 유효 영상촬영장치(110a) 중 높은 이웃 유효 영상촬영장치 개수를 가진 유효 영상촬영장치가 대표 영상촬영장치(110b)로 선정된다. 여기서, 인접범위는 이웃 유효 영상촬영장치 개수를 판단하기 위한 기준범위이며, 기본값은 예를 들어 10m 이내 거리 등으로 설정 가능하나 위성지리정보의 분해력에 따라 값이 변경될 수 있다. 다시 말해, 이웃 유효 영상촬영장치의 개수가 많은 유효 영상촬영장치가 이웃 유효 영상촬영장치와 함께 협력 촬영을 하기에 적합하다고 가정할 수 있으므로 이웃 유효 영상촬영장치의 개수가 많은 유효 영상촬영장치를 군집(Group)의 대표 영상촬영장치로 선정한다. 이때, 대표 영상촬영장치를 선정하기 위한 이웃 유효 영상촬영장치의 개수는 산발적으로 흩어진 영상촬영장치의 개수와 분포형태, 탑재된 카메라 렌즈 화각에 따라 달라질 수 있으며, 그 값은 조정될 수 있다. 이처럼 인접범위 내 유효 영상촬영장치의 개수에 따라서 다수의 군집(Group)이 형성된다. 본 발명의 실시예에서는 4개의 군집(Group1-Group4)이 형성된 것으로 가정한다.
인접범위에 의하여 군집화된 영상촬영장치들이 협력촬영하기 위해서는 각 영상촬영장치들의 촬영방향 및 촬영각도 등과 같은 촬영상태를 파악해야 하므로, 먼저 군집(Group1-Group4)별 대표 영상촬영장치(110b)가 자신이 촬영기준에 적합한지를 판단한다.
구체적으로, 대표 영상촬영장치(110b)는 자신이 속한 군집내 이웃 유효 영상촬영장치로부터 촬영영상을 수집한다. 대표 영상촬영장치(110b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신의 카메라 자세정보 기준 대비 이웃 유효 영상촬영장치의 카메라 자세정보를 산출한다. 대표 영상촬영장치(110b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수와 군집내 이웃 유효 영상촬영장치의 개수를 비교하여 촬영기준의 적합성을 판단한다. 즉, 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수가 군집내 이웃 유효 영상촬영장치의 개수 대비 설정값 이하인 경우, 대표 영상촬영장치(110b)의 카메라 자세가 아래를 바라보는 등과 같이 촬영기준에 적합하지 않은 것으로 판단할 수 있다. 여기서, 설정값은 대표 영상촬영장치(110b)가 촬영기준에 적합한지를 판단하기 위한 기준으로, 군집내 이웃 유효 영상촬영장치 개수에 기초하여 그 값이 달라질 수 있다.
만일, 군집(Group1-Group4)별 대표 영상촬영장치(110b)가 촬영기준에 적합하지 않은 것으로 판단되면, 최적의 촬영기준점을 파악하기 위해 대표 영상촬영장치를 변경하여 새로운 대표 영상촬영장치를 선정한다. 구체적으로, 대표 영상촬영장치를 변경해야 하는 해당 군집 내에서 다음으로 이웃 유효 영상촬영장치의 개수가 많은 영상촬영장치를 새로운 대표 영상촬영장치로 선정하거나 또는 유효 영상촬영장치의 카메라 자세정보가 수평좌표와 오차가 적은 유효 영상촬영장치를 새로운 대표 영상촬영장치로 선정한다. 새로운 대표 영상촬영장치를 선정한 후에도 최적의 촬영기준점을 위해 특징점 추출 기반의 영상처리 방법을 반복적으로 수행하여 촬영중심이 유사한 유효 영상촬영장치를 새로운 대표 영상촬영장치로 선정한다.
이처럼 반복적으로 새로운 대표 영상촬영장치 선정을 통해 파노라마 영상 촬영에 적합한 노드의 군집의 형성이 완료되면, 군집(Group1-Group4)별 유효 영상촬영장치는 현재 위치에서 자신이 촬영 가능한 화각범위 내 영상을 촬영한 협력영상을 대표 영상촬영장치로 전달한다. 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 검증과 제어를 위해 도 2와 같이 군집(Group1-Group4)별 유효 영상촬영장치의 위치를 연결선/색상(310-340)으로 표시하여 유효 영상촬영장치 배치정보를 시각화하여 토폴로지 정보(300)를 생성한다 그리고, 군집(Group1-Group4)별 대표 영상촬영장치(110b)는 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 영상생성장치(120)로 전달한다.
다시 도 1을 참고하면, 영상생성장치(120)는 제어국(도시하지 않음)에 탑재되며 복수의 영상촬영장치(110)와의 통신하여 최종 협력 정보를 전달받는다. 영상생성장치(120)는 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다. 영상생성장치(120)는 토폴로지 정보(300)에 기초하여 공간재현에 필요한 유효 영상촬영장치의 위치를 인지한다. 영상생성장치(120)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영된 협력영상을 이용하여 직접 촬영이 어려운 특정 공간에 대한 협력형 모자이크 파노라마 영상을 생성한다.
도 3은 도 1에 도시한 영상촬영장치의 구성을 개략적으로 나타내는 도면이다.
도 2 및 도 3을 참고하면, 본 발명의 실시예에 따른 복수의 영상촬영장치(110)의 구성 및 기능은 동일하며, 대표 영상촬영장치로 동작할 수 있으므로 대표 영상촬영장치(110b)를 이용하여 구체적으로 설명한다. 유효 영상촬영장치(110b)는 영상 촬영부(111b), 통신부(112b) 및 제어부(113b)를 포함한다.
영상 촬영부(111b)는 영상을 촬영하는 카메라이다. 영상 촬영부(111b)는 촬영된 영상을 제어부(113b)로 전달한다.
통신부(112b)는 다른 영상촬영장치 또는 영상생성장치(120)와 통신을 수행하여 협력형 모자이크 파노라마 영상을 생성하기 위한 정보를 송수신한다. 그리고, 통신부(112b)는 송수신된 모든 정보를 제어부(113b)로 전달한다.
제어부(113b)는 이웃 거리 산출부(1131b), 유효 영상촬영장치 인지부(1132b), 촬영기준 확인부(1133b), 토폴로지 생성부(1134b) 및 협력정보 관리부(1135b)를 포함한다.
이웃 거리 산출부(1131b)는 복수의 영상촬영장치(110) 중 자신과 이웃한 영상촬영장치를 감지하기 위해 협력촬영정보를 이용하여 이웃 거리를 산출한다. 이웃 거리 산출부(1131b)는 이웃 거리 산출이 완료되었음을 유효 영상촬영장치 인지부(1132a)로 알린다.
유효 영상촬영장치 인지부(1132b)는 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출한다. 유효 영상촬영장치 인지부(1132b)는 영상촬영장치 별 위치정보 및 카메라의 자세정보를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다. 유효 영상촬영장치 인지부(1132b)는 유효 영상촬영장치를 인지하였음을 촬영기준 확인부(1133b)로 알린다.
촬영기준 확인부(1133b)는 자신이 속한 군집내 이웃 유효 영상촬영장치로부터 촬영영상을 수집한다. 촬영기준 확인부(1133b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신의 카메라 자세정보 기준 대비 이웃 유효 영상촬영장치로의 카메라 자세정보를 산출한다. 촬영기준 확인부(1133b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수와 군집내 이웃 유효 영상촬영장치의 개수를 비교하여 촬영기준의 적합성을 판단한 결과에 따라 군집내 적합한 유효 영상촬영장치로 대표 권한을 넘겨주거나 또는 지속적으로 대표 영상촬영장치로 동작한다. 촬영기준 확인부(1133b)는 지속적으로 대표 영상촬영장치로 동작하는 경우, 대표 영상촬영장치로 동작함을 토폴로지 생성부(1134b)로 알린다.
토폴로지 생성부(1134b)는 촬영기준 확인부(1133b)를 통해 대표 영상촬영장치로 동작하는 것이 확인되면, 자신이 속한 군집내 유효 영상촬영장치로부터 현재 위치에서 촬영한 협력영상을 전달받는다. 토폴로지 생성부(1134b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 토폴로지 생성부(1134b)는 검증과 제어를 위해 군집내 유효 영상촬영장치 배치정보를 이용하여 유효 영상촬영장치의 위치를 연결선/색상(310-340)으로 표시하여 영상촬영장치 배치정보를 시각화하는 방법으로 토폴로지 정보(300)를 생성한다. 토폴로지 생성부(1134b)는 군집내 유효 영상촬영장치로부터 전달된 협력영상과 토폴로지 정보(300)를 협력정보 관리부(1135b)로 전달한다.
협력정보 관리부(1135b)는 토폴로지 생성부(1134b)로부터 군집내 유효 영상촬영장치로부터 전달된 협력영상과 토폴로지 정보(300)를 전달받는다. 협력정보 관리부(1135b)는 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 생성한다. 협력정보 관리부(1135b)는 최종 협력 정보를 영상생성장치(120)로 전달한다.
도 4는 도 1에 도시한 영상생성장치의 구성을 개략적으로 나타내는 도면이다.
도 2 및 도 4를 참고하면, 본 발명의 실시예에 따른 영상생성장치(120)는 통신부(121) 및 파노라마 영상 생성부(122)를 포함한다.
통신부(121)는 군집(Group1-Group4)별 대표 영상촬영장치와의 통신을 통해 최종 협력 정보를 전달받는다. 통신부(121)는 군집(Group1-Group4)별 최종 협력 정보를 파노라마 영상 생성부(122)로 전달한다.
파노라마 영상 생성부(122)는 군집(Group1-Group4)별 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다. 파노라마 영상 생성부(122)는 토폴로지 정보(300)에 기초하여 공간재현에 필요한 군집(Group1-Group4)별 유효 영상촬영장치를 인지한다. 그리고, 파노라마 영상 생성부(122)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영한 협력영상을 이용하여 직접 촬영이 어려운 특정 공간에 대한 협력형 모자이크 파노라마 영상을 생성한다.
도 5는 본 발명의 실시예에 따른 영상촬영장치의 동작을 나타내는 순서도이다.
도 1 및 도 5를 참고하면, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)의 복수의 영상촬영장치(110)는 각각 서로간의 통신을 수행하여 영상촬영장치 별 위치정보, 카메라의 자세정보, 촬영영상을 포함하는 협력촬영정보를 송수신하여 자신과 이웃한 영상촬영장치와의 이웃 거리를 산출한다(S100). 복수의 영상촬영장치(110)는 각각 협력촬영정보로부터 영상촬영장치 별 위치정보 및 카메라의 자세정보를 검출하고, 이를 이용하여 촬영중심이 유사한 유효 영상촬영장치(110a)를 인지한다(S110).
유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 인접범위 기준에서 이웃 유효 영상촬영장치를 검색하여 개수를 누적한다. 그리고, 유효 영상촬영장치(110a)는 각각 서로간의 통신을 수행하여 높은 이웃 유효 영상촬영장치 개수를 가진 유효 영상촬영장치를 대표 영상촬영장치(110b)로 선정한다(S120). 이때, 인접범위 내 유효 영상촬영장치의 개수에 따라서 다수의 군집(Group)이 형성된다.
군집(Group1-Group4)별 대표 영상촬영장치(110b)는 다수의 촬영영상을 특징점 추출 기반의 영상처리 방법을 활용하여 자신이 촬영기준에 적합한지를 판단한다(S130). 즉, 대표 영상촬영장치(110b)는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수가 군집내 이웃 유효 영상촬영장치의 개수 대비 설정값이하인지의 여부를 판단한다.
S130 단계의 판단결과, 군집별 대표 영상촬영장치(110b)가 촬영기준에 적합하지 않은 것으로 판단되면, 대표 영상촬영장치(110b)의 카메라 자세가 아래를 바라보는 등과 같이 촬영기준에 적합하지 않은 것으로 판단하여 S120 단계로 돌아가 군집 내 새로운 대표 영상촬영장치를 선정한다.
한편, S130 단계의 판단결과, 대표 영상촬영장치(110b)가 촬영기준에 적합한 것으로 판단되면, 대표 영상촬영장치(110b)는 자신이 속한 군집내 유효 영상촬영장치에서 촬영한 협력영상을 전달받는다(S140). 대표 영상촬영장치(110b)는 협력영상을 이용하여 군집내 유효 영상촬영장치 배치정보를 산출한다. 대표 영상촬영장치(110b)는 군집내 유효 대표 영상촬영장치(110b)는 협력형 모자이크 파노라마 영상이 생성될 수 있도록 토폴로지 정보(300) 및 협력영상을 포함하는 최종 협력 정보를 생성하고, 이를 영상생성장치(120)로 전달한다(S160).
도 6은 본 발명의 실시예에 따른 영상생성장치의 동작을 나타내는 순서도이다.
도 1 및 도 6을 참고하면, 본 발명의 실시예에 따른 파노라마 영상 생성 시스템(100)의 영상생성장치(120)는 군집(Group1-Group4)별 대표 영상촬영장치와의 통신을 통해 최종 협력 정보를 전달받는다(S200). 영상생성장치(120)는 군집(Group1-Group4)별 최종 협력 정보로부터 토폴로지 정보(300) 및 협력영상을 검출한다(S210). 영상생성장치(120)는 토폴로지 정보(300)에 기초하여 직접 촬영이 어려운 특정 공간(100a)의 재현을 위해 필요한 군집(Group1-Group4)별 유효 영상촬영장치의 위치를 인지한다(S220). 그리고, 영상생성장치(120)는 군집(Group1-Group4)별 유효 영상촬영장치에서 촬영한 협력영상을 이용하여 특정 공간(100a)에 대한 협력형 모자이크 파노라마 영상을 생성한다(S230).
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나 이는 본 발명의 권리 범위를 한정하는 것으로 해석될 수 없으며, 이하에서 기술되는 특허 청구 범위에 의해 판단되는 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 해당 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되어 실시될 수 있을 것이다.
100 : 파노라마 영상 생성 시스템
110 : 영상촬영장치
120 : 영상생성장치

Claims (10)

  1. 독립적으로 분산된 복수의 영상촬영장치를 구비한 파노라마 영상 시스템에서 파노라마 영상을 생성하는 방법에 있어서,
    상기 복수의 영상촬영장치 중 촬영중심이 유사한 유효 영상촬영장치를 인지하는 단계;
    상기 유효 영상촬영장치 중 협력촬영에 적합한 대표 영상촬영장치를 선정하는 단계; 및
    상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상 및 상기 군집된 유효 영상촬영장치 배치정보를 이용하여 협력형 모자이크 파노라마 영상을 생성하는 단계를 포함하고,
    상기 대표 영상촬영장치는 상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영영상들을 수집하고,
    상기 촬영영상들을 특징점 추출 기반의 영상처리 방법을 활용하여 상기 대표 영상촬영장치가 촬영기준에 적합한지 여부를 판단하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  2. 제 1항에 있어서 상기 대표 영상촬영장치를 선정하는 경우,
    상기 유효 영상촬영장치는 기 설정된 인접범위 내의 이웃 유효 영상촬영장치들을 검색하여 개수를 누적하고,
    가장 많은 이웃 유효 영상촬영장치의 개수를 가진 유효 영상촬영장치를 상기 대표 영상촬영장치로 선정하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  3. 삭제
  4. 제 1항에 있어서
    상기 대표 영상촬영장치는 인접하다고 판단되는 카메라 자세정보를 가진 유효 영상촬영장치의 개수가 상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치의 개수 대비 설정값 이하인지의 여부를 판단하여 촬영기준에 적합한지 여부를 판단하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  5. 제 1항에 있어서
    상기 대표 영상촬영장치가 촬영기준에 적합하지 않은 경우,
    상기 대표 영상촬영장치를 변경하여 새로운 대표 영상촬영장치를 선정하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  6. 제 1항에 있어서
    상기 복수의 영상촬영장치는 협력촬영정보를 서로간 송수신하고, 상기 협력촬영정보에 기초하여 상기 유효 영상촬영 장치를 인지하되,
    상기 협력촬영정보는 영상촬영장치 별 위치정보, 카메라의 자세정보, 촬영영상을 포함하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  7. 제 6항에 있어서
    상기 복수의 영상촬영장치는 상기 협력촬영정보에 기초하여 이웃한 영상촬영장치와의 이웃 거리를 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  8. 제 1항에 있어서
    상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상을 이용하여 상기 군집된 유효 영상촬영장치 배치 정보를 산출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  9. 제 1항에 있어서 협력형 모자이크 파노라마 영상을 생성하는 경우,
    상기 대표 영상촬영장치는 상기 군집된 유효 영상촬영장치 배치정보에 기초하여 배치 정보를 시각화한 토폴로지 정보를 생성하고,
    상기 토폴로지 정보에 기초하여 상기 군집된 유효 영상촬영장치를 인지하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  10. 파노라마 영상을 생성하는 파노라마 영상 시스템에 있어서,
    독립적으로 분산된 복수의 영상촬영장치; 및
    대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영된 협력영상 및 상기 군집된 유효 영상촬영장치 배치정보를 이용하여 협력형 모자이크 파노라마 영상을 생성하는 영상생성장치;를 포함하되,
    상기 영상촬영장치는 상기 복수의 영상촬영장치 중 촬영중심이 유사한 유효 영상촬영장치를 인지하고,
    상기 유효 영상촬영장치 중 협력촬영에 적합한 상기 대표 영상촬영장치를 선정하며,
    상기 대표 영상촬영장치는 상기 대표 영상촬영장치 별로 군집된 유효 영상촬영장치로부터 촬영영상들을 수집하고,
    상기 촬영영상들을 특징점 추출 기반의 영상처리 방법을 활용하여 상기 대표 영상촬영장치가 촬영기준에 적합한지 여부를 판단하는 것을 특징으로 하는 파노라마 영상 시스템.
KR1020140033486A 2014-03-21 2014-03-21 파노라마 영상 생성을 위한 시스템 및 방법 KR102189298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140033486A KR102189298B1 (ko) 2014-03-21 2014-03-21 파노라마 영상 생성을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140033486A KR102189298B1 (ko) 2014-03-21 2014-03-21 파노라마 영상 생성을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150109919A KR20150109919A (ko) 2015-10-02
KR102189298B1 true KR102189298B1 (ko) 2020-12-09

Family

ID=54341165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140033486A KR102189298B1 (ko) 2014-03-21 2014-03-21 파노라마 영상 생성을 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102189298B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115819A (ko) * 2022-01-27 2023-08-03 삼성전자주식회사 파노라마 이미지를 생성하기 위한 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048648A (ja) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 特殊効果画像の作成方法及びカメラ並びに画像サーバ
JP2007013939A (ja) * 2005-05-30 2007-01-18 Matsushita Electric Ind Co Ltd メタデータ付与装置及びメタデータ付与方法
JP2007124237A (ja) * 2005-10-27 2007-05-17 Sanyo Electric Co Ltd カメラシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572840B1 (ko) * 2007-12-24 2015-12-01 삼성전자주식회사 다시점 영상 생성과 수신 및 재생 제공 방법과 시스템 및 이를 위한 이동통신 단말기
KR101323099B1 (ko) 2011-11-18 2013-10-30 (주)쎄트렉아이 모자이크 영상 생성 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048648A (ja) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 特殊効果画像の作成方法及びカメラ並びに画像サーバ
JP2007013939A (ja) * 2005-05-30 2007-01-18 Matsushita Electric Ind Co Ltd メタデータ付与装置及びメタデータ付与方法
JP2007124237A (ja) * 2005-10-27 2007-05-17 Sanyo Electric Co Ltd カメラシステム

Also Published As

Publication number Publication date
KR20150109919A (ko) 2015-10-02

Similar Documents

Publication Publication Date Title
US10665261B2 (en) Camera array including camera modules
US20200304758A1 (en) System and method for augmented reality multi-view telepresence
CN106251334B (zh) 一种摄像机参数调整方法、导播摄像机及系统
KR101228341B1 (ko) 카메라 간 협업을 이용한 영상 감시 시스템 및 방법
US20180213217A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
US10951804B2 (en) Photographing synchronization method and apparatus
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
WO2012083056A1 (en) Zooming factor computation
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN106447735A (zh) 一种全景相机几何标定处理方法
JP2022057771A (ja) 通信管理装置、画像通信システム、通信管理方法及びプログラム
KR102189298B1 (ko) 파노라마 영상 생성을 위한 시스템 및 방법
JP3741136B2 (ja) 障害物適応投射型表示装置
US20180278881A1 (en) Multiple camera-based image transmission method, device and system
KR20210050868A (ko) 선박용 원거리 물체 인식 시스템 및 방법
KR101788005B1 (ko) 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법
CN109756667A (zh) 位置取得系统、位置取得装置、位置取得方法以及记录介质
KR20130136311A (ko) 긴급구조 관제서버, 긴급구조 시스템 및 그 방법
KR20170077370A (ko) 객체 인식을 위한 디바이스, 방법 및 이를 이용한 객체 인식 시스템
JP2017050819A (ja) パノラマ画像データの生成装置、生成方法及びプログラム
JP2012039468A (ja) 撮影装置システムおよび撮影装置
KR101341632B1 (ko) 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법
KR20170001632A (ko) 3차원 모델링 데이터 수집 시스템 및 그 방법
JP6237028B2 (ja) 投影装置、投影方法及び情報処理システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant