KR20220164218A - 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법 - Google Patents

Abstract

3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템 및 방법이 개시된다. 본 발명의 일측면에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템은, 입체 형상의 기준체; 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및 카메라장치들로부터 촬영영상을 수신하면, 촬영영상 내의 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버를 포함한다.

Description

3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법{Adjacent camera recognition system and method between multiple cameras for 3D image}

본 발명은 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법에 관한 것이다.

3차원 비디오 처리 기술은 차세대 정보 통신 서비스로서 방송, 의료, 교육, 군사, 게임, 애니메이션 등 그 응용분야가 다양하다. 또한 3차원 비디오 처리 기술은 여러 분야에 공통적으로 요구되는 차세대 실감 3차원 입체 멀티 미디어 정보통신의 핵심 기반 기술로서 이에 대한 연구가 활발히 진행되고 있다.

Photogrammetry(사진측정학)란　복수의　카메라를　배열하여　다(多)시점으로　촬영된 사진　이미지들로부터　원래의　3차원　표면　형상을　역(逆)으로　유추하여　생성하는　기술이다. 포토스캔(photoscan)　또는　IBM(Image Based Modeling)이라는　용어를　사용하기도　한다. 또한, Videogrammetry란　초당　여러　장의 이미지 시퀀스(image sequence)를　대상으로　각　프레임(frame)마다　photogrammetry를　수행하는　기술이다.

Photogrammetry　계산　과정은　여러　단계로　구성되는데,　중첩(overlap)이　존재하는　k개의　이미지들　사이에　특징점 포인트(feature points)를　찾는　것으로　시작한다. k개의　이미지들　사이에　같은　feature가　발견되면　triangulation　과정을　통해　3차원　교차점을　찾는다.

서로　다른　두　이미지들　사이의　특징점(feature point)을　찾을　때　SIFT(Scale Invariant Feature Transform)라는　이미지　프로세싱　알고리즘이 이용된다. SIFT는　이미지의　scale(크기), rotation(회전), lightness(명암)에　상관없이(invariant)　특징점(feature)을　추출하기 위한 알고리즘으로서, 상당히　많은　계산량을　필요로　한다.　최근에는　4K, 8K　해상도를　요구하기　때문에　기존에　비해　SIFT의 계산량이　기하급수적으로　증가하였다.

대한민국 등록특허 제10-1768163호 (3D 비디오 생성 장치)

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 3차원 영상을 위한 사진측정학에서의 SIFT 계산 부하를 줄일 수 있는 다중 카메라간의 인접 카메라 인식 방법 및 시스템을 제공하고자 한다.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

본 발명의 일 측면에 따르면, 입체 형상의 기준체; 상기 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및 상기 카메라장치들로부터 촬영영상을 수신하면, 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템이 제공된다.

여기서, 상기 기준체는 구 형상을 가진다.

또한, 상기 중앙서버는 각　카메라장치의 촬영영상에 대해 기준체 영역의 픽셀 색상값 RGB를 이용하여 서로 다른 두 카메라간에 비교함으로써 인접여부를 식별한다.

또한, 상기 중앙서버는, 상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키며, 서로　다른　두　카메라의　컨벡스 힐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별한다.

본 발명의 다른 측면에 따르면, 다수의 카메라장치로부터 영상을 수신하는 서버장치에서 수행되는 인접 카메라 인식 방법에 있어서, 입체 형상의 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들로부터 촬영영상을 수신하는 단계; 및 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 단계를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.

여기서, 상기 기준체는 구 형상을 가지며, 상기 중앙서버는 상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키며, 서로　다른　두　카메라의　컨벡스 힐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별한다.

본 발명에 따르면, 복수의 카메라에 의한 3차원 영상을 위한 사진측정처리에서 중첩되는 영상을 촬영하는 인접한 카메라에 대해서만 SIFT 계산을 수행함으로써 처리 부하를 줄일 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라들의 페어링 과정을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 기준체를 이용한 페어링을 위한 인접카메라를 선정하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 카메라장치에 의해 촬영된 기준체가 포함된 촬영영상을 도시한 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템을 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라들의 페어링 과정을 도시한 흐름도이다.

먼저 도 1을 참조하면, 본 실시예에 따른 전체 시스템은 복수의 카메라장치들(10-1, 10-2, ... , 10-n, 이하 10으로 통칭), 기준체(20) 및 중앙서버(30)를 포함한다.

복수의 카메라장치들(10)은 Photogrammetry 및/또는 Videogrammetry를 위한 카메라 어레이(array)를 구성하는 장치들일 수 있다.

기준체(20)는 구(ball, sphere) 형상의 물체로서, 색체의 농담(濃淡)을 갖을 수있다. 기준체(20)는 복수의 카메라장치들(10) 전부에서 촬영 가능하는 위치에 형성될 수 있다. 구 형상으로 형성된 기준체(20)는 어느 방향에서 보더라도 원의 형태로 보이기 때문에, 중앙서버(30)는 각 카메라장치(10)에서 촬영된 이미지에서 기준체(20)에 해당하는 원을 찾아낸 후 이 원 안의 픽셀들만 선별해낼 수 있을 것이다. 이에 대한 구체적인 내용은 후술한다.

중앙서버(30)는 각 카메라장치(10)들로부터 수신되는 촬영영상을 이용하여, 카메라장치(10)들을 페어링(pairing, 그룹화)한다. 일례로 페어링의 기준은 중첩되는 촬영영역을 갖는 카메라장치(10)들일 수 있다. 이하, 중앙서버(30)의 '페어링 과정'을 도 2를 참조하여 설명한다.

중앙서버(30)는 각 카메라장치(10)들로부터 촬영영상을 수신하면(S210), 각 영상들을 비교분석하여, 각 카메라장치별 인접한 카메라장치(이하, '인접카메라'라 칭함)를 선정한다(S220). 인접카메라를 식별함에 있어 도 1에 도시된 입체 형상의 기준체(20)를 이용하는데, 이에 대해서는 도 3을 참조하여 상세히 설명하기로 한다.

각 카메라장치별 인접카메라에 대해서만 SIFT 알고리즘을 적용하여 서로간의 동일 특징점을 도출한다(S230). SIFT 알고리즘 자체에 대한 내용은 당업자에게 자명한 사항일 것이므로 이에 대한 상세한 설명은 생략한다. 본 발명은 임의의 카메라장치와 다른 카메라 장치 전부와의 SIFT 알고리즘을 계산하지 않고, 인접한 카메라장치들간에만 SIFT 알고리즘을 적용함으로써 불필요한 계산량을 줄이는 것이 주된 특징이다.

서로 다른 영상간 동일 특징점이 탐색되면, 3차원 교차점을 탐색하여 각 카메라장치의 위치를 추정하여, 유사 위치의 것들을 서로 페어링한다.

카메라장치(10)의　위치　및/또는　방향 등의 외적변수(extrinsic parameter), 렌즈　종류,　초점거리　등의　고유변수(intrinsic parameter)가　고정되어　있는　경우를 가정하고, 실제 영상 촬영 전에 도 2에 따른 프로세스를 선행프로세스로서 수행함으로써, 서로　연관성을　가지고　있는　카메라 페어(camera pair)를　구축할　수　있다.

이하, 본 발명의 일 실시예에 따른 기준체(20)를 이용한 인접카메라 선정(도 2의 S220) 방식에 대해 상세히 설명하고자 한다.

도 3은 본 발명의 일 실시예에 따른 기준체(20)를 이용한 페어링을 위한 인접카메라를 선정하기 위한 과정을 도시한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 카메라장치에 의해 촬영된 기준체(20)가 포함된 촬영영상을 도시한 예시도이다.

도 3 및 도 4를 참조하기에 앞서, 다시 도 1을 참조하여 설명한 바와 같이, 기준체(20)는 모든 카메라장치(10)의 촬영 영역 내에 위치하여, 도 4와 같이 카메라장치들(10)의 촬영영상(400) 내에 표시될 수 있다.

따라서, 중앙서버(30)는 도 4와 같은 촬영영상(400)을 카메라장치(10)로부터 수신하고, 촬영영상 내 기준체 영역(410)의 정보를 도출할 수 있다. 중앙서버(30)는 촬영영상(400)에서 원(circle)에 상응하는 영역을 검출할 수 있고, 검출된 영역에 대한 정보 즉 '기준체 영역 정보'로서 색채정보인 RGB값을 도출할 수 있다. 기준체 영역 정보는 색채정보에 한정되는 것은 아니며 기준체 영역의 휘도값(명암을 이용) 또는 형상 자체에 대한 정보도 기준체 영역 정보로서 이용될 수 있을 것이다.

일례에 따르면 기준체(20)는 구(ball) 형상을 가지며, 색체의 농담(濃淡)을 갖는다는 것은 상술한 바와 같다. 즉, color gradation을 갖는 기준체(20)를 카메라장치가 어떤 방향에서 촬영하느냐에 따라 기준체 영역의 정보(즉 RGB값)가 달라질 수 있다.

일례에 따른 도 3을 참조하면, 중앙서버(30)는 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트 클라우드(point cloud)로 만든 후, RGB 포인트 클라우드를 컨벡스-헐-알고리즘(convex hull algorithm)으로　체적화시킬 수 있다(S221). 즉, 본 실시예에서는 색채정보인 RGB를 이용한 이미지 비교방식으로서 RGB정보의 3차원 체적화 비교 방안을 제안한다.

점 자료(Point　Cloud)는 3차원 좌표를 가지고 있는 점들로 불규칙하게 구성된 자료를 의미할 수 있으며, 컨벡스-헐-알고리즘은 이러한 3차원상의 점 자료를 체적화하는 알고리즘일 수 있다. 컨벡스-헐-알고리즘에 대한 구체적인 내용은 이미 공개되어 있으므로, 이에 대한 상세한 설명은 생략한다.

그리고, 중앙서버(30)는 서로　다른　두　카메라장치의　컨벡스-헐(convex hull)들　사이의　교차부피를　계산할 수 있고(S222), 교차부피가 미리 설정된 임계값 이상인지(달리 표현하자면 임계값 미만인지)를 판단할 수 있으며(S223), 임계값 이상이면 인접카메라로 선정할 수 있고(S225), 임계값 미만이면 서로 인접한 것이 아니라 판단하여 차후 서로 SIFT 수행대상에서 제외시킬 수 있다(S224).

다시 말해, 인접한 카메라장치들은 촬영된 영상으로부터 추출하는 기준체 정보가 서로 유사할 것이므로, 중앙서버(30)는 기준체(20)를 촬영한 정보를 기반으로 인접카메라를 선정할 수 있으며, 각 카메라장치(10) 및/또는 중앙서버(30)는 인접카메라에 대해서만 특징점 도출을 위한 SIFT를 수행함으로써 처리 부하를 줄일 수 있게 된다.

상술한 중앙서버(30)의 인접카메라 선정 동작은 복수의 카메라장치(10)들을 인접한 카메라들끼리 페어링 또는 클러스터링하기 위한 방법으로, 카메라장치(10)의 본(main) 촬영 전 예비 단계(pre-step)로 수행될 수 있다. 이는 photogrammetry와 videogrammetry 모두 동일하게 적용될 수 있다

상술한 본 발명에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10-1, 10-2, ..., 10-n : 카메라장치
20 : 기준체
30 : 중앙서버

Claims (6)

1. 입체 형상의 기준체;
   상기 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및
   상기 카메라장치들로부터 촬영영상을 수신하면, 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버;
   를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
   
2. 제1항에 있어서,
   상기 기준체는 구 형상으로 형성되는,
   3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
   
3. 제2항에 있어서,
   상기 중앙서버는,
   각　카메라장치의 촬영영상에 대해 기준체 영역의 픽셀 색상값 RGB를 이용하여 서로 다른 두 카메라간에 비교함으로써 인접여부를 식별하는,
   3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
   
4. 제3항에 있어서,
   상기 중앙서버는,
   상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키고, 서로　다른　두　카메라의　컨벡스 힐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별하는,
   3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
   
5. 다수의 카메라장치로부터 영상을 수신하는 서버장치에서 수행되는 인접 카메라 인식 방법에 있어서,
   입체 형상의 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들로부터 촬영영상을 수신하는 단계; 및
   상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 단계;
   를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법.
   
6. 제5항에 있어서,
   상기 기준체는 구 형상을 가지며,
   상기 SIFT처리 대상으로 선정하는 단계는,
   상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만드는 단계;
   상기 포인트클라우드를 컨벡스-헐-알고리즘(convex hull algorithm)으로　체적화시키는 단계;
   서로　다른　두　카메라의　컨벡스-헐(convex hull)들　사이의　교차부피를　계산하는 단계; 및
   상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별하는 단계;
   를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법.

Images