KR102513220B1 - Adjacent camera recognition system and method between multiple cameras for 3D image - Google Patents

Adjacent camera recognition system and method between multiple cameras for 3D image Download PDF

Info

Publication number
KR102513220B1
KR102513220B1 KR1020210072701A KR20210072701A KR102513220B1 KR 102513220 B1 KR102513220 B1 KR 102513220B1 KR 1020210072701 A KR1020210072701 A KR 1020210072701A KR 20210072701 A KR20210072701 A KR 20210072701A KR 102513220 B1 KR102513220 B1 KR 102513220B1
Authority
KR
South Korea
Prior art keywords
reference body
camera
cameras
image
adjacent
Prior art date
Application number
KR1020210072701A
Other languages
Korean (ko)
Other versions
KR20220164218A (en
Inventor
최완호
정범기
이태형
Original Assignee
주식회사 지에프티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지에프티 filed Critical 주식회사 지에프티
Priority to KR1020210072701A priority Critical patent/KR102513220B1/en
Publication of KR20220164218A publication Critical patent/KR20220164218A/en
Application granted granted Critical
Publication of KR102513220B1 publication Critical patent/KR102513220B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템 및 방법이 개시된다. 본 발명의 일측면에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템은, 입체 형상의 기준체; 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및 카메라장치들로부터 촬영영상을 수신하면, 촬영영상 내의 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버를 포함한다.A system and method for recognizing adjacent cameras between multiple cameras for 3D images are disclosed. A system for recognizing adjacent cameras between multiple cameras for a 3D image according to an aspect of the present invention includes a reference body having a three-dimensional shape; A plurality of camera devices for taking images so that the reference body is included; and a central server that, when receiving images from the camera devices, identifies one or more adjacent cameras for each camera device using information on a region corresponding to a reference body in the captured image and selects them as targets for SIFT processing for pairing. include

Description

3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법{Adjacent camera recognition system and method between multiple cameras for 3D image}Adjacent camera recognition system and method between multiple cameras for 3D image

본 발명은 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for recognizing adjacent cameras between a plurality of cameras for 3D images.

3차원 비디오 처리 기술은 차세대 정보 통신 서비스로서 방송, 의료, 교육, 군사, 게임, 애니메이션 등 그 응용분야가 다양하다. 또한 3차원 비디오 처리 기술은 여러 분야에 공통적으로 요구되는 차세대 실감 3차원 입체 멀티 미디어 정보통신의 핵심 기반 기술로서 이에 대한 연구가 활발히 진행되고 있다.3D video processing technology is a next-generation information communication service, and its application fields are diverse, such as broadcasting, medical care, education, military, game, and animation. In addition, 3D video processing technology is a key base technology for next-generation immersive 3D stereoscopic multimedia information and communication commonly required in many fields, and research on this is being actively conducted.

Photogrammetry(사진측정학)란　복수의　카메라를　배열하여　다(多)시점으로　촬영된 사진　이미지들로부터　원래의　3차원　표면　형상을　역(逆)으로　유추하여　생성하는　기술이다. 포토스캔(photoscan)　또는　IBM(Image Based Modeling)이라는　용어를　사용하기도　한다. 또한, Videogrammetry란　초당　여러　장의 이미지 시퀀스(image sequence)를　대상으로　각　프레임(frame)마다　photogrammetry를　수행하는　기술이다.Photogrammetry is a technology that “creates” the “original” three-dimensional “surface” shape by “reversely” inferring it from “photographs” and images taken “from multiple viewpoints” by arranging 　multiple 　cameras. The term “photoscan” or “IBM (Image Based Modeling)” is also used. In addition, videogrammetry is a technique of performing “photogrammetry” for each “frame” of “an image sequence” of “several” sheets per second.

Photogrammetry　계산　과정은　여러　단계로　구성되는데,　중첩(overlap)이　존재하는　k개의　이미지들　사이에　특징점 포인트(feature points)를　찾는　것으로　시작한다. k개의　이미지들　사이에　같은　feature가　발견되면　triangulation　과정을　통해　3차원　교차점을　찾는다. The photogrammetry calculation process consists of several steps, starting with finding feature points among the k images in which overlap exists. If the same “feature” is found among k “images,” a “three-dimensional” “intersection point” is found through a “triangulation” process.

서로　다른　두　이미지들　사이의　특징점(feature point)을　찾을　때　SIFT(Scale Invariant Feature Transform)라는　이미지　프로세싱　알고리즘이 이용된다. SIFT는　이미지의　scale(크기), rotation(회전), lightness(명암)에　상관없이(invariant)　특징점(feature)을　추출하기 위한 알고리즘으로서, 상당히　많은　계산량을　필요로　한다.　최근에는　4K, 8K　해상도를　요구하기　때문에　기존에　비해　SIFT의 계산량이　기하급수적으로　증가하였다. When finding a feature point between two different images, an image processing algorithm called SIFT (Scale Invariant Feature Transform) is used. SIFT is an algorithm for extracting “invariant” features regardless of “scale (size), rotation (rotation), and lightness (contrast)” of an image, and it requires “a lot” of calculations. In recent years, the computational amount of SIFT has increased exponentially compared to 　before 　because of 　requiring 　4K, 8K　resolution.

대한민국 등록특허 제10-1768163호 (3D 비디오 생성 장치)Republic of Korea Patent Registration No. 10-1768163 (3D video generating device)

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 3차원 영상을 위한 사진측정학에서의 SIFT 계산 부하를 줄일 수 있는 다중 카메라간의 인접 카메라 인식 방법 및 시스템을 제공하고자 한다. The present invention has been devised to solve the above problems, and is intended to provide a method and system for recognizing adjacent cameras between multiple cameras that can reduce the SIFT calculation load in photometry for 3D images.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become clearer through preferred embodiments described below.

본 발명의 일 측면에 따르면, 입체 형상의 기준체; 상기 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및 상기 카메라장치들로부터 촬영영상을 수신하면, 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템이 제공된다.According to one aspect of the invention, the reference body of the three-dimensional shape; a plurality of camera devices for capturing images so that the reference body is included; and when receiving images from the camera devices, identifying one or more adjacent cameras for each camera device using information on a region corresponding to the reference body in the captured images and selecting them as targets for SIFT processing for pairing. A system for recognizing adjacent cameras between multiple cameras for 3D images, including a central server, is provided.

여기서, 상기 기준체는 구 형상을 가진다.Here, the reference body has a spherical shape.

또한, 상기 중앙서버는 각　카메라장치의 촬영영상에 대해 기준체 영역의 픽셀 색상값 RGB를 이용하여 서로 다른 두 카메라간에 비교함으로써 인접여부를 식별한다.In addition, the central server compares two different cameras using pixel color values RGB of the reference body area for images taken by each camera device to identify whether they are adjacent.

또한, 상기 중앙서버는, 상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키며, 서로　다른　두　카메라의　컨벡스 힐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별한다.In addition, the central server makes the pixel color RGB of the reference body area into a point cloud in a 3-dimensional space, and then converts the RGB point cloud into a volume using a convex hull algorithm. An intersecting volume between “convex hulls” of cameras is calculated, and an intersecting volume greater than or equal to a preset threshold is identified as a neighboring camera.

본 발명의 다른 측면에 따르면, 다수의 카메라장치로부터 영상을 수신하는 서버장치에서 수행되는 인접 카메라 인식 방법에 있어서, 입체 형상의 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들로부터 촬영영상을 수신하는 단계; 및 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 단계를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.According to another aspect of the present invention, in the neighbor camera recognition method performed by a server device that receives images from a plurality of camera devices, captured images are received from a plurality of camera devices that capture images such that a three-dimensional reference body is included. doing; and identifying one or more adjacent cameras for each camera device using information on a region corresponding to the reference body in the captured image and selecting them as SIFT processing targets for pairing. A method for recognizing adjacent cameras between cameras and a recording medium on which a program for executing the method is recorded are provided.

여기서, 상기 기준체는 구 형상을 가지며, 상기 중앙서버는 상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키며, 서로　다른　두　카메라의　컨벡스 힐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별한다.Here, the reference body has a spherical shape, and the central server makes the pixel color RGB of the reference body area into a point cloud in a three-dimensional space, and then converts the RGB point cloud into a convex hull algorithm , calculates the intersecting volume between the convex hulls of the two different cameras, and identifies the intersecting volume as a neighboring camera if the intersecting volume is greater than or equal to a preset threshold.

본 발명에 따르면, 복수의 카메라에 의한 3차원 영상을 위한 사진측정처리에서 중첩되는 영상을 촬영하는 인접한 카메라에 대해서만 SIFT 계산을 수행함으로써 처리 부하를 줄일 수 있다. According to the present invention, in photo measurement processing for a 3D image by a plurality of cameras, processing load can be reduced by performing SIFT calculation only for adjacent cameras that capture overlapping images.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라들의 페어링 과정을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 기준체를 이용한 페어링을 위한 인접카메라를 선정하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 카메라장치에 의해 촬영된 기준체가 포함된 촬영영상을 도시한 예시도이다.1 is a configuration diagram schematically illustrating a system for recognizing a neighbor camera between multiple cameras for a 3D image according to an embodiment of the present invention.
2 is a flowchart illustrating a process of pairing multiple cameras for 3D video according to an embodiment of the present invention.
3 is a flowchart illustrating a process of selecting an adjacent camera for pairing using a reference body according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a photographed image including a reference body photographed by a camera device according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, terms such as a first threshold value and a second threshold value, which will be described later, may be substantially different from each other or partially identical to each other. Since there is room, terms such as first and second are written together for convenience of classification.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limitedly applied only to the corresponding embodiment, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and also separate Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as an integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same or related reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템을 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 3차원 영상을 위한 다중 카메라들의 페어링 과정을 도시한 흐름도이다.1 is a configuration diagram schematically illustrating a system for recognizing adjacent cameras between multiple cameras for a 3D image according to an embodiment of the present invention, and FIG. 2 is a configuration diagram showing multiple cameras for a 3D image according to an embodiment of the present invention. It is a flow chart showing the pairing process of

먼저 도 1을 참조하면, 본 실시예에 따른 전체 시스템은 복수의 카메라장치들(10-1, 10-2, ... , 10-n, 이하 10으로 통칭), 기준체(20) 및 중앙서버(30)를 포함한다.First, referring to FIG. 1, the entire system according to this embodiment includes a plurality of camera devices (10-1, 10-2, ..., 10-n, hereinafter collectively referred to as 10), a reference body 20 and a center It includes a server 30.

복수의 카메라장치들(10)은 Photogrammetry 및/또는 Videogrammetry를 위한 카메라 어레이(array)를 구성하는 장치들일 수 있다.The plurality of camera devices 10 may be devices constituting a camera array for photogrammetry and/or videogrammetry.

기준체(20)는 구(ball, sphere) 형상의 물체로서, 색체의 농담(濃淡)을 갖을 수있다. 기준체(20)는 복수의 카메라장치들(10) 전부에서 촬영 가능하는 위치에 형성될 수 있다. 구 형상으로 형성된 기준체(20)는 어느 방향에서 보더라도 원의 형태로 보이기 때문에, 중앙서버(30)는 각 카메라장치(10)에서 촬영된 이미지에서 기준체(20)에 해당하는 원을 찾아낸 후 이 원 안의 픽셀들만 선별해낼 수 있을 것이다. 이에 대한 구체적인 내용은 후술한다. The reference body 20 is a sphere-shaped object, and may have a color shade. The reference body 20 may be formed at a location where all of the plurality of camera devices 10 can take pictures. Since the reference body 20 formed in a spherical shape looks like a circle from any direction, the central server 30 finds a circle corresponding to the reference body 20 in the image taken by each camera device 10, and then You will be able to pick out only the pixels inside this circle. Details about this will be described later.

중앙서버(30)는 각 카메라장치(10)들로부터 수신되는 촬영영상을 이용하여, 카메라장치(10)들을 페어링(pairing, 그룹화)한다. 일례로 페어링의 기준은 중첩되는 촬영영역을 갖는 카메라장치(10)들일 수 있다. 이하, 중앙서버(30)의 '페어링 과정'을 도 2를 참조하여 설명한다. The central server 30 pairs (groups) the camera devices 10 using captured images received from each camera device 10 . For example, the standard for pairing may be camera devices 10 having overlapping photographing areas. Hereinafter, a 'pairing process' of the central server 30 will be described with reference to FIG. 2 .

중앙서버(30)는 각 카메라장치(10)들로부터 촬영영상을 수신하면(S210), 각 영상들을 비교분석하여, 각 카메라장치별 인접한 카메라장치(이하, '인접카메라'라 칭함)를 선정한다(S220). 인접카메라를 식별함에 있어 도 1에 도시된 입체 형상의 기준체(20)를 이용하는데, 이에 대해서는 도 3을 참조하여 상세히 설명하기로 한다.When the central server 30 receives captured images from each of the camera devices 10 (S210), the images are compared and analyzed to select an adjacent camera device (hereinafter referred to as 'adjacent camera') for each camera device. (S220). In identifying adjacent cameras, a three-dimensional reference body 20 shown in FIG. 1 is used, which will be described in detail with reference to FIG. 3 .

각 카메라장치별 인접카메라에 대해서만 SIFT 알고리즘을 적용하여 서로간의 동일 특징점을 도출한다(S230). SIFT 알고리즘 자체에 대한 내용은 당업자에게 자명한 사항일 것이므로 이에 대한 상세한 설명은 생략한다. 본 발명은 임의의 카메라장치와 다른 카메라 장치 전부와의 SIFT 알고리즘을 계산하지 않고, 인접한 카메라장치들간에만 SIFT 알고리즘을 적용함으로써 불필요한 계산량을 줄이는 것이 주된 특징이다. The same feature points are derived by applying the SIFT algorithm only to the adjacent cameras of each camera device (S230). Since the contents of the SIFT algorithm itself will be obvious to those skilled in the art, a detailed description thereof will be omitted. The main feature of the present invention is to reduce unnecessary calculations by applying the SIFT algorithm only between adjacent camera devices without calculating the SIFT algorithm between a certain camera device and all other camera devices.

서로 다른 영상간 동일 특징점이 탐색되면, 3차원 교차점을 탐색하여 각 카메라장치의 위치를 추정하여, 유사 위치의 것들을 서로 페어링한다. When identical feature points are found between different images, 3D intersection points are searched to estimate the location of each camera device, and objects at similar locations are paired with each other.

카메라장치(10)의　위치　및/또는　방향 등의 외적변수(extrinsic parameter), 렌즈　종류,　초점거리　등의　고유변수(intrinsic parameter)가　고정되어　있는　경우를 가정하고, 실제 영상 촬영 전에 도 2에 따른 프로세스를 선행프로세스로서 수행함으로써, 서로　연관성을　가지고　있는　카메라 페어(camera pair)를　구축할　수　있다.Assuming that the 'extrinsic parameters' such as 'position' and/or 'direction' of the camera device 10, 'intrinsic parameters' such as 'type of lens' and 'focal length' are 'fixed', and By performing the process as a preceding process, it is possible to build a camera pair that has correlation with each other.

이하, 본 발명의 일 실시예에 따른 기준체(20)를 이용한 인접카메라 선정(도 2의 S220) 방식에 대해 상세히 설명하고자 한다.Hereinafter, a method for selecting an adjacent camera (S220 in FIG. 2) using the reference body 20 according to an embodiment of the present invention will be described in detail.

도 3은 본 발명의 일 실시예에 따른 기준체(20)를 이용한 페어링을 위한 인접카메라를 선정하기 위한 과정을 도시한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 카메라장치에 의해 촬영된 기준체(20)가 포함된 촬영영상을 도시한 예시도이다.3 is a flowchart illustrating a process for selecting an adjacent camera for pairing using a reference body 20 according to an embodiment of the present invention, and FIG. 4 is a photograph taken by a camera device according to an embodiment of the present invention. It is an exemplary view showing a photographed image including the reference body 20.

도 3 및 도 4를 참조하기에 앞서, 다시 도 1을 참조하여 설명한 바와 같이, 기준체(20)는 모든 카메라장치(10)의 촬영 영역 내에 위치하여, 도 4와 같이 카메라장치들(10)의 촬영영상(400) 내에 표시될 수 있다.Prior to referring to FIGS. 3 and 4, as described with reference to FIG. Can be displayed in the captured image 400 of.

따라서, 중앙서버(30)는 도 4와 같은 촬영영상(400)을 카메라장치(10)로부터 수신하고, 촬영영상 내 기준체 영역(410)의 정보를 도출할 수 있다. 중앙서버(30)는 촬영영상(400)에서 원(circle)에 상응하는 영역을 검출할 수 있고, 검출된 영역에 대한 정보 즉 '기준체 영역 정보'로서 색채정보인 RGB값을 도출할 수 있다. 기준체 영역 정보는 색채정보에 한정되는 것은 아니며 기준체 영역의 휘도값(명암을 이용) 또는 형상 자체에 대한 정보도 기준체 영역 정보로서 이용될 수 있을 것이다. Accordingly, the central server 30 may receive the captured image 400 as shown in FIG. 4 from the camera device 10 and derive information on the reference body region 410 within the captured image. The central server 30 may detect an area corresponding to a circle in the captured image 400, and may derive RGB values, which are color information, as information on the detected area, that is, 'reference body area information'. . Reference body area information is not limited to color information, and information on the luminance value (using contrast) or shape itself of the reference body area may also be used as reference body area information.

일례에 따르면 기준체(20)는 구(ball) 형상을 가지며, 색체의 농담(濃淡)을 갖는다는 것은 상술한 바와 같다. 즉, color gradation을 갖는 기준체(20)를 카메라장치가 어떤 방향에서 촬영하느냐에 따라 기준체 영역의 정보(즉 RGB값)가 달라질 수 있다. According to an example, the reference body 20 has a spherical shape and has color shading as described above. That is, information (ie, RGB values) of the reference body region may vary depending on the direction in which the camera device captures the reference body 20 having color gradation.

일례에 따른 도 3을 참조하면, 중앙서버(30)는 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트 클라우드(point cloud)로 만든 후, RGB 포인트 클라우드를 컨벡스-헐-알고리즘(convex hull algorithm)으로　체적화시킬 수 있다(S221). 즉, 본 실시예에서는 색채정보인 RGB를 이용한 이미지 비교방식으로서 RGB정보의 3차원 체적화 비교 방안을 제안한다.Referring to FIG. 3 according to an example, the central server 30 creates a point cloud in a 3-dimensional 　 space from the pixel color RGB of the reference body area, and then converts the RGB point cloud into a convex hull algorithm ), it can be made volume (S221). That is, in this embodiment, as an image comparison method using RGB, which is color information, a 3D volumetric comparison method of RGB information is proposed.

점 자료(Point　Cloud)는 3차원 좌표를 가지고 있는 점들로 불규칙하게 구성된 자료를 의미할 수 있으며, 컨벡스-헐-알고리즘은 이러한 3차원상의 점 자료를 체적화하는 알고리즘일 수 있다. 컨벡스-헐-알고리즘에 대한 구체적인 내용은 이미 공개되어 있으므로, 이에 대한 상세한 설명은 생략한다. Point data (Point 　Cloud) may refer to data irregularly composed of points having 3-dimensional coordinates, and the convex-Hull-algorithm may be an algorithm that volumizes such 3-dimensional point data. Since specific details of the convex-hull-algorithm have already been disclosed, a detailed description thereof will be omitted.

그리고, 중앙서버(30)는 서로　다른　두　카메라장치의　컨벡스-헐(convex hull)들　사이의　교차부피를　계산할 수 있고(S222), 교차부피가 미리 설정된 임계값 이상인지(달리 표현하자면 임계값 미만인지)를 판단할 수 있으며(S223), 임계값 이상이면 인접카메라로 선정할 수 있고(S225), 임계값 미만이면 서로 인접한 것이 아니라 판단하여 차후 서로 SIFT 수행대상에서 제외시킬 수 있다(S224).In addition, the central server 30 may calculate the "intersection volume" between "convex hulls" of "different" two "camera devices" (S222), and determine whether the intersection volume is greater than or equal to a preset threshold value (in other words, less than the threshold value). recognition) can be determined (S223), and if it is above the threshold value, it can be selected as an adjacent camera (S225).

다시 말해, 인접한 카메라장치들은 촬영된 영상으로부터 추출하는 기준체 정보가 서로 유사할 것이므로, 중앙서버(30)는 기준체(20)를 촬영한 정보를 기반으로 인접카메라를 선정할 수 있으며, 각 카메라장치(10) 및/또는 중앙서버(30)는 인접카메라에 대해서만 특징점 도출을 위한 SIFT를 수행함으로써 처리 부하를 줄일 수 있게 된다. In other words, since adjacent camera devices will have similar reference object information extracted from the captured images, the central server 30 can select an adjacent camera based on the information on the reference object 20, and each camera The apparatus 10 and/or the central server 30 can reduce processing load by performing SIFT for deriving feature points only for adjacent cameras.

상술한 중앙서버(30)의 인접카메라 선정 동작은 복수의 카메라장치(10)들을 인접한 카메라들끼리 페어링 또는 클러스터링하기 위한 방법으로, 카메라장치(10)의 본(main) 촬영 전 예비 단계(pre-step)로 수행될 수 있다. 이는 photogrammetry와 videogrammetry 모두 동일하게 적용될 수 있다The above-described operation of selecting a neighboring camera of the central server 30 is a method for pairing or clustering a plurality of camera devices 10 with adjacent cameras, and is a preliminary step before taking the main image of the camera device 10 (pre- step) can be performed. This can be equally applied to both photogrammetry and videogrammetry.

상술한 본 발명에 따른 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The method for recognizing adjacent cameras between multiple cameras for a 3D image according to the present invention described above can be implemented as computer readable codes in a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed to computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can make the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. It will be appreciated that various modifications and variations may be made.

10-1, 10-2, ..., 10-n : 카메라장치
20 : 기준체
30 : 중앙서버10-1, 10-2, ..., 10-n: camera device
20: reference body
30: central server

Claims (6)

구 형상으로 형성되고, 어떤 방향에서 촬영되느냐에 따라 기준체 영역의 정보가 달라지도록 색체의 농담(濃淡)이 형성된 기준체;
상기 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들; 및
상기 카메라장치들로부터 촬영영상을 수신하면, 상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 중앙서버;
를 포함하되,
상기 중앙서버는,
각　카메라장치의 촬영영상에 대해 기준체 영역의 픽셀 색상값 RGB를 이용하여 서로 다른 두 카메라간에 비교함으로써 인접여부를 식별하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
a reference body formed in a spherical shape and having color shading such that the information of the reference body region varies depending on which direction the photograph is taken;
a plurality of camera devices for capturing images so that the reference body is included; and
When receiving images from the camera devices, a center for selecting one or more adjacent cameras for each camera device as targets for SIFT processing for pairing using information on a region corresponding to the reference body in the captured image server;
Including,
The central server,
A system for recognizing adjacent cameras between multiple cameras for 3D images by comparing the images captured by each camera device with pixel color values RGB of the reference body area and comparing them between two different cameras.
 삭제delete 삭제delete 제1항에 있어서,
상기 중앙서버는,
상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만든 후, RGB 포인트클라우드를 컨벡스 헐 알고리즘(convex hull algorithm)으로　체적화시키고, 서로　다른　두　카메라의　컨벡스 헐(convex hull)들　사이의　교차부피를　계산하며, 상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별하는,
3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 시스템.
According to claim 1,
The central server,
After making the pixel color RGB of the reference body area into a point cloud in a 3-dimensional space, the RGB point cloud is made into a volume by a convex hull algorithm, and the convex hull of the two different cameras ) Calculate the intersection volume between them, and if the intersection volume is greater than a preset threshold value, identify it as a neighboring camera.
Adjacent camera recognition system between multiple cameras for 3D image.
 다수의 카메라장치로부터 영상을 수신하는 서버장치에서 수행되는 인접 카메라 인식 방법에 있어서,
입체 형상의 기준체가 포함되도록 영상을 촬영하는 복수의 카메라장치들로부터 촬영영상을 수신하는 단계; 및
상기 촬영영상 내의 상기 기준체에 상응하는 영역에 대한 정보를 이용하여 각 카메라장치에 대해 하나 이상의 인접카메라를 식별하여 페어링을 위한 SIFT처리 대상으로 선정하는 단계;
를 포함하되,
상기 기준체는 구 형상으로 형성되고, 어떤 방향에서 촬영되느냐에 따라 기준체 영역의 정보가 달라지도록 색체의 농담(濃淡)이 형성된 것이고,
상기 선정하는 단계는,
상기 촬영영상 내의 상기 기준체 영역의 픽셀 색상값 RGB를 이용하여 서로 다른 두 카메라간에 비교함으로써 상기 인접카메라를 식별하는 단계;
를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법.
A method for recognizing a neighboring camera performed in a server device receiving images from a plurality of camera devices, the method comprising:
Receiving a photographed image from a plurality of camera devices for photographing an image such that the three-dimensional reference body is included; and
identifying one or more adjacent cameras with respect to each camera device using information on a region corresponding to the reference body in the photographed image and selecting them as targets of SIFT processing for pairing;
Including,
The reference body is formed in a spherical shape, and the color shading is formed so that the information of the reference body area varies depending on the direction in which the image is taken.
The selection step is
identifying the adjacent camera by comparing two different cameras using pixel color values RGB of the reference body region in the photographed image;
A method for recognizing adjacent cameras between multiple cameras for a 3D image, comprising:
 제5항에 있어서,
상기 SIFT처리 대상으로 선정하는 단계는,
상기 기준체 영역의 픽셀 색상 RGB를 3차원　공간에　포인트클라우드(point cloud)로 만드는 단계;
상기 포인트클라우드를 컨벡스-헐-알고리즘(convex hull algorithm)으로　체적화시키는 단계;
서로　다른　두　카메라의　컨벡스-헐(convex hull)들　사이의　교차부피를　계산하는 단계; 및
상기 교차부피가 미리 설정된 임계값 이상인 것은 인접카메라로 식별하는 단계;
를 포함하는, 3차원 영상을 위한 다중 카메라간의 인접 카메라 인식 방법.According to claim 5,
The step of selecting the SIFT processing target,
making the pixel color RGB of the reference body region into a point cloud in a 3D space;
volumizing the point cloud with a convex hull algorithm;
calculating the intersection volume between convex hulls of two different cameras; and
identifying, with a neighboring camera, that the intersection volume is equal to or greater than a preset threshold value;
A method for recognizing adjacent cameras between multiple cameras for a 3D image, comprising:
KR1020210072701A 2021-06-04 2021-06-04 Adjacent camera recognition system and method between multiple cameras for 3D image KR102513220B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210072701A KR102513220B1 (en) 2021-06-04 2021-06-04 Adjacent camera recognition system and method between multiple cameras for 3D image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072701A KR102513220B1 (en) 2021-06-04 2021-06-04 Adjacent camera recognition system and method between multiple cameras for 3D image

Publications (2)

Publication Number Publication Date
KR20220164218A KR20220164218A (en) 2022-12-13
KR102513220B1 true KR102513220B1 (en) 2023-03-24

Family

ID=84438965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072701A KR102513220B1 (en) 2021-06-04 2021-06-04 Adjacent camera recognition system and method between multiple cameras for 3D image

Country Status (1)

Country Link
KR (1) KR102513220B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086111A (en) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp Imaging apparatus calibration method and image synthesis device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201303540D0 (en) * 2013-02-27 2013-04-10 Arithmetica Ltd Image processing
KR101813617B1 (en) * 2016-05-18 2017-12-29 광운대학교 산학협력단 Camera rig method for acquiring 3d data, camera rig system performing the same, and storage medium storing the same
KR101768163B1 (en) 2016-07-18 2017-08-16 리얼리티리플렉션 주식회사 Apparatus of making 3D video and method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086111A (en) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp Imaging apparatus calibration method and image synthesis device

Also Published As

Publication number Publication date
KR20220164218A (en) 2022-12-13

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN109325933B (en) Method and device for recognizing copied image
WO2019218824A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
CN106897648B (en) Method and system for identifying position of two-dimensional code
CN108475433B (en) Method and system for large scale determination of RGBD camera poses
US20200320726A1 (en) Method, device and non-transitory computer storage medium for processing image
KR101121034B1 (en) System and method for obtaining camera parameters from multiple images and computer program products thereof
US9303525B2 (en) Method and arrangement for multi-camera calibration
US20200293809A1 (en) Image processing apparatus, image processing method, and storage medium
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
CN107392958B (en) Method and device for determining object volume based on binocular stereo camera
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
US8897548B2 (en) Low-complexity method of converting image/video into 3D from 2D
JP2016100899A (en) Method and apparatus for calibrating image
AU2013237718A1 (en) Method, apparatus and system for selecting a frame
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
Ling et al. Image quality assessment for free viewpoint video based on mid-level contours feature
TW201434010A (en) Image processor with multi-channel interface between preprocessing layer and one or more higher layers
KR101983586B1 (en) Method of stitching depth maps for stereo images
CN110443228B (en) Pedestrian matching method and device, electronic equipment and storage medium
KR20210058882A (en) Facial recognition method and device
KR102513220B1 (en) Adjacent camera recognition system and method between multiple cameras for 3D image
KR101741761B1 (en) A classification method of feature points required for multi-frame based building recognition
KR20160000533A (en) The method of multi detection and tracking with local feature point for providing information of an object in augmented reality
CN108062741B (en) Binocular image processing method, imaging device and electronic equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant