WO2022050473A1 - 카메라 포즈 추정 장치 및 방법 - Google Patents

카메라 포즈 추정 장치 및 방법 Download PDF

Info

Publication number
WO2022050473A1
WO2022050473A1 PCT/KR2020/012753 KR2020012753W WO2022050473A1 WO 2022050473 A1 WO2022050473 A1 WO 2022050473A1 KR 2020012753 W KR2020012753 W KR 2020012753W WO 2022050473 A1 WO2022050473 A1 WO 2022050473A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
cluster
camera
estimating
Prior art date
Application number
PCT/KR2020/012753
Other languages
English (en)
French (fr)
Inventor
김상록
조규성
박재완
손태윤
이형민
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to US17/428,707 priority Critical patent/US11941845B2/en
Publication of WO2022050473A1 publication Critical patent/WO2022050473A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the disclosed embodiments relate to techniques for performing camera pose estimation.
  • a method for estimating a camera pose there is a method of directly obtaining a 6D pose on a 3D map with respect to an input image.
  • This is a feature point extraction step of extracting significant feature points from a two-dimensional image through a feature point extraction algorithm, a feature point verification step of matching the extracted feature points of an input image pair and detecting a valid matching pair, each verified feature point and a three-dimensional point cloud (Point) Cloud), the camera coordinate system has a certain pose (Rotation, Translation matrix) by using a coordinate system transformation algorithm based on the coordinates on the world coordinate system of the mapped 3D point and the pixel coordinates of the 2D feature point It consists of a pose estimation step to estimate whether there is.
  • Disclosed embodiments are to provide an apparatus and method for performing camera pose estimation.
  • an apparatus for estimating a camera pose includes: a similarity image search unit configured to search for a plurality of similar images to the input image from among a plurality of pre-stored images based on an input image; a clustering unit generating a cluster including at least some images satisfying a preset condition among the plurality of likeness images, based on viewpoint data tagged to each of the plurality of likeness images; and an estimator for estimating a pose of a camera that has generated the input image based on the cluster.
  • the grouping unit may determine a distance between a reference image arbitrarily selected from among the plurality of similar images and a plurality of remaining images excluding the reference image from among the plurality of similar images, based on viewpoint data tagged to each of the plurality of similar images. calculated, and the cluster may be generated based on the calculated distance.
  • the grouping unit may determine an image having the calculated distance equal to or less than a preset distance among the plurality of remaining images as a neighboring image with respect to the reference image, and may generate the cluster based on the number of the neighboring images.
  • the grouping unit may generate a group including the reference image and the neighboring images when the number of the neighboring images is equal to or greater than a preset number.
  • the estimator may extract one or more feature points from each image included in the group, and estimate the pose of the camera based on the extracted one or more feature points.
  • a method for estimating a camera pose includes: searching for a plurality of similar images to the input image from among a plurality of pre-stored images based on an input image; generating a cluster including at least some images satisfying a preset condition among the plurality of likeness images based on viewpoint data tagged to each of the plurality of likeness images; and estimating a pose of a camera that generated the input image based on the cluster.
  • the generating of the cluster may include, based on viewpoint data tagged to each of the plurality of similar images, between a reference image randomly selected from among the plurality of similar images and a plurality of remaining images from among the plurality of similar images except for the reference image. Distances may be calculated, respectively, and the clusters may be generated based on the calculated distances.
  • the generating of the cluster may include determining an image in which the calculated distance is less than or equal to a preset distance among the plurality of remaining images as a neighboring image with respect to the reference image, and generating the cluster based on the number of the neighboring images. there is.
  • the generating of the cluster may include generating a cluster including the reference image and the neighboring images when the number of the neighboring images is equal to or greater than a preset number.
  • one or more feature points may be extracted from each image included in the group, and the pose of the camera may be estimated based on the extracted one or more feature points.
  • the disclosed embodiments it is possible to provide a verification process for similar images with little time and cost by clustering similar images searched for an input image through tagged viewpoints.
  • the verification process can improve the accuracy of camera pose estimation.
  • FIG. 1 is a block diagram of an apparatus for estimating a camera pose according to an embodiment
  • FIG. 2 is a flowchart of a method for estimating a camera pose according to an embodiment
  • FIG. 3 is a detailed flowchart of a method for generating a cluster according to an embodiment
  • FIG. 4 is a diagram illustrating positions of a similar image and an input image as a result of a similar image search according to an exemplary embodiment
  • FIG. 5 is a diagram illustrating a location of a clustered image and a location of an input image among searched similar images according to an exemplary embodiment
  • FIG. 6 is a block diagram illustrating a computing environment including a computing device according to an embodiment
  • FIG. 1 is a block diagram of an apparatus for estimating a camera pose according to an embodiment.
  • the illustrated camera pose estimation apparatus 100 includes a similar image search unit 110 , a clustering unit 120 , and an estimation unit 130 .
  • each component may have different functions and capabilities other than those described below, and may include additional components other than those described below.
  • the similar image search unit 110 , the clustering unit 120 , and the estimator 130 are implemented using one or more physically separated devices, or one or more processors or one or more processors and software. It may be implemented by combination, and unlike the illustrated example, it may not be clearly distinguished in specific operation.
  • the similar image search unit 110 searches for a plurality of similar images to the input image from among a plurality of pre-stored images, based on the input image.
  • the similar image search unit 110 may search for an image similar to the input image among a plurality of pre-stored images by using an image retrieval algorithm.
  • the image retrieval algorithm refers to an algorithm that trains an artificial neural network using local or global features of an image and then finds a similar image with the highest similarity value by comparing the features between the input image and the learned images.
  • the clustering unit 120 generates a cluster including at least some images satisfying a preset condition among the plurality of likeness images, based on viewpoint data tagged to each of the plurality of likeness images.
  • the viewpoint data may include information related to a location where an image was captured.
  • the viewpoint data may include data composed of low-dimensional real values such as position coordinates, latitude and longitude, and azimuth.
  • the clustering unit 120 may additionally verify whether each similarity image searched for by the similarity image search unit 110 is an image that is actually similar to the input image through viewpoint data tagged to the plurality of similar images.
  • an embodiment Since the purpose is achieved, it is possible to significantly reduce memory requirements, computational complexity, and the like, compared to the conventional method.
  • whether the image is similar may mean whether the image includes the same object as an object (eg, a building, a fixed sculpture, etc.) included in the input image.
  • the similar image may include an object identical to an object included in the input image or an image in which an object similar to the object but different in appearance is included in the image.
  • an image in which the same object as the object included in the input image is included in the image may mean an image that is actually similar.
  • the grouping unit 120 may randomly select one of a plurality of similar images, and set the selected image as a reference image.
  • the clustering unit 120 calculates a distance between the reference image and the images other than the reference image among the plurality of likeness images based on the viewpoint data tagged to each of the plurality of likeness images, and clusters based on the calculated distance.
  • the distance between the reference image and the plurality of remaining images may be, for example, a Euclidean distance, a cosine similarity, or the like.
  • the clustering unit 120 determines an image having a distance to the reference image equal to or less than a preset distance from among the plurality of remaining images as a neighboring image with respect to the reference image, and clustering based on the number of neighboring images.
  • the clustering unit 120 may generate a cluster including the reference image and the neighboring images.
  • the clustering unit 120 changes the reference image among the plurality of similar images until the number of neighboring images becomes the preset number or more. Clusters can be created by repeating the decision process.
  • the distance based on viewpoint data between images including the same object is inevitably close to each other, whereas the distance based on viewpoint data between images including different objects will be farther than the distance between images including the same object. can't help but
  • the image including the same object as the input image includes an object different from the input image. More likely than images.
  • the clustering unit 120 can select a similar image including the same object as the input image from among a plurality of searched similar images.
  • the estimator 130 estimates the pose of the camera that generated the input image based on the generated cluster.
  • the estimator 130 may extract a feature point from each image included in the cluster, and estimate a camera pose based on the extracted feature point.
  • a feature point extraction and matching algorithm for estimating the camera pose algorithms such as SIFT, SURF, and FAST that extract meaningful features such as corners, edges, and lines, and the image itself through artificial neural network learning to learn key feature points Deep learning-based techniques for detecting may be used.
  • RANSAC Random Sample Consensus
  • PnP Perspective-n-Point
  • FIG. 2 is a flowchart of a method for estimating a camera pose according to an embodiment.
  • the method shown in FIG. 2 may be performed by the apparatus 100 for estimating camera poses shown in FIG. 1 .
  • the camera pose estimation apparatus 100 searches for a plurality of similar images to the input image from among a plurality of pre-stored images based on the input image ( 210 ).
  • the camera pose estimation apparatus 100 generates a cluster including at least some images satisfying a preset condition among the plurality of likeness images, based on viewpoint data tagged to each of the plurality of likeness images ( 220 ).
  • the apparatus 100 for estimating a camera pose, based on viewpoint data tagged to each of the plurality of similar images includes an image selected from a plurality of similar images and a plurality of images other than the selected image from among the plurality of similar images. may calculate a distance between the remaining images of , and generate the cluster based on the calculated distance.
  • the camera pose estimation apparatus 100 determines an image in which the calculated distance is less than or equal to a preset distance among the plurality of remaining images as a neighboring image with respect to the selected image, and sets a cluster based on the number of neighboring images.
  • the camera pose estimation apparatus 100 estimates the pose of the camera that generated the input image based on the cluster ( 230 ).
  • the apparatus 100 for estimating a camera pose may extract a feature point from each image included in the cluster, and estimate the pose of the camera based on the extracted feature point.
  • FIG. 3 is a flowchart of a method for generating a cluster according to an embodiment.
  • the method illustrated in FIG. 3 may be performed by the apparatus 100 for estimating camera poses illustrated in FIG. 1 .
  • the apparatus 100 for estimating a camera pose may search for a plurality of similar images to the input image from among a plurality of pre-stored images based on the input image ( 310 ).
  • the camera pose estimation apparatus 100 may select any one of a plurality of searched similar images ( 320 ).
  • the camera pose estimation apparatus 100 may determine an image in which the calculated distance between the selected image and the similar images other than the selected image is less than or equal to a preset distance as a neighboring image to the selected image ( 330 ).
  • the selected image and the neighboring images may be generated as the same group ( 350 ).
  • the camera pose estimation apparatus 100 may reselect another one of the plurality of similar images excluding the previously selected image and perform steps 320 to 340 again.
  • the camera pose estimation apparatus 100 may estimate the camera pose of the generated input image based on the generated cluster (360).
  • FIG. 4 is a diagram in which a similar image found through a similar image search for an input image and a location corresponding to each of the input images are displayed on a map based on viewpoint data according to an exemplary embodiment.
  • the position 410 of the input image and the positions 420, 430, 440, 450, 460, 470 of similar images to the input image searched by the image retrieval algorithm are displayed on the map. .
  • an image including one of the two objects may be retrieved as a similar image of an input image including the other by the image retrieval algorithm.
  • the positions 420 , 430 , and 440 of the similar images including the object actually identical to the input image among the images searched for as the similar image are close to the position 410 of the input image, whereas an object that is actually different from the input image Positions 450 , 460 , and 470 of similar images including
  • FIG. 5 is a diagram in which a location corresponding to each image included in a cluster generated through clustering is displayed on a map based on viewpoint data according to an exemplary embodiment.
  • positions 420, 430, and 440 of similar images included in a cluster generated through clustering are determined. It is displayed on the map together with the location of the input image 410 .
  • positions 420, 430, and 440 of similar images included in a cluster generated through clustering are determined. It is displayed on the map together with the location of the input image 410 .
  • it is included in the input image through the above-described clustering. It becomes possible to select a similar image including the same object as the object.
  • each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • computing device 12 may be camera pose estimation device 100 .
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be
  • an embodiment of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium including the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the media may be specially designed and configured for the present invention, or may be commonly used in the field of computer software.
  • Examples of computer-readable recording media include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and program instructions specially configured to store and execute program instructions such as ROMs, RAMs, flash memories, etc. Hardware devices are included.
  • Examples of the program may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

카메라 포즈 추정 장치 및 방법이 개시된다. 일 실시예에 따른 카메라 포즈 추정 장치는, 입력 이미지에 기초하여 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색하는 유사 이미지 검색부; 상기 복수의 유사 이미지 각각에 태깅된 시점(viewpoint) 데이터에 기초하여, 상기 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성하는 군집화부; 및 상기 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 추정부를 포함한다.

Description

카메라 포즈 추정 장치 및 방법
개시되는 실시예들은 카메라 포즈 추정을 수행하는 기술에 관한 것이다.
일반적으로 카메라 포즈 추정을 위한 방법으로 입력 이미지에 대해 3차원 맵 상에서의 6D 포즈를 직접 구하는 방법을 들 수 있다. 이는 특징점 추출 알고리즘을 통해 2차원 이미지에서 유의미한 특징점을 추출하는 특징점 추출 단계와, 입력 이미지 쌍의 추출된 특징점들을 매칭하고 유효한 매칭 쌍을 검출하는 특징점 검증단계, 검증된 특징점 각각과 3차원 점군(Point Cloud) 내의 각 점들 중 하나와 매핑하고, 매핑된 3차원 점의 월드 좌표계 상의 좌표와 2차원 특징점의 픽셀 좌표를 기준으로 좌표계 변환 알고리즘을 사용하여 카메라 좌표계가 어떤 포즈(Rotation, Translation matrix)를 가지고 있는지 추정하는 포즈 추정 단계로 이루어져있다.
SIFT, SURF, FAST 등의 알고리즘은 특징점 추출 방법으로 사용될 수 있다. 그러나, 이와 같은 기존의 지역적 특징 기반의 특징점 추출 및 매칭 알고리즘의 경우 이미지에 포함된 물체의 수가 적고 단순할수록 좋은 성능을 보이지만, 도심이나 도로 사진과 같이 다양하고 동적인 물체들이 많이 포함된 이미지의 경우 특징점 검출이 이루어지지 않는 문제가 있었다.
이러한 문제를 해결하기 위해 입력 이미지와 유사한 이미지를 찾아내는 이미지 리트리벌 알고리즘을 사용한 단계를 추가하여 카메라 포즈 추정을 진행하는 방법이 있다. 그러나 이러한 기술은 리트리벌 단계에서 입력 이미지에 대해 잘못된 이미지를 유사 이미지로 판단할 경우 카메라 추정이 원활히 이루어지지 않을 수 있으며, 이미지 리트리벌 알고리즘이 갖는 성능과 시간 비용 사이의 상충 관계로 인해 이미지 리트리벌 알고리즘의 성능을 높이는 과정에서 시간 및 비용이 발생한다는 문제가 발생한다.
개시되는 실시예들은 카메라 포즈 추정을 수행하기 위한 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 카메라 포즈 추정 장치는, 입력 이미지에 기초하여 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색하는 유사 이미지 검색부; 상기 복수의 유사 이미지 각각에 태깅된 시점(viewpoint) 데이터에 기초하여, 상기 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성하는 군집화부; 및 상기 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 추정부를 포함한다.
상기 군집화부는, 상기 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 상기 복수의 유사 이미지 중에서 임의 선택된 기준 이미지와 상기 복수의 유사 이미지 중 상기 기준 이미지를 제외한 복수의 나머지 이미지 사이의 거리를 각각 산출하고, 상기 산출된 거리에 기초하여 상기 군집을 생성할 수 있다.
상기 군집화부는, 상기 복수의 나머지 이미지 중 상기 산출된 거리가 기 설정된 거리 이하인 이미지를 상기 기준 이미지에 대한 이웃 이미지로 결정하고, 상기 이웃 이미지의 개수에 기초하여 상기 군집을 생성할 수 있다.
상기 군집화부는, 상기 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 상기 기준 이미지 및 상기 이웃 이미지를 포함하는 군집을 생성할 수 있다.
상기 추정부는, 상기 군집에 포함된 각 이미지로부터 하나 이상의 특징점을 추출하고, 상기 추출된 하나 이상의 특징점에 기초하여 상기 카메라의 포즈를 추정할 수 있다.
일 실시예에 따른 카메라 포즈 추정 방법은, 입력 이미지에 기초하여 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색하는 단계; 상기 복수의 유사 이미지 각각에 태깅된 시점(viewpoint) 데이터에 기초하여, 상기 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성하는 단계; 및 상기 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 단계를 포함한다.
상기 군집을 생성하는 단계는, 상기 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 상기 복수의 유사 이미지 중에서 임의 선택된 기준 이미지와 상기 복수의 유사 이미지 중 상기 기준 이미지를 제외한 복수의 나머지 이미지 사이의 거리를 각각 산출하고, 상기 산출된 거리에 기초하여 상기 군집을 생성할 수 있다.
상기 군집을 생성하는 단계는, 상기 복수의 나머지 이미지 중 상기 산출된 거리가 기 설정된 거리 이하인 이미지를 상기 기준 이미지에 대한 이웃 이미지로 결정하고, 상기 이웃 이미지의 개수에 기초하여 상기 군집을 생성할 수 있다.
상기 군집을 생성하는 단계는, 상기 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 상기 기준 이미지 및 상기 이웃 이미지를 포함하는 군집을 생성할 수 있다.
상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 단계는, 상기 군집에 포함된 각 이미지로부터 하나 이상의 특징점을 추출하고, 상기 추출된 하나 이상의 특징점에 기초하여 상기 카메라의 포즈를 추정할 수 있다.
개시되는 실시예들에 따르면, 입력 이미지에 대해 검색된 유사 이미지를 태깅(tagging)된 시점(viewpoint)를 통해 군집함으로써 적은 시간과 비용으로 유사 이미지에 대한 검증 과정을 제공할 수 있는바, 저비용의 신속한 검증 과정을 통해 카메라 포즈 추정의 정확성을 향상시킬 수 있다.
도 1은 일 실시예에 따른 카메라 포즈 추정 장치의 블록도
도 2는 일 실시예에 따른 카메라 포즈 추정 방법의 흐름도
도 3은 일 실시예에 따른 군집 생성 방법의 구체적인 흐름도
도 4는 일 실시예에 따른 유사 이미지 검색 결과 유사 이미지와 입력 이미지 각각의 위치를 나타낸 도면
도 5는 일 실시예에 따라 검색된 유사 이미지 중 군집화된 이미지의 위치와 입력 이미지의 위치를 나타낸 도면
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 카메라 포즈 추정 장치의 블록도이다.
도 1을 참조하면, 도시된 카메라 포즈 추정 장치(100)는 유사 이미지 검색부(110), 군집화부(120) 및 추정부(130)를 포함한다.
도시된 실시예에서, 각 구성들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 구성을 포함할 수 있다.
또한, 일 실시예에서, 유사 이미지 검색부(110), 군집화부(120) 및 추정부(130)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
유사 이미지 검색부(110)는 입력 이미지에 기초하여, 기 저장된 복수의 이미지 중 입력 이미지에 대한 복수의 유사 이미지를 검색한다.
일 실시예에 따르면, 유사 이미지 검색부(110)는 이미지 리트리벌(Image Retrieval) 알고리즘을 이용하여 기 저장된 복수의 이미지 중 입력 이미지와 유사한 이미지를 검색할 수 있다. 이때, 이미지 리트리벌 알고리즘이란, 이미지의 지역적 혹은 전역적 특징을 활용하여 인공신경망을 학습시킨 뒤 입력 이미지와 학습 된 이미지들의 특징 비교를 통해 가장 높은 유사도 값을 갖는 유사 이미지를 찾아내는 알고리즘을 의미할 수 있다.
군집화부(120)는 복수의 유사 이미지 각각에 태깅된 시점(viewpoint) 데이터에 기초하여, 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성한다.
이때, 일 실시에에 따르면, 시점 데이터는 이미지가 촬영된 위치와 관련된 정보를 포함할 수 있다. 예를 들어, 시점 데이터는 위치 좌표, 위경도, 방위 등과 같은 저차원의 실수값으로 구성된 데이터를 포함할 수 있다.
군집화부(120)는 복수의 유사 이미지에 태깅된 시점 데이터를 통해 유사 이미지 검색부(110)에 의해 검색된 각 유사 이미지가 입력 이미지와 실제로 유사한 이미지인지 여부를 추가적으로 검증할 수 있다.
따라서, 기존에 일반적인 유사 이미지 분류 알고리즘이 정확도 또는 성능을 향상시키기 위해 학습데이터의 특징 차원을 늘리거나 비용이 큰 고차원 데이터에 의한 추가적인 검증 단계를 거치는 것과 달리, 일 실시예는 상술한 과정 없이도 본래의 목적을 달성할 있으므로 기존의 방식과 비교할 때 메모리 요구량, 계산 복잡량 등을 대폭 감소시킬 수 있다.
다만, 이때 유사한 이미지인지 여부는 입력 이미지에 포함된 객체(예를 들어, 건물, 고정된 조형물 등)와 동일한 객체를 포함하는 이미지인지 여부를 의미할 수 있다.
여기서 유사 이미지란, 입력 이미지에 포함되어 있는 객체와 동일한 객체를 포함하거나 그 객체와 외관상 유사하나 상이한 객체가 이미지에 포함되어 있는 이미지를 포함할 수 있다.
그 중, 입력 이미지에 포함되어 있는 객체와 동일한 객체가 이미지에 포함되어 있는 이미지는 실제로 유사한 이미지를 의미할 수 있다.
일 실시예에 따르면, 군집화부(120)는 복수의 유사 이미지 중 하나를 임의 선택하고, 선택된 이미지를 기준 이미지로 설정할 수 있다.
또한, 군집화부(120)는 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 기준 이미지와 복수의 유사 이미지 중 기준 이미지를 제외한 나머지 이미지 사이의 거리를 산출하고, 산출된 거리에 기초하여 군집을 생성할 수 있다.
이때, 일 실시예에 따르면, 기준 이미지와 복수의 나머지 이미지 사이의 거리는 예를 들어, 유클리디안 거리(Euclidean distance), 코사인 유사도(Cosine similarity) 등일 수 있다.
한편, 일 실시예에 따르면, 군집화부(120)는, 복수의 나머지 이미지 중 기준 이미지와의 거리가 기 설정된 거리 이하인 이미지를 기준 이미지에 대한 이웃 이미지로 결정하고, 이웃 이미지의 개수에 기초하여 군집을 생성할 수 있다.
구체적으로, 일 실시예에 따르면, 군집화부(120)는 기준 이미지에 대한 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 기준 이미지 및 이웃 이미지를 포함하는 군집을 생성할 수 있다.
반면, 군집화부(120)는 기준 이미지에 대한 이웃 이미지의 개수가 기 설정된 개수 미만인 경우, 이웃 이미지의 개수가 기 설정된 개수 이상이 될 때까지 복수의 유사 이미지 중 기준 이미지를 변경하면서 상술한 이웃 이미지 결정 과정을 반복 수행하여 군집을 생성할 수 있다.
즉, 동일한 객체를 포함하는 이미지들 사이의 시점 데이터에 기초한 거리는 서로 가까울 수 밖에 없는 반면, 상이한 객체를 포함하는 이미지들 사이의 시점 데이터에 기초한 거리는 동일한 객체를 포함하는 이미지들 사이의 거리보다 멀어질 수 밖에 없다.
또한, 유사 이미지 검색부(110)에 의해 검색된 복수의 유사 이미지 중 입력 이미지와 상이한 객체를 포함하는 이미지가 일부 포함되어 있더라도, 입력 이미지와 동일한 객체를 포함하는 이미지가 입력 이미지와 상이한 객체를 포함하는 이미지보다 다수일 가능성이 높다.
따라서, 상술한 군집화 과정을 통해 군집화부(120)는 검색된 복수의 유사 이미지 중 입력 이미지와 동일한 객체를 포함하는 유사 이미지를 선별할 수 있게 된다.
추정부(130)는 생성된 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정한다.
추정부(130)는 군집에 포함된 각 이미지로부터 특징점을 추출하고, 추출된 특징점에 기초하여 카메라의 포즈를 추정할 수 있다.
이때, 카메라의 포즈 추정을 위한 특징점 추출 및 매칭 알고리즘으로는 코너, 엣지, 라인 등의 유의미한 특징을 추출하는 SIFT, SURF, FAST 등의 알고리즘과, 인공 신경망 학습을 통해 이미지 자체를 학습하여 주요 특징점을 검출하는 딥러닝 기반 기술들이 사용될 수 있다.
또한, 매칭된 특징점을 검증하는 알고리즘으로는 대표적으로 RANSAC(RANdom Sample Consensus)일 수 있으며, 좌표계 변환 알고리즘으로는 대표적으로 Perspective-n-Point(PnP) 알고리즘일 수 있다.
도 2는 일 실시예에 따른 카메라 포즈 추정 방법의 흐름도이다.
도 2에 도시된 방법은 도 1에 도시된 카메라 포즈 추정 장치(100)에 의해 수행될 수 있다.
도 2를 참조하면, 우선, 카메라 포즈 추정 장치(100)는 입력 이미지에 기초하여, 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색한다(210).
이후, 카메라 포즈 추정 장치(100)는 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집을 생성한다(220).
구체적으로, 일 실시예에 따르면, 카메라 포즈 추정 장치(100)는 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 복수의 유사 이미지 중에서 선택된 이미지와 상기 복수의 유사 이미지 중 선택된 이미지를 제외한 복수의 나머지 이미지 사이의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 군집을 생성할 수 있다.
또한, 일 실시예에 따르면 카메라 포즈 추정 장치(100)는 복수의 나머지 이미지 중 상기 산출된 거리가 기 설정된 거리 이하인 이미지를 선택된 이미지에 대한 이웃 이미지로 결정하고, 이웃 이미지의 개수에 기초하여 군집을 생성할 수 있다.
이후, 카메라 포즈 추정 장치(100)는 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정한다(230).
구체적으로, 일 실시예에 따르면, 카메라 포즈 추정 장치(100)는 군집에 포함된 각 이미지로부터 특징점을 추출하고, 추출된 특징점에 기초하여 상기 카메라의 포즈를 추정할 수 있다.
도 3은 일 실시예에 따른 군집을 생성하는 방법의 흐름도이다.
도 3에 도시된 방법은 도 1에 도시된 카메라 포즈 추정 장치(100)에 의해 수행될 수 있다.
도 3을 참조하면, 우선, 카메라 포즈 추정 장치(100)는 입력 이미지에 기초하여 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색할 수 있다(310).
이후, 카메라 포즈 추정 장치(100)는 검색된 복수의 유사 이미지 중 어느 하나를 선택할 수 있다(320).
이후, 카메라 포즈 추정 장치(100)는 선택된 이미지와 선택된 이미지를 제외한 나머지 유사 이미지 간에 산출된 거리가 기 설정된 거리 이하인 이미지는 선택된 이미지에 대한 이웃 이미지로 결정할 수 있다(330).
이후, 결정된 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 선택된 이미지와 이웃 이미지를 동일한 군집으로 생성시킬 수 있다(350).
다만, 결정된 이웃 이미지의 개수가 기 설정된 개수 미만인 경우, 카메라 포즈 추정 장치(100)는 기 선택된 이미지를 제외한 나머지 복수의 유사 이미지 중에서 다른 하나를 재선택하여 320 내지 340 단계를 재차 수행할 수 있다.
350 단계 이후, 카메라 포즈 추정 장치(100)는 생성된 군집에 기초하여 생성된 입력 이미지의 카메라 포즈를 추정할 수 있다(360).
도 4는 일 실시예에 따른 입력 이미지에 대한 유사 이미지 검색을 통해 검색된 유사 이미지와 입력 이미지 각각에 대응되는 위치를 시점 데이터에 기초하여 맵 상에 표시한 도면이다.
구체적으로, 도 4에서는 입력 이미지의 위치(410)와 이미지 리트리벌 알고리즘에 의해 검색된 입력 이미지에 대한 유사 이미지들의 위치(420, 430, 440, 450, 460, 470)를 맵 상에 표시하고 있다.
서로 다른 두 객체의 전역적 특징이 유사한 경우, 이미지 리트리벌 알고리즘에 의해 두 객체 중 하나를 포함하는 이미지가 다른 하나를 포함하는 입력 이미지의 유사 이미지로 검색될 수 있다.
이때, 유사 이미지로 검색된 이미지들 중 입력 이미지와 실제로 동일한 객체를 포함하는 유사 이미지들의 위치(420, 430, 440)는 입력 이미지의 위치(410)와 근접한 거리에 있는 반면, 입력 이미지와 실제로 상이한 객체를 포함하는 유사 이미지들의 위치(450, 460, 470)는 입력 이미지의 위치(410)와 상대적으로 먼 거리에 있게 된다.
도 5는 일 실시예에 따른 군집화를 통해 생성된 군집에 포함된 이미지 각각에 대응되는 위치를 시점 데이터에 기초하여 맵 상에 표시한 도면이다.
구체적으로, 도 5에서는 도 4에 도시된 유사 이미지들의 위치(420, 430, 440, 450, 460, 470) 중 군집화를 통해 생성된 군집에 포함된 유사 이미지들의 위치(420, 430, 440)를 입력 이미지(410)의 위치와 함께 맵 상에 표시하고 있다. 도 5에 도시된 예에서 알 수 있듯이, 입력 이미지에 기초한 검색을 통해 검색된 유사 이미지 중 입력 이미지에 포함된 객체와 상이한 객체를 포함하는 유사 이미지가 포함되어 있더라도, 상술한 군집화를 통해 입력 이미지에 포함된 객체와 동일한 객체를 포함하는 유사 이미지를 선별할 수 있게 된다.
도 6은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 카메라 포즈 추정 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 입력 이미지에 기초하여, 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색하는 유사 이미지 검색부;
    상기 복수의 유사 이미지 각각에 태깅(tagging)된 시점(viewpoint) 데이터에 기초하여, 상기 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성하는 군집화부; 및
    상기 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 추정부를 포함하는, 카메라 포즈 추정 장치.
  2. 청구항 1에 있어서,
    상기 군집화부는,
    상기 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 상기 복수의 유사 이미지 중에서 임의 선택된 기준 이미지와 상기 복수의 유사 이미지 중 상기 기준 이미지를 제외한 복수의 나머지 이미지 사이의 거리를 각각 산출하고, 상기 산출된 거리에 기초하여 상기 군집을 생성하는, 카메라 포즈 추정 장치.
  3. 청구항 2에 있어서,
    상기 군집화부는,
    상기 복수의 나머지 이미지 중 상기 산출된 거리가 기 설정된 거리 이하인 이미지를 상기 기준 이미지에 대한 이웃 이미지로 결정하고, 상기 이웃 이미지의 개수에 기초하여 상기 군집을 생성하는, 카메라 포즈 추정 장치.
  4. 청구항 3에 있어서,
    상기 군집화부는,
    상기 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 상기 기준 이미지 및 상기 이웃 이미지를 포함하는 군집을 생성하는, 카메라 포즈 추정 장치.
  5. 청구항 1에 있어서,
    상기 추정부는,
    상기 군집에 포함된 각 이미지로부터 하나 이상의 특징점을 추출하고, 상기 추출된 하나 이상의 특징점에 기초하여 상기 카메라의 포즈를 추정하는 카메라 포즈 추정 장치.
  6. 입력 이미지에 기초하여, 기 저장된 복수의 이미지 중 상기 입력 이미지에 대한 복수의 유사 이미지를 검색하는 단계;
    상기 복수의 유사 이미지 각각에 태깅(tagging)된 시점(viewpoint) 데이터에 기초하여, 상기 복수의 유사 이미지 중 기 설정된 조건을 만족하는 적어도 일부 이미지를 포함하는 군집(cluster)을 생성하는 단계; 및
    상기 군집에 기초하여 상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 단계를 포함하는, 카메라 포즈 추정 방법.
  7. 청구항 6에 있어서,
    상기 군집을 생성하는 단계는,
    상기 복수의 유사 이미지 각각에 태깅된 시점 데이터에 기초하여, 상기 복수의 유사 이미지 중에서 임의 선택된 기준 이미지와 상기 복수의 유사 이미지 중 상기 기준 이미지를 제외한 복수의 나머지 이미지 사이의 거리를 각각 산출하고, 상기 산출된 거리에 기초하여 상기 군집을 생성하는, 카메라 포즈 추정 방법.
  8. 청구항 7에 있어서,
    상기 군집을 생성하는 단계는,
    상기 복수의 나머지 이미지 중 상기 산출된 거리가 기 설정된 거리 이하인 이미지를 상기 기준 이미지에 대한 이웃 이미지로 결정하고, 상기 이웃 이미지의 개수에 기초하여 상기 군집을 생성하는, 카메라 포즈 추정 방법.
  9. 청구항 8항에 있어서,
    상기 군집을 생성하는 단계는,
    상기 이웃 이미지의 개수가 기 설정된 개수 이상인 경우, 상기 기준 이미지 및 상기 이웃 이미지를 포함하는 군집을 생성하는, 카메라 포즈 추정 방법.
  10. 청구항 6에 있어서,
    상기 입력 이미지를 생성한 카메라의 포즈를 추정하는 단계는,
    상기 군집에 포함된 각 이미지로부터 하나 이상의 특징점을 추출하고, 상기 추출된 하나 이상의 특징점에 기초하여 상기 카메라의 포즈를 추정하는 카메라 포즈 추정 방법.
PCT/KR2020/012753 2020-09-01 2020-09-22 카메라 포즈 추정 장치 및 방법 WO2022050473A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/428,707 US11941845B2 (en) 2020-09-01 2020-09-22 Apparatus and method for estimating camera pose

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0111097 2020-09-01
KR1020200111097A KR102225093B1 (ko) 2020-09-01 2020-09-01 카메라 포즈 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022050473A1 true WO2022050473A1 (ko) 2022-03-10

Family

ID=75179894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012753 WO2022050473A1 (ko) 2020-09-01 2020-09-22 카메라 포즈 추정 장치 및 방법

Country Status (3)

Country Link
US (1) US11941845B2 (ko)
KR (1) KR102225093B1 (ko)
WO (1) WO2022050473A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556767B1 (ko) 2022-06-28 2023-07-18 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치
KR20240002188A (ko) 2022-06-28 2024-01-04 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치
KR20240004102A (ko) 2022-07-04 2024-01-11 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치
KR102556765B1 (ko) 2022-07-04 2023-07-18 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 방법 및 장치
KR102613134B1 (ko) 2022-08-11 2023-12-13 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102651994B1 (ko) 2022-08-17 2024-03-27 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102616084B1 (ko) 2022-08-22 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102616083B1 (ko) 2022-08-22 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102616085B1 (ko) 2022-11-14 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
KR102616082B1 (ko) 2022-11-15 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
KR102613133B1 (ko) 2022-11-15 2023-12-13 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
KR102613135B1 (ko) 2022-12-05 2023-12-13 주식회사 브이알크루 비주얼 로컬라이제이션을 수행하기 위한 방법 및 장치
KR102526710B1 (ko) * 2022-12-15 2023-04-28 주식회사 맥스트 센서 주행 거리 측정 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102616031B1 (ko) 2023-01-31 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 물리엔진을 구현하기 위한 방법 및 장치
KR102616029B1 (ko) 2023-04-21 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치
KR102616030B1 (ko) 2023-04-26 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 물리엔진을 구현하기 위한 방법 및 장치
KR102616522B1 (ko) 2023-04-26 2023-12-21 주식회사 브이알크루 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치
KR102639273B1 (ko) 2023-04-26 2024-02-21 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 물리엔진을 구현하기 위한 방법 및 장치
KR102616028B1 (ko) 2023-05-02 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096922A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
JP2016162013A (ja) * 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
KR20170097266A (ko) * 2016-02-17 2017-08-28 한국전자통신연구원 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR20200102108A (ko) * 2019-02-21 2020-08-31 현대모비스 주식회사 차량의 객체 검출 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
US9324151B2 (en) * 2011-12-08 2016-04-26 Cornell University System and methods for world-scale camera pose estimation
WO2016016955A1 (ja) * 2014-07-30 2016-02-04 株式会社日立製作所 自律移動装置及び自己位置推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096922A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
JP2016162013A (ja) * 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
KR20170097266A (ko) * 2016-02-17 2017-08-28 한국전자통신연구원 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
KR101851303B1 (ko) * 2016-10-27 2018-04-23 주식회사 맥스트 3차원 공간 재구성 장치 및 방법
KR20200102108A (ko) * 2019-02-21 2020-08-31 현대모비스 주식회사 차량의 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
US11941845B2 (en) 2024-03-26
US20220309703A1 (en) 2022-09-29
KR102225093B1 (ko) 2021-03-09

Similar Documents

Publication Publication Date Title
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
US11055555B2 (en) Zero-shot object detection
US20110085739A1 (en) System and method for similarity search of images
WO2021085784A1 (ko) 객체 검출 모델의 학습 방법 및 객체 검출 모델이 실행되는 객체 검출 장치
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2011093581A2 (ko) 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
WO2013073805A1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2012108623A1 (ko) 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101963404B1 (ko) 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
EP2737418A1 (en) Apparatus, method, and medium detecting object pose
WO2022131497A1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
WO2011034305A2 (ko) 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
Hutchcroft et al. CoVisPose: Co-visibility pose transformer for wide-baseline relative pose estimation in 360∘ indoor panoramas
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN105190689A (zh) 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理
WO2011093568A1 (ko) 레이아웃 기반의 인쇄매체 페이지 인식방법
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
CN109542766B (zh) 基于代码映射和词法分析的大规模程序相似性快速检测与证据生成方法
CN111027434A (zh) 一种行人识别模型的训练方法、装置及电子设备
WO2021210725A1 (ko) 점군 정보 가공 장치 및 방법
WO2018131729A1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952572

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20952572

Country of ref document: EP

Kind code of ref document: A1