KR20240044174A - 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템 - Google Patents

시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템 Download PDF

Info

Publication number
KR20240044174A
KR20240044174A KR1020220123640A KR20220123640A KR20240044174A KR 20240044174 A KR20240044174 A KR 20240044174A KR 1020220123640 A KR1020220123640 A KR 1020220123640A KR 20220123640 A KR20220123640 A KR 20220123640A KR 20240044174 A KR20240044174 A KR 20240044174A
Authority
KR
South Korea
Prior art keywords
pixel
color image
point
movement
distance
Prior art date
Application number
KR1020220123640A
Other languages
English (en)
Inventor
문재영
Original Assignee
문재영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 문재영 filed Critical 문재영
Priority to KR1020220123640A priority Critical patent/KR20240044174A/ko
Priority to PCT/KR2023/011660 priority patent/WO2024071653A1/ko
Publication of KR20240044174A publication Critical patent/KR20240044174A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 기술적 측면에 따른 거리맵 산출 방법은, 색상 이미지를 제공받아 색상 이미지를 기반으로 거리맵 이미지를 생성하는 서비스 서버에서 수행되는 거리맵 산출 방법으로서, 제1 지점에서 촬영한 제1 색상 이미지와, 상기 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득하는 단계, 상기 제1 색상 이미지와 상기 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 상기 제1 색상 이미지로부터 상기 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출하는 단계 및 상기 제1 지점 및 상기 제2 지점 간의 지점 이동정보와, 상기 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출하는 단계를 포함할 수 있다.

Description

시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템{DISTANCE MAP GENERATION METHOD BASED ON PARALLAX ANALYSIS AND SYSTEM THEREFOR}
본 발명은 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템에 관한 것으로, 보다 구체적으로는 컨볼루션 시차 분석에 기반하여 카메라 위치를 기준으로 실시간 공간 좌표 맵을 산출하는 방법 및 그를 위한 시스템에 관한 것이다.
컴퓨터 비전 기술 및 센서 기술의 발전에 따라 다양한 환경에 대하여 가상화 등이 가능해지고 있으며, 이러한 가상화의 기술도 점차적으로 실제와 유사한 입체감을 가지도록 개발되고 있다.
이러한 가상화 등의 컴퓨터 비전 기술에서는, 촬상 지점에서 전방에 대한 거리 정보, 즉, 거리맵(Distance Map)이 매우 중요하다.
이러한 거리맵(Distance Map)은 색상을 대체하여 각 픽셀이 xyz 좌표 정보를 가지는 이미지로서, 거리맵은 실제에 대응되는 거리 정보를 가짐으로써 메타버스 등의 현실 공간의 가상화 기술이나, 자율 주행에서의 거리 측정 등의 분야 등에서 다양하게 적용된다.
종래의 경우, 거리맵을 얻기 위해서는, LiDAR 등의 센서를 이용하여 전방의 각 지점들에 대하여 각각 거리를 측정하는 방식이 요구되었다. 그러나, 이러한 센서를 이용한 거리맵 생성 방식은, 고가의 센서가 필수적으로 요구되고, 거리맵 측정을 위한 별도의 과정이 요구되는 등의 문제가 있다.
이에, 기 촬영된 색상 이미지를 기초로 거리맵을 생성하고자 하는 니즈가 존재하고 있다.
예를 들면, AR, VR에서 필수적인 실시간 영상합성 기술에서 해당 픽셀의 위치탐색을 이용한 영상 합성 및 피사체 표면의 노멀 벡터 계산에 이용되어 표면에 합성 이미지를 입히는 합성 기술 등으로 활용될 수 있다. 이를 응용하면 현재 영화에서 사용되는 크로마키 기법도 거리맵을 기반으로 한 마스킹 기법을 사용하면 이 또한 적은 비용으로 이를 대체할 수 있을 뿐만 아니라 현장에서 직접 합성된 영상으로 촬영할 수 있다. 또한 높은 해상도로 거리맵을 산출할 수 있기 때문에 효율성 높은 실시간 3D 스캐닝에 이용 여러 산업분야의 활용가치가 높다. 근본적으로 광학 카메라를 기반으로 거리를 탐색하는 기법이기에 자율주행, 로보틱스 및 드론의 센서에서도 핵심적인 기술로 이용되어 중공업 분야에서도 활용가치가 높다.
등록특허공보 제10-2094506호(등록일자: 2020년03월23일) 등록특허공보 제10-2263064호(등록일자: 2021년06월03일)
본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 서로 다른 위치에서 촬영된 색상 이미지를 기초로 각 픽셀 간의 이동 정보를 산출하고 이를 기초로 각 픽셀에서의 거리 정보를 추출하도록 함으로써, 별도의 센서 없이도 색상 이미지를 이용하여 카메라 기준 공간 좌표 맵을 생성해 낼 수 있는, 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 픽셀 닮음 평가 함수 및 그에 대한 시차 분석 함수를 적용함으로써, 각 픽셀 간의 이동 정보를 효율적인 리소스를 이용하여 빠르게 산출할 수 있는, 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템을 제공하는 것이다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명의 일 기술적 측면은 거리맵 산출 방법을 제안한다. 상기 거리맵 산출 방법은, 색상 이미지를 제공받아 색상 이미지를 기반으로 거리맵 이미지를 생성하는 서비스 서버에서 수행되는 거리맵 산출 방법으로서, 제1 지점에서 촬영한 제1 색상 이미지와, 상기 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득하는 단계, 상기 제1 색상 이미지와 상기 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 상기 제1 색상 이미지로부터 상기 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출하는 단계 및 상기 제1 지점 및 제2 지점 간의 지점 이동정보와, 상기 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 거리맵 산출 방법은, 산출된 상기 각 픽셀에서의 거리를 기초로, 상기 제1 색상 이미지에 대한 거리맵 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 지점에서부터 상기 제2 지점까지의 이동은 평행 이동에 해당할 수 있다.
일 실시예에서, 상기 각 픽셀의 이미지 상의 픽셀 이동량을 산출하는 단계는, 상기 제1 색상 이미지 및 제2 색상 이미지에 대하여 픽셀 닮음 평가 함수를 적용하여 픽셀 닮음 정보를 생성하는 단계, 상기 지점 이동정보를 기초로, 기준 방향 벡터 및 이동 범위를 산출하는 단계 및 픽셀 닮음 정보에 대해 상기 이동 범위 내에서 상기 기준 방향 벡터를 적용하여 상기 픽셀 이동량을 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 픽셀 닮음 정보는, 상기 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정하고, UV 상의 계도 함수들의 값으로 정의되는, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장될 수 있다.
본 발명의 다른 일 기술적 측면은 시차 분석을 기반으로 하는 거리맵 산출 시스템을 제안한다. 상기 시차 분석을 기반으로 하는 거리맵 산출 시스템은, 제1 지점에서 촬영한 제1 색상 이미지와, 상기 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득하는 촬영 단말 및 상기 제1 색상 이미지와 상기 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 각 픽셀에서의 거리를 산출하는 서비스 서버를 포함할 수 있다. 상기 서비스 서버는, 상기 산출된 픽셀 닮음을 기초로 상기 제1 색상 이미지로부터 상기 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출하고, 상기 제1 지점 및 제2 지점 간의 지점 이동정보와 상기 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출할 수 있다.
일 실시예에서, 상기 서비스 서버는, 산출된 상기 각 픽셀에서의 거리를 기초로, 상기 제1 색상 이미지에 대한 거리맵 이미지를 생성할 수 있다.
일 실시예에서, 상기 제1 지점에서부터 상기 제2 지점까지의 이동은 평행 이동에 해당할 수 있다.
일 실시예에서, 상기 서비스 서버는, 상기 각 픽셀의 이미지 상의 픽셀 이동량을 산출함에 있어서, 상기 제1 색상 이미지 및 제2 색상 이미지에 대하여 픽셀 닮음 평가 함수를 적용하여 픽셀 닮음 정보를 생성하고, 상기 지점 이동정보를 기초로, 기준 방향 벡터 및 이동 범위를 산출한 후, 픽셀 닮음 정보에 대해 상기 이동 범위 내에서 상기 기준 방향 벡터를 적용하여 상기 픽셀 이동량을 산출할 수 있다.
일 실시예에서, 상기 픽셀 닮음 정보는, 상기 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정하고, UV 상의 계도 함수들의 값으로 정의되는, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장될 수 있다.
본 발명의 일 실시형태에 따르면, 서로 다른 위치에서 촬영된 색상 이미지를 기초로 각 픽셀 간의 이동 정보를 산출하고 이를 기초로 각 픽셀에서의 거리 정보를 추출하도록 함으로써, 별도의 센서 없이도 색상 이미지를 이용하여 거리맵을 생성해 낼 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 픽셀 닮음 평가 함수 및 그에 대한 시차 분석 함수를 적용함으로써, 각 픽셀 간의 이동 정보를 효율적인 리소스를 이용하여 빠르게 산출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 시차 분석을 기반으로 하는 거리맵 산출 시스템의 일 적용예를 설명하는 도면이다.
도 2는 도 1에 도시된 서비스 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 3은 도 1에 도시된 서비스 서버의 일 실시예를 설명하는 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 시차 분석을 기반으로 하는 거리맵 산출 방법을 설명하는 순서도이다.
도 5 및 도 6은 시차 분석을 기반으로 하는 거리맵 산출 방법을 설명하기 위한 참고 도면이다.
도 7은 도 3에 도시된 픽셀 이동량 산출부의 일 실시예를 설명하는 블록 구성도이다.
도 8은 도 7에 도시된 픽셀 이동량 산출부의 일 실시예의 일 동작을 설명하는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 거리 계산 알고리듬을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시예에 따른 시차 분석 알고리듬을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "서버(Server)" 및 "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 시차 분석을 기반으로 하는 거리맵 산출 시스템의 일 적용예를 설명하는 도면이다.
도 1을 참조하면, 시차 분석을 기반으로 하는 거리맵 산출 시스템(이하, ＇거리맵 산출 시스템＇이라 함)은 촬영 단말(100) 및 서비스 서버(300)를 포함할 수 있다.
촬영 단말(100)은 이미지를 촬영하여 서비스 서버(300)에 제공할 수 있다. 여기에서, 촬영 단말(100)에서 촬영되는 이미지는 색상을 표시하는 이미지로서, 이하에서는 ＇색상 이미지＇ 라고 칭한다. 색상 이미지는 거리맵 이미지와 대비하여 색상으로 표현되는 이미지를 통칭하며, 따라서, RGB 이미지, CYAN 이미지 등 다양한 양식으로 표현 가능하다.
촬영 단말(100)은 제1지점에서 제1 색상 이미지를 촬영하고, 제1 지점과 인접한 제2 지점에서 제2 색상 이미지를 촬영하여 서비스 서버(300)에 제공할 수 있다. 이러한 제1 지점에서 촬영된 제1 색상 이미지와, 제2 지점에서 촬영된 제2 색상 이미지는 적어도 일부 영역이 공통되게 촬영된다.
이하에서는 설명의 편의를 위하여, 도 5에 도시된 예와 같이, 제1 지점에서부터 제2 지점까지의 촬영 단말(100)의 이동은 평행 이동인 경우, 즉, 평행 이동 변환으로 처리하는 경우를 예시하여 설명한다. 그러나, 이에 한정되는 것은 아니며, 확대 축소 이동에 의한 확대 축소 변환, 회전 이동 등에 의한 사영 변환 등으로 적용 가능하다.
서비스 서버(300)는 이러한 제1 색상 이미지와 제2 색상 이미지 간의 픽셀 이동을 산출하고, 이러한 픽셀 이동을 기초로 각 픽셀에서의 거리, 즉, 수직거리(도 1에 도시된 distance)를 산출할 수 있다.
일 예로, 서비스 서버(300)는 제1 색상 이미지와 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 각 픽셀에서의 거리를 산출할 수 있다.
예컨대, 서비스 서버(300)는 산출된 픽셀 닮음을 기초로 제1 색상 이미지로부터 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출할 수 있다. 이후, 서비스 서버(300)는 상기 제1 지점 및 제2 지점 간의 지점 이동정보와 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출할 수 있다. 또한, 서비스 서버(300)는 산출된 각 픽셀에서의 거리를 기초로, 제1 색상 이미지에 대한 거리맵 이미지를 생성할 수 있다.
이하, 도 2 내지 도 8을 참조하여, 이러한 서비스 서버(300)의 다양한 실시예에 대하여 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 관리 서버의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 2는 관리 서버(300)의 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경의 일반적이고 단순화된 설명을 제공하기 위한 것으로, 도 2를 참조하면, 관리 서버(300)의 일 예로서 컴퓨팅 장치가 도시된다.
컴퓨팅 장치는 적어도 프로세싱 유닛(303)과 시스템 메모리(301)를 포함할 수 있다.
컴퓨팅 장치는 프로그램을 실행할 때 협조하는 복수의 프로세싱 유닛을 포함할 수도 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 의존하여, 시스템 메모리(301)는 휘발성(예컨대, 램(RAM)), 비휘발성(예컨대, 롬(ROM), 플래시 메모리 등) 또는 이들의 조합일 수 있다. 시스템 메모리(301)는 플랫폼의 동작을 제어하기 위한 적합한 운영 체제(302)를 포함하는데, 예컨대 마이크로소프트사로부터의 WINDOWS 운영체제나 리눅스 등의 것일 수 있다. 시스템 메모리(301)는 프로그램 모듈, 애플리케이션 등의 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수도 있다.
컴퓨팅 장치는 자기 디스크, 광학적 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(304)를 포함할 수 있다. 이러한 추가적 저장장치는 이동식 저장장치 및/또는 고정식 저장장치 일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 저장정보를 위한 임의의 방법이나 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(301), 저장장치(304)는 모두 컴퓨터 판독가능 저장 매체의 예시일 뿐이다. 컴퓨터 판독가능 저장 매체는 램(RAM), 롬(ROM), EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD 또는 다른 광학적 저장장치, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기적 저장 장치, 또는 원하는 정보를 저장하고 컴퓨팅 장치(300)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있는데, 이에 한정되는 것은 아니다.
컴퓨팅 장치의 입력 장치(305), 예컨대 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 및 비교 가능한 입력 장치를 포함할 수 있다. 출력 장치(306)는, 예컨대 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치가 포함될 수도 있다. 이들 장치는 본 기술분야에서 널리 알려진 것이므로 자세한 설명은 생략한다.
컴퓨팅 장치는 예컨대 분산 컴퓨팅 환경에서의 네트워크, 예컨대, 유무선 네트워크, 위성 링크, 셀룰러 링크, 근거리 네트워크 및 비교가능한 메커니즘을 통해 장치가 다른 장치들과 통신하도록 허용하는 통신 장치(307)를 포함할 수도 있다. 통신 장치(307)는 통신 매체의 한가지 예시이며, 통신 매체는 그 안에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크나 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하는데, 이에 한정되는 것은 아니다.
관리 서버(300)는 이러한 컴퓨팅 환경에서 구현되는 기능적 구성으로 설명될 수 있다. 이에 대해서는, 도 3을 참조하여 설명한다.
도 3은 도 1에 도시된 서비스 서버의 일 실시예를 설명하는 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 시차 분석을 기반으로 하는 거리맵 산출 방법을 설명하는 순서도이다.
도 3 및 도 4를 참조하면, 관리 서버(300)는 픽셀 이동량 산출부(310), 거리 산출부(320) 및 거리맵 생성부(330)를 포함할 수 있다.
픽셀 이동량 산출부(310)는 제1 지점에서 촬영한 제1 색상 이미지와, 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득할 수 있다(S410).
도 5는 제1 지점(P1)과 제2 지점(P2)에서 촬영 단말이 각각 제1 색상 이미지와 제2 색상 이미지를 촬영을 하는 예를 도시하고 있고, 도 6에서의 그림 (a)는 제1 색상 이미지의 예를, 그림 (b)는 제2 색상 이미지의 예를 도시하고 있다. 도 5 및 6에 도시된 바와 같이, 인접한 두 지점에서 각각 촬영하여 생성된 제1 색상 이미지 및 제2 색상 이미지는 대다수 픽셀이 동일한 영역을 대상으로 촬상된 것이다. 한편, 제1 지점(P1)에서 제2 지점(P2)으로의 지점 이동량(Dx)에 의하여 동일한 피사지점에 대하여 촬영된 이미지 내에서의 이동, 즉, 픽셀 이동량(D_px)이 유발되게 된다.
픽셀 이동량 산출부(310)는 1 색상 이미지와 제2 색상 이미지를 상호 비교하여, 동일한 피사 지점을 나타내는 픽셀이 색상 이미지에서의 위치 변환, 즉, 픽셀 이동량(D_px)을 산출한다(S420).
일 실시예에서, 픽셀 이동량 산출부(310)는 제1 색상 이미지와 제2 색상 이미지 간의 픽셀 닮음을 산출할 수 있다. 이후, 픽셀 이동량 산출부(310)는 산출된 픽셀 닮음을 기초로 제1 색상 이미지로부터 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출할 수 있다. 이러한 실시예에 대해서는 도 7 내지 도 8을 참조하여 이하에서 보다 상세히 후술한다.
거리 산출부(320)는 촬영 기기의 이동량 -즉, 제1 지점으로부터 제2 지점까지의 지점 이동정보-와 픽셀 이동량을 기초로, 각 픽셀에서의 거리 값을 산출할 수 있다(S430).
즉, 거리 산출부(320)에서는 촬영 기기의 이동량 대비 픽셀의 이동량을 입력받고, 투시효과에 의한 계산식을 적용하여 카메라로부터 해당 픽셀까지의 거리, 즉, 카메라 기준 공간 좌표를 산출할 수 있다.
이와 관련하여, 도 9를 참조하여 카메라 기준 공간 좌표를 산출하는 구체적인 과정을 설명하도록 한다. 도 9는 본 발명의 일 실시예에 따른 거리 계산 알고리듬을 설명하기 위한 개념도이다.
이에 대하여 자세히 살펴보면 다음과 같다. 먼저, 카메라를 기준으로 상대 좌표 공간 상 원점 정렬 된 1m 그리드 큐브를 가정하도록 한다. 상기 그리드 큐브가 카메라 화면에 투시로 투영되었을 경우, 실제로 카메라 화면에서 어느 정도의 길이를 갖는지를 측정하고자 한다. 여기서 카메라에서 1m 떨어진 점이 우로 1m 움직일 때, 화면상에서 움직인 거리를 S라고 하고, 카메라에서 2m 떨어진 점이 우로 1m 움직일 때 화면상에서 움직인 거리를 h*S라고 정의할 수 있다. 특정 픽셀이 포함된 평면과 카메라 간 거리를 d라고 하면, d에 따른 deltaPixel 값을 미터 단위로 스케일링한 값은 deltaPixel/(S*d)로 표현할 수 있다. 여기서 상기 그리드 큐브를 기준으로 상기 특정 픽셀이 속한 평면의 x 좌표를 xDepth라고 했을 때, xDepth = 1+log(Abs(deltaPixel)/d*S)/log(h))가 된다. 상기 특정 픽셀이 속한 평면에서 상기 그리드 큐브에 해당하는 평면을 스크린 스페이스(UV)에 투영하고, 상기 스크린 스페이스에서 상기 그리드 큐브에 해당하는 평면으로의 역변환을 구하면 yz의 좌표는 다음과 같다. CenterAlignedScreenSpace UV*resolution*deltaPixel/(S*d) 이렇게 산출된 카메라 기준 공간 좌표 xyz를 이용하여 3D 포인트 클라우드 맵을 작성할 수 있다.
거리맵 생성부(330)는 거리 산출부(320)에서 산출된 각 픽셀의 거리를 기초로 거리맵 이미지를 생성할 수 있다(S440).
일 실시예에서, 거리맵 생성부(330)가 생성하는 거리맵 이미지는 제1 색상 이미지에 대응되는 거리맵 이미지 일 수 있다. 이는, 제1 색상 이미지를 기준으로, 제1 색상 이미지에서 제2 색상 이미지와 겹치는 픽셀 영역(중복 픽셀 영역)에서의 각 픽셀의 이동이 산출 가능하므로, 중복 픽셀 영역의 각각의 픽셀에 대한 거리 값을 포함하여 거리맵 이미지를 생성할 수 있다.
일 실시예에서, 거리맵 생성부(330)는 제1 색상 이미지에서 제2 색상 이미지와 겹치지 않는 픽셀 영역(비중복 픽셀 영역)에 대한 거리 정보를 산출할 수 있다. 예컨대, 거리맵 생성부(330)는 이미지 객체의 에지와 중복 픽셀 영역의 픽셀에 대한 거리 값을 이용하여, 비중복 픽셀 영역에서의 각 픽셀에 대한 거리 정보를 예측하여 산출할 수 있다. 일 예로, 거리맵 생성부(330)는 색상 이미지의 에지를 산출하고 이를 기초로 색상 이미지에서의 객체를 식별할 수 있다. 이후, 중복 픽셀 영역의 픽셀과 동일한 객체에 포함되는 비중복 픽셀 영역의 픽셀의 거리로서, 동일한 객체에 속하는 중복 픽셀 영역의 픽셀의 거리 값을 설정할 수 있다. 한편, 만약 동일한 객체에서 동일한 열 또는 행에 속하는 중복 픽셀 영역의 다수의 픽셀의 거리 값이 서로 상이한 경우, 동일한 열 또는 행에서의 중복 픽셀 영역의 다수의 픽셀의 거리 값의 변화도를 산출하고, 이러한 열 또는 행을 비중복 픽셀 영역으로 확장한 후 확장된 열 또는 행에 대하여 변화도를 반영함으로써, 비중복 픽셀 영역의 픽셀의 거리를 산출할 수 있다.
일 실시예에서, 생성된 거리맵을 이용하여 포인트 클라우드 스캐닝 데이터를 만들 수 있다. 이는 화면좌표를 따라 출력되는 픽셀좌표를 어레이의 형태로 기록함으로써 구현될 수 있다. 영상인 경우, 카메라의 위치에 대한 정보가 원점에 대한 4개의 벡터의 형식으로 표현된 경우(카메라 위치 좌표, 카메라 공간 기저벡터 3개), 얻어진 좌표 맵에 기저벡터로 이루어진 3x3 행렬로 선형변환을 가한 뒤 다시 카메라 좌표를 더해주면 절대 좌표에서의 픽셀 좌표 맵으로 쉽게 변환된다. 이것을 빈 포인트 클라우드 공간에 특정 주기로 업데이트 해주는 경우 움직이는 영상에서도 3d 스캐닝 데이터를 얻어낼 수 있다.
도 7은 도 3에 도시된 픽셀 이동량 산출부의 일 실시예를 설명하는 블록 구성도이고, 도 8은 도 7에 도시된 픽셀 이동량 산출부의 일 실시예의 일 동작을 설명하는 순서도이다.
도 7 및 도 8을 참조하면, 픽셀 이동량 산출부(310)는 픽셀 닮음 평가모듈(311), 시차 분석모듈(312) 및 픽셀 이동량 산출모듈(313)을 포함할 수 있다.
픽셀 닮음 평가모듈(311)은 제1 색상 이미지 및 제2 색상 이미지에 대하여 픽셀 닮음 평가 함수를 적용하여, 두 색상 이미지에 대한 픽셀 닮음 정보를 생성할 수 있다(S810).
일 예로, 픽셀 닮음 평가모듈(311)은 픽셀 닮음 평가 함수로서 테일러 함수 또는 라플라시안 함수를 사용할 수 있다.
예컨대, 테일러 근사를 이용하는 경우, 테일러 근사의 차수를 증가시킬 수록 기준점에서 해당 함수에 점점 비슷한 모양을 갖추게 된다. 따라서, 픽셀 닮음 평가모듈(311)은 제1 색상 이미지에서의 한 점 및 제2 색상 이미지에서의 한점, 즉, 임의의 두 점의 계도함수들의 미분값들이 비슷하다면 두 점 근방에서 함수의 모양이 비슷한 점을 적용하여, 닮음 평가를 수행할 수 있다.
일 예로, 픽셀 닮음 정보는, 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정하고, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장될 수 있다. 예컨대, 픽셀 닮음 평가모듈(311)은 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정한 후, 이들에 대한 라플라시안의 계도함수들을 상호 비교해서, 제1 색상 이미지에서의 한 점 및 제2 색상 이미지에서의 한점, 즉, 두 점 근방이 얼마나 비슷한지를 추정할 수 있다. 픽셀 닮음 평가모듈(311)은 이러한 추정값들을 합하여 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장할 수 있다. 이러한 3차원 플롯 맵 어레이(3 Dimension Float Map Array)에서 움직이는 각 픽셀들의 픽셀값들은 카메라의 제한적인 움직임에 대한 변환에 대해 고유한 값을 갖게 되기 때문에, 픽셀들의 이동량을 추적하는데 사용될 수 있다.
이를 이미지에 적용하기 위해 컨볼루션 연산을 도입할 수 있다. 이미지에서의 라플라시안은 컨볼루션 연산으로 간략하게 정의되기 때문에 프로그래밍적으로 간결한 로직을 꾀할 수 있다. 또한, 컨볼루션 연산에서의 컨볼루션 커널 행렬을 조작하여 특정한 방향성으로의 닮음을 수치화함으로써 맵핑의 정확도를 올릴 수 있다. ac조일 예로, 행 이동된 제1 색상 이미지(A) 및 제2 색상 이미지(B)의 컨볼루션 커널 행렬(3x3)을 입력값으로 하여 컨볼루션 레이어로 변환한다. 이때 컨볼루션 커널에 재귀적 루프 연산을 적용하여 이미지 어레이 A`[LayerNumber], B`[LayerNumber]를 생성한다. 여기에 평행 이동된 거리인 델타 이동치에 따른 이차 레이어 어레이를 B``[LayerNumber][deltaPixel]로 생성한다. 이차 레이어 어레이의 A``를 생성하는 원리는 다음과 같다. LayerNumber=1~n, deltaPixel=0~x까지 정의하여 A`-B``를 계산하여 A``[LayerNumber][deltaPixel]로 생성하여 저장한다.시차 분석모듈(312)은 픽셀 닮음 평가모듈(311)로부터 픽셀 닮음 정보 -예컨대, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이- 를 제공받고, 촬영 지점의 이동에 대한 지점 이동 정보와 픽셀 닮음 정보를 이용하여 픽셀 이동을 추적할 수 있다.
예컨대, 시차 분석모듈(312)은 카메라의 이동 거리, 즉, 촬영 지점의 이동에 대한 지점 이동 정보를 이용하여 픽셀들이 움직임 방향을 나타내는 기준 방향 벡터와 이동 범위 a를 산출할 수 있다(S820). 여기에서, 이동 범위란, 픽셀이 기준 방향 벡터를 따라 움직일 범위로서, 예컨대, -a 내지 a의 범위를 만족할 수 있다.
이후, 시차 분석모듈(312)은 기준 방향 벡터에 픽셀의 해상도에 대응하여 -a에서 a까지 단위 이미지를 움직여서, 3차원 플롯 맵 어레이로 가공된 제1 이미지 및 제2 이미지를 차감할 수 있다. 여기에서, 단위 이미지는 이동 범위를, 이동 범위보다 작게 설정된 소정의 해상도로 나누어 설정될 수 있고, 이러한 단위 이미지는 기준 방향 벡터의 방향으로 움직이면서 차감이 수행될 수 있다. 이러한 연산에 따라, 각 픽셀들은 고윳값에 근접하게 되고, 따라서, 움직인 거리에 따라서 주변이 비슷한 픽셀들은 0에 가까운 값으로 표현되게 된다. 픽셀 이동량 산출모듈(313)은 시차 분석모듈(312)에서 수행된 이러한 차감 연산의 결과를 기초로 각 픽셀이 카메라의 움직임에 따른 화면상 이동량을 맵핑할 수 있다. 실시예에 따라, 시차 분석모듈(312)은 노이즈 제거 등의 처리를 수반하여 매핑을 수행할 수 있다(S830).
도 10은 본 발명의 일 실시예에 따른 시차 분석 알고리듬을 설명하기 위한 개념도이다. 도 10을 참조하면, 시차 분석모듈(312)은 픽셀 닮음 정보를 기반으로 실제 픽셀이 얼마나 이동했는지를 계산할 수 있다. 즉, 이동 거리 delta에 따라 이미지를 일괄 이동시켜 비교함으로써 각 픽셀들의 이동 거리 deltaPixel을 이미지 처리를 통해 일괄적으로 산출할 수 있다. 이를 위해, 시차 분석모듈(312)은 시차 평가모듈(311)이 수행하는 컨볼루션 연산 과정을 서로 반대 좌우 방향성을 가진 컨볼루션 커널을 이용하여 A1``[LayerNumber][deltaPixel], A2``[LayerNumber][deltaPixel]를 생성할 수 있다. 여기서 LayerNumber마다 각 픽셀값에서 A1``^2+A2``^2이 최소값이 되는 deltaPixel을 찾아 픽셀에 기록하여 이미지 어레이 C[LayerNumber]를 생성하고, C의 원소들의 평균을 구하여 거리맵(deltaPixelMap)을 생성할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100 : 촬영 단말
300 : 관리 서버
301 : 시스템 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장장치
305 : 입력장치 306 : 출력장치
307 : 통신장치
310 : 픽셀 이동량 산출부 320 : 거리 산출부
330 : 거리맵 생성부
311 : 픽셀 닮음 평가모듈 312 : 시차 분석모듈
313 : 픽셀 이동량 산출모듈

Claims (10)

  1. 색상 이미지를 제공받아 색상 이미지를 기반으로 거리맵 이미지를 생성하는 서비스 서버에서 수행되는 거리맵 산출 방법으로서,
    제1 지점에서 촬영한 제1 색상 이미지와, 상기 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득하는 단계;
    상기 제1 색상 이미지와 상기 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 상기 제1 색상 이미지로부터 상기 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출하는 단계; 및
    상기 제1 지점 및 상기 제2 지점 간의 지점 이동정보와, 상기 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출하는 단계;
    를 포함하는,
    시차 분석을 기반으로 하는 거리맵 산출 방법.
  2. 제1항에 있어서,
    상기 거리맵 산출 방법은,
    산출된 상기 각 픽셀에서의 거리를 기초로, 상기 제1 색상 이미지에 대한 거리맵 이미지를 생성하는 단계;
    를 포함하는,
    시차 분석을 기반으로 하는 거리맵 산출 방법.
  3. 제1항에 있어서,
    상기 제1 지점에서부터 상기 제2 지점까지의 이동은 평행 이동에 해당하는,
    시차 분석을 기반으로 하는 거리맵 산출 방법.
  4. 제1항에 있어서,
    상기 각 픽셀의 이미지 상의 픽셀 이동량을 산출하는 단계는,
    상기 제1 색상 이미지 및 제2 색상 이미지에 대하여 픽셀 닮음 평가 함수를 적용하여 픽셀 닮음 정보를 생성하는 단계;
    상기 지점 이동정보를 기초로, 기준 방향 벡터 및 이동 범위를 산출하는 단계; 및
    픽셀 닮음 정보에 대해 상기 이동 범위 내에서 상기 기준 방향 벡터를 적용하여 상기 픽셀 이동량을 산출하는 단계;
    를 포함하는,
    시차 분석을 기반으로 하는 거리맵 산출 방법.
  5. 제4항에 있어서,
    상기 픽셀 닮음 정보는,
    상기 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정하고, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장되는,
    시차 분석을 기반으로 하는 거리맵 산출 방법.
  6. 제1 지점에서 촬영한 제1 색상 이미지와, 상기 제1 지점과 인접한 제2 지점에서 촬영된 제2 색상 이미지를 획득하는 촬영 단말; 및
    상기 제1 색상 이미지와 상기 제2 색상 이미지 간의 픽셀 닮음을 산출하고, 산출된 픽셀 닮음을 기초로 각 픽셀에서의 거리를 산출하는 서비스 서버;
    를 포함하고,
    상기 서비스 서버는,
    상기 산출된 픽셀 닮음을 기초로 상기 제1 색상 이미지로부터 상기 제2 색상 이미지까지의 각 픽셀의 이미지 상의 픽셀 이동량을 산출하고, 상기 제1 지점 및 제2 지점 간의 지점 이동정보와 상기 픽셀 이동량을 기초로 각 픽셀에서의 거리를 산출하는,
    시차 분석을 기반으로 하는 거리맵 산출 시스템.
  7. 제6항에 있어서,
    상기 서비스 서버는,
    산출된 상기 각 픽셀에서의 거리를 기초로, 상기 제1 색상 이미지에 대한 거리맵 이미지를 생성하는,
    시차 분석을 기반으로 하는 거리맵 산출 시스템.
  8. 제6항에 있어서,
    상기 제1 지점에서부터 상기 제2 지점까지의 이동은 평행 이동에 해당하는,
    시차 분석을 기반으로 하는 거리맵 산출 시스템.
  9. 제6항에 있어서,
    상기 서비스 서버는,
    상기 각 픽셀의 이미지 상의 픽셀 이동량을 산출함에 있어서,
    상기 제1 색상 이미지 및 제2 색상 이미지에 대하여 픽셀 닮음 평가 함수를 적용하여 픽셀 닮음 정보를 생성하고,
    상기 지점 이동정보를 기초로, 기준 방향 벡터 및 이동 범위를 산출한 후,
    픽셀 닮음 정보에 대해 상기 이동 범위 내에서 상기 기준 방향 벡터를 적용하여 상기 픽셀 이동량을 산출하는,
    시차 분석을 기반으로 하는 거리맵 산출 시스템.
  10. 제9항에 있어서,
    상기 픽셀 닮음 정보는,
    상기 제1 색상 이미지 및 제2 색상 이미지를 UV 좌표에서의 스칼라 함수로 설정하고, 두 픽셀 간의 닮음값을 산출하여 표시되는 3차원 플롯 맵 어레이(3 Dimension Float Map Array)로 저장되는,
    시차 분석을 기반으로 하는 거리맵 산출 시스템.

KR1020220123640A 2022-09-28 2022-09-28 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템 KR20240044174A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220123640A KR20240044174A (ko) 2022-09-28 2022-09-28 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템
PCT/KR2023/011660 WO2024071653A1 (ko) 2022-09-28 2023-08-08 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220123640A KR20240044174A (ko) 2022-09-28 2022-09-28 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템

Publications (1)

Publication Number Publication Date
KR20240044174A true KR20240044174A (ko) 2024-04-04

Family

ID=90478355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220123640A KR20240044174A (ko) 2022-09-28 2022-09-28 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템

Country Status (2)

Country Link
KR (1) KR20240044174A (ko)
WO (1) WO2024071653A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094506B1 (ko) 2013-10-14 2020-03-27 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
KR102263064B1 (ko) 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451384B2 (en) * 2010-07-08 2013-05-28 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
JP5751117B2 (ja) * 2011-09-29 2015-07-22 大日本印刷株式会社 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101370785B1 (ko) * 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
KR102617241B1 (ko) * 2019-01-21 2023-12-26 엘지이노텍 주식회사 카메라 모듈 및 이의 이미지 생성 방법
KR102278536B1 (ko) * 2020-11-09 2021-07-19 대한민국 영상 이미지를 이용하여 거리를 측정하기 위한 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094506B1 (ko) 2013-10-14 2020-03-27 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
KR102263064B1 (ko) 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법

Also Published As

Publication number Publication date
WO2024071653A1 (ko) 2024-04-04

Similar Documents

Publication Publication Date Title
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
CN107980150B (zh) 对三维空间建模
EP2656309B1 (en) Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
US8077906B2 (en) Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
US8355565B1 (en) Producing high quality depth maps
US8417062B2 (en) System and method for stabilization of fisheye video imagery
JPH11339021A (ja) オプティカルフロ―推定方法および画像合成方法
Taketomi et al. Camera pose estimation under dynamic intrinsic parameter change for augmented reality
GB2567245A (en) Methods and apparatuses for depth rectification processing
Esteban et al. Closed form solution for the scale ambiguity problem in monocular visual odometry
US10346949B1 (en) Image registration
JP3557168B2 (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
Shao et al. Monocular vision based 3D vibration displacement measurement for civil engineering structures
Aliakbarpour et al. Stabilization of airborne video using sensor exterior orientation with analytical homography modeling
Wan et al. Boosting image-based localization via randomly geometric data augmentation
Hou et al. Octree-based approach for real-time 3d indoor mapping using rgb-d video data
Hui et al. Determination of line scan camera parameters via the direct linear transformation
KR20240044174A (ko) 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템
US20220191542A1 (en) Object Pose Estimation and Tracking Using Machine Learning
Fu et al. Real-time depth camera tracking with geometrically stable weight algorithm
JP2001167249A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
El Abderrahmani et al. Camera self-calibration with varying intrinsic parameters and arc of the circle
Chen et al. Precise 6dof localization of robot end effectors using 3D vision and registration without referencing targets
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair
Gui et al. An efficient dense depth map estimation algorithm using direct stereo matching for ultra-wide-angle images