KR102502100B1 - 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 - Google Patents

깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102502100B1
KR102502100B1 KR1020210017215A KR20210017215A KR102502100B1 KR 102502100 B1 KR102502100 B1 KR 102502100B1 KR 1020210017215 A KR1020210017215 A KR 1020210017215A KR 20210017215 A KR20210017215 A KR 20210017215A KR 102502100 B1 KR102502100 B1 KR 102502100B1
Authority
KR
South Korea
Prior art keywords
distance
plane
coordinate information
pixels
depth sensor
Prior art date
Application number
KR1020210017215A
Other languages
English (en)
Other versions
KR20220073601A (ko
Inventor
최희진
이현택
김현수
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Publication of KR20220073601A publication Critical patent/KR20220073601A/ko
Application granted granted Critical
Publication of KR102502100B1 publication Critical patent/KR102502100B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

다양한 실시예들은 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법에 관한 것으로, 깊이 센서의 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 객체까지의 제 1 거리를 저장하고, 깊이 센서를 통해, 측정 가능 범위 외부로의 객체의 이동을 감지하고, 제 1 좌표 정보 및 제 1 거리를 이용하여, 객체까지의 제 2 거리를 측정하도록 구성될 수 있다.

Description

깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR MEASURING REAL-TIME OBJECT POSITION USING DEPTH SENSOR AND COLOR CAMERA AND OPERATING METHOD THEREOF}
다양한 실시예들은 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
현실 세계에 가상 현실이 접목된 혼합 현실 기술에서, 전자 장치는 객체와의 상호작용을 통해, 다양한 가상 컨텐츠를 제공한다. 이를 위해, 전자 장치는 객체와의 상호작용을 위해, 객체의 실제 위치를 실시간으로 파악해야 한다. 일반적으로, 전자 장치는 깊이 센서를 이용하여, 객체까지의 거리를 측정하고, 이를 통해 객체의 위치를 파악한다. 그런데, 객체의 위치가 깊이 센서의 측정 가능 범위를 벗어나는 경우, 전자 장치는 객체까지의 거리를 측정할 수 없으며, 이로써 객체의 위치를 파악할 수 있다.
다양한 실시예들은, 깊이 센서와 컬러 카메라를 이용하여, 실시간으로 객체의 위치를 측정할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들은, 깊이 센서의 측정 가능 범위 외부에 객체가 위치하더라도, 객체까지의 거리를 측정함으로써, 객체의 위치를 파악할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 깊이 센서의 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 상기 객체까지의 제 1 거리를 저장하는 단계, 상기 깊이 센서를 통해, 상기 측정 가능 범위 외부로의 상기 객체의 이동을 감지하는 단계, 및 상기 제 1 좌표 정보 및 상기 제 1 거리를 이용하여, 상기 객체까지의 제 2 거리를 측정하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는, 영상을 획득하도록 구성되는 컬러 카메라, 미리 정해진 측정 가능 범위를 갖는 깊이 센서, 및 상기 컬러 카메라 및 상기 깊이 센서와 각각 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 깊이 센서를 통해 상기 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 상기 객체까지의 제 1 거리를 저장하고, 상기 깊이 센서를 통해, 상기 측정 가능 범위 외부로의 상기 객체의 이동을 감지하고, 상기 제 1 좌표 정보 및 상기 제 1 거리를 이용하여, 상기 객체까지의 제 2 거리를 측정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치는 컬러 카메라와 깊이 센서를 이용하여, 객체의 위치를 실시간으로 측정할 수 있다. 즉, 전자 장치는 전자 장치로부터 객체까지의 거리를 실시간으로 측정할 수 있다. 이 때, 전자 장치는 깊이 센서의 측정 가능 범위 외부의 객체에 대해서도, 객체까지의 거리를 측정할 수 있다. 즉, 객체가 측정 가능 범위 내에서 측정 가능 범위 외부로 이동하는 경우, 전자 장치는 객체까지의 거리를 측정할 수 있다. 이에 따라, 전자 장치는 전자 장치로부터 객체까지의 거리를 기반으로, 객체의 위치를 파악할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치의 내부 구성을 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 3은 도 2의 제 1 좌표 정보 및 제 1 거리를 저장하는 단계의 상세 구성을 도시하는 도면이다.
도 4는 도 2의 제 1 좌표 정보 및 제 1 거리를 저장하는 단계를 예시적으로 설명하기 위한 도면이다.
도 5는 도 2의 제 2 거리를 측정하는 단계의 상세 구성을 도시하는 도면이다.
도 6 및 도 7은 도 2의 제 2 거리를 측정하는 단계를 예시적으로 설명하기 위한 도면들이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 전자 장치(100)의 내부 구성을 도시하는 도면이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 컬러 카메라(110), 깊이 센서(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 어떤 실시예들에서, 메모리(130)와 프로세서(140)는 하나의 통합된 회로로 구현될 수 있다. 어떤 실시예들에서, 전자 장치(100)에, 적어도 하나의 구성 요소가 추가될 수 있다.
컬러 카메라(110)는 영상을 촬영하도록 구성될 수 있다. 여기서, 영상은 정지 영상 또는 동영상 중 적어도 하나를 포함할 수 있다. 이 때, 컬러 카메라(110)는 가시광선 영역의 영상을 촬영할 수 있다. 예를 들면, 컬러 카메라(110)는 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시 중 적어도 하나를 포함할 수 있다.
깊이 센서(120)는 미리 정해진 측정 가능 범위를 가질 수 있다. 그리고, 깊이 센서(120)는 측정 가능 범위 내의 객체를 검출할 수 있다. 또한, 깊이 센서(120)는 측정 가능 범위 내에서 객체까지의 거리를 측정할 수 있다.
메모리(130)는 전자 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(130)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 예컨대 운영 체제, 미들웨어, 또는 어플리케이션 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 메모리(130)의 프로그램을 실행하여, 전자 장치(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(140)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때 프로세서(140)는 메모리(130)에 저장된 명령을 실행할 수 있다. 프로세서(140)는 컬러 카메라(110)와 깊이 센서(120)를 이용하여, 객체의 위치를 실시간으로 측정할 수 있다. 즉, 프로세서(140)는 전자 장치(100)로부터 객체까지의 거리를 실시간으로 측정할 수 있다. 이 때, 프로세서(140)는 깊이 센서(120)의 측정 가능 범위 외부의 객체에 대해서도, 객체까지의 거리를 측정할 수 있다. 즉, 객체가 측정 가능 범위 내에서 측정 가능 범위 외부로 이동하는 경우, 프로세서(140)는 객체까지의 거리를 측정할 수 있다. 이에 따라, 프로세서(140)는 전자 장치(100)로부터 객체까지의 거리를 기반으로, 객체의 위치를 파악할 수 있다.
객체가 깊이 센서(120)의 측정 가능 범위 내에 있을 때, 프로세서(140)는 객체에 대한 특징점들의 제 1 좌표 정보 및 객체까지의 제 1 거리를 저장할 수 있다. 이 때, 프로세서(140)는 깊이 센서(120)를 통해, 객체가 측정 가능 범위 내에 있음을 감지할 수 있다. 그리고, 프로세서(140)는 깊이 센서(120)를 통해, 제 1 거리를 측정할 수 있다. 또한, 프로세서(140)는 컬러 카메라(110)를 통해, 제 1 좌표 정보를 검출할 수 있다. 이를 통해, 프로세서(140)는 메모리(130)에, 제 1 좌표 정보 및 제 1 거리를 저장할 수 있다.
깊이 센서(120)의 측정 가능 범위 외부로의 객체의 이동이 감지되면, 프로세서(140)는 제 1 좌표 정보 및 제 1 거리를 이용하여, 객체까지의 제 2 거리를 측정할 수 있다. 이 때, 프로세서(140)는 깊이 센서(120)를 통해, 객체의 이동을 감지할 수 있다. 그리고, 프로세서(140)는 컬러 카메라(110)를 통해, 객체에 대한 특징점들의 제 2 좌표 정보를 검출할 수 있다. 이를 통해, 프로세서(140)는 제1 좌표 정보, 제 2 좌표 정보 및 제 1 거리를 기반으로, 제 2 거리를 측정할 수 있다. 여기서, 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율의 역수가 제 1 거리로부터 제 2 거리로의 변화율이 되도록, 제 2 거리를 측정할 수 있다. 예를 들면, 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율과 제 1 거리의 곱으로, 제2 거리를 측정할 수 있다.
도 2는 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다.
도 2를 참조하면, 전자 장치(100)는 210 단계에서 깊이 센서(120)의 측정 가능 범위 내에서 검출된 객체에 대한 제 1 좌표 정보 및 제1 거리(
Figure 112021015542835-pat00001
)를 저장할 수 있다. 이 때, 프로세서(140)는 깊이 센서(120)를 통해, 측정 가능 범위 내에서의 객체를 검출하고, 제 1 거리(
Figure 112021015542835-pat00002
)를 측정할 수 있다. 그리고, 프로세서(140)는 컬러 카메라(110)를 통해, 객체의 특징점들로부터 제 1 좌표 정보를 검출할 수 있다. 따라서, 프로세서(140)는 제 1 거리(
Figure 112021015542835-pat00003
)를 기반으로, 객체의 위치를 파악할 수 있다. 이에 대해, 도 3 및 도 4를 참조하여, 보다 상세하게 후술될 것이다.
도 3은 도 2의 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00004
)를 저장하는 단계(210)의 상세 구성을 도시하는 도면이다. 도 4는 도 2의 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00005
)를 저장하는 단계(210)를 예시적으로 설명하기 위한 도면이다.
도 3을 참조하면, 전자 장치(100)는 311 단계에서 깊이 센서(120)를 통해, 측정 가능 범위 내에서 검출된 객체에 대해 제 1 거리(
Figure 112021015542835-pat00006
)를 측정할 수 있다. 프로세서(140)는 깊이 센서(120)를 통해, 객체가 측정 가능 범위 내에 있음을 감지할 수 있다. 그리고, 프로세서(140)는 깊이 센서(120)를 통해, 제 1 거리를 측정할 수 있다. 이 때, 도 4에 도시된 바와 같이, 객체가 존재하는 제 1 평면(400)이 정의되며, 제 1 거리(
Figure 112021015542835-pat00007
)는 전자 장치(100)로부터 객체까지의 거리를 나타낼 수 있다.
전자 장치(100)는313 단계에서 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제1 좌표 정보를 검출할 수 있다. 프로세서(140)는 컬러 카메라(110)를 통해, 객체의 특징점들을 검출하고, 특징점들에 대한 제 1 좌표 정보를 검출할 수 있다. 이 때, 프로세서(140)는 도 4에 도시된 바와 같이, 제 1 평면(400)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00008
)들을 검출할 수 있다. 그리고, 프로세서(140)는 제 1 평면(400) 상에서 픽셀 좌표(
Figure 112021015542835-pat00009
)들 사이의 픽셀 개수(
Figure 112021015542835-pat00010
)을 제 1 좌표 정보로 검출할 수 있다. 구체적으로, 프로세서(140)는 제 1 평면(400) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00011
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00012
), 및 제 1 평면(400) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00013
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00014
)을 제 1 좌표 정보로 검출할 수 있다.
전자 장치(100)는 315 단계에서 제 1 좌표 정보와 제 1 거리(
Figure 112021015542835-pat00015
)를 저장할 수 있다. 프로세서(140)는 메모리(130)에, 제 1 좌표 정보의 픽셀 좌표(
Figure 112021015542835-pat00016
)들 및 제 1 거리(
Figure 112021015542835-pat00017
)를 저장할 수 있다. 이 후, 전자 장치(100)는 도 2로 리턴하여, 320 단계로 진행할 수 있다.
다시 도 2를 참조하면, 전자 장치(100)는 220 단계에서 깊이 센서(120)를 통해, 측정 가능 범위 외부로의 객체의 이동을 감지할 수 있다. 프로세서(140)는 깊이 센서(120)를 통해, 객체의 이동을 감지할 수 있다. 여기서, 객체는 전자 장치(100)로 근접하도록 이동함에 따라, 측정 가능 범위를 벗어날 수 있다. 또는, 객체는 전자 장치(100)로부터 멀리 이동함에 따라, 측정 가능 범위를 벗어날 수 있다.
전자 장치(100)는 230 단계에서 제 1 좌표 정보 및 제 1 거리(
Figure 112022108979361-pat00018
)를 이용하여, 제 2 거리(
Figure 112022108979361-pat00019
)를 측정할 수 있다. 프로세서(140)는 컬러 카메라(110)를 통해, 객체에 대한 특징점들의 제 2 좌표 정보를 검출할 수 있다. 이를 통해, 프로세서(140)는 제1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112022108979361-pat00020
)를 기반으로, 제 2 거리(
Figure 112022108979361-pat00021
)를 측정할 수 있다. 여기서, 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율의 역수가 제 1 거리(
Figure 112022108979361-pat00022
)로부터 제 2 거리(
Figure 112022108979361-pat00023
)로의 변화율이 되도록, 제 2 거리(
Figure 112022108979361-pat00024
)를 측정할 수 있다. 예를 들면, 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율과 제 1 거리(
Figure 112022108979361-pat00025
)의 곱으로, 제2 거리(
Figure 112022108979361-pat00026
)를 측정할 수 있다. 따라서, 프로세서(140)는 제 2 거리(
Figure 112022108979361-pat00027
)를 기반으로, 객체의 위치를 파악할 수 있다. 이에 대해, 도 5, 도 6 및 도 7을 참조하여, 보다 상세하게 후술될 것이다.
도 5는 도 2의 제 2 거리(
Figure 112021015542835-pat00028
)를 측정하는 단계(230 단계)의 상세 구성을 도시하는 도면이다. 도 6 및 도 7은 도 2의 제 2 거리(
Figure 112021015542835-pat00029
)를 측정하는 단계(230 단계)를 예시적으로 설명하기 위한 도면들이다.
도 5를 참조하면, 전자 장치(100)는 531 단계에서 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제 2 좌표 정보를 검출할 수 있다. 프로세서(140)는 컬러 카메라(110)를 통해, 객체의 특징점들을 검출하고, 특징점들에 대한 제 2 좌표 정보를 검출할 수 있다. 이 때, 도 6에 도시된 바와 같이, 객체가 존재하는 제 2 평면(600)이 정의되며, 객체의 이동은 객체가 존재하는 평면이 제 1 평면(400)으로부터 제 2 평면(600)으로 변경됨을 나타낼 수 있다. 그리고, 프로세서(140)는, 도 6에 도시된 바와 같이 제 2 평면(600)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00030
)들을 검출할 수 있다. 또한, 프로세서(140)는 제 2 평면(600) 상에서 픽셀 좌표(
Figure 112021015542835-pat00031
)들 사이의 픽셀 개수(
Figure 112021015542835-pat00032
)을 제 2 좌표 정보로 검출할 수 있다. 구체적으로, 프로세서(140)는 제 2 평면(600) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00033
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00034
), 또는 상기 제 2 평면(600) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00035
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00036
) 중 적어도 하나를 상기 제 2 좌표 정보로 검출할 수 있다.
전자 장치(100)는 533 단계에서 제 1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112022108979361-pat00037
)를 기반으로, 제 2 거리(
Figure 112022108979361-pat00038
)를 측정할 수 있다. 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율의 역수가 제 1 거리(
Figure 112022108979361-pat00039
)로부터 제 2 거리(
Figure 112022108979361-pat00040
)로의 변화율이 되도록, 제 2 거리(
Figure 112022108979361-pat00041
)를 측정할 수 있다. 이 때, 프로세서(140)는 제 1 좌표 정보로부터 제 2 좌표 정보로의 변화율과 제 1 거리(
Figure 112022108979361-pat00042
)의 곱으로, 제2 거리(
Figure 112022108979361-pat00043
)를 측정할 수 있다. 프로세서(140)는, 하기 [수학식 1]과 같이, 제 1 평면(400) 상에서의 제 1 픽셀 개수(
Figure 112022108979361-pat00044
)로부터 제 2 평면(600) 상에서의 제 1 픽셀 개수(
Figure 112022108979361-pat00045
)로의 변화율과 제 1 거리(
Figure 112022108979361-pat00046
)의 곱으로, 제 2 거리(
Figure 112022108979361-pat00047
)를 측정할 수 있다. 또는, 프로세서(140)는, 하기 [수학식 1]과 같이, 제 1 평면(400) 상에서의 제 2 픽셀 개수(
Figure 112022108979361-pat00048
)로부터 제 2 평면(600) 상에서의 제 2 픽셀 개수(
Figure 112022108979361-pat00049
)로의 변화율과 제 1 거리(
Figure 112022108979361-pat00050
)의 곱으로, 제 2 거리(
Figure 112022108979361-pat00051
)를 측정할 수 있다.
Figure 112021015542835-pat00052
어떤 실시예들에서, 제 2 평면(600)에서의 객체의 특징점들에 대한 제 2 좌표 정보 중 일부가 소실되거나, 제 2 평면(600)에서의 객체의 특징점들 중 일부가 검출되지 않은 경우에도, 프로세서(140)는 제 2 거리(
Figure 112021015542835-pat00053
)를 측정할 수 있다. 이는, 상기 [수학식 1]과 같이, 프로세서(140)가 제 2 평면(600) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00054
) 또는 제 2 평면(600) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00055
) 중 하나만을 이용하여, 제 2 거리(
Figure 112021015542835-pat00056
)를 측정할 수 있기 때문이다. 일 예로, 도 7에 도시된 바와 같이, 제 2 평면(600) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00057
)가 측정될 수 없는 경우, 프로세서(140)는 제 2 평면(600) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00058
)를 이용하여, 제 2 거리(
Figure 112021015542835-pat00059
)를 측정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 컬러 카메라(110)와 깊이 센서(120)를 이용하여, 객체의 위치를 실시간으로 측정할 수 있다. 즉, 전자 장치(100)는 전자 장치(100)로부터 객체까지의 거리를 실시간으로 측정할 수 있다. 이 때, 전자 장치(100)는 깊이 센서(120)의 측정 가능 범위 외부의 객체에 대해서도, 객체까지의 거리를 측정할 수 있다. 즉, 객체가 측정 가능 범위 내에서 측정 가능 범위 외부로 이동하는 경우, 전자 장치(100)는 객체까지의 거리를 측정할 수 있다. 이에 따라, 전자 장치(100)는 전자 장치(100)로부터 객체까지의 거리를 기반으로, 객체의 위치를 파악할 수 있다.
다양한 실시예들에 따른 전자 장치(100)의 동작 방법은, 깊이 센서(120)의 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 객체까지의 제 1 거리(
Figure 112021015542835-pat00060
)를 저장하는 단계(210 단계), 깊이 센서(120)를 통해, 측정 가능 범위 외부로의 객체의 이동을 감지하는 단계(220 단계), 및 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00061
)를 이용하여, 객체까지의 제 2 거리(
Figure 112021015542835-pat00062
)를 측정하는 단계(230 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 제 1 거리(
Figure 112021015542835-pat00063
)를 저장하는 단계(210 단계)는, 깊이 센서(120)를 통해, 측정 가능 범위 내에서 검출된 객체에 대해 제 1 거리(
Figure 112021015542835-pat00064
)를 측정하는 단계(311 단계), 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제 1 좌표 정보를 검출하는 단계(313 단계), 및 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00065
)를 저장하는 단계(315 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 제 2 거리(
Figure 112021015542835-pat00066
)를 측정하는 단계(230 단계)는, 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제 2 좌표 정보를 검출하는 단계(531 단계), 및 제 1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00067
)를 기반으로, 제 2 거리(
Figure 112021015542835-pat00068
)를 측정하는 단계(533 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 객체의 이동은, 객체가 존재하는 평면이 제 1 평면(400)으로부터 제 2 평면(600)으로 변경됨을 나타낼 수 있다.
다양한 실시예들에 따르면, 제 1 거리(
Figure 112021015542835-pat00069
)를 저장하는 단계(210 단계)는, 제 1 평면(400)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00070
)들을 검출하고, 제 1 평면(400) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00071
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00072
), 및 제 1 평면(400) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00073
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00074
)를 제 1 좌표 정보로 검출할 수 있다.
다양한 실시예들에 따르면, 제 2 거리(
Figure 112021015542835-pat00075
)를 측정하는 단계(230 단계)는, 제 2 평면(600)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00076
)들을 검출하고, 제 2 평면(600) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00077
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00078
), 또는 제 2 평면(600) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00079
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00080
) 중 적어도 하나를 제 2 좌표 정보로 검출할 수 있다.
다양한 실시예들에 따르면, 제 1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00081
)를 기반으로, 제 2 거리(
Figure 112021015542835-pat00082
)를 측정하는 단계(533 단계)는, 제 1 평면(400) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00083
)로부터 제 2 평면(600) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00084
)로의 변화율과 제 1 거리(
Figure 112021015542835-pat00085
)의 곱으로, 제 2 거리(
Figure 112021015542835-pat00086
)를 측정할 수 있다.
다양한 실시예들에 따르면, 제 1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00087
)를 기반으로, 제 2 거리(
Figure 112021015542835-pat00088
)를 측정하는 단계(533 단계)는, 제 1 평면(400) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00089
)로부터 제 2 평면(600) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00090
)로의 변화율과 제 1 거리(
Figure 112021015542835-pat00091
)의 곱으로, 제 2 거리(
Figure 112021015542835-pat00092
)를 측정할 수 있다.
다양한 실시예들에 따른 전자 장치(100)는, 영상을 획득하도록 구성되는 컬러 카메라(110), 미리 정해진 측정 가능 범위를 갖는 깊이 센서(120), 및 컬러 카메라(110) 및 깊이 센서(120)와 각각 연결되는 프로세서(140)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 깊이 센서(120)를 통해 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 객체까지의 제 1 거리(
Figure 112021015542835-pat00093
)를 저장하고, 깊이 센서(120)를 통해, 측정 가능 범위 외부로의 객체의 이동을 감지하고, 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00094
)를 이용하여, 객체까지의 제 2 거리(
Figure 112021015542835-pat00095
)를 측정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 깊이 센서(120)를 통해, 측정 가능 범위 내에서 검출된 객체에 대해 제 1 거리(
Figure 112021015542835-pat00096
)를 측정하고, 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제 1 좌표 정보를 검출하고, 제 1 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00097
)를 저장하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 컬러 카메라(110)를 통해, 객체의 특징점들에 대한 제 2 좌표 정보를 검출하고, 제 1 좌표 정보, 제 2 좌표 정보 및 제 1 거리(
Figure 112021015542835-pat00098
)를 기반으로, 제 2 거리(
Figure 112021015542835-pat00099
)를 측정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 객체의 이동은, 객체가 존재하는 평면이 제 1 평면(400)으로부터 제 2 평면(600)으로 변경됨을 나타낼 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 제 1 평면(400)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00100
)들을 검출하고, 제 1 평면(400) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00101
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00102
), 및 제 1 평면(400) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00103
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00104
)를 제 1 좌표 정보로 검출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 제 2 평면(600)에서의 객체의 특징점들에 대한 픽셀 좌표(
Figure 112021015542835-pat00105
)들을 검출하고, 제 2 평면(600) 상에서 정의되는 제 1 축(x 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00106
)들 사이의 제 1 픽셀 개수(
Figure 112021015542835-pat00107
), 또는 제 2 평면(600) 상에서 정의되고 제 1 축(x 축)에 직교하는 제 2 축(y 축)에 따른 픽셀 좌표(
Figure 112021015542835-pat00108
)들 사이의 제 2 픽셀 개수(
Figure 112021015542835-pat00109
) 중 적어도 하나를 제 2 좌표 정보로 검출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 제 1 평면(400) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00110
)로부터 제 2 평면(600) 상에서의 제 1 픽셀 개수(
Figure 112021015542835-pat00111
)로의 변화율과 제 1 거리(
Figure 112021015542835-pat00112
)의 곱, 또는 제 1 평면(400) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00113
)로부터 제 2 평면(600) 상에서의 제 2 픽셀 개수(
Figure 112021015542835-pat00114
)로의 변화율과 제 1 거리(
Figure 112021015542835-pat00115
)의 곱 중 적어도 하나로, 제 2 거리(
Figure 112021015542835-pat00116
)를 측정하도록 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이 때 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 그리고, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.

Claims (15)

  1. 깊이 센서 및 컬러 카메라를 포함하는 전자 장치의 동작 방법에 있어서,
    상기 깊이 센서의 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 상기 객체까지의 제 1 거리를 저장하는 단계;
    상기 깊이 센서를 통해, 상기 측정 가능 범위 외부로의 상기 객체의 이동을 감지하는 단계; 및
    상기 제 1 좌표 정보 및 상기 제 1 거리를 이용하여, 상기 객체까지의 제 2 거리를 측정하는 단계
    를 포함하고,
    상기 제 1 거리를 저장하는 단계는,
    상기 깊이 센서를 통해, 상기 측정 가능 범위 내에서 검출된 상기 객체에 대해 상기 제 1 거리를 측정하는 단계;
    상기 컬러 카메라를 통해, 상기 객체의 특징점들에 대한 상기 제 1 좌표 정보를 검출하는 단계; 및
    상기 제 1 좌표 정보 및 상기 제 1 거리를 저장하는 단계
    를 포함하고,
    상기 제 2 거리를 측정하는 단계는,
    상기 컬러 카메라를 통해, 상기 객체의 특징점들에 대한 제 2 좌표 정보를 검출하는 단계; 및
    상기 제 1 좌표 정보로부터 상기 제 2 좌표 정보로의 변화율의 역수가 상기 제 1 거리로부터 상기 제 2 거리로의 변화율이 되도록, 상기 제 2 거리를 측정하는 단계
    를 포함하는,
    전자 장치의 동작 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 객체의 이동은,
    상기 객체가 존재하는 평면이 제 1 평면으로부터 제 2 평면으로 변경됨을 나타내는,
    전자 장치의 동작 방법.
  5. 제 4 항에 있어서,
    상기 제 1 거리를 저장하는 단계는,
    상기 제 1 평면에서의 상기 객체의 특징점들에 대한 픽셀 좌표들을 검출하고,
    상기 제 1 평면 상에서 정의되는 제 1 축에 따른 상기 픽셀 좌표들 사이의 제 1 픽셀 개수, 및 상기 제 1 평면 상에서 정의되고 상기 제 1 축에 직교하는 제 2 축에 따른 상기 픽셀 좌표들 사이의 제 2 픽셀 개수를 상기 제 1 좌표 정보로 검출하는,
    전자 장치의 동작 방법.
  6. 제 5 항에 있어서,
    상기 제 2 거리를 측정하는 단계는,
    상기 제 2 평면에서의 상기 객체의 특징점들에 대한 픽셀 좌표들을 검출하고,
    상기 제 2 평면 상에서 정의되는 제 1 축에 따른 상기 픽셀 좌표들 사이의 제 1 픽셀 개수, 또는 상기 제 2 평면 상에서 정의되고 상기 제 1 축에 직교하는 제 2 축에 따른 상기 픽셀 좌표들 사이의 제 2 픽셀 개수 중 적어도 하나를 상기 제 2 좌표 정보로 검출하는,
    전자 장치의 동작 방법.
  7. 제 6 항에 있어서,
    상기 제 1 좌표 정보, 상기 제 2 좌표 정보 및 상기 제 1 거리를 기반으로, 상기 제 2 거리를 측정하는 단계는,
    상기 제 1 평면 상에서의 상기 제 1 픽셀 개수로부터 상기 제 2 평면 상에서의 상기 제 1 픽셀 개수로의 변화율과 상기 제 1 거리의 곱으로, 상기 제 2 거리를 측정하는,
    전자 장치의 동작 방법.
  8. 제 6 항에 있어서,
    상기 제 1 좌표 정보, 상기 제 2 좌표 정보 및 상기 제 1 거리를 기반으로, 상기 제 2 거리를 측정하는 단계는,
    상기 제 1 평면 상에서의 상기 제 2 픽셀 개수로부터 상기 제 2 평면 상에서의 상기 제 2 픽셀 개수로의 변화율과 상기 제 1 거리의 곱으로, 상기 제 2 거리를 측정하는,
    전자 장치의 동작 방법.
  9. 전자 장치에 있어서,
    영상을 획득하도록 구성되는 컬러 카메라;
    미리 정해진 측정 가능 범위를 갖는 깊이 센서; 및
    상기 컬러 카메라 및 상기 깊이 센서와 각각 연결되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 깊이 센서를 통해 상기 측정 가능 범위 내에서 검출된 객체에 대한 특징점들의 제 1 좌표 정보 및 상기 객체까지의 제 1 거리를 저장하고,
    상기 깊이 센서를 통해, 상기 측정 가능 범위 외부로의 상기 객체의 이동을 감지하고,
    상기 제 1 좌표 정보 및 상기 제 1 거리를 이용하여, 상기 객체까지의 제 2 거리를 측정하도록 구성되고,
    상기 프로세서는,
    상기 깊이 센서를 통해, 상기 측정 가능 범위 내에서 검출된 상기 객체에 대해 상기 제 1 거리를 측정하고,
    상기 컬러 카메라를 통해, 상기 객체의 특징점들에 대한 상기 제 1 좌표 정보를 검출하고,
    상기 제 1 좌표 정보 및 상기 제 1 거리를 저장하도록 구성되고,
    상기 프로세서는,
    상기 컬러 카메라를 통해, 상기 객체의 특징점들에 대한 제 2 좌표 정보를 검출하고,
    상기 제 1 좌표 정보로부터 상기 제 2 좌표 정보로의 변화율의 역수가 상기 제 1 거리로부터 상기 제 2 거리로의 변화율이 되도록, 상기 제 2 거리를 측정하도록 구성되는,
    전자 장치.
  10. 삭제
  11. 삭제
  12. 제 9 항에 있어서,
    상기 객체의 이동은,
    상기 객체가 존재하는 평면이 제 1 평면으로부터 제 2 평면으로 변경됨을 나타내는,
    전자 장치.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 제 1 평면에서의 상기 객체의 특징점들에 대한 픽셀 좌표들을 검출하고,
    상기 제 1 평면 상에서 정의되는 제 1 축에 따른 상기 픽셀 좌표들 사이의 제 1 픽셀 개수, 및 상기 제 1 평면 상에서 정의되고 상기 제 1 축에 직교하는 제 2 축에 따른 상기 픽셀 좌표들 사이의 제 2 픽셀 개수를 상기 제 1 좌표 정보로 검출하도록 구성되는,
    전자 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 제 2 평면에서의 상기 객체의 특징점들에 대한 픽셀 좌표들을 검출하고,
    상기 제 2 평면 상에서 정의되는 제 1 축에 따른 상기 픽셀 좌표들 사이의 제 1 픽셀 개수, 또는 상기 제 2 평면 상에서 정의되고 상기 제 1 축에 직교하는 제 2 축에 따른 상기 픽셀 좌표들 사이의 제 2 픽셀 개수 중 적어도 하나를 상기 제 2 좌표 정보로 검출하도록 구성되는,
    전자 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 제 1 평면 상에서의 상기 제 1 픽셀 개수로부터 상기 제 2 평면 상에서의 상기 제 1 픽셀 개수로의 변화율과 상기 제 1 거리의 곱, 또는
    상기 제 1 평면 상에서의 상기 제 2 픽셀 개수로부터 상기 제 2 평면 상에서의 상기 제 2 픽셀 개수로의 변화율과 상기 제 1 거리의 곱
    중 적어도 하나로, 상기 제 2 거리를 측정하도록 구성되는,
    전자 장치.
KR1020210017215A 2020-11-26 2021-02-08 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법 KR102502100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200160669 2020-11-26
KR1020200160669 2020-11-26

Publications (2)

Publication Number Publication Date
KR20220073601A KR20220073601A (ko) 2022-06-03
KR102502100B1 true KR102502100B1 (ko) 2023-02-23

Family

ID=81983446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210017215A KR102502100B1 (ko) 2020-11-26 2021-02-08 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR102502100B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862402B2 (ja) * 1998-02-27 2006-12-27 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
JP2012027000A (ja) * 2010-06-22 2012-02-09 Itt:Kk 単一カメラによる画像計測処理装置，画像計測処理方法および画像計測処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056057A (ja) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862402B2 (ja) * 1998-02-27 2006-12-27 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
JP2012027000A (ja) * 2010-06-22 2012-02-09 Itt:Kk 単一カメラによる画像計測処理装置，画像計測処理方法および画像計測処理プログラム

Also Published As

Publication number Publication date
KR20220073601A (ko) 2022-06-03

Similar Documents

Publication Publication Date Title
Wasenmüller et al. Comparison of kinect v1 and v2 depth images in terms of accuracy and precision
KR102399630B1 (ko) 굴착기의 버킷의 포즈 결정 방법 및 장치
CN107687855B (zh) 机器人定位方法、装置及机器人
US20150204662A1 (en) Three-dimensional-shape measurement apparatus, three-dimensional-shape measurement method, and non-transitory computer-readable storage medium
JP6889865B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
CN106170676B (zh) 用于确定移动平台的移动的方法、设备以及系统
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
KR102618285B1 (ko) 카메라 자세 결정 방법 및 시스템
Wasenmüller et al. Dna-slam: Dense noise aware slam for tof rgb-d cameras
KR102298652B1 (ko) 시차 결정 방법 및 장치
KR102502100B1 (ko) 깊이 센서와 컬러 카메라를 이용한 실시간 객체 위치 측정을 위한 전자 장치 및 그의 동작 방법
KR20210015516A (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
Mayer Efficient hierarchical triplet merging for camera pose estimation
KR102270922B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
US20210144355A1 (en) Method and apparatus with updating of algorithm for generating disparity image
EP3428751A1 (en) Measuring position of motion stage
KR20210071283A (ko) 드론을 이용하는 구조물 안전점검 유지관리 방법 및 시스템
EP3598388A1 (en) Method and apparatus for visual odometry, and non-transitory computer-readable recording medium
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
KR20190070235A (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
Brunetto et al. Interactive RGB-D SLAM on mobile devices
CN111161357A (zh) 信息处理方法及装置、增强现实设备和可读存储介质
CN111136689A (zh) 自检方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right