KR102287478B1 - 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법 - Google Patents

전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법 Download PDF

Info

Publication number
KR102287478B1
KR102287478B1 KR1020190169960A KR20190169960A KR102287478B1 KR 102287478 B1 KR102287478 B1 KR 102287478B1 KR 1020190169960 A KR1020190169960 A KR 1020190169960A KR 20190169960 A KR20190169960 A KR 20190169960A KR 102287478 B1 KR102287478 B1 KR 102287478B1
Authority
KR
South Korea
Prior art keywords
depth
interest
image
region
plane
Prior art date
Application number
KR1020190169960A
Other languages
English (en)
Other versions
KR20210017978A (ko
Inventor
박용화
박대희
사이먼 세메그네 글래트
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2019/018826 priority Critical patent/WO2021025242A1/ko
Priority to EP20151284.5A priority patent/EP3772701B1/en
Priority to US16/742,851 priority patent/US11282178B2/en
Publication of KR20210017978A publication Critical patent/KR20210017978A/ko
Application granted granted Critical
Publication of KR102287478B1 publication Critical patent/KR102287478B1/ko

Links

Images

Classifications

    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G06K9/00201—
    • G06K9/3233—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 실내 환경에서 반사에 의한 관심 허상을 식별하기 위한 것으로, 컬러 영상과 깊이 영상을 획득하고, 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하고, 깊이 영상에서 적어도 하나의 기준면을 검출하고, 깊이 영상을 기반으로 검출되는 관심 영역의 관심 깊이와 기준면의 기준 깊이를 비교하여, 관심 영역을 처리하도록 구성될 수 있다.

Description

전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법{ELECTRONIC APPARATUS AND METHOD FOR IDENTIFYING FALSE DETECTION OF OBJECT BY REFLECTION IN INDOOR ENVIRONMENT}
다양한 실시예들은 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법에 관한 것이다.
일반적으로 전자 장치는 다양한 기능들이 부가되어 복합적인 기능을 수행한다. 특히 전자 장치는 특정 객체, 예컨대 사람을 인식하고, 사람을 위한 기능을 수행한다. 예를 들면, 서비스 로봇은 사람을 대상으로 특정 서비스를 제공하기 위해, 인체를 검출 및 추적하도록 구현된다. 이를 위해, 전자 장치는 실시간으로 촬영되는 영상에서 인체를 검출한다. 이 때 전자 장치는 단지 2D 컬러 영상을 기반으로, 인체를 검출한다. 이로 인하여, 전자 장치는 실제 인체 뿐 아니라, 거울에 비치거나 TV에 디스플레이되는 허상도 인체로 검출한다. 이는, 전자 장치의 동작 오류를 야기한다.
다양한 실시예들은, 촬영되는 영상으로부터 실제 객체와 반사에 의한 허상을 명확하게 식별할 수 있는 전자 장치 및 그의 동작 방법을 제공할 수 있다.
다양한 실시예들은, 반사에 의한 허상을 실제 객체로 검출함에 따라 발생되는 동작 오류를 방지할 수 있는 전자 장치 및 그의 동작 방법을 제공할 수 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 컬러 영상과 깊이 영상을 획득하는 동작, 상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하는 동작, 상기 깊이 영상에서 적어도 하나의 기준면을 검출하는 동작, 및 상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는, 카메라 모듈, 및 상기 카메라 모듈과 연결되고, 상기 카메라 모듈을 통해 컬러 영상과 깊이 영상을 획득하도록 구성되는 프로세서를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는, 상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하고, 상기 깊이 영상에서 적어도 하나의 기준면을 검출하고, 상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하도록 구성될 수 있다.
다양한 실시예들에 따른 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)는, 컬러 영상과 깊이 영상을 획득하는 동작, 상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하는 동작, 상기 깊이 영상에서 적어도 하나의 기준면을 검출하는 동작, 및 상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 3D 영상을 기반으로, 객체를 검출할 수 있다. 즉 전자 장치는, 컬러 영상 뿐 아니라 깊이 영상을 이용하여, 객체, 예컨대 인체를 검출할 수 있다. 이를 통해, 전자 장치가 영상으로부터 실제 객체와 반사에 의한 허상을 명확하게 식별할 수 있다. 이에 따라, 전자 장치에서, 반사에 의한 허상을 실제 객체로 검출함에 따라 발생되는 동작 오류가 방지될 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2는 일 실시예에 따른 전자 장치의 카메라 모듈과 프로세서를 도시하는 도면이다.
도 3, 도 4, 도 5a, 도 5b, 도 5c 및 도 5d는 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 도면들이다.
도 6은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 7a는 도 6의 기준면 검출 동작의 일 예를 도시하는 도면이다.
도 7b는 도 6의 기준면 검출 동작의 다른 예를 도시하는 도면이다.
도 8은 도 6의 인체 영역 처리 동작을 도시하는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 전자 장치(100)를 도시하는 도면이다. 도 2는 일 실시예에 따른 전자 장치(100)의 카메라 모듈(160)과 프로세서(190)를 도시하는 도면이다. 도 3, 도 4, 도 5a, 도 5b, 도 5c 및 도 5d는 다양한 실시예들에 따른 전자 장치(100)의 동작을 설명하기 위한 도면들이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는, 통신 모듈(110), 입력 모듈(120), 표시 모듈(130), 오디오 모듈(140), 전력 모듈(150), 카메라 모듈(160), 센싱 모듈(170), 메모리(180), 또는 프로세서(190) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(100)에는, 이 구성요소들 중 적어도 어느 하나가 생략될 수 있으며, 하나 이상의 다른 구성 요소들이 추가될 수도 있다.
통신 모듈(110)은 전자 장치(100)에서 외부 장치(미도시)와 통신을 지원할 수 있다. 통신 모듈(110)은 외부 장치와의 유선 통신 또는 무선 통신 중 적어도 어느 하나를 지원할 수 있다. 이를 위해, 통신 모듈(110)은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 무선 통신 모듈은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 위성 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 외부 장치는, 다른 전자 장치 또는 서버 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(120)은 전자 장치(100)의 구성요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(100)의 외부, 예컨대 사용자로부터 수신할 수 있다. 입력 모듈(120)은 마이크, 마우스 또는 키(또는 버튼)을 포함할 수 있다.
표시 모듈(130)은 전자 장치(100)의 외부로 정보를 시각적으로 제공할 수 있다. 예를 들면, 표시 모듈(130)은, 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 어느 하나 및 그를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 모듈(130)은 터치를 감지하도록 설정된 터치 회로(touch circuitry)를 포함할 수 있다.
오디오 모듈(140)은 소리를 전기 신호로 변환하거나, 반대로 전기 신호를 소리로 변환할 수 있다. 오디오 모듈(140)은 입력 모듈(120)을 통해 소리를 획득할 수 있다. 또는 오디오 모듈(140)은 소리를 출력할 수 있다. 예를 들면, 오디오 모듈(140)은 스피커 또는 리시버 중 적어도 어느 하나를 포함할 수 있다.
전력 모듈(150)은 전자 장치(100)의 구성요소들 중 적어도 어느 하나에 전력을 공급할 수 있다. 예를 들면, 전력 모듈(150)은 배터리를 포함할 수 있다. 배터리는, 예컨대 재충전 불가능한 일차 전지, 재충전 가능한 이차전지 또는 연료 전지 중 적어도 어느 하나를 포함할 수 있다.
카메라 모듈(160)은 영상, 즉 정지 영상과 동영상을 촬영할 수 있다. 예를 들면, 카메라 모듈(160)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들 또는 플래시들 중 적어도 어느 하나를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(160)은, 도 2에 도시된 바와 같이 제 1 카메라 모듈(261)과 제 2 카메라 모듈(263)을 포함할 수 있다. 제 1 카메라 모듈(261)은, 도 3의 (a)에 도시된 바와 같이 컬러 영상(310)을 촬영할 수 있다. 예를 들면, 제 1 카메라 모듈(261)은 가시광 카메라일 수 있으며, 입사되는 가시광을 기반으로 컬러 영상(310)을 생성할 수 있다. 제 2 카메라 모듈(263)은, 도 3의 (b)에 도시된 바와 같이 깊이 영상(320)을 촬영할 수 있다. 예를 들면, 제 2 카메라 모듈(263)은 적외선 카메라일 수 있으며, 입사되는 적외선을 기반으로 깊이 영상(320)을 생성할 수 있다. 다른 실시예에 따르면, 카메라 모듈(160)은 복수 개의 컬러 픽셀들과 복수 개의 적외선 픽셀들을 포함할 수 있다. 카메라 모듈(160)은 컬러 픽셀들을 통하여 입사되는 가시광을 기반으로 컬러 영상(310)을 생성하고, 적외선 픽셀들을 통하여 입사되는 적외선을 기반으로 깊이 영상(320)을 생성할 수 있다. 여기서, 카메라 모듈(160)은 컬러 픽셀들을 통하여 입사되는 가시광과 함께, 적외선 픽셀들을 통하여 입사되는 적외선을 기반으로 컬러 영상(310)을 생성할 수도 있다.
센서 모듈(170)은 전자 장치(100)의 작동 상태 또는 외부의 환경 상태를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터를 생성할 수 있다. 센서 모듈(170)은 적어도 하나의 센서, 예컨대 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, 습도 센서, 온도 센서, 근접 센서 또는 조도 센서 중 적어도 어느 하나를 포함할 수 있다.
메모리(180)는 전자 장치(100)의 구성요소들 중 적어도 어느 하나에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예컨대 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 메모리(180)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다.
프로세서(190)는 전자 장치(100)의 구성요소들 중 적어도 어느 하나를 제어하고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 이를 위해, 프로세서(190)는 전자 장치(100)의 구성요소들 중 적어도 어느 하나에 연결될 수 있다. 프로세서(190)는 카메라 모듈(160)을 통하여 획득되는 영상에서 객체를 식별할 수 있다. 예를 들면, 객체는 인체를 포함할 수 있다. 일 실시예에 따르면, 프로세서(190)는, 도 2에 도시된 바와 같이 능동 시각 모듈(291), 객체 검출 모듈(293), 기준면 검출 모듈(295) 또는 제어 모듈(297) 중 적어도 어느 하나를 포함할 수 있다.
프로세서(190)는 카메라 모듈(160)을 통하여, 컬러 영상(310)과 깊이 영상(320)을 획득할 수 있다. 이 때 컬러 영상(310)과 깊이 영상(320)은 실내 환경에서 획득될 수 있다. 이를 위해, 프로세서(190)가 카메라 모듈(160)을 조절할 수 있다. 일 실시예에 따르면, 능동 시각 모듈(291)은 카메라 모듈(160)의 위치나 자세 또는 카메라 모듈(160)의 광학계를 능동적으로 조절할 수 있다.
프로세서(190)는 컬러 영상(310)에서 적어도 하나의 객체를 나타내는 관심 영역(431, 433, 435)을 검출할 수 있다. 예를 들면, 각각의 관심 영역(431, 433, 435)은 객체의 적어도 일부를 나타낼 수 있다. 일 실시예에 따르면, 객체 검출 모듈(293)은 객체 정보를 기반으로 컬러 영상(310)을 분석하여, 관심 영역(431, 433, 435)을 검출할 수 있다. 객체 정보는, 메모리(180)에 미리 저장되어 있을 수 있으며, 예컨대 객체와 관련된 스켈레톤(skeleton), 색상(color) 또는 모션(motion) 중 적어도 어느 하나를 나타낼 수 있다. 예를 들면, 객체 검출 모듈(293)은, 도 4에 도시된 바와 같이 컬러 영상(310)에서 관심 영역(431, 433, 435)을 검출할 수 있다. 각각의 관심 영역(431, 433, 435)은 실제 객체를 포함하는 실제 객체 영역(431) 또는 객체가 반사되는 허상을 포함하는 객체 허상 영역(433, 435) 중 어느 하나를 나타낼 수 있다. 여기서, 객체 허상 영역(433, 435)은 객체가 거울 등에 의해 반사되는 허상을 포함하는 반사 객체 영역(433) 또는 객체가 화면이나 그림으로 디스플레이되는 허상을 포함하는 디스플레이 객체 영역(435) 중 적어도 어느 하나를 포함할 수 있다.
프로세서(190)는 깊이 영상(320)에서 적어도 하나의 기준면(541, 543)을 검출할 수 있다. 일 실시예에 따르면, 기준면 검출 모듈(295)은 깊이 영상(320)에서 적어도 하나의 평면을 기준면(541, 543)으로 검출할 수 있다. 예를 들면, 기준면 검출 모듈(295)은, 도 5a에 도시된 바와 같이 깊이 영상(320)에서 기준면(541, 543)을 검출할 수 있다. 여기서, 기준면(541, 543)은 실내 환경의 벽면(541), 바닥면(543) 또는 천장면(미도시) 중 적어도 어느 하나를 포함할 수 있다.
프로세서(190)는 관심 영역(431, 433, 435)의 관심 깊이와 기준면(541, 543)의 기준 깊이를 비교하여, 관심 영역(431, 433, 435)을 처리할 수 있다. 일 실시예에 따르면, 제어 모듈(297)은 능동 시각 모듈(291), 객체 검출 모듈(293) 또는 기준면 검출 모듈(295) 중 적어도 어느 하나를 제어할 수 있다. 그리고 제어 모듈(297)은 깊이 영상(320)을 기반으로 관심 영역(431, 433, 435)의 관심 깊이와 기준면(541, 543)의 기준 깊이를 확인할 수 있다. 이를 통해, 제어 모듈(297)은 관심 깊이와 기준 깊이를 비교하여, 각각의 관심 영역(431, 433, 435)을 실제 객체 영역(431) 또는 객체 허상 영역(433, 435) 중 어느 하나로 식별하고, 각각에 맞게 처리할 수 있다. 일 예로, 제어 모듈(297)은 객체 허상 영역(433, 435)을 무시하고, 실제 객체 영역(431)에 대응하여 미리 정해진 기능을 실행할 수 있다.
예를 들면, 관심 깊이가 기준 깊이 미만이면, 제어 모듈(297)은 관심 영역(431, 433, 435)을 실제 객체 영역(431)으로 결정할 수 있다. 한편, 관심 깊이가 기준 깊이 이상이면, 제어 모듈(297)은 관심 영역(431, 433, 435)을 객체 허상 영역(433, 435)으로 결정할 수 있다. 여기서, 관심 깊이가 기준 깊이를 초과하면, 제어 모듈(297)은 관심 영역(431, 433, 435)을 반사 객체 영역(433)으로 결정할 수 있다. 한편, 관심 깊이가 기준 깊이와 동일하면, 제어 모듈(297)은 관심 영역(431, 433, 435)을 디스플레이 객체 영역(435)으로 결정할 수 있다.
다양한 실시예들에 따른 전자 장치(100)는, 카메라 모듈(160), 및 카메라 모듈(160)과 연결되고, 카메라 모듈(160)을 통해 컬러 영상(310)과 깊이 영상(320)을 획득하도록 구성되는 프로세서(190)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 컬러 영상(310)에서 적어도 하나의 객체를 나타내는 관심 영역(431, 433, 435)을 검출하고, 깊이 영상(320)에서 적어도 하나의 기준면(541, 543)을 검출하고, 깊이 영상(320)을 기반으로 검출되는 관심 영역(431, 433, 435)의 관심 깊이와 기준면(541, 543)의 기준 깊이를 비교하여, 관심 영역(431, 433, 435)을 처리하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 관심 깊이가 기준 깊이 미만이면, 관심 영역(431)이 실제 객체를 포함하는 것으로 결정하고, 관심 깊이가 기준 깊이 이상이면, 관심 영역(433, 435)이 객체가 반사되는 허상을 포함하는 것으로 결정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 관심 깊이가 기준 깊이를 초과하면, 관심 영역(433)이 객체가 거울에 의해 반사되는 허상을 포함하는 것으로 결정하고, 관심 깊이가 기준 깊이와 동일하면, 관심 영역(435)이 객체가 기준면(541, 543) 상에 디스플레이되는 허상을 포함하는 것으로 결정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 객체는 인체를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 관심 영역(433, 435)이 허상을 포함하는 것으로 결정되면, 관심 영역(433, 435)을 무시하도록 구성될 수 있다.
다양한 실시예들에 따르면, 기준면(541, 543)은 실내 환경의 벽면(541), 바닥면(543) 또는 천장면(미도시) 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(190)는, 깊이 영상(320)을 3D 공간으로 프로젝션하여, 포인트 클라우드를 생성하고, 포인트 클라우드의 포인트들을 클러스터링하여, 적어도 하나의 평면을 검출하고, 평면으로부터 기준면(541, 543)을 검출하도록 구성될 수 있다.
다른 실시예에 따르면, 프로세서(190)는, 깊이 영상(320)으로부터 각 픽셀에 대한 픽셀 확률을 계산하고, 픽셀 확률을 기반으로, 마스크를 생성하고, 깊이 영상(320)에 마스크를 곱하여 검출되는 뎁스 픽셀들로부터 적어도 하나의 평면을 검출하고, 평면으로부터 기준면(541, 543)을 검출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 깊이 영상(320)에 관심 영역(431, 433, 435)을 매핑하여, 관심 영역(431, 433, 435)에 대한 관심 깊이를 확인하고, 깊이 영상(320)에서 기준면(541, 543)에 대한 기준 깊이를 확인하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(190)는, 관심 영역(431, 433, 435)에 대응하는 픽셀들의 깊이값들의 중간값을 관심 깊이로 계산하고, 기준면(541, 543)에 대응하는 픽셀들의 깊이값들의 중간값을 기준 깊이로 계산하도록 구성될 수 있다.
다양한 실시예들에 따르면, 카메라 모듈(160)은, 컬러 영상(310)을 촬영하도록 구성되는 제 1 카메라 모듈(261), 및 깊이 영상(320)을 촬영하도록 구성되는 제 2 카메라 모듈(263)을 포함할 수 있다.
다양한 실시예들에 따르면, 카메라 모듈(160)은, 복수 개의 컬러 픽셀들과 복수 개의 적외선 픽셀들을 포함하고, 컬러 영상(310)은 컬러 픽셀들을 통하여 생성되고, 깊이 영상(320)은 적외선 픽셀들을 통하여 생성될 수 있다.
도 6은 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다.
도 6을 참조하면, 전자 장치(100)는 610 동작에서 컬러 영상(310)과 깊이 영상(320)을 획득할 수 있다. 프로세서(190)는 카메라 모듈(160)을 통하여, 컬러 영상(310)과 깊이 영상(320)을 획득할 수 있다. 이 때 컬러 영상(310)과 깊이 영상(320)은 실내 환경에서 획득될 수 있다. 일 실시예에 따르면, 프로세서(190)는 제 1 카메라 모듈(261)을 통하여, 컬러 영상(310)을 획득하고, 제 2 카메라 모듈(263)을 통하여, 깊이 영상(320)을 획득할 수 있다. 예를 들면, 프로세서(190)는, 도 3의 (a)에 도시된 바와 같이 컬러 영상(310)을 획득하고, 도 3의 (b)에 도시된 바와 같이 깊이 영상(320)을 획득할 수 있다.
전자 장치(100)는 620 동작에서 컬러 영상(310)에서 적어도 하나의 관심 영역(431, 433, 435)을 검출할 수 있다. 프로세서(190)는 컬러 영상(310)에서 적어도 하나의 객체를 나타내는 관심 영역(431, 433, 435)을 검출할 수 있다. 예를 들면, 객체는 인체를 포함할 수 있다. 일 실시예에 따르면, 메모리(180)가 객체 정보를 미리 저장하고 있으며, 프로세서(190)가 객체 정보를 기반으로 컬러 영상(310)을 분석하여, 관심 영역(431, 433, 435)을 검출할 수 있다. 객체 정보는, 예컨대 객체와 관련된 스켈레톤(skeleton), 색상(color) 또는 모션(motion) 중 적어도 어느 하나를 나타낼 수 있다. 예를 들면, 프로세서(190)는, 도 4에 도시된 바와 같이 컬러 영상(310)에서 관심 영역(431, 433, 435)을 검출할 수 있다. 각각의 관심 영역(431, 433, 435)은 실제 객체를 포함하는 실제 객체 영역(431) 또는 객체가 반사되는 허상을 포함하는 객체 허상 영역(433, 435) 중 어느 하나를 나타낼 수 있다. 여기서, 객체 허상 영역은(433, 435)은 객체가 거울 등에 의해 반사되는 허상을 포함하는 반사 객체 영역(433) 또는 객체가 화면이나 그림으로 디스플레이되는 허상을 포함하는 디스플레이 객체 영역(435) 중 적어도 어느 하나를 포함할 수 있다.
전자 장치(100)는 630 동작에서 깊이 영상(320)을 기반으로 관심 영역(431, 433, 435)의 관심 깊이를 확인할 수 있다. 프로세서(190)는 관심 영역(431, 433, 435)을 깊이 영상(320)에 매핑하여, 깊이 영상(320)으로부터 관심 영역(431, 433, 435)의 관심 깊이를 확인할 수 있다. 일 실시예에 따르면, 프로세서(190)는 깊이 영상(320)으로부터 각각의 관심 영역(431, 433, 435)에 대응하는 픽셀들의 깊이값들을 추출하고, 이들의 중간값을 각각의 관심 영역(431, 433, 435)에 대한 대표 관심 깊이로 계산할 수 있다.
전자 장치(100)는 640 동작에서 깊이 영상(320)에서 적어도 하나의 기준면(541, 543)을 검출할 수 있다. 프로세서(190)는 깊이 영상(320)에서 적어도 하나의 평면을 기준면(541, 543)으로 검출할 수 있다. 예를 들면, 프로세서(190)는, 도 5a에 도시된 바와 같이 깊이 영상(320)에서 기준면(541, 543)을 검출할 수 있다. 여기서, 기준면(541, 543)은 실내 환경의 벽면(541), 바닥면(543) 또는 천장면(미도시) 중 적어도 어느 하나를 포함할 수 있다.
도 7a는 도 6의 기준면(541, 543) 검출 동작(640)의 일 예를 도시하는 도면이다.
도 7a를 참조하면, 전자 장치(100)는 741 동작에서 깊이 영상(320)을 기반으로, 포인트 클라우드를 생성할 수 있다. 프로세서(190)는 깊이 영상(320)을 3D 공간으로 프로젝션하여, 복수 개의 포인트들로 이루어지는 포인트 클라우드를 생성할 수 있다. 이 때 프로세서(190)는 깊이 영상(320)의 픽셀들의 깊이값들을 이용하여, 포인트들을 개별적으로 생성할 수 있다.
전자 장치(100)는 743 동작에서 포인트 클라우드에서 적어도 하나의 평면을 검출할 수 있다. 프로세서(190)는 포인트 클라우드의 포인트들을 클러스터링하여, 평면을 검출할 수 있다. 이 때 프로세서(190)는 포인트들의 깊이값과 포인트들의 배치 관계에 따라, 포인트들을 클러스터링할 수 있다. 일 실시예에 따르면, 프로세서(190)는 HAC(hierarchical agglomerative clustering) 알고리즘을 이용하여, 포인트들을 클러스터링할 수 있다. 예를 들면, 프로세서(190)는 포인트들로부터, 예컨대 전기적 잡음, 적외선의 난반사 등에 따른 적어도 하나의 에러 포인트를 제거한 다음, 하나 이상의 평면을 구성하는 포인트들을 클러스터링할 수 있다. 이를 통해, 프로세서(190)는 포인트들로부터 적어도 하나의 클러스터를 추출하고, 이를 이용하여 평면을 검출할 수 있다.
전자 장치(100)는 745 동작에서 평면 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 프로세서(190)는 평면의 형상 또는 위치 중 적어도 어느 하나에 기반하여, 평면 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 예를 들면, 복수 개의 평면들이 검출된 경우, 프로세서(190)는 평면들의 형상들과 평면들의 배치 관계를 비교하여, 평면들 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 일 예로, 프로세서(190)는 실내 환경이 구현되도록 평면들 중 적어도 어느 두 개를 조합하여, 평면들 중 적어도 어느 두 개를 기준면(541, 543)으로 각각 검출할 수 있다. 이 후 전자 장치(100)는 도 6으로 리턴할 수 있다.
도 7b는 도 6의 기준면(541, 543) 검출 동작(640)의 다른 예를 도시하는 도면이다.
도 7b를 참조하면, 전자 장치(100)는 751 동작에서 깊이 영상(320)을 기반으로, 각 픽셀에 대한 기준면(541, 543)으로서의 픽셀 확률을 각각 계산할 수 있다. 이 때 프로세서(190)는 시맨틱 분할(semantic segmentation) 딥러닝 기법을 통해, 각 픽셀에 대한 픽셀 확률을 계산할 수 있다.
전자 장치(100)는 753 동작에서 각 픽셀에 대한 픽셀 확률을 기반으로, 적어도 하나의 마스크를 생성할 수 있다. 프로세서(190)는 픽셀 확률을 미리 정해진 임계값과 비교하고, 픽셀 확률의 임계값 초과 여부를 기반으로, 깊이 영상(320)으로부터 마스크를 생성할 수 있다. 이를 통해, 프로세서(190)는 마스크를 통해, 깊이 영상(320)으로부터 뎁스 픽셀들을 검출할 수 있다.
예를 들면, 프로세서(190)는 각 픽셀에 대해 벽면(541)으로서의 픽셀 확률, 바닥면(543)으로서의 픽셀 확률 또는 천장면(미도시)으로서의 픽셀 확률 중 적어도 어느 하나를 계산할 수 있다. 프로세서(190)는 벽면(541)으로서의 픽셀 확률을 기반으로, 벽면 마스크를 생성할 수 있다. 프로세서(190)는 바닥면(543)으로서의 픽셀 확률을 기반으로, 바닥면 마스크를 생성할 수 있다. 프로세서(190)는 천장면(미도시)으로서의 픽셀 확률을 기반으로, 천장면 마스크를 생성할 수 있다. 이 때 어떤 픽셀의 픽셀 확률이 임계값 이하이면, 프로세서(190)는 해당 픽셀을 마스크 픽셀로 결정할 수 있다. 이를 통해, 프로세서(190)는 마스크 픽셀에 대해 마스킹 처리를 함으로써, 벽면 마스크, 바닥면 마스크 또는 천장면 마스크 중 적어도 어느 하나를 생성할 수 있다. 이 후, 프로세서(190)는 벽면 마스크, 바닥면 마스크 또는 천장면 마스크 중 적어도 어느 하나를 깊이 영상(320)에 각각 곱하여, 벽면, 바닥면 또는 천장면에 해당하는 뎁스 픽셀들만 남길 수 있다.
전자 장치(100)는 755 동작에서 깊이 영상(320)으로부터 적어도 하나의 평면을 검출할 수 있다. 프로세서(190)는 뎁스 픽셀들을 기반으로, 평면을 검출할 수 있다. 이 때 깊이 영상(320)의 모든 픽셀들을 기반으로 평면을 검출하는 데 소요되는 연산 시간과 비교하여, 뎁스 픽셀들을 기반으로 평면을 검출하는 데 소요되는 연산 시간이 현저하게 감소될 수 있다.
예를 들면, 프로세서(190)는 뎁스 픽셀들을 기반으로, 복수 개의 뎁스 포인트들로 이루어지는 포인트 클라우드를 생성할 수 있다. 이 때 프로세서(190)는 뎁스 픽셀들의 깊이값들을 이용하여, 포인트들을 개별적으로 생성할 수 있다. 그리고, 프로세서(190)는 포인트 클라우드에서 적어도 하나의 평면을 검출할 수 있다. 프로세서(190)는 포인트 클라우드의 뎁스 포인트들을 클러스터링하여, 평면을 검출할 수 있다. 이 때 프로세서(190)는 뎁스 포인트들의 깊이값과 포인트들의 배치 관계에 따라, 뎁스 포인트들을 클러스터링할 수 있다. 일 실시예에 따르면, 프로세서(190)는 HAC(hierarchical agglomerative clustering) 알고리즘을 이용하여, 뎁스 포인트들을 클러스터링할 수 있다. 예를 들면, 프로세서(190)는 뎁스 포인트들로부터, 예컨대 전기적 잡음, 적외선의 난반사 등에 따른 적어도 하나의 에러 포인트를 제거한 다음, 하나 이상의 평면을 구성하는 뎁스 포인트들을 클러스터링할 수 있다. 이를 통해, 프로세서(190)는 뎁스 포인트들로부터 적어도 하나의 클러스터를 추출하고, 이를 이용하여 평면을 검출할 수 있다.
전자 장치(100)는 757 동작에서 평면 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 프로세서(190)는 평면의 형상 또는 위치 중 적어도 어느 하나에 기반하여, 평면 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 예를 들면, 복수 개의 평면들이 검출된 경우, 프로세서(190)는 평면들의 형상들과 평면들의 배치 관계를 비교하여, 평면들 중 적어도 어느 하나를 기준면(541, 543)으로 검출할 수 있다. 일 예로, 프로세서(190)는 실내 환경이 구현되도록 평면들 중 적어도 어느 두 개를 조합하여, 평면들 중 적어도 어느 두 개를 기준면(541, 543)으로 각각 검출할 수 있다. 이 후 전자 장치(100)는 도 6으로 리턴할 수 있다.
일 실시예에 따르면, 도 5b에 도시된 바와 같이 검출된 기준면(541, 543)들의 관계를 통해 실내 환경을 재구성 할 수 있도록, 프로세서(190)는 기준면(541, 543)들 중 적어도 일부를 클러스터링할 수 있다. 예를 들면, 두 개의 기준면(543)들은 유사한 법선 벡터(normal vector)를 가지므로, 하나의 바닥면(543)으로 클러스터링될 수 있다. 한편, 두 개의 다른 기준면(541)들 서로 다른 법선 벡터를 갖고, 바닥면(543)과 다른 법선 벡터를 가지므로, 클러스터링되지 않고, 독립적인 벽면(541)들로 결정될 수 있다. 이를 통해, 프로세서(190)는 도 5c에 도시된 바와 같이 기준면(541, 543)들을 이용하여, 실내 환경을 재구성할 수 있다.
다시 도 6을 참조하면, 전자 장치(100)는 650 동작에서 깊이 영상(320)을 기반으로 기준면(541, 543)의 기준 깊이를 확인할 수 있다. 프로세서(190)는 깊이 영상(320)으로부터 기준면(541, 543)의 기준 깊이를 확인할 수 있다. 일 실시예에 따르면, 프로세서(190)는 깊이 영상(320)으로부터 기준면(541, 543)에 대응하는 픽셀들의 깊이값들을 추출하고, 이들의 중간값으로 각각의 기준면(541, 543)에 대한 대표 기준 깊이로 계산할 수 있다.
전자 장치(100)는 660 동작에서 관심 깊이와 기준 깊이를 비교하여, 관심 영역(431, 433, 435)을 처리할 수 있다. 프로세서(190)는 관심 깊이와 기준 깊이를 비교하여, 각각의 관심 영역(431, 433, 435)을 실제 객체 영역(431) 또는 객체 허상 영역(433, 435) 중 어느 하나로 식별하고, 각각에 맞게 처리할 수 있다. 여기서, 프로세서(190)는 각각의 객체 허상 영역(433, 435)을 반사 객체 영역(433) 또는 디스플레이 객체 영역(435) 중 어느 하나로 식별할 수 있다. 예를 들면, 프로세서(190)는 객체 허상 영역(433, 435)을 무시하고, 실제 객체 영역(431)에 대응하여 미리 정해진 기능을 실행할 수 있다.
관심 영역(433)이 재구성된 실내 환경 밖에 위치한다면(기준 깊이보다 멀리 위치한다면), 해당 관심 영역(433)은 반사 객체 영역(433)일 수 있다. 관심 영역(435)이 재구성된 실내 환경 위에 위치한다면(기준 깊이와 같게 위치한다면), 해당 관심 영역(435)은 디스플레이 객체 영역(435)일 수 있다. 관심 영역(431)이 실내 환경 안에 위치했을 때, 해당 관심 영역(433)이 실제 객체 영역(431)일 수 있다.
일 실시예에 따르면, 관심 영역(431, 433, 435)이 재구성된 실내 환경 밖에 있는 지, 위에 위치하는 지, 안에 위치하는 지는 공간 상에서 재구성된 실내 환경의 기준면(541, 543)의 평면 방정식으로부터 판별될 수 있다. 모든 기준면(541, 543)의 법선 벡터(545)는, 도 5d에 도시된 바와 같이 카메라 모듈(160)을 향하는 방향으로 구성될 수 있다. 예를 들면, 카메라 모듈(160)을 원점으로 하는 공간 좌표계에서, 세 개의 평면 방정식들의 부호가 모두 양수인 영역이 실내 환경 안쪽에 해당하는 영역일 수 있다. 이 때 재구성된 실내 환경의 n(아래 첨자) 개의 기준면(541, 543)들에 대한 평면 방정식들은, 하기 [수학식 1]과 같이 표현될 수 있다.
Figure 112019131093067-pat00001
여기서, 모든 평면 방정식들에서, n은 각각의 기준면(541, 543)의 법선 벡터(545)를 나타내고, c는 기준면(541, 543)의 중심점을 나타낼 수 있다.
법선 벡터가 항상 카메라 모듈(160)을 향하는 방향으로 설정하면, 객체의 좌표가
Figure 112019131093067-pat00002
일 때(ex.
Figure 112019131093067-pat00003
), 다음과 같은 조건이 생성될 수 있다.
객체가 기준면(541, 543)과 카메라 모듈(160) 사이에 있는 경우(실제 객체): 모든 평면 방정식에 대해
Figure 112019131093067-pat00004
.
객체가 기준면(541, 543) 너머에 있는 경우(반사되는 허상): 거울이 위치된 평면 방정식에 대해
Figure 112019131093067-pat00005
.
객체가 기준면(541, 543) 위에 있는 경우(디스플레이되는 허상): 디스플레이가 위치한 평면 방정식에 대해
Figure 112019131093067-pat00006
.
도 8은 도 6의 관심 영역(431, 433, 435) 처리 동작(660)을 도시하는 도면이다.
도 8을 참조하면, 전자 장치(100)는, 861 동작에서 전자 장치(100)에 대하여, 각각의 관심 영역(431, 433, 435)이 기준면(541, 543)의 앞에 존재하는 지의 여부를 판단할 수 있다. 바꿔 말하면, 전자 장치(100)는, 관심 영역(431, 433, 435)이 전자 장치(100)와 기준면(541, 543) 사이에 위치되는 지의 여부를 판단할 수 있다. 이를 위해, 프로세서(190)는, 관심 깊이가 기준 깊이 미만인 지의 여부를 판단할 수 있다.
861 동작에서 관심 영역(431, 433, 435)이 기준면(541, 543)의 앞에 존재하는 것으로 판단되면, 전자 장치(100)는 863 동작에서 관심 영역(431, 433, 435)을 실제 객체 영역(431)으로 처리할 수 있다. 즉 관심 깊이가 기준 깊이 미만인 것으로 판단되면, 프로세서(190)는 관심 영역(431, 433, 435)이 기준면(541, 543)의 앞에 존재하는 것으로 판단하고, 관심 영역(431, 433, 435)을 실제 객체 영역(431)으로 결정할 수 있다. 예를 들면, 프로세서(190)는 실제 객체 영역(431)에 실제 객체가 존재하는 것으로 결정하고, 실제 객체에 대하여, 미리 정해진 기능을 실행할 수 있다.
861 동작에서 관심 영역(431, 433, 435)이 기준면(541, 543)의 앞에 존재하지 않는 것으로 판단되면, 전자 장치(100)는 871 동작에서 관심 영역(431, 433, 435)이 기준면(541, 543)의 뒤에 존재하는 지의 여부를 판단할 수 있다. 바꿔 말하면, 전자 장치(100)는, 기준면(541, 533)이 전자 장치(100)와 관심 영역(431, 433, 435) 사이에 위치되는 지의 여부를 판단할 수 있다. 이를 위해, 프로세서(190)는, 관심 깊이가 기준 깊이를 초과하는 지의 여부를 판단할 수 있다. 즉 관심 깊이가 기준 깊이 미만이 아닌 것으로 판단되면, 프로세서(190)는 관심 깊이가 기준 깊이를 초과하는 지의 여부를 판단할 수 있다.
871 동작에서 관심 영역(431, 433, 435)이 기준면(541, 543)의 뒤에 존재하는 것으로 판단되면, 전자 장치(100)는 873 동작에서 관심 영역(431, 433, 435)을 반사 객체 영역(433)으로 처리할 수 있다. 즉 관심 깊이가 기준 깊이를 초과하는 것으로 판단되면, 프로세서(190)는 관심 영역(431, 433, 435)이 기준면(541, 543)의 뒤에 존재하는 것으로 판단하고, 관심 영역(431, 433, 435)을 반사 객체 영역(433)으로 결정할 수 있다. 예를 들면, 프로세서(190)는 반사 객체 영역(433)에 실제 객체가 존재하지 않는 것으로 결정하고, 반사 객체 영역(433)을 무시할 수 있다.
871 동작에서 관심 영역(431, 433, 435)이 기준면(541, 543)의 뒤에 존재하지 않는 것으로 판단되면, 전자 장치(100)는 883 동작에서 관심 영역(431, 433, 435)을 디스플레이 객체 영역(435)으로 처리할 수 있다. 즉 관심 깊이가 기준 깊이 미만이 아니고 기준 깊이를 초과하지도 않는 것으로 판단되면, 프로세서(190)는, 관심 깊이와 기준 깊이가 동일한 것으로 판단하고, 관심 영역(431, 433, 435)을 기준면(541, 543) 상에 존재하는 디스플레이 객체 영역(435)으로 결정할 수 있다. 예를 들면, 프로세서(190)는 디스플레이 객체 영역(435)에 실제 객체가 존재하지 않는 것으로 결정하고, 디스플레이 객체 영역(435)을 무시할 수 있다.
다양한 실시예들에 따른 전자 장치(100)의 동작 방법은, 컬러 영상(310)과 깊이 영상(320)을 획득하는 동작, 컬러 영상(310)에서 적어도 하나의 객체를 나타내는 관심 영역(431, 433, 435)을 검출하는 동작, 깊이 영상(320)에서 적어도 하나의 기준면(541, 543)을 검출하는 동작, 및 깊이 영상(320)을 기반으로 검출되는 관심 영역(431, 433, 435)의 관심 깊이와 기준면의 기준 깊이를 비교하여, 관심 영역(431, 433, 435)을 처리하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 관심 영역(431, 433, 435) 처리 동작은, 관심 깊이가 기준 깊이 미만이면, 관심 영역(431)이 실제 객체를 포함하는 것으로 결정하는 동작, 또는 관심 깊이가 기준 깊이 이상이면, 관심 영역(433, 435)이 객체가 반사되는 허상을 포함하는 것으로 결정하는 동작 중 적어도 어느 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 허상 결정 동작은, 관심 깊이가 기준 깊이를 초과하면, 관심 영역(433)이 객체가 거울에 의해 반사되는 허상을 포함하는 것으로 결정하는 동작, 및 관심 깊이가 기준 깊이와 동일하면, 관심 영역(435)이 객체가 기준면(541, 543) 상에 디스플레이되는 허상을 포함하는 것으로 결정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 객체는 인체를 포함할 수 있다.
다양한 실시예들에 따르면, 관심 영역(431, 433, 435) 처리 동작은, 관심 영역(433, 435)이 허상을 포함하는 것으로 결정되면, 관심 영역(433, 435)을 무시하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 기준면(541, 543)은 실내 환경의 벽면(541), 바닥면(543) 또는 천장면(미도시) 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 기준면(541, 543) 검출 동작은, 깊이 영상(320)을 3D 공간으로 프로젝션하여, 포인트 클라우드를 생성하는 동작, 포인트 클라우드의 포인트들을 클러스터링하여, 적어도 하나의 평면을 검출하는 동작, 및 평면으로부터 기준면(541, 543)을 검출하는 동작을 포함할 수 있다.
다른 실시예에 따르면, 기준면(541, 543) 검출 동작은, 깊이 영상(320)으로부터 각 픽셀에 대한 픽셀 확률을 계산하는 동작, 픽셀 확률을 기반으로, 마스크를 생성하는 동작, 깊이 영상(320)에 마스크를 곱하여 검출되는 뎁스 픽셀들로부터 적어도 하나의 평면을 검출하는 동작, 및 평면으로부터 기준면(541, 543)을 검출하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 깊이 영상(320)에 관심 영역(431, 433, 435)을 매핑하여, 관심 영역(431, 433, 435)에 대한 관심 깊이를 확인하는 동작, 및 깊이 영상(320)에서 기준면(541, 543)에 대한 기준 깊이를 확인하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 관심 깊이 확인 동작은, 관심 영역(431, 433, 435)에 대응하는 픽셀들의 깊이값들의 중간값을 관심 깊이로 계산하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 기준 깊이 확인 동작은, 기준면(541, 543)에 대응하는 픽셀들의 깊이값들의 중간값을 기준 깊이로 계산하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 3D 영상을 기반으로, 객체를 검출할 수 있다. 즉 전자 장치는, 컬러 영상(310) 뿐 아니라 깊이 영상(320)을 이용하여, 객체, 예컨대 인체를 검출할 수 있다. 이를 통해, 전자 장치(100)가 영상으로부터 실제 객체와 반사에 의한 허상을 명확하게 식별할 수 있다. 이에 따라, 전자 장치(100)에서, 반사에 의한 허상을 실제 객체로 검출함에 따라 발생되는 동작 오류가 방지될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예컨대 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 로봇 또는 가전 장치를 포함할 수 있다. 본 문서의 다양한 실시예들에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(100))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(180))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예: 프로세서(190))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
다양한 실시예들에 따른 비-일시적 컴퓨터-판독 가능(computer-readable) 저장 매체는, 컬러 영상(310)과 깊이 영상(320)을 획득하는 동작, 컬러 영상(310)에서 적어도 하나의 객체를 나타내는 관심 영역(431, 433, 435)을 검출하는 동작, 깊이 영상(320)에서 적어도 하나의 기준면(541, 543)을 검출하는 동작, 및 깊이 영상(320)을 기반으로 검출되는 관심 영역(431, 433, 435)의 관심 깊이와 기준면의 기준 깊이를 비교하여, 관심 영역(431, 433, 435)을 처리하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 것일 수 있다.
다양한 실시예들에 따르면, 객체는 인체를 포함할 수 있다.
다양한 실시예들에 따르면, 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 통합 이전에 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    컬러 영상과 깊이 영상을 획득하는 동작;
    상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하는 동작;
    상기 깊이 영상에서 적어도 하나의 기준면을 검출하는 동작; 및
    상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하는 동작을 포함하고,
    상기 관심 영역 처리 동작은,
    상기 관심 깊이가 상기 기준 깊이 미만이면, 상기 관심 영역이 실제 객체를 포함하는 것으로 결정하는 동작; 또는
    상기 관심 깊이가 상기 기준 깊이 이상이면, 상기 관심 영역이 상기 객체가 반사되는 허상을 포함하는 것으로 결정하는 동작 중 적어도 어느 하나를 포함하고,
    상기 허상 결정 동작은,
    상기 관심 깊이가 상기 기준 깊이를 초과하면, 상기 관심 영역이 상기 객체가 거울에 의해 반사되는 허상을 포함하는 것으로 결정하는 동작; 및
    상기 관심 깊이가 상기 기준 깊이와 동일하면, 상기 관심 영역이 상기 객체가 상기 기준면 상에 디스플레이되는 허상을 포함하는 것으로 결정하는 동작을 포함하는 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 관심 영역 처리 동작은,
    상기 관심 영역이 상기 허상을 포함하는 것으로 결정되면, 상기 관심 영역을 무시하는 동작을 더 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 기준면은 실내 환경의 벽면, 바닥면 또는 천장면 중 적어도 어느 하나를 포함하는 방법.
  6. 제 5 항에 있어서, 상기 기준면 검출 동작은,
    상기 깊이 영상을 3D 공간으로 프로젝션하여, 포인트 클라우드를 생성하는 동작;
    상기 포인트 클라우드의 포인트들을 클러스터링하여, 적어도 하나의 평면을 검출하는 동작; 및
    상기 평면으로부터 상기 기준면을 검출하는 동작을 포함하는 방법.
  7. 제 5 항에 있어서, 상기 기준면 검출 동작은,
    상기 깊이 영상으로부터 각 픽셀에 대한 픽셀 확률을 계산하는 동작;
    상기 픽셀 확률을 기반으로, 마스크를 생성하는 동작;
    상기 깊이 영상에 상기 마스크를 곱하여 검출되는 뎁스 픽셀들로부터 적어도 하나의 평면을 검출하는 동작; 및
    상기 평면으로부터 상기 기준면을 검출하는 동작을 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 깊이 영상에 상기 관심 영역을 매핑하여, 상기 관심 영역에 대한 상기 관심 깊이를 확인하는 동작; 및
    상기 깊이 영상에서 상기 기준면에 대한 상기 기준 깊이를 확인하는 동작을 더 포함하는 방법.
  9. 제 8 항에 있어서, 상기 관심 깊이 확인 동작은,
    상기 관심 영역에 대응하는 픽셀들의 깊이값들의 중간값을 상기 관심 깊이로 계산하는 동작을 포함하고,
    상기 기준 깊이 확인 동작은,
    상기 기준면에 대응하는 픽셀들의 깊이값들의 중간값을 상기 기준 깊이로 계산하는 동작을 포함하는 방법.
  10. 전자 장치에 있어서,
    카메라 모듈; 및
    상기 카메라 모듈과 연결되고, 상기 카메라 모듈을 통해 컬러 영상과 깊이 영상을 획득하도록 구성되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하고,
    상기 깊이 영상에서 적어도 하나의 기준면을 검출하고,
    상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하도록 구성되고,
    상기 프로세서는,
    상기 관심 깊이가 상기 기준 깊이 미만이면, 상기 관심 영역이 실제 객체를 포함하는 것으로 결정하고,
    상기 관심 깊이가 상기 기준 깊이 이상이면, 상기 관심 영역이 상기 객체가 반사되는 허상을 포함하는 것으로 결정하고,
    상기 관심 영역이 상기 허상을 포함하는 것으로 결정되면, 상기 관심 영역을 무시하도록 구성되고,
    상기 프로세서는,
    상기 관심 깊이가 상기 기준 깊이를 초과하면, 상기 관심 영역이 상기 객체가 거울에 의해 반사되는 허상을 포함하는 것으로 결정하고,
    상기 관심 깊이가 상기 기준 깊이와 동일하면, 상기 관심 영역이 상기 객체가 상기 기준면 상에 디스플레이되는 허상을 포함하는 것으로 결정하도록 구성되는 장치.
  11. 삭제
  12. 삭제
  13. 제 10 항에 있어서,
    상기 기준면은 실내 환경의 벽면, 바닥면 또는 천장면 중 적어도 어느 하나를 포함하는 장치.
  14. 제 13 항에 있어서, 상기 프로세서는,
    상기 깊이 영상을 3D 공간으로 프로젝션하여, 포인트 클라우드를 생성하고,
    상기 포인트 클라우드의 포인트들을 클러스터링하여, 적어도 하나의 평면을 검출하고,
    상기 평면으로부터 상기 기준면을 검출하도록 구성되는 장치.
  15. 제 13 항에 있어서, 상기 프로세서는,
    상기 깊이 영상으로부터 각 픽셀에 대한 픽셀 확률을 계산하고,
    상기 픽셀 확률을 기반으로, 마스크를 생성하고,
    상기 깊이 영상에 상기 마스크를 곱하여 검출되는 뎁스 픽셀들로부터 적어도 하나의 평면을 검출하고,
    상기 평면으로부터 상기 기준면을 검출하도록 구성되는 장치.
  16. 제 10 항에 있어서, 상기 프로세서는,
    상기 깊이 영상에 상기 관심 영역을 매핑하여, 상기 관심 영역에 대한 상기 관심 깊이를 확인하고,
    상기 깊이 영상에서 상기 기준면에 대한 상기 기준 깊이를 확인하도록 구성되는 장치.
  17. 제 16 항에 있어서, 상기 프로세서는,
    상기 관심 영역에 대응하는 픽셀들의 깊이값들의 중간값을 상기 관심 깊이로 계산하고,
    상기 기준면에 대응하는 픽셀들의 깊이값들의 중간값을 상기 기준 깊이로 계산하도록 구성되는 장치.
  18. 제 10 항에 있어서, 상기 카메라 모듈은,
    상기 컬러 영상을 촬영하도록 구성되는 제 1 카메라 모듈; 및
    상기 깊이 영상을 촬영하도록 구성되는 제 2 카메라 모듈을 포함하는 장치.
  19. 제 10 항에 있어서, 상기 카메라 모듈은,
    복수 개의 컬러 픽셀들과 복수 개의 적외선 픽셀들을 포함하고,
    상기 컬러 영상은 상기 컬러 픽셀들을 통하여 생성되고,
    상기 깊이 영상은 상기 적외선 픽셀들을 통하여 생성되는 장치.
  20. 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)에 있어서,
    컬러 영상과 깊이 영상을 획득하는 동작;
    상기 컬러 영상에서 적어도 하나의 객체를 나타내는 관심 영역을 검출하는 동작;
    상기 깊이 영상에서 적어도 하나의 기준면을 검출하는 동작; 및
    상기 깊이 영상을 기반으로 검출되는 상기 관심 영역의 관심 깊이와 상기 기준면의 기준 깊이를 비교하여, 상기 관심 영역을 처리하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하고,
    상기 관심 영역 처리 동작은,
    상기 관심 깊이가 상기 기준 깊이 미만이면, 상기 관심 영역이 실제 객체를 포함하는 것으로 결정하는 동작; 또는
    상기 관심 깊이가 상기 기준 깊이 이상이면, 상기 관심 영역이 상기 객체가 반사되는 허상을 포함하는 것으로 결정하는 동작 중 적어도 어느 하나를 포함하고,
    상기 허상 결정 동작은,
    상기 관심 깊이가 상기 기준 깊이를 초과하면, 상기 관심 영역이 상기 객체가 거울에 의해 반사되는 허상을 포함하는 것으로 결정하는 동작; 및
    상기 관심 깊이가 상기 기준 깊이와 동일하면, 상기 관심 영역이 상기 객체가 상기 기준면 상에 디스플레이되는 허상을 포함하는 것으로 결정하는 동작을 포함하는 비-일시적 컴퓨터-판독 가능 저장 매체.
KR1020190169960A 2019-08-05 2019-12-18 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법 KR102287478B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/018826 WO2021025242A1 (ko) 2019-08-05 2019-12-31 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법
EP20151284.5A EP3772701B1 (en) 2019-08-05 2020-01-10 Electronic device and method of identifying a false image of an object attributable to reflection in an indoor environment
US16/742,851 US11282178B2 (en) 2019-08-05 2020-01-14 Electronic device and method of identifying false image of object attributable to reflection in indoor environment thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190094964 2019-08-05
KR20190094964 2019-08-05

Publications (2)

Publication Number Publication Date
KR20210017978A KR20210017978A (ko) 2021-02-17
KR102287478B1 true KR102287478B1 (ko) 2021-08-09

Family

ID=74731362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190169960A KR102287478B1 (ko) 2019-08-05 2019-12-18 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법

Country Status (1)

Country Link
KR (1) KR102287478B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069892A1 (en) * 2009-09-24 2011-03-24 Chih-Hsiang Tsai Method of comparing similarity of 3d visual objects
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121351B2 (en) * 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
KR101486543B1 (ko) * 2013-05-31 2015-01-26 한국과학기술원 3차원 객체 인식을 위한 rgb-d 영상 기반 객체 구역화 및 인식 방법 및 장치
KR102535617B1 (ko) * 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069892A1 (en) * 2009-09-24 2011-03-24 Chih-Hsiang Tsai Method of comparing similarity of 3d visual objects
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images

Also Published As

Publication number Publication date
KR20210017978A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US10235771B2 (en) Methods and systems of performing object pose estimation
US10451189B2 (en) Auto range control for active illumination depth camera
CN108369742B (zh) 使用传感器融合的经优化对象扫描
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
EP3401815A1 (en) Determining an architectural layout
KR20140099098A (ko) 능동 스테레오 매칭 방법 및 그 장치
US10030968B2 (en) Floor estimation for human computer interfaces
US8913037B1 (en) Gesture recognition from depth and distortion analysis
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
JP2014533347A (ja) レーザー深度マップの範囲拡張方法
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
JP5510907B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
US9280209B2 (en) Method for generating 3D coordinates and mobile terminal for generating 3D coordinates
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US9129375B1 (en) Pose detection
JPWO2018216342A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210027492A1 (en) Joint Environmental Reconstruction and Camera Calibration
KR102347232B1 (ko) 실외 3차원 지도 정보를 기반으로 비주얼 로컬리제이션을 제공하기 위한 전자 장치 및 그의 동작 방법
KR102287478B1 (ko) 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법
US10304002B2 (en) Depth-based feature systems for classification applications
US11282178B2 (en) Electronic device and method of identifying false image of object attributable to reflection in indoor environment thereof
KR20200094843A (ko) 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
US11281337B1 (en) Mirror accessory for camera based touch detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant