KR102051074B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102051074B1
KR102051074B1 KR1020180086945A KR20180086945A KR102051074B1 KR 102051074 B1 KR102051074 B1 KR 102051074B1 KR 1020180086945 A KR1020180086945 A KR 1020180086945A KR 20180086945 A KR20180086945 A KR 20180086945A KR 102051074 B1 KR102051074 B1 KR 102051074B1
Authority
KR
South Korea
Prior art keywords
infrared image
depth value
value
depth
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180086945A
Other languages
English (en)
Inventor
조민수
김현우
박정철
송세준
양성광
Original Assignee
샐터스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샐터스 주식회사 filed Critical 샐터스 주식회사
Priority to KR1020180086945A priority Critical patent/KR102051074B1/ko
Application granted granted Critical
Publication of KR102051074B1 publication Critical patent/KR102051074B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 처리 장치는, 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하는 적외선 영상 카메라; 제1 깊이 값을 포함하는 깊이 데이터를 획득하는 깊이 카메라; 상기 적외선 영상 강도 및 상기 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하고, 상기 적외선 영상 강도, 상기 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 상기 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하고, 상기 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하고, 상기 랜덤 결정 포레스트의 말단 노드들 중 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 관계 방정식으로부터 계산된 제2 깊이 값의 차이인 제1 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인 제2 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 업데이트하는 프로세서; 및 업데이트된 랜덤 결정 포레스트를 저장하는 메모리;를 포함한다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}
본 발명의 실시예들은 영상 처리 장치 및 방법에 관한 것이다.
객체를 인식하기 위한 다양한 방법이 개발되고 있다.
예를 들어, 객체가 장비를 착용한 경우, 장비를 통해 객체를 인식하는 방법이 있는데, 이는 객체가 소정 동작을 취함에 있어서 불편을 야기하며, 객체마다 장비가 초기화되어야 할 필요가 있어 번거롭다.
한편, 카메라로부터 획득된 영상에 기초하여 객체를 인식하는 방법이 있다. 이는 영상으로부터 객체를 추론하는 방법으로서, 보다 정확한 객체 인식을 위한 알고리즘의 개발이 요구된다.
본 발명의 실시예들은 보다 정확한 객체 인식을 위한 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하는 적외선 영상 카메라; 제1 깊이 값을 포함하는 깊이 데이터를 획득하는 깊이 카메라; 상기 적외선 영상 강도 및 상기 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하고, 상기 적외선 영상 강도, 상기 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 상기 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하고, 상기 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하고, 상기 랜덤 결정 포레스트의 말단 노드들 중 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 관계 방정식으로부터 계산된 제2 깊이 값의 차이인 제1 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인 제2 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 업데이트하는 프로세서; 및 업데이트된 랜덤 결정 포레스트를 저장하는 메모리;를 포함한다.
본 실시예에서, 상기 적어도 일부의 말단 노드는 상기 제1 오차 값이 상기 제2 오차 값보다 작은 제1 말단 노드일 수 있다.
본 실시예에서, 상기 랜덤 결정 포레스트의 말단 노드들 중 상기 제1 오차 값이 상기 제2 오차 값 이상인 제2 말단 노드에는 상기 제3 깊이 값이 저장되어 있을 수 있다.
본 실시예에서, 상기 적어도 일부의 말단 노드는 상기 랜덤 결정 포레스트의 전체 말단 노드일 수 있다.
본 실시예에서, 상기 제1 깊이 값은 실제 값(ground truth)일 수 있다.
본 실시예에서, 상기 프로세서는 상기 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하고, 상기 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출하고, 서로 대응하는 상기 적외선 영상 강도의 역수 및 상기 제1 깊이 값을 이용하여 다항 함수인 상기 관계 방정식을 추출할 수 있다.
본 실시예에서, 상기 프로세서는 상기 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 상기 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 상기 각 픽셀의 상기 적외선 영상 특징으로 결정할 수 있다.
상기 프로세서는 상기 관계 테이블에 기초하여 상기 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 학습할 수 있다.
본 실시예에서, 상기 적외선 영상 카메라가 상기 제1 적외선 영상 데이터와 상이한 제2 적외선 영상 데이터를 획득하고, 상기 프로세서가 상기 제2 적외선 영상 데이터에 포함된 각 픽셀의 적외선 영상 강도를 상기 업데이트된 랜덤 결정 포레스트에 적용하여 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 출력하고, 상기 제2 적외선 영상 데이터에 포함된 상기 각 픽셀의 상기 적외선 영상 강도를 상기 관계 방정식에 적용하여 상기 제2 깊이 값을 출력하고, 상기 제1 오차 값, 상기 제2 오차 값, 상기 제2 깊이 값, 및 상기 제3 깊이 값 중 적어도 하나를 이용하여 제4 깊이 값을 계산할 수 있다.
본 실시예에서, 상기 프로세서는 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 상기 제1 오차 값의 확률에 따라 산출된 가중치가 적용된 결과를 합산하여 상기 제4 깊이 값을 산출하며, 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 적용되는 가중치들의 합은 1일 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 적외선 영상 카메라에 의해 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하고, 깊이 카메라에 의해 제1 깊이 값을 포함하는 깊이 데이터를 획득하는 단계; 프로세서에 의해, 상기 적외선 영상 강도 및 상기 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하는 단계; 상기 프로세서에 의해, 상기 적외선 영상 강도, 상기 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 상기 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하는 단계; 상기 프로세서에 의해, 상기 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하는 단계; 상기 프로세서에 의해, 상기 랜덤 결정 포레스트의 말단 노드 중 적어도 일부의 말단 노드에 대하여, 상기 제1 깊이 값과, 상기 관계 방정식으로부터 계산된 제2 깊이 값의 차이인, 제1 오차 값을 산출하는 단계; 상기 프로세서에 의해, 상기 적어도 일부의 말단 노드에 대하여, 상기 제1 깊이 값과, 상기 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인, 제2 오차 값을 산출하는 단계; 상기 프로세서에 의해, 상기 적어도 일부의 말단 노드에 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 업데이트하는 단계; 및 업데이트된 랜덤 결정 포레스트를 저장하는 단계;를 포함한다.
본 실시예에서, 상기 적어도 일부의 말단 노드는 상기 제1 오차 값이 상기 제2 오차 값보다 작은 제1 말단 노드일 수 있다.
본 실시예에서, 상기 랜덤 결정 포레스트의 말단 노드들 중 상기 제1 오차 값이 상기 제2 오차 값 이상인 제2 말단 노드에는 상기 제3 깊이 값이 저장되어 있을 수 있다.
본 실시예에서, 상기 적어도 일부의 말단 노드는 상기 랜덤 결정 포레스트의 전체 말단 노드일 수 있다.
본 실시예에서, 상기 제1 깊이 값은 실제 값(ground truth)일 수 있다.
본 실시예에서, 상기 관계 방정식을 추출하는 단계는, 상기 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하는 단계; 상기 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출하는 단계; 및 서로 대응하는 상기 적외선 영상 강도의 역수 및 상기 제1 깊이 값을 이용하여 다항 함수인 상기 관계 방정식을 추출하는 단계;를 포함할 수 있다.
본 실시예에서, 상기 관계 테이블을 생성하는 단계는, 상기 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 상기 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 상기 각 픽셀의 상기 적외선 영상 특징으로 결정하는 단계;를 더 포함할 수 있다.
본 실시예에서, 상기 랜덤 결정 포레스트를 학습하는 단계는, 상기 관계 테이블에 기초하여 상기 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 학습하는 단계일 수 있다.
본 실시예에서, 상기 적외선 영상 카메라에 의해, 상기 제1 적외선 영상 데이터와 상이한 제2 적외선 영상 데이터를 획득하는 단계; 상기 프로세서에 의해, 상기 제2 적외선 영상 데이터로부터 적외선 영상 강도를 추출하는 단계; 및 상기 프로세서에 의해, 상기 업데이트된 랜덤 결정 포레스트에 상기 제2 적외선 영상 데이터로부터 추출된 상기 적외선 영상 강도를 적용하여 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 출력하고, 상기 관계 방정식에 상기 제2 적외선 영상 데이터로부터 추출된 상기 적외선 영상 강도를 적용하여 상기 제2 깊이 값을 출력하고, 상기 제1 오차 값, 상기 제2 오차 값, 상기 제2 깊이 값, 및 상기 제3 깊이 값 중 적어도 하나를 이용하여 상기 제4 깊이 값을 계산하는 단계;를 더 포함할 수 있다.
본 실시예에서, 상기 제4 깊이 값을 계산하는 단계는, 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 상기 제1 오차 값의 확률에 따라 산출된 가중치가 적용된 결과를 합산하여 상기 제4 깊이 값을 산출하는 단계이며, 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 적용되는 가중치들의 합은 1일 수 있다.
본 발명의 실시예들에 따르면, 보다 정확한 객체 인식이 가능한 영상 처리 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 제1 영상 처리 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제2 영상 처리 장치를 개략적으로 도시한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 적외선 영상 데이터 및 깊이 데이터를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 적외선 영상 강도와 깊이 값의 관계를 나타내는 관계 방정식을 추출하는 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 적외선 영상 강도, 적외선 영상 특징, 및 깊이 값의 관계를 나타내는 관계 테이블을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하 첨부된 도면들을 참조하여 본 발명의 여러 가지 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 제1 영상 처리 장치(100)를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 제1 영상 처리 장치(100)는 제1 적외선 영상 카메라(110), 깊이 카메라(120), 제1 프로세서(130), 제1 메모리(140), 제1 통신 인터페이스(150)를 포함한다.
제1 영상 처리 장치(100)는 객체 학습을 수행하는 장치를 가리킬 수 있다.
객체는 객체 자체, 객체의 자세, 객체의 동작 등을 포함할 수 있으며, 이에 한정하지 않는다. 예를 들어, 객체는 손가락, 손 자세, 손 동작 등일 수 있다.
제1 적외선 영상 카메라(110)는 예를 들어 2차원의 적외선 광전변환소자 어레이를 구비한 CMOS 이미지센서나 CCD(Charge-Coupled Device) 센서일 수 있다. 제1 적외선 영상 카메라(110)는 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득한다.
제1 적외선 영상 데이터는 학습을 위한 적외선 영상 데이터를 의미할 수 있다. 다시 말해, 제1 적외선 영상 데이터는 랜덤 결정 포레스트(random decision forest)를 학습하기 위한 데이터일 수 있다.
제1 적외선 영상 데이터는 객체를 촬영한 영상 데이터일 수 있다.
깊이 카메라(120)는 예컨대, 적외선 대역의 CMOS 이미지센서나 CCD센서를 포함하며, 나아가 이미지의 깊이 정보를 획득할 수 있는 기술요소가 추가적으로 결합된 카메라이다. 깊이 인식 기술은 예를 들어 TOF(Time of Flight) 방식, 구조화 패턴(structed pattern) 방식, 스테레오 방식(stereo type)등이 알려져 있다. 깊이 카메라(120)는 제1 깊이 값을 포함하는 깊이 데이터를 획득한다.
제1 깊이 값은 깊이 카메라(120)를 통해 직접 측정한 실제 값(ground truth)으로 이해될 수 있다. 제1 깊이 값은 랜덤 결정 포레스트를 학습하기 위한 데이터일 수 있다.
제1 프로세서(130)는 적외선 영상 강도 및 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하고, 적외선 영상 강도, 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하고, 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하고, 랜덤 결정 포레스트의 말단 노드들 중 적어도 일부의 말단 노드에 대하여 제1 깊이 값과 관계 방정식으로부터 계산된 제2 깊이 값의 차이인 제1 오차 값을 산출하고, 적어도 일부의 말단 노드에 대하여 제1 깊이 값과 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인 제2 오차 값을 산출하고, 적어도 일부의 말단 노드에 제1 오차 값, 제2 오차 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트한다.
일 실시예에 따른 적어도 일부의 말단 노드는 제1 오차 값이 제2 오차 값보다 작은 제1 말단 노드일 수 있다.
즉, 제1 프로세서(130)에 의해 학습 및 업데이트된 랜덤 결정 포레스트의 제1 말단 노드에는 제1 오차 값, 제2 오차 값, 및 제3 깊이 값이 저장될 수 있다.
제1 프로세서(130)에 의해 학습 및 업데이트된 랜덤 결정 포레스트의 제1 말단 노드에는 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값이 저장될 수도 있다.
한편, 제1 프로세서(130)에 의해 학습 및 업데이트된 랜덤 결정 포레스트의 제1 오차 값이 제2 오차 값 이상인 제2 말단 노드에는 제3 깊이 값이 저장되어 있을 수 있다.
일 실시예에 따른 적어도 일부의 말단 노드는 랜덤 결정 포레스트의 전체 말단 노드일 수 있다.
즉, 제1 프로세서(130)에 의해 학습 및 업데이트된 랜덤 결정 포레스트의 전체 말단 노드에는 제1 오차 값, 제2 오차 값, 및 제3 깊이 값이 저장될 수 있다.
제2 깊이 값은 관계 방정식을 이용하여 계산된 값을, 제3 깊이 값은 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습함으로써 추론된 값을 의미할 수 있다.
제1 오차 값은 실제 값과 관계 방정식을 이용하여 계산된 값 사이의 차이를, 제2 오차 값은 실제 값과 랜덤 결정 포레스트로부터 추론된 값 사이의 차이를 의미할 수 있다.
제1 프로세서(130)는 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하고, 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출하고, 서로 대응하는 적외선 영상 강도의 역수 및 제1 깊이 값을 이용하여 다항 함수인 관계 방정식을 추출할 수 있다.
이때, 제1 프로세서(130)는 서로 대응하는 적외선 영상 강도의 역수 및 제1 깊이 값을 다항 함수의 변수로 이용하여 다항 함수의 상수를 산출함으로써, 관계 방정식을 추출할 수 있다.
일 실시예에 따른 제1 프로세서(130)는 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 각 픽셀의 적외선 영상 특징들로 결정하고, 적외선 영상 강도, 적외선 영상 특징들, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성할 수 있다.
일 실시예에 따른 제1 프로세서(130)는 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 소정 반경 내 벡터들 사이의 적외선 영상 강도의 차이들을 각 픽셀의 적외선 영상 특징들로 결정하고, 적외선 영상 강도, 적외선 영상 특징들, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성할 수 있다.
제1 프로세서(130)는 관계 테이블에 기초하여 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 학습할 수 있다.
다시 말해, 제1 프로세서(130)는 적외선 영상 강도, 적외선 영상 특징들, 및 제1 깊이 값을 이용하여 랜덤 결정 포레스트를 구성하는 결정 트리들을 1차적으로 생성할 수 있고, 1차적으로 생성된 결정 트리들의 말단 노드들 각각에는 제3 깊이 값이 저장될 수 있다.
이후, 제1 프로세서(130)는 제1 오차 값 및 제2 오차 값을 이용하여 랜덤 결정 포레스트를 구성하는 결정 트리들을 2차적으로 업데이트할 수 있다. 2차적으로 업데이트된 결정 트리들의 적어도 일부의 말단 노드에는 제1 오차 값, 제2 오차 값, 및 제3 깊이 값이 저장될 수 있다.
제1 메모리(140)는 업데이트된 랜덤 결정 포레스트를 저장한다.
제1 통신 인터페이스(150)는 사용자 입력을 수신하거나, 제2 통신 인터페이스(250)와 통신할 수 있다. 사용자 입력은 랜덤 결정 포레스트를 학습하기 위한 데이터를 선택하는 사용자 입력일 수 있다.
이에 따라, 제1 영상 처리 장치(100)는 각종 객체를 학습할 수 있다.
도 2는 본 발명의 일 실시예에 따른 제2 영상 처리 장치(200)를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 제2 영상 처리 장치(200)는 제2 적외선 영상 카메라(210), 제2 프로세서(230), 제2 메모리(240), 제2 통신 인터페이스(250)를 포함한다.
제2 영상 처리 장치(200)는 객체 인식 테스트를 수행하는 장치를 가리킬 수 있다.
제2 적외선 영상 카메라(210)는 적외선 영상 강도를 포함하는 제2 적외선 영상 데이터를 획득할 수 있다.
제2 적외선 영상 데이터는 제1 적외선 영상 데이터와 상이할 수 있다. 제2 적외선 영상 데이터는 테스트를 위한 적외선 영상 데이터를 의미할 수 있다. 다시 말해, 제2 적외선 영상 데이터는 랜덤 결정 포레스트(random decision forest)를 테스트하기 위한 데이터일 수 있다.
제2 적외선 영상 데이터는 객체를 촬영한 영상 데이터일 수 있다.
제2 프로세서(230)는 제2 적외선 영상 데이터에 포함된 각 픽셀의 적외선 영상 강도를 업데이트된 랜덤 결정 포레스트에 적용한 결과, 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값 중 적어도 하나를 이용하여 제4 깊이 값을 계산할 수 있다.
일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용한 결과, 업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값 및 제2 오차 값이 저장되어 있지 않은 경우에는 제3 깊이 값을 제4 깊이 값으로 추론하고, 업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값, 제2 오차 값, 및 제3 깊이 값이 저장되어 있는 경우에는 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 이용하여 제4 깊이 값을 계산할 수 있다.
제2 프로세서(230)는 제2 깊이 값 및 제3 깊이 값 각각에 제1 오차 값의 확률에 따라 산출된 가중치가 적용된 결과를 합산하여 제4 깊이 값을 산출하며, 제2 깊이 값 및 제3 깊이 값 각각에 적용되는 가중치들의 합은 1일 수 있다. 예를 들어, 제2 프로세서(230)는 수학식 1을 이용하여 제4 깊이 값을 계산할 수 있다.
Figure 112018073841668-pat00001
이때,
Figure 112018073841668-pat00002
는 제4 깊이 값을, N은 랜덤 결정 포레스트를 구성하는 결정 트리들의 개수를, α는 제1 오차 값의 확률을,
Figure 112018073841668-pat00003
는 제3 깊이 값을,
Figure 112018073841668-pat00004
는 제2 깊이 값을 나타낼 수 있다.
이때, 제4 깊이 값은, 제1 오차 값이 제2 오차 값보다 작은 경우에는 수학식 1에 의해 계산될 수 있고, 제1 오차 값이 제2 오차 값보다 크거나 같은 경우에는 제3 깊이 값일 수 있다.
상세하게는, 제2 적외선 영상 카메라(210)와 객체 사이의 거리가 제1 소정 거리 예컨대, 20 cm 보다 작아질수록, 제1 오차 값이 제2 오차 값보다 매우 작아질 수 있다. 이에 따라, 제1 오차 값의 확률인 α가 1에 수렴할 수 있고, 제4 깊이 값은 제2 깊이 값과 근사해질 수 있다.
한편, 제2 적외선 영상 카메라(210)와 객체 사이의 거리가 제1 소정 거리와 제2 소정 거리 사이인 경우 예컨대, 20 cm 와 50 cm 사이인 경우, α는 0과 1 사이일 수 있다. 이때, 제4 깊이 값은 제2 깊이 값 및 제3 깊이 값 각각에 α에 따라 산출된 가중치가 적용된 결과의 합으로 결정될 수 있다.
한편, 제2 적외선 영상 카메라(210)와 객체 사이의 거리가 제2 소정 거리 예컨대, 50 cm 보다 클수록, 제1 오차 값이 제2 오차 값보다 매우 커질 수 있다. 이에 따라, 제1 오차 값의 확률인 α가 0에 수렴할 수 있고, 제4 깊이 값은 제3 깊이 값과 근사해질 수 있다.
이처럼, 일 실시예에 따른 업데이트된 랜덤 결정 포레스트는, 제2 적외선 영상 카메라(210)에 의해 획득된 제2 적외선 영상 데이터의 적외선 영상 강도에 따라 각기 다른 기준을 적용하여 거리 값을 추론함으로써, 보다 정확한 객체 인식을 수행할 수 있다.
일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용한 결과, 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 이용하여 제4 깊이 값을 계산할 수 있다. 이때, 제2 프로세서(230)는 전술한 수학식 1을 이용하여 제4 깊이 값을 계산할 수 있다.
이에 따라, 제2 영상 처리 장치(200)는 객체를 인식할 수 있다. 상세하게는, 제2 영상 처리 장치(200)는 적외선 영상을 촬영하고, 촬영된 적외선 영상을 업데이트된 랜덤 결정 포레스트에 적용함으로써, 촬영된 객체가 가리키는 정보를 인식할 수 있다.
제1 영상 처리 장치(100)와 제2 영상 처리 장치(200)는 각각 다른 장치로 구성될 수 있다.
한편, 제1 영상 처리 장치(100)와 제2 영상 처리 장치(200)는 동일한 장치로 구성될 수 있는데, 이때, 제1 적외선 영상 카메라(110)와 제2 적외선 영상 카메라(210)는 동일한 적외선 영상 카메라를 가리킬 수 있다. 한편, 제1 프로세서(130)와 제2 프로세서(230), 제1 메모리(140)와 제2 메모리(240), 제1 통신 인터페이스(150)와 제2 통신 인터페이스(250)가 동일한 모듈로 구성될 수 있으나, 이에 한정하지 않는다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 적외선 영상 데이터 및 깊이 데이터를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 적외선 영상 강도와 깊이 값의 관계를 나타내는 관계 방정식을 추출하는 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 적외선 영상 강도, 적외선 영상 특징, 및 깊이 값의 관계를 나타내는 관계 테이블을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3a를 참조하면, 제1 적외선 영상 카메라(110)는 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하고, 깊이 카메라(120)는 제1 깊이 값을 포함하는 깊이 데이터를 획득한다(S310).
도 4를 참조하면, 제1 적외선 영상 카메라(110)는 제1 적외선 영상(410)을, 깊이 카메라(120)는 깊이 영상(420)을 획득할 수 있다.
제1 적외선 영상(410)은 복수일 수 있으며, 각기 다른 객체가 촬영된 영상들일 수 있다.
깊이 영상(420)은 복수일 수 있으며, 각기 다른 객체가 촬영된 영상들일 수 있다. 깊이 영상(420)은 동일한 시점에 촬영된 제1 적외선 영상(410)과 매칭될 수 있다.
다시 도 3a를 참조하면, 제1 프로세서(130)는 적외선 영상 강도 및 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출한다(S320).
도 5a를 참조하면, 제1 프로세서(130)는 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하고(S510), 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출한다(S520).
도 5b는 적외선 영상 강도와 제1 깊이 값의 관계를 나타낸 그래프이다. 도 5b를 참조하면, 적외선 영상 강도와 제1 깊이 값이 반비례하는 구간이 관계 방정식을 추출하는데 주로 이용될 수 있다.
다시 도 5a를 참조하면, 제1 프로세서(130)는 서로 대응하는 적외선 영상 강도의 역수 및 제1 깊이 값을 이용하여 다항 함수인 관계 방정식을 추출한다(S530).
관계 방정식은 예를 들어, 수학식 2의 2차 함수일 수 있다.
Figure 112018073841668-pat00005
이때, y는 제1 깊이 값, x는 적외선 영상 강도의 역수일 수 있다.
제1 프로세서(130)는 예를 들어, 도 5b의 적외선 영상 강도와 제1 깊이 값이 반비례하는 구간에 해당하는 적외선 영상 강도와 제1 깊이 값의 쌍들을 선택하고, 선택된 적외선 영상 강도와 제1 깊이 값의 쌍들을 수학식 2에 대입하여 수학식 2의 상수 a, b, 및 c를 산출함으로써, 2차 함수인 관계 방정식을 산출할 수 있다.
다시 도 3a를 참조하면, 제1 프로세서(130)는 적외선 영상 강도, 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성한다(S330).
도 6a를 참조하면, 일 실시예에 따른 제1 프로세서(130)는 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 각 픽셀의 적외선 영상 특징으로 결정한다(S610).
예를 들어, 제1 프로세서(130)는 소정 픽셀의 적외선 영상 강도에서, 소정 픽셀의 소정 반경 내 하나의 다른 픽셀의 적외선 영상 강도를 뺀 값을, 소정 픽셀의 적외선 영상 특징으로 결정할 수 있다.
예를 들어, 제1 프로세서(130)는 소정 픽셀의 적외선 영상 강도에서, 소정 픽셀의 소정 반경 내 복수의 다른 픽셀들의 적외선 영상 강도들의 산술 평균을 뺀 값을, 소정 픽셀의 적외선 영상 특징으로 결정할 수 있다.
도시하지 않았으나, 일 실시예에 따르면 제1 프로세서(130)는 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 소정 반경 내 벡터들 사이의 적외선 영상 강도 차이를 각 픽셀의 적외선 영상 특징으로 결정할 수 있다.
도 6b를 참조하면, 예를 들어, 제1 프로세서(130)는 제1 적외선 영상 데이터(610)로부터 제1 픽셀(P1)의 소정 반경(R) 내 제2 픽셀(P2) 및 제3 픽셀(P3)을 추출하고, 제1 픽셀(P1)의 적외선 영상 강도에서 제2 픽셀(P2) 및 제3 픽셀(P3)의 적외선 영상 강도들의 산술 평균을 뺀 값을, 제1 픽셀(P1)의 적외선 영상 특징으로 결정할 수 있다.
예를 들어, 제1 프로세서(130)는 제1 적외선 영상 데이터(610)로부터 제1 픽셀(P1)의 소정 반경(R) 내 제2 픽셀(P2)을 추출하고, 제1 픽셀(P1)의 적외선 영상 강도에서 제2 픽셀(P2)의 적외선 영상 강도를 뺀 값을, 제1 픽셀(P1)의 적외선 영상 특징으로 결정할 수 있다.
예를 들어, 제1 프로세서(130)는 제1 적외선 영상 데이터(610)로부터 제1 픽셀(P1)의 소정 반경(R) 내 제1 픽셀(P1)을 시작 픽셀로 하는 제1 벡터(u) 및 제2 벡터(v)를 추출하고, 제1 벡터(u)와 제2 벡터(v)의 각 끝 픽셀의 적외선 영상 강도 차이를 제1 픽셀(P1)의 적외선 영상 특징으로 결정할 수 있다.
적외선 영상 특징은 랜덤 결정 포레스트를 학습하기 위한 정보일 수 있다.
다시 도 6a를 참조하면, 제1 프로세서(130)는 각 픽셀의 적외선 영상 강도, 적외선 영상 특징, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성한다(S620).
예를 들어, 제1 프로세서(130)는 적외선 영상 강도, 적외선 영상 특징들, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성할 수 있다.
다시 도 6b를 참조하면, 제1 프로세서(130)는 깊이 데이터(620)로부터 제1 픽셀(P1)의 제1 깊이 값을 추출하고, 제1 픽셀(P1)의 적외선 영상 강도, 적외선 영상 특징, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성할 수 있다.
예를 들어, 제1 프로세서(130)는 제1 픽셀(P1)의 적외선 영상 강도, 적외선 영상 특징들, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성할 수 있다.
다시, 도 3a를 참조하면, 제1 프로세서(130)는 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습한다(S340).
도 7을 참조하면, 제1 프로세서(130)는 랜덤 결정 포레스트의 결정 트리 개수를 선택한다(S710).
한편, 제1 프로세서(130)는 학습의 종료를 결정하기 위해, 최대 결정 트리 깊이, 최소 샘플 사이즈, 임계 값 등을 미리 설정할 수 있다.
제1 프로세서(130)는 결정 트리의 루트 노드를 선택한다(S720).
제1 프로세서(130)는 루트 노드를 비롯한 분할 노드 각각에서 S730 내지 S770을 수행함으로써, 결정 포레스트를 학습할 수 있다. 이하에서, S730 내지 S770이 수행되는 노드를 현재 노드라 한다.
제1 프로세서(130)는 관계 테이블의 적외선 영상 특징에 기초하여 랜덤 테스트 파라미터를 생성한다(S730).
예를 들어, 제1 프로세서(130)는 하나 이상의 적외선 영상 특징들에 기초하여 랜덤 테스트 파라미터를 생성할 수 있다. 랜덤 테스트 파라미터는 복수개가 생성될 수 있다. 랜덤 테스트 파라미터는 현재 노드에서 수행되는 이진 테스트(binary test)에 이용될 수 있다.
이어서, 제1 프로세서(130)는 랜덤 테스트 파라미터를 최적화한다(S740).
이를 위해, 제1 프로세서(130)는 현재 노드에서 랜덤 테스트 파라미터들의 정보 게인들을 비교하여 랜덤 테스트 파라미터 최적화 기준을 선택할 수 있다.
정보 게인은 노드의 분할 전 엔트로피와 분할 후 엔트로피의 차이를 의미할 수 있다. 정보 게인은 현재 노드의 샘플 데이터로부터 산출될 수 있다. 샘플 데이터는 관계 테이블로부터 랜덤하게 추출된 적어도 일부의 데이터를 의미할 수 있다. 제1 프로세서(130)는 정보 게인을 이용하여 랜덤 테스트 파라미터들 중 현재 노드의 샘플 데이터를 가장 잘 분류하는 랜덤 테스트 파라미터를 판단함으로써, 랜덤 테스트 파라미터를 최적화할 수 있다.
이어서, 제1 프로세서(130)는 현재 노드의 결정 트리 깊이와 최대 결정 트리 깊이, 현재 노드의 샘플 사이즈와 최소 샘플 사이즈, 또는 현재 노드의 정보 게인(information gain)과 정보 게인 임계 값을 비교한다(S750).
제1 프로세서(130)는 현재 노드의 결정 트리 깊이가 최대 결정 트리 깊이보다 작거나, 현재 노드의 샘플 사이즈가 최소 샘플 사이즈보다 크거나, 현재 노드의 정보 게인이 임계 값보다 큰 경우, 현재 노드를 분할 노드로 설정하고(S761), 최적화된 랜덤 테스트 파라미터를 이용하여 현재 노드에서 이진 테스트를 수행한다(S770).
이때, 제1 프로세서(130)는 최적화된 랜덤 테스트 파라미터를 이용하여 현재 노드에서 샘플 데이터를 이진 테스트하여 두 개의 하위 노드들로 나눌 수 있다.
이어서, 제1 프로세서(130)는 하위 노드에서 S730 내지 S770을 수행한다.
S730 내지 S770이 수행된 결과, 루트 노드와 하위 노드에는 파라미터 값이 저장될 수 있다. S730 내지 S770는 랜덤 결정 포레스트를 구성하는 결정 트리들 각각의 루트 노드 및 하위 노드에 대하여 수행될 수 있다.
제1 프로세서(130)는 현재 노드의 결정 트리 깊이가 최대 결정 트리 깊이보다 크거나, 현재 노드의 샘플 사이즈가 최소 샘플 사이즈보다 작거나, 현재 노드의 정보 게인이 임계 값보다 작은 경우, 현재 노드를 말단 노드로 설정한다(S762).
정보 게인이 정보 게인 임계 값보다 작은 경우는, 노드를 더 분할하여 즉, 결정 트리를 더 확장하여 샘플 데이터를 분류하는 동작이 무의미한 경우를 의미할 수 있다.
이에 따라, 제1 프로세서(130)는 결정 트리들의 말단 노드들 각각에 제3 깊이 값을 저장할 수 있다. 즉, 랜덤 결정 포레스트를 학습하는 S340 단계는, 관계 테이블에 기초하여 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 제3 깊이 값을 저장하는 단계일 수 있다.
이처럼, 제1 영상 처리 장치(100)는 도 7의 영상 처리 방법에 따라 적외선 영상 강도와 깊이 정보의 관계를 학습할 수 있다.
다시, 도 3a를 참조하면, 제1 프로세서(130)는 랜덤 결정 포레스트의 말단 노드 중 적어도 일부의 말단 노드에 대하여, 제1 깊이 값과, 관계 방정식으로부터 계산된 제2 깊이 값의 차이인, 제1 오차 값을 산출한다(S350).
이어서, 제1 프로세서(130)는 적어도 일부의 말단 노드에 대하여, 제1 깊이 값과, 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인, 제2 오차 값을 산출한다(S360).
제1 프로세서(130)는 적어도 일부의 말단 노드에 제1 오차 값, 제2 오차 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트하고(S381), 업데이트된 랜덤 결정 포레스트를 저장한다(S391).
일 실시예에 따른 제1 프로세서(130)는 적어도 일부의 말단 노드에 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트하고, 업데이트된 랜덤 결정 포레스트를 저장할 수 있다.
일 실시예에 따른 적어도 일부의 말단 노드는 제1 오차 값이 제2 오차 값보다 작은 제1 말단 노드일 수 있다. 다시 말해, 제1 프로세서(130)는 말단 노드 각각의 제1 오차 값과 제2 오차 값을 비교하고(S370), 제1 오차 값이 제2 오차 값보다 작은 적어도 일부의 제1 말단 노드에 제1 오차 값, 제2 오차 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트할 수 있다.
랜덤 결정 포레스트의 말단 노드들 중 제1 오차 값이 제2 오차 값 이상인 제2 말단 노드에는 제3 깊이 값이 저장되어 있을 수 있다.
업데이트된 랜덤 결정 포레스트는, 최종적으로 학습된 랜덤 결정 포레스트를 가리킬 수 있다. 업데이트된 랜덤 결정 포레스트는 관계 테이블에 기초하여 1차적으로 학습된 후, 관계 방정식에 따른 오차와 관계 테이블에 따른 오차에 기초하여 2차적으로 일부 변경될 수 있다.
이하에서는, 앞서 설명한 부분과 동일한 부분에 대한 설명은 생략하거나, 간략히 한다.
도 3b를 참조하면, 제1 적외선 영상 카메라(110)는 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하고, 깊이 카메라(120)는 제1 깊이 값을 포함하는 깊이 데이터를 획득한다(S310).
제1 프로세서(130)는 적외선 영상 강도 및 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출한다(S320).
제1 프로세서(130)는 적외선 영상 강도, 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성한다(S330).
제1 프로세서(130)는 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습한다(S340).
제1 프로세서(130)는 랜덤 결정 포레스트의 전체 말단 노드에 대하여, 제1 깊이 값과, 관계 방정식으로부터 계산된 제2 깊이 값의 차이인, 제1 오차 값을 산출한다(S350).
제1 프로세서(130)는 랜덤 결정 포레스트의 전체 말단 노드에 대하여, 제1 깊이 값과, 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인, 제2 오차 값을 산출한다(S360).
이어서, 제1 프로세서(130)는 랜덤 결정 포레스트의 전체 말단 노드에, 제1 오차 값, 제2 오차 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트하고(S382), 업데이트된 랜덤 결정 포레스트를 저장한다(S392).
일 실시예에 따른 제1 프로세서(130)는 랜덤 결정 포레스트의 전체 말단 노드에, 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 저장하여 랜덤 결정 포레스트를 업데이트하고, 업데이트된 랜덤 결정 포레스트를 저장할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 제2 적외선 영상 카메라(210)는 제1 적외선 영상 데이터와 상이한 제2 적외선 영상 데이터를 획득한다(S810).
제2 프로세서(230)는 제2 적외선 영상 데이터로부터 적외선 영상 강도를 추출한다(S820).
적외선 영상 강도는 업데이트된 랜덤 결정 포레스트를 테스트하기 위한 정보일 수 있다.
이어서, 일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용하여 제1 오차 값, 제2 오차 값, 및 제3 깊이 값을 출력하고, 관계 방정식에 적외선 영상 강도를 적용하여 제2 깊이 값을 출력한다(S830). 관계 방정식은 예를 들어, 수학식 2의 2차 함수일 수 있으며, 이에 한정하지 않는다.
도시하지 않았으나, 일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용하여 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 출력할 수 있다.
제2 프로세서(230)는 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값 중 적어도 하나를 이용하여 제4 깊이 값을 계산한다(S840). 즉, 제2 프로세서(230)는 획득된 제2 적외선 영상 데이터에 대한 객체 인식 테스트를 수행할 수 있다.
일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용한 결과, 업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값, 제2 오차 값, 및 제3 깊이 값이 저장되어 있는 경우에는 제1 오차 값, 제2 오차 값, 제2 깊이 값, 및 제3 깊이 값을 이용하여 제4 깊이 값을 계산할 수 있다.
이때, 제2 프로세서(230)는 수학식 1을 사용하여 제4 깊이 값을 계산할 수 있다.
업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값 및 제2 오차 값이 저장되어 있는 경우는, 해당 적외선 영상 강도가 제2 적외선 영상 카메라(210)로부터 소정 거리 내에서 촬영된 객체에 대응되는 경우일 수 있다.
제2 적외선 영상 카메라(210)로부터 소정 거리 내에서 촬영된 객체의 경우에는, 관계 방정식에 기초하여 랜덤 결정 포레스트가 업그레이드된 결과를 적용함으로써, 보다 정확한 거리 값을 예측할 수 있다.
일 실시예에 따른 제2 프로세서(230)는 업데이트된 랜덤 결정 포레스트에 적외선 영상 강도를 적용한 결과, 업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값 및 제2 오차 값이 저장되어 있지 않은 경우에는, 말단 노드에 저장되어 있는 제3 깊이 값을 제4 깊이 값으로 추론할 수 있다.
업데이트된 랜덤 결정 포레스트의 말단 노드에 제1 오차 값 및 제2 오차 값이 저장되어 있지 않은 경우는, 해당 적외선 영상 강도가 제2 적외선 영상 카메라(210)로부터 소정 거리 밖에서 촬영된 객체에 대응되는 경우일 수 있다.
제2 적외선 영상 카메라(210)로부터 소정 거리 밖에서 촬영된 객체의 경우에는, 관계 테이블에 기초하여 랜덤 결정 포레스트가 학습된 결과를 적용함으로써, 보다 정확한 거리 값을 추론할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
100: 영상 처리 장치
110: 적외선 영상 카메라
120: 깊이 카메라
130: 제1 프로세서
140: 제1 메모리
150: 제1 통신 인터페이스

Claims (20)

  1. 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하는 적외선 영상 카메라;
    제1 깊이 값을 포함하는 깊이 데이터를 획득하는 깊이 카메라;
    상기 적외선 영상 강도 및 상기 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하고, 상기 적외선 영상 강도, 상기 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 상기 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하고, 상기 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하고, 상기 랜덤 결정 포레스트의 말단 노드들 중 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 관계 방정식으로부터 계산된 제2 깊이 값의 차이인 제1 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 대하여 상기 제1 깊이 값과 상기 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인 제2 오차 값을 산출하고, 상기 적어도 일부의 말단 노드에 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 업데이트하는 프로세서; 및
    업데이트된 랜덤 결정 포레스트를 저장하는 메모리;를 포함하는, 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 적어도 일부의 말단 노드는 상기 제1 오차 값이 상기 제2 오차 값보다 작은 제1 말단 노드인, 영상 처리 장치.
  3. 청구항 2에 있어서,
    상기 랜덤 결정 포레스트의 말단 노드들 중 상기 제1 오차 값이 상기 제2 오차 값 이상인 제2 말단 노드에는 상기 제3 깊이 값이 저장되어 있는, 영상 처리 장치.
  4. 청구항 1에 있어서,
    상기 적어도 일부의 말단 노드는 상기 랜덤 결정 포레스트의 전체 말단 노드인, 영상 처리 장치.
  5. 청구항 1에 있어서,
    상기 제1 깊이 값은 실제 값(ground truth)인, 영상 처리 장치.
  6. 청구항 1에 있어서,
    상기 프로세서는 상기 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하고, 상기 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출하고, 서로 대응하는 상기 적외선 영상 강도의 역수 및 상기 제1 깊이 값을 이용하여 다항 함수인 상기 관계 방정식을 추출하는, 영상 처리 장치.
  7. 청구항 1에 있어서,
    상기 프로세서는 상기 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 상기 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 상기 각 픽셀의 상기 적외선 영상 특징으로 결정하는, 영상 처리 장치.
  8. 청구항 1에 있어서,
    상기 프로세서는 상기 관계 테이블에 기초하여 상기 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 학습하는, 영상 처리 장치.
  9. 청구항 1에 있어서,
    상기 적외선 영상 카메라가 상기 제1 적외선 영상 데이터와 상이한 제2 적외선 영상 데이터를 획득하고,
    상기 프로세서가 상기 제2 적외선 영상 데이터에 포함된 각 픽셀의 적외선 영상 강도를 상기 업데이트된 랜덤 결정 포레스트에 적용하여 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 출력하고, 상기 제2 적외선 영상 데이터에 포함된 상기 각 픽셀의 상기 적외선 영상 강도를 상기 관계 방정식에 적용하여 상기 제2 깊이 값을 출력하고, 상기 제1 오차 값, 상기 제2 오차 값, 상기 제2 깊이 값, 및 상기 제3 깊이 값 중 적어도 하나를 이용하여 제4 깊이 값을 계산하는, 영상 처리 장치.
  10. 청구항 9에 있어서,
    상기 프로세서는 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 상기 제1 오차 값의 확률에 따라 산출된 가중치가 적용된 결과를 합산하여 상기 제4 깊이 값을 산출하며, 상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 적용되는 가중치들의 합은 1인, 영상 처리 장치.
  11. 적외선 영상 카메라에 의해 적외선 영상 강도를 포함하는 제1 적외선 영상 데이터를 획득하고, 깊이 카메라에 의해 제1 깊이 값을 포함하는 깊이 데이터를 획득하는 단계;
    프로세서에 의해, 상기 적외선 영상 강도 및 상기 제1 깊이 값의 관계를 나타내는 관계 방정식을 추출하는 단계;
    상기 프로세서에 의해, 상기 적외선 영상 강도, 상기 적외선 영상 강도에 기초하여 결정된 적외선 영상 특징, 및 상기 제1 깊이 값의 관계를 나타내는 관계 테이블을 생성하는 단계;
    상기 프로세서에 의해, 상기 관계 테이블에 기초하여 랜덤 결정 포레스트를 학습하는 단계;
    상기 프로세서에 의해, 상기 랜덤 결정 포레스트의 말단 노드 중 적어도 일부의 말단 노드에 대하여, 상기 제1 깊이 값과, 상기 관계 방정식으로부터 계산된 제2 깊이 값의 차이인, 제1 오차 값을 산출하는 단계;
    상기 프로세서에 의해, 상기 적어도 일부의 말단 노드에 대하여, 상기 제1 깊이 값과, 상기 랜덤 결정 포레스트로부터 추론된 제3 깊이 값의 차이인, 제2 오차 값을 산출하는 단계;
    상기 프로세서에 의해, 상기 적어도 일부의 말단 노드에 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 업데이트하는 단계; 및
    업데이트된 랜덤 결정 포레스트를 저장하는 단계;를 포함하는, 영상 처리 방법.
  12. 청구항 11에 있어서,
    상기 적어도 일부의 말단 노드는 상기 제1 오차 값이 상기 제2 오차 값보다 작은 제1 말단 노드인, 영상 처리 방법.
  13. 청구항 12에 있어서,
    상기 랜덤 결정 포레스트의 말단 노드들 중 상기 제1 오차 값이 상기 제2 오차 값 이상인 제2 말단 노드에는 상기 제3 깊이 값이 저장되어 있는, 영상 처리 방법.
  14. 청구항 11에 있어서,
    상기 적어도 일부의 말단 노드는 상기 랜덤 결정 포레스트의 전체 말단 노드인, 영상 처리 방법.
  15. 청구항 11에 있어서,
    상기 제1 깊이 값은 실제 값(ground truth)인, 영상 처리 방법.
  16. 청구항 11에 있어서,
    상기 관계 방정식을 추출하는 단계는,
    상기 제1 적외선 영상 데이터로부터 픽셀 별 적외선 영상 강도를 추출하는 단계;
    상기 깊이 데이터로부터 픽셀 별 제1 깊이 값을 추출하는 단계; 및
    서로 대응하는 상기 적외선 영상 강도의 역수 및 상기 제1 깊이 값을 이용하여 다항 함수인 상기 관계 방정식을 추출하는 단계;를 포함하는, 영상 처리 방법.
  17. 청구항 11에 있어서,
    상기 관계 테이블을 생성하는 단계는,
    상기 제1 적외선 영상 데이터로부터 추출한 각 픽셀의 적외선 영상 강도에서 상기 각 픽셀의 소정 반경 내 적어도 하나의 다른 픽셀의 적외선 영상 강도의 산술 평균을 뺀 값을 상기 각 픽셀의 상기 적외선 영상 특징으로 결정하는 단계;를 더 포함하는, 영상 처리 방법.
  18. 청구항 11에 있어서,
    상기 랜덤 결정 포레스트를 학습하는 단계는,
    상기 관계 테이블에 기초하여 상기 랜덤 결정 포레스트를 구성하는 결정 트리들의 말단 노드들 각각에 상기 제3 깊이 값을 저장하여 상기 랜덤 결정 포레스트를 학습하는 단계인, 영상 처리 방법.
  19. 청구항 11에 있어서,
    상기 적외선 영상 카메라에 의해, 상기 제1 적외선 영상 데이터와 상이한 제2 적외선 영상 데이터를 획득하는 단계;
    상기 프로세서에 의해, 상기 제2 적외선 영상 데이터로부터 적외선 영상 강도를 추출하는 단계; 및
    상기 프로세서에 의해, 상기 업데이트된 랜덤 결정 포레스트에 상기 제2 적외선 영상 데이터로부터 추출된 상기 적외선 영상 강도를 적용하여 상기 제1 오차 값, 상기 제2 오차 값, 및 상기 제3 깊이 값을 출력하고, 상기 관계 방정식에 상기 제2 적외선 영상 데이터로부터 추출된 상기 적외선 영상 강도를 적용하여 상기 제2 깊이 값을 출력하고, 상기 제1 오차 값, 상기 제2 오차 값, 상기 제2 깊이 값, 및 상기 제3 깊이 값 중 적어도 하나를 이용하여 제4 깊이 값을 계산하는 단계;를 더 포함하는, 영상 처리 방법.
  20. 청구항 19에 있어서,
    상기 제4 깊이 값을 계산하는 단계는,
    상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 상기 제1 오차 값의 확률에 따라 산출된 가중치가 적용된 결과를 합산하여 상기 제4 깊이 값을 산출하는 단계이며,
    상기 제2 깊이 값 및 상기 제3 깊이 값 각각에 적용되는 가중치들의 합은 1인, 영상 처리 방법.
KR1020180086945A 2018-07-26 2018-07-26 영상 처리 장치 및 방법 Expired - Fee Related KR102051074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180086945A KR102051074B1 (ko) 2018-07-26 2018-07-26 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086945A KR102051074B1 (ko) 2018-07-26 2018-07-26 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102051074B1 true KR102051074B1 (ko) 2019-12-02

Family

ID=68847805

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086945A Expired - Fee Related KR102051074B1 (ko) 2018-07-26 2018-07-26 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102051074B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221096B1 (ko) 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
KR20210154323A (ko) * 2020-06-12 2021-12-21 인하대학교 산학협력단 열화상 영상의 이상치 온도 제거를 통한 자동 컬러맵 표현 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117165A (ko) * 2011-04-14 2012-10-24 삼성전자주식회사 3차원 영상의 생성 방법 및 이를 이용하는 내시경 장치
US20140152869A1 (en) * 2011-07-13 2014-06-05 Simon Solotko Methods and Systems for Social Overlay Visualization
KR101414670B1 (ko) * 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
JP2016148588A (ja) * 2015-02-12 2016-08-18 株式会社デンソーアイティーラボラトリ デプス推定モデル生成装置及びデプス推定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117165A (ko) * 2011-04-14 2012-10-24 삼성전자주식회사 3차원 영상의 생성 방법 및 이를 이용하는 내시경 장치
US20140152869A1 (en) * 2011-07-13 2014-06-05 Simon Solotko Methods and Systems for Social Overlay Visualization
KR101414670B1 (ko) * 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
JP2016148588A (ja) * 2015-02-12 2016-08-18 株式会社デンソーアイティーラボラトリ デプス推定モデル生成装置及びデプス推定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210154323A (ko) * 2020-06-12 2021-12-21 인하대학교 산학협력단 열화상 영상의 이상치 온도 제거를 통한 자동 컬러맵 표현 방법
KR102354704B1 (ko) * 2020-06-12 2022-01-24 인하대학교 산학협력단 열화상 영상의 이상치 온도 제거를 통한 자동 컬러맵 표현 방법
KR102221096B1 (ko) 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11645506B2 (en) Neural network for skeletons from input images
CN108537152B (zh) 用于检测活体的方法和装置
US9380224B2 (en) Depth sensing using an infrared camera
US11393186B2 (en) Apparatus and method for detecting objects using key point sets
US10984538B2 (en) Image-processing device, image-processing method, and recording medium
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
US10896343B2 (en) Information processing apparatus and information processing method
KR102051074B1 (ko) 영상 처리 장치 및 방법
US20200019789A1 (en) Information generating method and apparatus applied to terminal device
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
US20230196739A1 (en) Machine learning device and far-infrared image capturing device
CN107948721B (zh) 推送信息的方法和装置
JP7086878B2 (ja) 学習装置、学習方法、プログラムおよび認識装置
KR20210155655A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
US12267570B2 (en) Machine learning device, image processing device, machine learning method, and machine learning program
CN111860555A (zh) 图像处理方法、装置以及存储介质
CN115605886A (zh) 训练装置、生成方法、推理装置、推理方法和程序
KR20220065209A (ko) 다양한 품질의 영상을 인식하는 방법 및 장치
KR20210157100A (ko) 영상을 처리하는 디바이스 및 그 동작 방법
KR102665603B1 (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
JP6452324B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3933683A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a user's body before removing hair for determining a user-specific trapped hair value
JP6622150B2 (ja) 情報処理装置および情報処理方法
Attar et al. Parametric optimization of logarithmic transformation using gwo for enhancement and denoising of mri images
CN112184884A (zh) 三维模型构建方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180726

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190421

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190930

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191126

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191127

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230907