KR101881243B1

KR101881243B1 - 깊이 이미지를 프로세싱하기 위한 방법 및 장치

Info

Publication number: KR101881243B1
Application number: KR1020167031512A
Authority: KR
Inventors: 지보 자오; 싱싱 자오; 샤오리 진
Original assignee: 보에 테크놀로지 그룹 컴퍼니 리미티드
Priority date: 2015-05-11
Filing date: 2015-11-05
Publication date: 2018-07-23
Also published as: US9811921B2; EP3296953A1; KR20160148577A; CN104835164A; US20170132803A1; EP3296953A4; CN104835164B; EP3296953B1; WO2016179979A1; JP2018515743A; JP6577565B2

Abstract

본 발명의 실시예들은 깊이 이미지를 프로세싱하기 위한 방법 및 장치를 개시한다. 이 방법은: 깊이 이미지 및 깊이 이미지에 대응하는 캡처된 이미지를 획득하는 단계; 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계; 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계; 대응하는 깊이 기준 값에 기초하여 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하는 단계; 및 깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하는 단계를 포함한다. 본 발명의 실시예들의 방법 및 장치는, 깊이 이미지의 품질을 개선할 수 있고, 깊이 이미지가 용이하게 식별되게 할 수 있다.

Description

깊이 이미지를 프로세싱하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A DEPTH IMAGE}

우선권의 주장

본 출원은, 2015년 5월 11일에 출원된 중국 특허 출원 제201510236717.0호에 대해 우선권을 주장하며, 상기 중국 특허 출원의 개시내용은 그 전체가 참조로 본원에 통합된다.

기술분야

본 발명은 깊이 이미지(depth image)를 프로세싱하기 위한 방법 및 장치에 관한 것이다.

현재, 상업적으로 이용가능한 메인스트림 모션 감지 장비들, 예를 들어, Kinect, Prime Sence는 일반적으로, 이미지를 캡처하기 위해 TOF(Time of Flight, 이미징을 위한 비행-시간 방법) 원리를 이용하는 깊이 카메라를 활용하고, 그 다음, 캡처된 이미지는 NITE와 같은 미들웨어에 송신되고(이는, 제스처 인식, 모션 캡처 등과 같은 기능들을 구현할 수 있음), 인간 신체의 골격 및 관절들에 대한 정보가 소프트웨어 컴퓨팅에 의해 획득되고, 결과적으로, 이동-가능 제어가 수행될 수 있다.

또한, TOF 원리의 활용에 추가로 깊이 이미지를 획득하기 위한 일부 다른 기술들이 존재하는데, 예를 들어, 깊이 데이터를 획득하기 위한 쌍안 카메라의 활용이 저비용 솔루션이다. 그러나, 쌍안 카메라는, 자신의 이미징 원리의 제한으로 인해 특정 정보 누락 및 더 강한 이미지 잡음의 문제들을 초래하여, 깊이 이미지의 열악한 품질을 야기할 것이다. 따라서, 깊이 이미지 프로세싱의 개선된 솔루션에 대한 요건이 존재한다.

본 개시내용의 양상에 따라 깊이 이미지를 프로세싱하기 위한 방법이 제공된다. 이 방법은: 깊이 이미지 및 깊이 이미지에 대응하는 캡처된 이미지를 획득하는 단계; 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계; 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계; 대응하는 깊이 기준 값에 기초하여 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하는 단계; 및 깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하는 단계를 포함한다.

본 발명의 실시예의 방법은 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득할 수 있고; 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값 및 깊이 값의 표준 범위를 계산할 수 있고; 그 다음, 깊이 이미지의 픽셀들을 횡단하고, 픽셀의 깊이 값을, 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절할 수 있다. 본 발명은 이러한 방법을 통해 깊이 이미지에 대한 잡음제거 프로세싱(de-noising processing)을 수행할 수 있고, 프로세싱된 깊이 이미지의 윤곽은 더 명확하고, 식별하기에 더 용이하다. 따라서, 깊이 이미지의 품질을 개선할 수 있다.

일 실시예에 따르면, 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계는, 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하는 단계; 및 윤곽 세그먼트화 정보에 기초하여 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계를 포함한다.

일 실시예에 따르면, 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하는 단계는, 캡처된 이미지에 대해 그레이 프로세싱(gray processing)을 수행하여 그레이 이미지를 획득하는 단계; 그레이 이미지에 대해 에지 추출(edge extraction)을 수행하여 윤곽 이미지를 획득하는 단계; 윤곽 이미지에 대해 윤곽 팽창 프로세싱(contour dilation processing)을 수행하여 윤곽 팽창 이미지를 획득하는 단계; 윤곽 팽창 이미지를 반전(reversing)시켜 반전된 이미지를 획득하는 단계; 및 워터쉐드 알고리즘(watershed algorithm)을 이용하여 반전된 이미지의 윤곽 세그먼트화 정보를 계산하는 단계를 포함한다.

상기 실시예는, 실시간 캡처된 이미지의 윤곽 세그먼트화 정보를 더 짧은 시간에 계산하여, 깊이 이미지에 대한 잡음제거 프로세싱의 프로세싱 속도의 개선을 용이하게 할 수 있다.

일 실시예에 따르면, 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계는, 세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거하는 단계; 블랙 포인트 픽셀 및 밝은 포인트 픽셀이 제거된 세그먼트화 유닛에 대해, 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅하는 단계; 및 가장 많은 수의 픽셀들이 갖는 깊이 값을, 세그먼트화 유닛에 대한 깊이 기준 값으로 결정하는 단계를 포함한다.

상기 실시예는, 세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거할 수 있어서, 즉, 잡음 포인트 픽셀들을 제거할 수 있어서, 계산된 결과들의 정확도를 개선할 수 있다.

일 실시예에 따르면, 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위는 깊이 기준 값의 0.5~1.3배이다.

일 실시예에 따르면, 깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하는 단계는, 깊이 이미지의 픽셀을 설정된 방향을 따라 횡단하는 단계를 포함하고, 횡단 절차에서, 현재 픽셀의 깊이 값이, 현재 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위를 넘으면, 깊이 이미지의 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프(loop)들의 설정된 수 밖으로 확산될 수 있고; 현재 판독되고 있는 픽셀이 세그먼트화 유닛 내에 있고, 그 깊이 값이 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있으면, 루프를 종료시키고, 현재 픽셀의 깊이 값은, 현재 판독되고 있는 픽셀의 깊이 값으로 조절되고; 루프들의 설정된 수가 끝나고, 현재 픽셀의 깊이 값이 조절되지 않으면, 현재 픽셀의 깊이 값은 세그먼트화 유닛에 대응하는 깊이 기준 값으로서 조절된다.

상기 실시예는, 조절된 픽셀 및 그 주위의 픽셀들의 깊이 값 전이를 비교적 평탄하게(smooth) 하여, 프로세싱된 깊이 이미지의 품질의 개선을 용이하게 할 수 있다.

일 실시예에 따르면, 주위 픽셀들은 현재 픽셀의 교차형 방향(cross type direction) 상에 위치된다.

상기 실시예는, 계산 프로세스의 속도를 개선하여, 깊이 이미지에 대한 잡음제거 프로세싱의 속도를 개선할 수 있다.

일 실시예에 따르면, 루프들의 설정된 수는 5이고, 설정된 방향은, 행에서는 좌측에서 우측으로 또는 우측에서 좌측으로, 또는 열에서는 위에서 아래로 또는 아래에서 위로의 방향이다.

상기 실시예는, 비교적 짧은 시간에 비교적 적은 양의 계산으로 픽셀들을 효과적으로 채울 수 있어서, 깊이 이미지에 대한 잡음제거 프로세싱의 속도의 개선을 용이하게 할 수 있다.

본 개시내용의 제2 양상에 따라 깊이 이미지를 프로세싱하기 위한 장치가 제공된다. 장치는: 깊이 이미지 및 깊이 이미지에 대응하는 캡처된 이미지를 획득하도록 구성되는 획득 모듈; 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하도록 구성되는 세그먼트화 모듈; 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하도록 구성되는 계산 모듈; 대응하는 깊이 기준 값에 기초하여 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하도록 구성되는 결정 모듈; 및 깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하도록 구성되는 조절 모듈을 포함한다.

일 실시예에 따르면, 세그먼트화 모듈은, 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하고; 윤곽 세그먼트화 정보에 기초하여 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하도록 추가로 구성된다.

일 실시예에 따르면, 세그먼트화 모듈은, 캡처된 이미지에 대해 그레이 프로세싱을 수행하여 그레이 이미지를 획득하고; 그레이 이미지에 대해 에지 추출을 수행하여 윤곽 이미지를 획득하고; 윤곽 이미지에 대해 윤곽 팽창 프로세싱을 수행하여 윤곽 팽창 이미지를 획득하고; 윤곽 팽창 이미지를 반전시켜 반전된 이미지를 획득하고; 워터쉐드 알고리즘을 이용하여 반전된 이미지의 윤곽 세그먼트화 정보를 계산하도록 추가로 구성된다.

일 실시예에 따르면, 계산 모듈은, 세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거하고; 블랙 포인트 픽셀 및 밝은 포인트 픽셀이 제거된 세그먼트화 유닛에 대해, 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅하고; 가장 많은 수의 픽셀들이 갖는 깊이 값을, 세그먼트화 유닛에 대한 깊이 기준 값으로 결정하도록 추가로 구성된다.

일 실시예에 따르면, 조절 모듈은, 깊이 이미지의 픽셀을 설정된 방향을 따라 횡단하도록 추가로 구성되고, 횡단 절차에서, 현재 픽셀의 깊이 값이, 현재 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위를 넘으면, 깊이 이미지의 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프들의 설정된 수 밖으로 확산될 수 있고; 현재 판독되고 있는 픽셀이 세그먼트화 유닛 내에 있고, 그 깊이 값이 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있으면, 루프를 종료시키고, 현재 픽셀의 깊이 값은, 현재 판독되고 있는 픽셀의 깊이 값으로 조절되고; 루프들의 설정된 수가 끝나고, 현재 픽셀의 깊이 값이 조절되지 않으면, 현재 픽셀의 깊이 값은 세그먼트화 유닛에 대응하는 깊이 기준 값으로서 조절된다.

일 실시예에 따르면, 주위 픽셀들은 현재 픽셀의 교차형 방향 상에 위치된다.

본 발명의 실시예들에 의해 제공되는 프로세싱 장치는 깊이 이미지에 대한 잡음제거 프로세싱을 수행할 수 있고, 프로세싱된 깊이 이미지의 윤곽은 더 명확하고 식별하기에 더 용이하다. 따라서, 깊이 이미지의 품질을 개선할 수 있다.

본 개시의 실시예들의 기술 솔루션을 더 명확하게 예시하기 위해, 이하 첨부된 도면들이 참조될 것이다. 하기 설명에서 첨부된 도면들은 본 개시내용의 오직 일부 실시예들과 관련되고, 본 개시내용에 대한 제한으로 해석되어서는 안되는 것은 자명하다.
도 1은 본 발명의 일 실시예에 따라 깊이 이미지를 프로세싱하기 위한 방법의 흐름도를 도시한다.
도 2는 본 발명의 일 실시예에 따라 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하는 개략도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 세그먼트화 유닛에 대한 깊이 값들 및 픽셀들의 수에 대한 히스토그램(histogram)을 도시한다.
도 4는 본 발명의 일 실시예에 따른 픽셀 채움(filling)의 원리의 개략도를 도시한다.
도 5는 잡음제거 프로세싱을 수행하기 전의 깊이 이미지 및 본 발명의 일 실시예에 따른 잡음제거 프로세싱을 수행한 후의 깊이 이미지의 비교 도면을 도시한다.
도 6은 본 발명의 일 실시예에 따라 깊이 이미지를 프로세싱하기 위한 장치의 블록도를 도시한다.

본 기술분야의 통상의 기술자들이 본 개시내용의 실시예들의 목적들, 기술적 솔루션들 및 이점들을 더 잘 이해하도록, 본 개시내용의 실시예들의 기술적 솔루션은 본 개시내용의 실시예들의 첨부된 도면들과 관련하여 명확하게 그리고 완전하게 설명될 것이다. 설명되는 실시예들은, 본 개시내용의 실시예들의 단지 일부이며 전부가 아님은 자명하다. 창작적 작업의 전제 없이 본 기술분야의 통상의 기술자들에 의해 행해지는 모든 다른 실시예들은 본 개시내용의 범주에 속한다.

하기 실시예들은 주로 쌍안 카메라의 깊이 이미지를 프로세싱하는 상황에서 논의되지만, 본 개시내용은 이에 제한되지 않음을 본 기술분야의 통상의 기술자들은 이해해야 한다. 실제로, 본 개시내용의 다양한 실시예들은 임의의 적절한 깊이 이미지를 프로세싱하는데 적용될 수 있다. 예를 들어, 깊이 이미지가 임의의 다른 적절한 이미징 디바이스들로부터 획득될 수 있거나, 또는 깊이 이미지가 다른 방법들에 의해 생성될 수 있는 식이다.

본 개시내용의 실시예들은 깊이 이미지를 프로세싱하기 위한 방법 및 장치를 제공한다. 본 발명의 실시예들의 목적들, 기술적 솔루션들 및 이점들을 더 명확하게 하기 위해, 본 발명의 실시예들은 추가적으로 상세히 설명될 것이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예는 깊이 이미지를 프로세싱하기 위한 방법을 제공하고, 방법은 하기 단계들을 포함한다:

단계(S101)에서, 깊이 이미지 및 깊이 이미지에 대응하는 캡처된 이미지를 획득하는 단계;

단계(S102)에서, 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계;

단계(S103)에서, 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계;

단계(S104)에서, 대응하는 깊이 기준 값에 기초하여 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하는 단계; 및

단계(S105)에서, 깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하는 단계.

단계(S101)에서, 깊이 이미지 및 캡처된 이미지는 쌍안 카메라로부터 또는 다른 방식으로 획득될 수 있어서, 예를 들어, 깊이 이미지 및 캡처된 이미지는 임의의 다른 적절한 솔루션을 통해 이미 획득된 것일 수 있다. 쌍안 카메라는 주 카메라 및 보조 카메라를 포함하고, 여기서 주 카메라 및 보조 카메라의 각각 좌표계들은 특정 위치 편차를 갖고, 쌍안 카메라의 제어 칩은 타겟 바디(body)에 대한 공간에서 깊이 정보의 이미지, 즉, 깊이 이미지를 컴퓨팅에 의해 획득할 수 있다. 통상적으로, 쌍안 카메라에 의해 수집된 깊이 이미지는 주 카메라에 의해 캡처된 이미지와 일치하는 좌표계를 채택한다. 쌍안 카메라의 카메라들 둘 모두에 의해 캡처된 이미지들은 일반적으로 RGB 컬러 이미지들이지만, 또한 임의의 다른 적절한 컬러 이미지들일 수 있다.

깊이 이미지의 세그먼트화를 구현하기 위한 다양한 방법들이 존재한다. 일 실시예에서, 단계(S102)는,

캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하는 단계; 및

윤곽 세그먼트화 정보에 기초하여 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계를 포함할 수 있다.

주 카메라의 캡처된 이미지에 대해, 실제로, 각각의 작은 윤곽의 범주가 동일한 오브젝트 또는 특정 오브젝트의 동일 부분에 대응하면, 그 범주 내의 깊이 값들은 서로 근접해야 한다. 따라서, 주 카메라의 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득할 수 있고, 그 다음, 획득된 윤곽 세그먼트화 정보에 기초하여 깊이 이미지에 대해 윤곽 세그먼트화를 수행하여 복수의 세그먼트화 유닛들을 획득할 수 있다. 단계(S105)에서, "조절하는 것"은 깊이 이미지의 픽셀들 상에 깊이 값들을 다시 채우는 것을 포함할 수 있다.

주 카메라의 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하기 위해 채택되는 특정 알고리즘들에 대해서는 어떠한 제한도 존재하지 않아서, 예를 들어, 피라미드 세그먼트화 알고리즘, 평균 시프트 세그먼트화 알고리즘, 워터쉐드 세그먼트화 알고리즘 등을 채택할 수 있다. 일 실시예에서, 모션 감지 장비들이 실시간으로 생성되는 깊이 이미지를 더 짧은 시간에 프로세싱해야 함을 고려하면 (윤곽 세그먼트화 및 픽셀 채움은 30 ms 내에 완료될 필요가 있음), 워터쉐드 세그먼트화 알고리즘을 채택할 수 있다.

본 발명의 일 실시예에서, 단계(S102)는 도 2에 예시된 바와 같이 하기 하위단계들을 포함할 수 있다:

캡처된 이미지에 대해 그레이 프로세싱을 수행하여 그레이 이미지를 획득하는 단계(즉, 도 2의 제2 이미지);

그레이 이미지에 대해 에지 추출을 수행하여 윤곽 이미지를 획득하는 단계(즉, 도 2의 제3 이미지);

윤곽 이미지에 대해 윤곽 팽창 프로세싱을 수행하여 윤곽 팽창 이미지를 획득하는 단계(즉, 도 2의 제4 이미지);

윤곽 팽창 이미지를 반전시켜 반전된 이미지를 획득하는 단계(즉, 도 2의 제5 이미지); 및

워터쉐드 알고리즘을 이용하여 반전된 이미지의 윤곽 세그먼트화 정보를 계산하는 단계(즉, 도 2의 제6 이미지).

상기 방법은, 실시간으로 주 카메라에 의해 캡처된 이미지의 윤곽 세그먼트화 정보를 더 짧은 시간에 계산하여, 깊이 이미지에 대한 잡음제거 프로세싱의 프로세싱 속도의 개선을 용이하게 할 수 있다. 여기서, 윤곽 세그먼트화 정보는 세그먼트화 유닛의 윤곽 위치 정보 및 코딩 정보를 포함할 수 있다. 그레이 이미지에 대해 에지 추출을 수행하기 위해 캐니(canny) 에지 추출 알고리즘을 채택할 수 있다. 캐니 에지 추출 알고리즘은, 이미지 에지 검출이 신속하게 실현될 수 있게 하는 알고리즘 타입이고, 캐니 에지 추출 알고리즘에 의해 획득된 결과들은, 백색 윤곽 라인들 및 블랙 배경을 갖는 2진 이미지이다.

본 발명의 일 실시예에서, 단계(S103)는 하기 하위단계들을 포함할 수 있다:

세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거하는 단계;

블랙 포인트 픽셀 및 밝은 포인트 픽셀이 제거된 세그먼트화 유닛에 대해, 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅하는 단계;

가장 많은 수의 픽셀들이 갖는 깊이 값을, 세그먼트화 유닛에 대한 깊이 기준 값으로 결정하는 단계.

단계(S103)에서, 세그먼트화 유닛에서 블랙 포인트 픽셀(예를 들어, 깊이 값이 0인 픽셀) 및 밝은 포인트 픽셀(예를 들어, 깊이 값이 255인 픽셀)을 제거하여, 즉, 신뢰도가 낮은 잡음 포인트 픽셀들을 제거하여, 계산된 결과들의 정확도를 개선할 수 있다.

도 3에 도시된 바와 같이, 깊이 기준 값은 다음과 같이 결정될 수 있다: 블랙 포인트 픽셀들 및 밝은 포인트 픽셀들이 제거된 세그먼트화 유닛에 대해, 가로 좌표가 깊이 값이고 세로 좌표가 각각의 깊이 값에 대한 픽셀들의 수이고, 가장 많은 수의 픽셀들이 갖는 깊이 값을, 세그먼트화 유닛의 대응하는 깊이 기준 값 깊이(i)로 설정하는 히스토그램을 생성한다.

단계(104)에서, 세그먼트화 유닛의 대응하는 깊이 기준 값 깊이(i)를 계산한 후, 대응하는 깊이 기준 값에 기초하여 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정할 수 있다. 구체적으로, 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위는 깊이(i)의 0.5~1.3배이다. 풍부한 통계적 분석을 통해, 본 출원의 발명자는, 동일한 세그먼트화 유닛에 대한 유효 깊이 값들은 일반적으로 상기 범위 상에 집중됨을 확인하였다. 따라서, 세그먼트화 유닛의 픽셀들을 채우기 위해 깊이 값의 표준 범위로서 위의 범위를 채택하는 것에 의해 깊이 이미지의 프로세싱 결과들을 더 정확하게 할 수 있다.

본 발명의 일 실시예에서, 단계(S105)는,

깊이 이미지의 픽셀을 설정된 방향을 따라 횡단하는 단계를 포함할 수 있고, 횡단 절차에서,

현재 픽셀의 깊이 값이, 현재 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위를 넘으면, 깊이 이미지의 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프들의 설정된 수 밖으로 확산될 수 있고;

현재 판독되고 있는 픽셀이 세그먼트화 유닛 내에 있고, 그 깊이 값이 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있으면, 루프를 종료시키고, 현재 픽셀의 깊이 값은, 현재 판독되고 있는 픽셀의 깊이 값으로 조절되고;

루프들의 설정된 수가 끝나고, 현재 픽셀의 깊이 값이 조절되지 않으면, 현재 픽셀의 깊이 값은 세그먼트화 유닛에 대응하는 깊이 기준 값으로서 조절된다.

깊이 이미지를 프로세싱하여 프로세싱된 깊이 이미지를 획득하는 단계는 하기 3가지 방식으로 구현될 수 있다:

1) 블랭크(blank) 이미지를 구축하고, 그 다음, 깊이 이미지에 기초하여 그리고 단계(S105)에 따라 블랭크 이미지의 픽셀들 상에서 포인트마다의 대응하는 채움을 수행하고, 마지막으로, 프로세싱된 깊이 이미지를 획득한다;

2) 깊이 이미지의 카피(copy) 이미지 구축하고, 그 다음, 깊이 이미지에 기초하여 그리고 단계(S105)에 따라 카피 이미지의 픽셀들의 포인트마다의 대응하는 리프레쉬(refresh)를 수행하고, 마지막으로, 프로세싱된 깊이 이미지를 획득한다;

3) 깊이 이미지의 픽셀들의 깊이 값들의 정보에 따라 그리고 단계(S105)에 따라, 프로세싱된 깊이 이미지의 정보의 포인트마다의 재결정을 수행하고, 재결정된 정보는 RAM과 같은 메모리 엘리먼트에 저장되고, 전체 깊이 이미지의 픽셀들을 횡단하는 것을 끝낸 후, RAM에 저장된 재결정된 정보로 깊이 이미지를 오버라이드(overriding)하고, 마지막으로, 프로세싱된 깊이 이미지를 획득한다.

깊이 이미지에서, 주위 픽셀들은 현재 픽셀의 기울어진 방향, 예를 들어, 30°, 45°등에 위치될 수 있다. 일 실시예에서, 주위 픽셀들은, 계산 프로세스의 속도가 개선될 수 있도록 현재 픽셀의 교차형 방향 상에 위치되어, 깊이 이미지에 대한 잡음제거 프로세싱의 속도를 개선할 수 있다.

일 실시예에서, 디바이스의 계산 프로세스 속도를 고려함으로써 루프들의 설정된 수는 5이다. 횡단이 따르는 설정된 방향은, 행에서는 좌측에서 우측으로 또는 우측에서 좌측으로, 또는 열에서는 위에서 아래로 또는 아래에서 위로의 방향 등일 수 있다. 또한, 교차형 방향에서 픽셀들을 판독하는 순서에 대해서는 어떠한 제한도 존재하지 않고, 판독 순서는 시계방향 또는 반시계방향일 수 있다. 본 발명의 일 실시예에서, 설정된 방향은, 행에서는 좌측에서 우측으로의 방향이고, 현재 픽셀에 중심을 둔 교차형 방향에서의 픽셀들의 깊이 값들을 판독하는 경우 판독 순서는 우측, 아래, 좌측, 및 위의 순서이다.

구체적으로, 도 4에 도시된 바와 같이, 쌍안 카메라에 의해 수집된 깊이 이미지의 각각의 픽셀은 행의 방향을 따라 좌측에서 우측으로 연속적으로 액세스되고, 이는, 현재 픽셀의 깊이 값이 현재 픽셀이 위치된 세그먼트화 유닛에 대한 대응하는 깊이 값의 표준 범위 내에 있을 때 다음 픽셀에 계속해서 액세스할 수 있다. (도면에 도시된 A1 픽셀과 같은) 현재 픽셀의 깊이 값이, 현재 픽셀이 위치된 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 넘는 경우, 현재 픽셀에 중심을 둔 교차형 방향 상의 픽셀들의 깊이 값들을 우측, 아래, 좌측 및 위의 순서에 따라 판독할 수 있고, 5회 확산시킬 수 있어서, 즉, 제1 시간에 B1, B2, B3, B4를 판독하고, 제2 시간에 C1, C2, C3, C4를 판독하는 식일 수 있다. 루프 판독 절차에서, 현재 판독되고 있는 픽셀이 세그먼트화 유닛 내에 있고, 그 깊이 값이, 현재 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있으면, 루프를 종료시키고, 현재 픽셀의 깊이 값을, 현재 판독되고 있는 픽셀의 깊이 값으로 조절할 수 있다. 도 4에 도시된 바와 같이, 루프 판독 절차에서, C2는 세그먼트화 유닛 외부에 위치되고, 따라서 이 기준을 충족하지 않는 한편, C3은 세그먼트화 유닛 내에 위치되고, 그 깊이 값은 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있고, 따라서, C3을 판독한 후 루프를 종료시키고, A1의 깊이 값을 C3의 깊이 값으로 조절할 수 있다. 5회의 루프 이후 상기 기준을 충족하는 픽셀을 판독할 수 없으면, 현재 픽셀의 깊이 값은, 현재 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 기준 값 깊이(i)로 조절될 수 있다.

상기 솔루션은, 전체 세그먼트화 유닛 내에서 깊이 값 전이를 비교적 평탄하게 하고 홀(hole)들을 감소시켜, 깊이 이미지의 품질의 개선을 용이하게 할 수 있다.

본 발명의 실시예들의 솔루션에서, 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득할 수 있고; 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값 및 깊이 값의 표준 범위를 계산할 수 있고; 그 다음, 깊이 이미지의 픽셀들을 횡단하고, 픽셀의 깊이 값을, 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절할 수 있다. 본 발명은 이러한 솔루션을 통해 깊이 이미지에 대한 잡음제거 프로세싱을 수행할 수 있고, 프로세싱된 깊이 이미지의 윤곽은 도 5에 도시된 바와 같이 더 명확하고, 식별하기에 더 용이하다. 따라서, 쌍안 카메라에 의해 획득되는 깊이 이미지의 품질을 개선할 수 있다.

동일한 창작적 개념에 기초하여, 본 발명의 일 실시예에 따라 깊이 이미지를 프로세싱하기 위한 장치가 제공된다. 장치는 도 6을 참조하여 아래에서 설명될 것이다. 이전의 실시예들에서 설명된 것과 동일한 부분들 또는 기능들에 대해서는, 간략화를 위해 그 설명이 생략된다. 도 6을 참조하면, 장치는,

깊이 이미지 및 깊이 이미지에 대응하는 캡처된 이미지를 획득하도록 구성되는 획득 모듈(21);

깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하도록 구성되는 세그먼트화 모듈(22);

각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하도록 구성되는 계산 모듈(23);

대응하는 깊이 기준 값에 기초하여 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하도록 구성되는 결정 모듈(24); 및

깊이 이미지의 각각의 픽셀의 깊이 값을, 각각의 픽셀이 위치된 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위로 조절하도록 구성되는 조절 모듈(25)을 포함한다.

일 실시예에서, 세그먼트화 모듈(22)은, 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하고; 윤곽 세그먼트화 정보에 기초하여 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하도록 추가로 구성된다.

본 발명의 일 실시예에서, 세그먼트화 모듈(22)은, 캡처된 이미지에 대해 그레이 프로세싱을 수행하여 그레이 이미지를 획득하고; 그레이 이미지에 대해 에지 추출을 수행하여 윤곽 이미지를 획득하고; 윤곽 이미지에 대해 윤곽 팽창 프로세싱을 수행하여 윤곽 팽창 이미지를 획득하고; 윤곽 팽창 이미지를 반전시켜 반전된 이미지를 획득하고; 워터쉐드 알고리즘을 이용하여 반전된 이미지의 윤곽 세그먼트화 정보를 계산하도록 추가로 구성된다.

본 발명의 일 실시예에서, 계산 모듈(23)은, 세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거하고; 블랙 포인트 픽셀 및 밝은 포인트 픽셀이 제거된 세그먼트화 유닛에 대해, 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅하고; 가장 많은 수의 픽셀들이 갖는 깊이 값을, 세그먼트화 유닛에 대한 깊이 기준 값으로 결정하도록 추가로 구성된다.

본 발명의 일 실시예에서, 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위는 깊이 기준 값의 0.5~1.3배이다.

본 발명의 일 실시예에서, 조절 모듈(25)은, 깊이 이미지의 픽셀을 설정된 방향을 따라 횡단하도록 추가로 구성되고, 횡단 절차에서, 현재 픽셀의 깊이 값이, 현재 픽셀의 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위를 넘으면, 깊이 이미지의 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프들의 설정된 수 밖으로 확산될 수 있고; 현재 판독되고 있는 픽셀이 세그먼트화 유닛 내에 있고, 그 깊이 값이 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위 내에 있으면, 루프를 종료시키고, 현재 픽셀의 깊이 값은, 현재 판독되고 있는 픽셀의 깊이 값으로 조절되고; 루프들의 설정된 수가 끝나고, 현재 픽셀의 깊이 값이 조절되지 않으면, 현재 픽셀의 깊이 값은 세그먼트화 유닛에 대응하는 깊이 기준 값으로서 조절된다.

본 발명의 일 실시예에서, 주위 픽셀들은 현재 픽셀의 교차형 방향 상에 위치된다.

본 발명의 일 실시예에서, 루프들의 설정된 수는 5이고, 설정된 방향은, 행에서는 좌측에서 우측으로 또는 우측에서 좌측으로, 또는 열에서는 위에서 아래로 또는 아래에서 위로의 방향이다.

본 발명의 상기 실시예들에 따라 깊이 이미지를 프로세싱하기 위한 장치는 깊이 이미지에 대한 잡음제거 프로세싱을 수행할 수 있고, 프로세싱된 깊이 이미지의 윤곽은 더 명확하고 식별하기에 더 용이하다. 따라서, 깊이 이미지의 품질을 개선할 수 있다.

본 기술분야의 당업자들에 대해, 본 발명의 사상 및 실체로부터 벗어남이 없이 다양한 변형들 및 변화들이 행해질 수 있음은 자명하다. 상기 언급된 실시예들은 오직 예시적이며, 청구항들에 의해 정의되는 본 발명의 범주를 제한하는 것으로 의도되지 않는다.

Claims

깊이 이미지를 프로세싱하기 위한 방법으로서,
깊이 이미지 및 상기 깊이 이미지에 대응하는 캡처된 이미지를 획득하는 단계;
상기 깊이 이미지를 세그먼트화(segmenting)하여 복수의 세그먼트화 유닛들(segmentation units)을 획득하는 단계;
각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계;
상기 대응하는 깊이 기준 값에 기초하여 상기 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위(a standard range of depth value)를 결정하는 단계; 및
상기 깊이 이미지의 각각의 픽셀의 깊이 값을, 상기 각각의 픽셀이 위치된 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위로 조절하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하는 단계는,
상기 캡처된 이미지에 대해 윤곽 세그먼트화(contour segmentation)를 수행하여 윤곽 세그먼트화 정보를 획득하는 단계; 및
상기 윤곽 세그먼트화 정보에 기초하여 상기 깊이 이미지를 세그먼트화하여 상기 복수의 세그먼트화 유닛들을 획득하는 단계
를 포함하는, 방법.
제2항에 있어서, 상기 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하는 단계는,
상기 캡처된 이미지에 대해 그레이 프로세싱(gray processing)을 수행하여 그레이 이미지를 획득하는 단계;
상기 그레이 이미지에 대해 에지 추출(edge extraction)을 수행하여 윤곽 이미지를 획득하는 단계;
상기 윤곽 이미지에 대해 윤곽 팽창 프로세싱(contour dilation processing)을 수행하여 윤곽 팽창 이미지를 획득하는 단계;
상기 윤곽 팽창 이미지를 반전(reversing)시켜 반전된 이미지를 획득하는 단계; 및
워터쉐드 알고리즘(watershed algorithm)을 이용하여 상기 반전된 이미지의 상기 윤곽 세그먼트화 정보를 계산하는 단계
를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하는 단계는,
상기 세그먼트화 유닛에서 블랙 포인트 픽셀(black point pixel) 및 밝은 포인트 픽셀(bright point pixel)을 제거하는 단계;
상기 블랙 포인트 픽셀 및 상기 밝은 포인트 픽셀이 제거된 상기 세그먼트화 유닛에 대해 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅(counting)하는 단계; 및
가장 많은 수의 픽셀들이 갖는 깊이 값을, 상기 세그먼트화 유닛에 대한 깊이 기준 값으로서 결정하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 각각의 세그먼트화 유닛에 대한 상기 깊이 값의 표준 범위는 상기 깊이 기준 값의 0.5~1.3배인, 방법.
제1항에 있어서, 상기 깊이 이미지의 각각의 픽셀의 깊이 값을, 상기 각각의 픽셀이 위치된 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위로 조절하는 단계는,
상기 깊이 이미지의 픽셀을 설정된 방향을 따라 횡단(traversing)하는 단계를 포함하고, 상기 횡단 절차에서,
현재 픽셀의 깊이 값이, 상기 현재 픽셀이 위치된 상기 세그먼트화 유닛에 대응하는 깊이 값의 표준 범위를 넘으면, 상기 깊이 이미지의 상기 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프(loop)들의 설정된 수 밖으로 확산(spread)되고;
현재 판독되고 있는 픽셀이 상기 세그먼트화 유닛 내에 있고, 그 깊이 값이 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위 내에 있으면, 상기 루프를 종료시킬 수 있고, 상기 현재 픽셀의 깊이 값은 상기 현재 판독되고 있는 픽셀의 깊이 값으로서 조절되고;
상기 루프들의 설정된 수가 끝나고, 상기 현재 픽셀의 깊이 값이 조절되지 않으면, 상기 현재 픽셀의 깊이 값은 상기 세그먼트화 유닛에 대응하는 상기 깊이 기준 값으로서 조절되는, 방법.
제6항에 있어서, 상기 주위 픽셀들은 상기 현재 픽셀의 교차형 방향(cross type direction) 상에 위치되는, 방법.
제6항 또는 제7항에 있어서, 상기 루프들의 설정된 수는 5이고, 상기 설정된 방향은, 행에서는 좌측에서 우측으로 또는 우측에서 좌측으로, 또는 열에서는 위에서 아래로 또는 아래에서 위로의 방향인, 방법.
깊이 이미지를 프로세싱하기 위한 장치로서,
깊이 이미지 및 상기 깊이 이미지에 대응하는 캡처된 이미지를 획득하도록 구성되는 획득 모듈;
상기 깊이 이미지를 세그먼트화하여 복수의 세그먼트화 유닛들을 획득하도록 구성되는 세그먼트화 모듈;
각각의 세그먼트화 유닛에 대한 대응하는 깊이 기준 값을 계산하도록 구성되는 계산 모듈;
상기 대응하는 깊이 기준 값에 기초하여 상기 각각의 세그먼트화 유닛에 대한 깊이 값의 표준 범위를 결정하도록 구성되는 결정 모듈; 및
상기 깊이 이미지의 각각의 픽셀의 깊이 값을, 상기 각각의 픽셀이 위치된 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위로 조절하도록 구성되는 조절 모듈
을 포함하는, 장치.
제9항에 있어서, 상기 세그먼트화 모듈은, 상기 캡처된 이미지에 대해 윤곽 세그먼트화를 수행하여 윤곽 세그먼트화 정보를 획득하고; 상기 윤곽 세그먼트화 정보에 기초하여 상기 깊이 이미지를 세그먼트화하여 상기 복수의 세그먼트화 유닛들을 획득하도록 추가로 구성되는, 장치.
제10항에 있어서, 상기 세그먼트화 모듈은, 상기 캡처된 이미지에 대해 그레이 프로세싱을 수행하여 그레이 이미지를 획득하고; 상기 그레이 이미지에 대해 에지 추출을 수행하여 윤곽 이미지를 획득하고; 상기 윤곽 이미지에 대해 윤곽 팽창 프로세싱을 수행하여 윤곽 팽창 이미지를 획득하고; 상기 윤곽 팽창 이미지를 반전시켜 반전된 이미지를 획득하고; 워터쉐드 알고리즘을 이용하여 상기 반전된 이미지의 상기 윤곽 세그먼트화 정보를 계산하도록 추가로 구성되는, 장치.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 계산 모듈은, 상기 세그먼트화 유닛에서 블랙 포인트 픽셀 및 밝은 포인트 픽셀을 제거하고; 상기 블랙 포인트 픽셀 및 상기 밝은 포인트 픽셀이 제거된 상기 세그먼트화 유닛에 대해 상이한 깊이 값들을 갖는 픽셀들의 수를 카운팅하고; 가장 많은 수의 픽셀들이 갖는 깊이 값을, 상기 세그먼트화 유닛에 대한 깊이 기준 값으로서 결정하도록 추가로 구성되는, 장치.
제9항에 있어서, 상기 각각의 세그먼트화 유닛에 대한 상기 깊이 값의 표준 범위는 상기 깊이 기준 값의 0.5~1.3배인, 장치.
제9항에 있어서, 상기 조절 모듈은, 상기 깊이 이미지의 픽셀을 설정된 방향을 따라 횡단하도록 추가로 구성되고, 상기 횡단 절차에서,
현재 픽셀의 깊이 값이, 상기 현재 픽셀이 위치된 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위를 넘으면, 상기 깊이 이미지의 상기 현재 픽셀에 중심을 둔 주위 픽셀들의 깊이 값들이 순차적으로 판독되고, 루프들의 설정된 수 밖으로 확산되고;
현재 판독되고 있는 픽셀이 상기 세그먼트화 유닛 내에 있고, 그 깊이 값이 상기 세그먼트화 유닛에 대응하는 상기 깊이 값의 표준 범위 내에 있으면, 상기 루프를 종료시킬 수 있고, 상기 현재 픽셀의 깊이 값은 상기 현재 판독되고 있는 픽셀의 깊이 값으로서 조절되고;
상기 루프들의 설정된 수가 끝나고, 상기 현재 픽셀의 깊이 값이 조절되지 않으면, 상기 현재 픽셀의 깊이 값은 상기 세그먼트화 유닛에 대응하는 상기 깊이 기준 값으로서 조절되는, 장치.
제14항에 있어서, 상기 주위 픽셀들은 상기 현재 픽셀의 교차형 방향 상에 위치되는, 장치.
제14항 또는 제15항에 있어서, 상기 루프들의 설정된 수는 5이고, 상기 설정된 방향은, 행에서는 좌측에서 우측으로 또는 우측에서 좌측으로, 또는 열에서는 위에서 아래로 또는 아래에서 위로의 방향인, 장치.