KR101552694B1 - 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치 - Google Patents

Abstract

본 발명은 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것으로서, 더욱 상세히는 3차원 점군 데이터를 실시간 송수신하기 위하여 깊이정보를 이미지로 생성하여 전송함으로써 점군 데이터의 전송에 필요한 대역폭을 절감시킬 수 있는 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것이다. 본 발명은 3차원 스캔을 통해 생성된 점군 데이터의 깊이값을 양자화하여 2차원 이미지 프레임을 구성하는 각 픽셀에 포함된 각 채널별 채널값으로 할당하여 깊이 이미지를 생성하고, 상기 깊이 이미지를 영상 코덱을 통해 압축하여 네트워크를 통해 전송할 수 있어, 3차원 점군 데이터의 전송시 2차원 이미지 프레임의 전송에 필요한 대역폭만으로 전송이 가능하여 점군 데이터의 실시간 전송을 용이하게 지원하는 효과가 있다.

Description

점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치{Real-time transmitting system and method for point cloud data, and apparatus applied to the same}

본 발명은 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것으로서, 더욱 상세히는 3차원 점군 데이터를 실시간 송수신하기 위하여 깊이정보를 이미지로 생성하여 전송함으로써 점군 데이터의 전송에 필요한 대역폭을 절감시킬 수 있는 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치에 관한 것이다.

영상 기술과 각종 네트워크의 발전과 더불어 카메라를 통해 촬영된 2차원 이미지를 네트워크를 통해 전송하여 이를 통해 각종 정보를 획득할 수 있게 되었다.

그러나, 이러한 2차원 이미지에서 획득할 수 있는 정보의 한계에 따라 최근 3차원 이미지를 획득하기 위한 연구가 활발히 진행되고 있으며, 이에 따른 결과물로 환경이나 대상물의 스캔을 통해 3차원 이미지를 구성하는 3차원 점군 데이터를 생성하기 위한 레이저 스캐너, 3차원 감지 카메라 등을 포함하는 측정 기기의 개발 및 도입이 확산되고 있는 추세이다.

상술한 측정 기기를 통해 획득되는 3차원 점군 데이터는 기존의 2차원 좌표 정보 이외에 깊이 값에 대한 추가 정보를 제공하여, 다양한 시점에서 환경 및 객체를 3차원으로 인식할 수 있도록 지원하며, 이를 통해 객체 식별 및 환경에 대한 정확한 정보를 제공할 수 있다.

그러나, 이러한 점군 데이터를 네트워크를 전송하기 위해서 요구되는 대역폭이 기존 2차원 영상에 필요한 대역폭에 비해 현재 제공되는 광대역 네트워크의 대역폭에 수용할 수 없을 정도로 크기 때문에 점군 데이터의 실시간 전송이 불가능하여 점군 데이터를 이용한 실시간으로 활용하도록 지원하는데 어려움이 있다.

또한, 이러한 점군 데이터를 현재 제공되는 압축 방식으로 압축하여 전송하는 경우 압축 과정에서 발생하는 점군 데이터의 손실이 매우 크므로, 점군 데이터로부터 얻어지는 3차원 이미지의 왜곡이 발생하며 이로 인해 3차원 이미지의 신뢰도 및 효용성을 보장할 수 없는 문제점이 있다.

따라서, 이러한 점군 데이터를 데이터 손실을 최소화하면서 현재 지원되는 네트워크 대역폭을 통해 실시간으로 전송할 수 있는 시스템의 지원이 요구되고 있다.

한국등록특허 제10-0930626호

상술한 문제점을 해결하기 위하여 본 발명은 점군 데이터에 포함된 깊이값을 양자화하고 양자화된 깊이값이 이미지의 채널값으로 매핑하여 생성된 깊이 이미지를 네트워크를 통해 전송할 수 있도록 제공하여, 기존 점군 데이터의 전송에 필요한 대역폭을 이미지 전송에 필요한 대역폭으로 감소시켜 용이하게 점군데이터의 실시간 전송을 지원하는데 그 목적이 있다.

또한, 본 발명은 점군데이터의 깊이값을 양자화하는 과정에서 발생하는 깊이값의 오차 범위를 고려하여 이미지의 채널값으로 매핑하고, 깊이값에 대한 양자화레벨을 세분화하여 깊이값에 대한 양자화 정밀도를 향상시키도록 하여, 점군데이터의 수신측에서 양자화로 인한 오차를 최소화하면서 복원할 수 있도록 제공하여 점군 데이터에 대한 정확한 정보를 제공하는데 그 목적이 있다.

본 발명의 실시예에 따른 점군데이터를 위한 실시간 송신 장치는 측정 대상을 스캔하는 측정부로부터 점군 데이터를 획득하는 점군 데이터 생성부와, 상기 점군 데이터로부터 얻은 깊이값을 양자화하는 양자화부와, 상기 양자화된 깊이값을 2차원 깊이 이미지의 3개 채널에 각각 채널값으로 매핑하는 채널 매핑부와, 상기 양자화된 깊이값이 상기 채널값으로 매핑된 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하는 영상 코딩부 및 상기 압축된 깊이 이미지를 전송하는 통신부를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 채널 매핑부는 3개 채널 매핑시 영상 코덱의 압축 및 복원 오차를 고려하여 각 채널의 상기 채널값을 복수 비트 영역을 단위로 하여 양자화된 깊이값과 매핑하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 채널 매핑부는 상기 양자화된 깊이값의 크기에 따라 채널 1 내지 3 중 어느 하나에 할당하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 채널 매핑부는 상기 양자화된 깊이값을 미리 설정된 단위값으로 나눈 나머지와 몫에 따라 상기 양자화된 깊이값을 상기 3개 채널 중 2개 채널의 채널값으로 매핑하되, 각 채널에 미리 설정된 오차 허용 범위에 따른 최대값과 최소값의 차이에 상기 각 채널에 대응되는 상기 나머지 또는 몫의 크기에 따라 배수한 상기 각 채널의 채널값으로 매핑하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 채널 매핑부는 상기 양자화된 깊이값을 상기 2개 채널을 제외한 나머지 채널에 미리 설정된 오차 허용 범위에 따른 최대값과 최소값의 차이에 상기 양자화된 깊이값의 최상위 자리수의 크기에 따라 배수한 채널값으로 매핑하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 3개 채널은 각각 R, G, B 채널인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 측정부는 점군데이터의 생성을 위한 레이저 스캐너 또는 3차원 카메라를 포함하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 점군데이터를 위한 실시간 수신 장치는 점군 데이터에 대한 압축 영상을 수신하는 수신부와, 상기 압축 영상을 복원하는 영상 디코딩부와, 상기 복원된 이미지 프레임을 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하는 채널 복원부와, 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하는 점군 데이터 생성부와, 상기 점군 데이터에서 상기 압축 영상에 대한 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정하는 보정부 및 상기 보정된 점군 데이터를 표현하는 표현부를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 채널 복원부는 상기 깊이값을 복수의 단계로 양자화한 양자화 레벨과 상기 픽셀별 채널값이 상호 매핑된 룩업 테이블을 포함하며, 상기 채널 복원부는 상기 룩업 테이블을 기초로 상기 픽셀별 채널값에 대응되는 양자화 레벨에 미리 설정된 깊이값으로 복원하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 룩업 테이블은 각 양자화 레벨에 대응되는 채널값의 오차 허용 범위가 설정되며, 상기 채널 복원부는 상기 오차 허용 범위에 속하는 서로 다른 채널값을 동일한 깊이값으로 복원하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 룩업 테이블은 상기 채널값에 오차를 반영한 최대값 및 최소값을 상기 채널값의 오차 허용 범위로 저장하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 보정부는 깊이 테스트를 통해 상기 고스트 포인트를 제거하여 보정하거나 상기 빈 영역에 폴리곤을 생성하여 빈 영역을 보정하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 방법은 측정 대상을 3차원 스캔하는 측정부와 통신하는 송신 장치가 상기 측정부로부터 점군 데이터를 획득하는 단계와, 상기 송신 장치가 상기 점군 데이터로부터 얻은 깊이값을 양자화하고, 양자화된 깊이값을 2차원 이미지의 각 픽셀을 구성하는 3개 채널에 각각 채널값으로 매핑하여 깊이 이미지를 생성하는 단계와, 상기 송신 장치가 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하여 수신 장치로 전송하는 단계와, 상기 수신 장치가 상기 송신 장치로부터 압축된 깊이 이미지를 수신하여 복원하는 단계와, 상기 수신 장치가 상기 복원된 깊이 이미지를 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하여 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하는 단계와, 상기 수신 장치가 상기 점군 데이터에서 상기 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정하는 단계 및 상기 수신 장치가 보정된 점군 데이터를 표현하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템은 측정 대상을 스캔하는 측정부로부터 점군 데이터를 획득하고, 상기 점군 데이터로부터 얻은 깊이값을 양자화하여 2차원 이미지의 각 픽셀을 구성하는 3개 채널에 각각 채널값으로 매핑하여 깊이 이미지를 생성하고, 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하여 전송하는 송신 장치 및 상기 송신 장치로부터 압축된 깊이 이미지를 수신하여 복원하고, 상기 복원된 깊이 이미지를 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하며, 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하고, 상기 점군 데이터에서 상기 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정한 점군 데이터를 표현하는 수신 장치를 포함할 수 있다.

본 발명은 3차원 스캔을 통해 생성된 점군 데이터의 깊이값을 양자화하여 2차원 이미지 프레임을 구성하는 각 픽셀에 포함된 각 채널별 채널값으로 할당하여 깊이 이미지를 생성하고, 상기 깊이 이미지를 영상 코덱을 통해 압축하여 네트워크를 통해 전송할 수 있어, 3차원 점군 데이터의 전송시 2차원 이미지 프레임의 전송에 필요한 대역폭만으로 전송이 가능하여 점군 데이터의 실시간 전송을 용이하게 지원하는 효과가 있다.

또한, 본 발명은 점군 데이터의 깊이값에 대한 깊이 이미지를 수신한 수신 장치에서 깊이 이미지를 통해 용이하게 깊이값을 복원하여 점군 데이터를 복원할 수 있으며, 깊이 이미지의 송수신시 영상 코덱의 사용에 따라 생성되는 고스트 포인트나 빈 영역을 보정하여 최초 점군데이터의 손실을 최소화할 수 있어 점군데이터에 대한 정보 정확성을 높이는 효과가 있다.

더하여, 본 발명은 송신장치에서 깊이값의 양자화시 영상 코덱의 사용에 따른 오차 범위를 고려하는 동시에 양자화된 깊이값을 복수의 양자화 레벨로 세분화하여 깊이값을 정밀하게 채널값으로 매핑할 수 있으며, 이에 따라 수신 장치에서 영상 코덱의 사용에 따른 채널값의 오차 발생시에도 오차 허용 범위가 설정된 룩업테이블을 통해 오차가 발생된 채널값으로부터 깊이값을 용이하게 복원하고 이를 취합하여 최초 점군데이터의 손실을 최소화한 점군데이터로 복원할 수 있으므로 점군데이터를 네트워크를 통해 고속으로 전송하는 동시에 점군데이터의 복원 정확도를 높이는 효과가 있다.

도 1은 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 송신 장치에서 깊이값을 채널값으로 매핑하기 위한 구성 예시도.
도 3은 본 발명의 실시예에 따른 송신 장치에서 깊이 이미지에 대한 압축 과정을 도시한 구성 예시도.
도 4는 본 발명의 실시예에 따른 최초 깊이 이미지와 복원된 깊이 이미지 사이의 채널값 변화에 따른 깊이값 차이에 대한 예시도.
도 5는 본 발명의 실시예에 따른 송신 장치와 수신 장치의 압축 및 복원 과정에서 발생하는 채널값 변화에 대한 예시도.
도 6은 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템에서 점군데이터의 복원시 발생하는 고스트 포인트에 대한 예시도.
도 7은 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템의 R, G, B 채널을 이용한 최초 점군데이터와 복원된 점군데이터에 대한 예시도.
도 8은 본 발명의 실시예에 따른 송신 장치의 양자화 과정에 대한 예시도.
도 9는 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템에서 빈 영역에 대한 보정과정에 대한 예시도.
도 10은 본 발명의 실시예에 따른 송신 장치의 2개 채널을 이용한 깊이값의 채널 매핑에 대한 예시도.
도 11은 본 발명의 실시예에 따른 수신 장치의 룩업 테이블에 대한 예시도.
도 12는 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템의 R, G, B 채널을 이용하여 복원된 점군데이터와 2개 채널을 이용하여 복원된 점군데이터의 비교를 위한 예시도.
도 13은 본 발명의 실시예에 따른 송신 장치의 3개 채널을 이용한 깊이값의 채널 매핑에 대한 예시도.
도 14는 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템에서 3개 채널을 이용하여 복원된 점군데이터에 대한 예시도.
도 15는 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 시스템에서 프레임 이미지 및 깊이 이미지의 실시간 송수신 구성에 대한 예시도.
도 16은 본 발명의 실시예에 따른 점군데이터를 위한 실시간 송수신 방법에 대한 순서도.

이하, 도면을 참고하여 본 발명이 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 점군 데이터를 위한 실시간 송수신 시스템의 구성 예시도로서, 도시된 바와 같이 상기 점군 데이터를 위한 실시간 송수신 시스템은 송신 장치(100) 및 수신 장치(200)를 포함하며, 상기 송신 장치(100)는 네트워크를 통해 데이터를 상기 수신 장치(200)로 전송할 수 있다.

이때, 상기 네트워크는 3G, 4G, LTE, WiFi 등을 포함할 수 있다.

상술한 구성에서 상기 송신 장치(100)는 점군 데이터의 깊이값을 양자화하여 영상에 포함된 복수의 채널에 매핑하여 2차원 깊이 이미지를 생성하고, 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축(코딩)하여 상기 수신 장치(200)로 전송할 수 있다.

이에 따라, 상기 수신 장치(200)는 상기 송신 장치(100)로부터 압축 영상을 수신하며, 상기 압축 영상을 복원(디코딩)하여 복원된 깊이 이미지를 얻을 수 있다. 이후, 상기 수신 장치(200)는 상기 복원된 깊이 이미지로부터 깊이값을 복원하며, 복원된 깊이값을 포함하는 점군 데이터를 획득할 수 있다.

이와 같이, 본 발명은 점군 데이터를 이미지를 구성하는 채널에 매핑하여 깊이 이미지를 생성하고, 해당 깊이 이미지를 영상 코덱으로 압축하여 전송함으로써 영상을 구성하는 프레임 이미지의 전송에 필요한 대역폭 수준으로 점군 데이터를 전송할 수 있어, 점군 데이터의 실시간 전송을 용이하게 지원할 수 있다.

상술한 구성을 바탕으로, 상기 송신 장치(100)와 수신 장치(200)의 상세 구성을 도 1을 통해 상세히 설명한다.

우선 도시된 바와 같이, 상기 송신 장치(100)는 점군 데이터 생성부(110), 양자화부(120), 채널 매핑부(130), 영상 코딩부(140) 및 통신부(150)를 포함할 수 있다.

상기 점군 데이터 생성부(110)는 측정 대상을 3차원 스캔하는 측정부(10)로부터 전송되는 스캔정보를 기초로 점군 데이터를 생성하며, 상기 점군 데이터를 상기 양자화부(120)로 제공할 수 있다.

이때, 상기 측정부(10)는 측정 대상을 스캔하여 점군 데이터를 생성하기 위한 3차원 카메라 또는 레이저 스캐너 등을 포함할 수 있다.

또한, 상기 점군 데이터 생성부(110)는 상기 측정부(10)로부터 전송되는 스캔정보로부터 미리 설정된 크기의 이미지를 구성하는 각 픽셀별로 픽셀의 좌표값(x, y) 및 픽셀의 깊이값(z)을 포함하는 점군 데이터를 생성할 수 있다.

한편, 상기 양자화부(120)는 상기 점군 데이터의 깊이 값을 양자화할 수 있으며, 일례로 상기 깊이값(depth)을 하기 수학식 1에 대입하여 산출한 양자화 레벨(input value)로 양자화할 수 있다.

한편, 상기 채널 매핑부(130)는 상기 양자화 레벨(input value)에 대응되는 채널값으로 상기 깊이값을 매핑시킬 수 있으며, 이를 위해 상기 채널 매핑부(130)는 도 2에 도시된 바와 같이 각 채널별로 상기 양자화 레벨에 대응되는 범위가 미리 설정될 수 있다.

이를 통해, 상기 채널 매핑부(130)는 상기 점군 데이터에 포함된 픽셀별 깊이값이 양자화되어 픽셀별 채널값으로 매핑된 깊이 이미지를 생성할 수 있다.

일례로, 상기 깊이 이미지는 픽셀별로 R, G, B의 3개 채널로 구성될 수 있으며, 상기 각 채널은 8bit로 구성되어 0~255의 값을 가질 수 있다. 따라서, 상기 3개 채널은 도합 768의 값을 가질 수 있다.

이에 따라, 상기 채널 매핑부(130)는 상기 양자화 레벨과 각 채널의 범위를 비교하여 상기 양자화 레벨이 속하는 채널을 선택하고, 상기 양자화 레벨을 선택된 채널에 대응되는 채널값으로 변환할 수 있다.

이를 통해, 상기 양자화부(120)와 채널 매핑부(130)는 점군 데이터를 구성하는 픽셀별 깊이값을 깊이 이미지를 구성하는 픽셀별 채널값으로 매핑할 수 있다.

상술한 과정에 대한 실시예를 도 2를 통해 더욱 상세히 설명하면, 도시된 바와 같이 상기 채널 매핑부(130)는 상기 양자화부(120)를 통해 특정 픽셀에 대한 깊이값(depth)을 상기 수학식 1에 대입하여 산출된 양자화 레벨(input value)이 300인 경우 양자화 레벨이 G채널의 범위에 포함되므로 G 채널로 할당하고, 상기 양자화 레벨인 300에 대응되는 G채널의 값이 44이므로 상기 깊이값을 G 채널의 44에 해당하는 채널 값으로 매핑시킬 수 있다.

이때, 상술한 바와 같이 깊이 값을 3개 채널 중 하나로 매핑하는 이유는, R, G, B의 3개 채널을 단일 채널로 구성하는 경우 총 24bit로 데이터 단위가 커지게 되며 이로 인해 이후 프로세스에서 상위 비트에서 오류가 발생하는 경우 기존 깊이 값과의 단위 차이가 너무 커지게 되어 이를 보정하는데 어려움이 있다. 따라서, 상술한 바와 같이 8bit 단위로 구분된 채널로 구분하여 매핑시켜 채널 단위로 보정할 수 있어, 상위 비트의 오류에 따른 영향을 최소화할 수 있다.

이와 같이, 양자화부(120) 및 채널 매핑부(130)는 상기 점군 데이터의 픽셀별 깊이값을 양자화 레벨로 양자화하고, 상기 양자화 레벨을 상술한 바와 같이 이미지를 구성하는 R, G, B 채널의 채널값과 비교하여 대응되는 각 채널의 채널값으로 매핑하여 깊이 이미지를 생성할 수 있으며, 이를 통해 도 3에 도시된 바와 같이 픽셀별로 깊이값이 채널값으로 매핑된 깊이 이미지(20)를 생성할 수 있다.

다시 말해, 상술한 과정을 통해 채널 매핑부(130)는 점군데이터에 포함된 픽셀별 깊이값이 매핑된 픽셀별 채널값을 포함하는 2차원 이미지(깊이 이미지)를 생성할 수 있다.

한편, 상기 영상 코딩부(140)는 도 3에 도시된 바와 같이 상기 채널 매핑부(130)로부터 상기 깊이 이미지(20)를 수신하고, 상기 깊이 이미지(20)를 미리 설정된 영상 코덱에 따라 압축하여 압축 영상을 통신부(150)를 통해 수신 장치(200)로 전송할 수 있다.

이때, 상기 영상 코딩부(140)는 상기 깊이 이미지(20)를 H.264/AVC로 압축할 수 있으며, 이외에도 다양한 영상 코덱을 이용하여 상기 깊이 이미지(20)를 압축할 수 있다.

또한, 상기 영상 코딩부(140)는 상기 깊이 이미지에 대응되는 프레임 이미지를 함께 압축하여 압축 영상으로 생성하고, 상기 압축 영상을 수신 장치(200)로 전송할 수 있다.

상술한 바와 같이, 본 발명의 실시예에 따른 송신 장치(100)는 점군데이터에 포함된 픽셀별 깊이값을 양자화하고 양자화된 픽셀별 깊이값을 R, G, B 채널로 매핑하여 픽셀별 채널값을 생성하며, 이를 통해 상기 픽셀별 채널값으로 구성된 깊이 이미지를 생성할 수 있다.

이로 인해, 송신 장치(100)는 점군 데이터의 픽셀별 깊이값에 대한 깊이정보를 2차원 이미지 형태로 네트워크를 통해 수신장치(200)로 전송할 수 있어, 이미지 전송에 필요한 대역폭만으로 용이하게 점군데이터를 전송할 수 있으며, 이를 통해 점군데이터의 실시간 전송을 가능하게 한다.

한편, 수신 장치(200)는 도 1에 도시된 바와 같이 통신부(210), 영상 디코딩부(220), 채널 복원부(230), 점군데이터 생성부(240), 보정부(250) 및 표현부(260)를 포함할 수 있다.

상기 통신부(210)는 네트워크를 통해 상기 송신 장치(100)로부터 전송되는 압축 영상을 수신할 수 있으며, 상기 영상 디코딩부(220)는 상기 통신부(210)를 통해 수신된 압축 영상을 미리 설정된 상기 영상 코덱에 따라 복원하여 복원된 깊이 이미지를 생성할 수 있다.

이때, 영상 디코딩부(220)는 상기 H.264/AVC 코덱을 이용하여 복원할 수 있으며, 이외에 상기 영상 코딩부(140)에 적용된 영상 코덱에 대응되는 영상 코덱이 상기 영상 디코딩부(220)에 적용될 수 있다.

한편, 채널 복원부(230)는 깊이 이미지에 포함된 채널별 채널값에 대응되는 양자화 레벨에 대한 룩업 테이블이 미리 저장되며, 상기 룩업 테이블을 기초로 상기 복원된 깊이 이미지의 픽셀별 채널값에 대응되는 양자화 레벨을 추출하고 상기 양자화 레벨로부터 깊이값을 복원할 수 있다.

이때, 상기 채널 복원부(230)는 복수의 상기 양자화 레벨에 각각 대응되는 깊이값이 미리 저장될 수 있으며, 이를 통해 복원된 각 픽셀의 깊이값을 상기 점군데이터 생성부(240)로 전송할 수 있다.

이에 따라, 상기 점군데이터 생성부(240)는 각 픽셀의 좌표값과 각 픽셀에 대응되는 깊이값을 취합하여 점군데이터를 복원할 수 있다.

이때, 상기 송신 장치(100)의 영상 코덱을 이용한 압축 과정 및 상기 수신 장치(200)의 복원 과정에서 깊이 이미지의 의미 없는 일부 영역을 제거하여 도 4에 도시된 바와 같이 각 픽셀의 채널값이 상이하게 변화될 수 있다.

이에 따라, 상기 수신 장치의 채널 복원부(230)는 압축 이전의 최초 깊이 이미지에 포함된 각 픽셀의 채널값과 상이한 값을 가지는 복원된 깊이 이미지를 기초로 각 픽셀의 깊이값을 복원하게 되며, 이로 인해 상기 점군데이터 생성부(240)를 통해 복원된 점군데이터의 픽셀별 깊이값과 상기 송신 장치(100)의 점군데이터 생성부(110)가 생성하는 최초 점군데이터의 픽셀별 깊이값에 차이가 발생할 수 있다.

또한, 안티 얼라이싱(Anti-Aliasing)과 같은 다양한 알고리즘을 상기 깊이 이미지에 적용하여 도 5(a)에 도시된 바와 같이 상기 깊이 이미지의 경계선을 보상하는 과정에서 도 5(b)에 도시된 바와 같이 픽셀별 채널값이 변화되어 상기 최초 깊이 이미지와 동일 픽셀에서 상이한 채널값을 가지는 복원된 깊이 이미지를 생성할 수도 있다.

일례로, 상기 영상 코딩부(140)는 도 5(a)에 도시된 픽셀 2, 3, 5의 경우 안티 얼라이싱을 통해 경계선을 보상하기 위하여 도 5(b)에 도시된 바와 같이 상기 깊이 이미지의 일부 픽셀에서 채널값을 변화시키는 것을 알 수 있다.

이러한 채널값의 변화에 따라, 상기 채널 복원부(230)는 상기 복원된 깊이 이미지로부터 변화된 채널값에 따라 깊이값을 복원하므로, 상기 점군데이터 생성부(240)는 최초 점군데이터와 동일한 하나 이상의 픽셀에서 서로 다른 깊이값을 가진 복원된 점군데이터를 생성하며, 이로 인해 최초 점군데이터와 복원된 점군데이터 사이에 동일 픽셀에서 깊이값에 차이가 발생할 수 있다.

더하여, 이러한 채널값의 변화는 도 6(a)에 도시된 상기 송신 장치(100)가 생성한 최초 점군데이터와 달리 도 6(b)와 같이 상기 수신 장치(200)에서 생성한 복원된 점군데이터의 A 영역에 상기 최초 점군데이터에 존재하지 않는 고스트 포인트(ghost point)가 생성될 수 있다.

이와 같은 채널값의 변화에 따라 최초 점군데이터와 복원된 점군데이터의 픽셀별 깊이값에 차이가 발생하여, 부정확한 정보를 제공할 수 있다.

이와 같이 최초 점군데이터와 복원된 점군데이터 사이에 하나 이상의 픽셀에서 깊이값에 차이가 발생하여 부정확한 정보를 제공하는 것을 방지하기 위해, 상기 수신 장치(200)는 보정부(250)를 포함할 수 있다.

우선, 상기 보정부(250)는 상기 점군데이터 생성부(240)로부터 복원된 점군데이터를 수신하고, 상기 복원된 점군데이터에 깊이 테스트를 적용하여 상기 고스트 포인트를 제거할 수 있다.

한편, 상기 보정부(250)는 복원된 점군데이터를 상기 표현부(260)로 전송할 수 있으며, 상기 표현부(260)는 상기 복원된 점군데이터를 도 7(b)에 도시된 바와 같이 표현할 수 있다.

이때, 상기 표현부(260)를 통해 표현되는 복원된 점군데이터는 도 7(a)에 도시된 최초 점군데이터와 달리, 도 7(b)에 도시된 바와 같이 일부 픽셀에서 최초 점군 데이터와 상이한 깊이값을 가지며 이로 인해 레이어층이 형성되는 것을 알 수 있다.

이와 같은 상기 레이어층은 상기 송신 장치(100)의 양자화부(120)를 통한 양자화 과정에서 도 8에 도시된 바와 같이 서로 다른 픽셀에 대응되는 점군데이터 중 서로 다른 복수의 깊이값이 동일한 양자화 레벨로 양자화되어 발생하는 오차 및 상기 영상 코딩부(140) 및 디코딩부(220)를 통한 압축 및 복원 과정에서 발생하는 채널값의 변화로 인한 오차 등에서 기인한다. 따라서, 점군 데이터의 복원시 이러한 레이어층은 레이어 사이에 빈 영역(empty spot)을 형성한다.

따라서, 상기 보정부(250)는 도 9(a) 도시된 바와 같이 상기 복원된 점군데이터에서 발생한 빈 영역에 폴리곤을 생성하여 상기 빈 영역을 보정하며, 이를 통해 보정된 점군데이터를 상기 표현부(260)로 전송할 수 있다.

이를 통해, 상기 표현부(260)는 도 9(b)에 도시된 바와 같이 보정부(250)를 통해 고스트 포인트와 빈 영역이 보정된 점군데이터를 표현할 수 있다.

그러나, 상기 보정부(250)를 통해 보정된 점군데이터는 깊이값의 양자화로 인해 레이어층이 형성되어, 최초 점군데이터와 상이한 깊이값을 가지는 점군데이터를 제공하며 이로 인해 부정확한 정보를 제공하게 된다.

따라서, 이를 해결하기 위한 실시예를 상술한 구성을 참고하여 이하에서 설명한다.

우선, 상기 송신 장치(100)의 양자화부(120)는 복수 단계로 양자화 레벨을 세분화할 수 있으며, 이를 통해 수신 장치(200)에서 단위 영역에 포함되는 레이어층의 수를 증가시켜 레이어층의 깊이를 감소시키며 이를 통해 평면에 근접한 형태로 표현할 수 있다.

상기 송신 장치(100)의 양자화부(120)는 상기 점군데이터 생성부(110)로부터 제공되는 점군데이터의 깊이값을 양자화 레벨의 범위에 따라 양자화하여 복수의 양자화 레벨 중 어느 하나로 변환시킬 수 있으며, 상기 양자화부(120)는 상기 각 양자화 레벨에 대응되는 미리 설정된 범위의 깊이값이 미리 저장될 수 있다.

일례로, 깊이값이 0.5011~0.502m인 경우 1의 양자화 레벨을 가지도록 양자화할 수 있으며, 0.5021~0.503m인 경우 2의 양자화 레벨을 가지도록 양자화할 수 있다.

이와 같이, 양자화부(120)는 깊이값을 양자화하여 픽셀별 양자화 레벨을 생성할 수 있다.

한편, 상기 채널 매핑부(130)는 상기 양자화 레벨을 크기에 따라 R, G, B의 3개 채널로 할당하는 대신 상기 양자화 레벨을 미리 설정된 단위값으로 나눈 나머지와 몫을 서로 다른 채널에 할당하되, 상기 나머지 및 몫의 크기에 따라 각 채널에 미리 설정된 배수단위로 배수한 값을 각 채널에 설정된 기본값에 더하여 상기 양자화 레벨에 대응되는 각 채널의 채널값을 생성할 수 있다.

이때, 수신 장치(200)의 채널 복원부(230)는 상기 송신 장치(100)의 영상 코딩부(140) 및 상기 수신 장치(200)의 영상 디코딩부(220)에 의한 압축 및 복원시 발생하는 각 채널의 채널값의 변화에 따른 오차를 고려하여 오차 발생시에도 변화된 채널값이 오차 허용 범위 내인 경우 용이하게 양자화 레벨을 복원할 수 있도록 한다. 이러한 오차 허용 범위에 대한 설명은 이하에서 더욱 상세히 설명한다.

이에 따라, 상기 채널 매핑부(130)는 서로 인접한 양자화 레벨에 대응되는 동일 채널의 채널값을 상기 오차 허용 범위에 따른 최대값과 최소값의 차이를 상기 배수단위로 설정하여, 각 양자화 레벨에 오차 허용 범위를 설정할 수 있도록 할 수 있다.

일례로, 도 10에 도시된 바와 같이 상기 채널 매핑부(130)는 주채널(Principal channel)과 부채널(Reference channel) 및 널채널(Null channel)의 3개 채널이 설정될 수 있으며, 미리 설정된 단위값으로 상기 양자화 레벨을 나눈 나머지를 주채널에 할당하고, 몫을 부채널에 할당할 수 있다. 이때, 상기 널채널은 사용하지 않도록 구성하여 2개의 채널로 양자화 레벨을 매핑시킬 수 있다.

또한, 상기 채널 매핑부(130)는 나머지의 크기에 따라 순차적으로 5씩 증가하도록 배수단위를 설정할 수 있으며, 이에 따라 양자화 레벨이 1인 경우 상기 단위값인 40으로 나누면 나머지가 1이므로 미리 설정된 배수단위인 5로 배수한 값인 5를 산출하고 주채널에 미리 설정된 기본값인 10에 상기 산출된 5를 더하여 15를 양자화 레벨 1에 대응되는 주채널의 채널값으로 생성할 수 있다.

이때, 상기 채널 매핑부(130)는 양자화 레벨이 1인 경우 몫이 0이므로 부채널에 미리 설정된 배수단위인 10으로 배수하여 0을 산출하고, 이를 기본값에 더하여 양자화 레벨 1에 대응되는 부채널의 채널값으로 10을 산출할 수 있다.

이때, 주채널과 부채널에 미리 설정되는 배수단위는 상술한 바와 같이 서로 상이할 수 있으며, 동일할 수도 있음은 물론이다.

또한, 상기 채널 매핑부(130)는 양자화 레벨이 39인 경우 상기 단위값인 40으로 나눈 나머지가 39이므로 나머지인 39에 미리 설정된 배수단위인 5배수를 적용하고, 상기 주채널에 설정된 기본값인 10을 더하여 양자화 레벨 39에 대응되는 주채널의 채널값으로 205를 산출할 수 있으며, 몫이 0이므로 상술한 바와 같이 양자화 레벨 39에 대응되는 부채널의 채널값으로 10을 산출할 수 있다.

한편, 상기 채널 매핑부(130)는 양자화 레벨이 40인 경우 상기 단위값인 40으로 나눈 나머지가 0이므로 10이 양자화 레벨 40에 대응되는 주채널의 채널값으로 산출되고, 몫이 1이므로 부채널에 미리 설정된 배수단위인 10배수를 하면 10이 산출되어 이를 부채널의 기본값인 10에 더하여 양자화 레벨 40에 대응되는 부채널의 채널값으로 20을 산출할 수 있다.

이때, 상기 채널 매핑부(130)는 상기 각 채널마다 기본값이 설정된 것으로 예시하였으나, 이는 가장 낮은 양자화 레벨에 대한 오차 범위 설정을 위함이며, 상술한 구성과 같이 기본값을 설정하는 것이 바람직하나 필요에 따라 기본값 없이 각 채널의 채널값을 산출할 수도 있음은 당연하다.

또한, 상기 채널 매핑부(130)는 나머지 또는 몫을 상기 배수단위로 배수하여 채널값을 산출하는 것으로 예시하였으나, 상기 배수단위에 나머지 또는 몫의 크기에 따라 배수한 것 역시 동일한 채널값이 산출되므로, 결국 몫 또는 나머지와 상기 배수단위를 곱하여 채널값을 산출하는 것을 의미할 수 있다.

상술한 바에 따르면, 주채널은 단위값의 주기로 리프레쉬되며, 부채널은 주채널이 리프레쉬 될 때마다 소정의 값만큼 증가하는 것을 알 수 있다.

따라서, 이러한 구성에 따라 채널 매핑부(130)는 도시된 바와 같이 양자화 레벨의 범위가 0~255인 경우 깊이값을 0~255 중 어느 하나의 양자화 레벨로 생성하고, 생성된 양자화 레벨에 대응되는 주채널과 부채널의 각 채널에 채널값을 할당할 수 있다. 이에 따라, 상기 채널 매핑부(130)는 픽셀별로 깊이값을 양자화하여 생성한 양자화 레벨에 따라 할당된 각 채널의 채널값에 상기 깊이값을 매핑할 수 있으며, 이를 통해 픽셀별로 채널별 채널값이 할당된 깊이 이미지를 생성할 수 있다.

다시 말해, 상기 채널 매핑부(130)는 깊이값을 양자화하여 생성된 양자화 레벨에 따라 픽셀의 깊이값을 깊이 이미지를 구성하는 각 채널의 채널값으로 매핑할 수 있다.

이때, 상기 채널 매핑부(130)는 각 양자화 레벨에 대응되는 각 채널의 채널값이 미리 설정될 수도 있으며, 픽셀별로 깊이값을 양자화하여 생성한 양자화 레벨에 대응되는 채널별 채널값으로 용이하게 매핑하여, 픽셀별로 깊이값에 대응되는 채널별 채널값을 포함하는 깊이 이미지를 생성할 수 있다.

따라서, 상기 채널 매핑부(130)는 픽셀별 깊이값을 크기에 따라 256 단계의 양자화 레벨로 구분하여 픽셀별 채널값으로 매핑된 깊이 이미지를 생성할 수 있다.

그러나, 상술한 R, G, B 채널을 통해 할당할 수 있는 채널값이 0~767까지이므로 깊이값을 768단계의 양자화 레벨 범위로 양자화할 수 있어, 주채널과 부채널을 이용하여 구분된 256단계의 양자화 레벨 범위보다 정밀도가 높다.

여기서, 상기 채널 매핑부(130)는 각 채널당 8bit씩 0~255의 값을 저장할 수 있으므로, 상술한 구성에 따라 주채널과 부채널을 포함하는 2개 채널을 이용하는 경우 부채널이 250의 값을 가질 때까지 양자화 레벨을 구분할 수 있으며, 결국 주채널과 부채널의 2개 채널을 이용하는 것만으로 주채널을 40단계의 양자화 레벨로 구분하고, 부채널을 24단계의 양자화 레벨로 구분할 수 있으며, 이를 통해 주채널과 부채널의 단계수를 곱하게 되면 960단계(0~959)로 양자화 레벨 범위를 세분화할 수 있다.

이를 통해, R, G, B의 3개 채널을 이용하는 경우 양자화 레벨 범위가 768 단계까지가 한계인 반면에 상술한 주채널 및 부채널의 단 2개 채널을 이용한 것만으로 양자화 레벨 범위를 960 단계까지 확장이 가능하여, 상기 채널 매핑부(130)는 R, G, B 채널보다 적은 개수의 채널을 이용하여 더욱 정밀하게 깊이값을 구분하여 매핑시킬 수 있다.

이때, 상기 양자화부(120)는 상기 채널 매핑부(130)의 양자화 레벨 범위에 대응되어 깊이값을 양자화하여 양자화 레벨을 생성할 수 있음은 물론이다.

또한, 상기 채널 매핑부(130)는 주채널 및 부채널에 설정된 배수단위를 조절할 수 있으며, 이에 따라 배수단위를 작게 설정하여 양자화 레벨 범위를 0~999까지 표현할 수 있다.

상술한 구성에 따라, 채널 매핑부(130)는 픽셀별 깊이값을 각 픽셀에 포함된 상기 주채널과 부채널에 채널값으로 매핑하여 깊이 이미지를 생성할 수 있으며, 이를 상기 영상 코딩부(140)로 제공하여 상술한 바와 같이 미리 설정된 코덱을 통해 상기 깊이 이미지를 압축하여 생성한 압축 영상을 상기 통신부(150)를 통해 상기 수신 장치(200)로 전송할 수 있다.

한편, 상기 수신 장치(200)에 포함된 영상 디코딩부(220)는 상기 압축 영상을 통신부(210)를 통해 수신하여 복원하여 복원된 깊이 이미지를 생성하며, 이를 상기 채널 복원부(230)로 제공할 수 있다.

이때, 상기 채널 복원부(230)는 도 11에 도시된 바와 같이 상기 주채널과 부채널에 대한 룩업테이블을 저장할 수 있다.

상기 채널 복원부(230)는 R, G, B 채널에 깊이값이 매핑되어 전송된 깊이 이미지에서 영상 코딩부(140)와 영상 디코딩부(220)의 압축 및 복원 과정으로 인해 채널값이 변화되어 최초 깊이 이미지와 복원된 깊이 이미지의 깊이값 차이가 발생하는 문제점이 있음은 상술한 바와 같다.

즉, 상기 채널 복원부(230)가 R, G, B 채널을 이용하는 경우 양자화 레벨의 값이 1인 경우 그대로 채널의 채널값인 R채널의 1로 매핑되고 양자화 레벨의 값이 2인 경우 R 채널의 2로 매핑되기 때문에 인접한 서로 다른 양자화 레벨에 대응되는 채널값의 차이가 1로서, 오차 허용 범위를 설정하기 위해서는 소수점 단위로 각 양자화 레벨의 오차 허용 범위를 설정해야 하나 각 채널의 채널값이 8bit 단위이므로 오차 허용 범위를 설정할 수 없다.

따라서, 송신 장치(100)에서 특정 픽셀에 대하여 양자화하여 생성한 최초 양자화 레벨에 대응되는 채널값에 압축 및 복원에 따른 변화가 발생하는 경우 수신 장치(200) 측에서 상기 최초 양자화 레벨과 상이한 양자화 레벨로 복원하며, 이에 따라 깊이값에 차이가 발생하게 된다.

따라서, 상기 주채널과 부채널 역시 영상 코딩부(140)와 영상 디코딩부(220)의 영상 압축 및 복원 과정에서 변화가 발생하므로, 상기 채널 복원부(230)는 각 양자화 레벨에 대응되는 채널별 채널값의 오차 허용 범위(각 양자화 레벨에 대응되는 채널별 채널값의 최소 및 최대값)가 설정된 룩업테이블을 저장하고, 상기 룩업 테이블과 픽셀별 채널값을 비교하여 복원된 깊이 이미지의 픽셀별 채널값에 변화가 발생하더라도 오차 허용 범위 내인 경우 각 채널의 채널값이 변화되더라도 용이하게 각 픽셀에 대하여 최초 생성된 양자화 레벨과 동일한 양자화 레벨로 복원할 수 있다.

이때, 상술한 바와 같이 상기 송신 장치(100)의 상기 채널 매핑부(130)는 상기 채널 복원부(230)에 저장된 룩업 테이블의 오차 허용 범위에 따라 주채널 및 부채널의 배수단위가 설정되며, 이와 같은 인접한 양자화 레벨에 대응되는 동일 채널의 채널값 사이에 배수단위만큼 차이가 있으므로, 인접한 양자화 레벨 사이의 배수단위 간격을 이용하여 인접한 서로 다른 양자화 레벨 사이의 채널값 사이에 중복을 방지하면서 오차 허용 범위를 설정할 수 있다.

정리하면, 상기 채널 복원부(230)는 복원된 깊이 이미지와 최초 깊이 이미지의 동일 픽셀 사이에 서로 상이한 채널값을 가지는 픽셀이 존재하더라도, 변화된 채널값이 룩업 테이블에 설정된 오차 허용 범위 내에 속하는 경우 용이하게 상기 룩업 테이블을 기초로 상기 복원된 깊이 이미지에 포함된 픽셀별로 최초 깊이 이미지의 양자화 레벨과 동일한 양자화 레벨을 생성할 수 있다.

한편, 상기 채널 복원부(230)는 각 양자화 레벨에 대응되는 깊이값이 미리 설정될 수 있으며, 이에 따라 각 픽셀별 깊이값을 복원하여 상기 점군 데이터 생성부(240)로 전송할 수 있다.

이를 통해, 상기 점군 데이터 생성부(240)는 상기 채널 복원부(230)로부터 복원된 픽셀별 깊이값을 취합하여 점군 데이터를 생성(복원)하며, 이를 보정부(250)로 전송할 수 있다.

이때, 상기 채널 복원부(230)는 상기 복원된 깊이 이미지로부터 얻어진 픽셀별 양자화 레벨을 상기 점군 데이터 생성부(240)로 전송할 수도 있으며, 상기 점군 데이터 생성부(240)는 각 양자화 레벨에 매칭되는 깊이값이 설정되어 상기 픽셀별 양자화 레벨로부터 픽셀별 깊이값을 복원하여 상기 보정부(250)로 전송할 수도 있다.

이후, 상기 보정부(250)는 상술한 바와 같이 깊이 테스트를 통해 고스트 포인트를 제거할 수 있으며, 상기 점군데이터 상의 상기 빈 영역에 폴리곤을 생성하여 빈 영역을 보정할 수 있다.

이에 따라, 상기 표현부(260)는 상기 보정부(250)를 통해 보정된 점군데이터를 표현할 수 있는데, 도 12(b)에 도시된 바와 같이 주채널과 부채널을 이용한 경우 레이어층의 깊이가 도 12(a)에 도시된 R, G, B 채널을 적용하여 복원된 점군데이터를 통해 표현된 레이어층의 깊이보다 감소되어 표현되며, 레이어층의 간격이 더욱 조밀해져 표면 왜곡을 더욱 감소시킬 수 있음을 알 수 있다.

이는, 상기 송신 장치(100)의 양자화부(120)가 양자화 과정에서 주채널과 부채널을 통해 양자화 레벨을 R, G, B 채널보다 더욱 세분화하고, 세분화된 양자화 레벨에 따라 채널 매핑부(130)가 픽셀별 깊이값을 주채널과 부채널의 채널값으로 매핑하며, 수신 장치(200)의 채널 복원부(230)가 채널값의 변화에 따른 오차범위를 고려하여 깊이값을 복원함으로써 깊이값에 변화가 발생하는 것을 최소화할 수 있기 때문이다.

한편, 상술한 구성에서, 상기 송신 장치(100)의 양자화부(120)는 주채널과 부채널의 2개 채널만을 이용하고, 나머지 1개의 채널을 널(Null)채널로 구성하여 이용하지 않은 경우에 대하여 설명하였다.

따라서, 상기 양자화부(120)는 상기 나머지 1개의 채널을 부가채널(step channel)로 구성하여 도 13에 도시된 바와 같이 0~9999로 양자화 레벨 범위를 세분화할 수 있다.

또한, 부가 채널 역시 주채널 및 부채널과 마찬가지로 배수단위가 설정될 수 있으며, 상기 채널 매핑부(130)는 부가 채널에 미리 설정된 기본값 10을 할당하고 도시된 바와 같이 양자화 레벨이 1000 자리수(최상위 자리수)로 증가할때마다 미리 설정된 배수단위인 10씩 증가시키며, 상기 주채널과 부채널은 상술한 바와 같이 1000 단위를 제외한 양자화 레벨을 미리 설정된 단위 값으로 나눈 나머지와 몫에 대응되는 채널값을 할당할 수 있다.

이에 따라, 상기 양자화부(120)는 각 픽셀의 깊이값에 대하여 0~9999의 양자화 레벨 범위 중 어느 하나의 양자화 레벨로 양자화하고, 상기 채널 매핑부(130)는 픽셀의 깊이값에 대응되는 양자화 레벨에 대하여 미리 설정된 채널별 채널값으로 상기 픽셀의 깊이값을 매핑하여, 픽셀별로 깊이값에 대응되는 각 채널의 채널값을 포함하는 깊이 이미지를 생성할 수 있다.

다시 말해, 상기 양자화부(120)는 픽셀별로 산출된 깊이값의 크기에 따라 0~9999의 양자화 레벨 범위 중 어느 하나의 양자화 레벨로 양자화할 수 있고, 이에 따라 채널 매핑부(130)는 픽셀의 깊이값에 대응되는 양자화 레벨에 대한 주채널, 부채널, 부가채널의 채널값으로 매핑시킬 수 있으며, 이에 따라 상기 픽셀별 깊이값이 상기 픽셀별 채널값으로 매핑된 깊이 이미지를 생성할 수 있다.

이때, 상기 채널 매핑부(130)는 각 양자화 레벨에 대응되는 주채널, 부채널 및 부가채널의 채널값이 미리 설정될 수 있으며, 상기 깊이값의 양자화 레벨에 따라 미리 설정된 상기 주채널, 부채널 및 부가채널의 채널값에 상기 깊이값을 매핑시킬 수도 있다.

이로 인해, 양자화부(120)는 상술한 0~959의 양자화 레벨 범위로 구분한 깊이값을 0~9999의 양자화 레벨 범위로 더욱 세분화하여 정밀도를 크게 향상시킬 수 있다. 일례로, 0~959의 양자화 레벨 범위에서 0.5011~0.502m를 양자화 레벨 1로 양자화하는 반면 0~9999의 양자화 레벨 범위로 세분화하는 경우 0.50111~0.5012m를 양자화 레벨 1로 양자화할 수 있어 깊이값의 표현을 더욱 정밀화할 수 있다.

한편, 송신 장치(100)는 영상 코딩부(140)를 통해 상기 깊이 이미지를 압축하여 압축 영상을 생성하고 통신부(150)를 통해 상기 수신 장치(200)로 압축 영상을 전송할 수 있다.

이에 따라, 수신 장치(200)의 채널 복원부(230)는 영상 디코딩부(220)를 통해 0~9999의 양자화 레벨 범위로 더욱 세분화된 깊이 이미지를 수신하며, 상기 각 양자화 레벨별로 각 채널에 대한 채널값의 오차 허용 범위가 미리 설정된 룩업 테이블을 기초로 상기 복원된 깊이 이미지의 픽셀별로 설정된 채널별 채널값에 대응되는 양자화 레벨로 복원하고, 상기 양자화 레벨에 대응되어 미리 설정된 깊이값을 픽셀별로 얻을 수 있다.

이에 따라, 상기 점군 데이터 생성부(240)는 상기 픽셀별 깊이값을 취합하여 점군 데이터를 복원하고, 이를 상기 보정부(250)로 전송할 수 있다.

상기 보정부(250)는 상기 깊이 테스트를 적용하여 고스트 포인트를 제거하며, 상기 복원된 점군데이터의 빈 영역에 폴리곤을 적용하여 보정할 수 있다.

이때, 0~9999의 양자화 레벨 범위로 세분화되어 복원된 깊이 이미지로부터 얻은 복원된 점군데이터는 도 14에 도시된 바와 같이 도 12(b)의 0~959의 양자화 레벨 범위로 세분화된 깊이 이미지로부터 얻은 점군데이터보다 소정의 영역에 포함되는 레이어층의 개수가 증가하는 동시에 양자화 레벨별 깊이값의 정밀도가 증가하여 레이어의 깊이가 더욱 감소하는 것을 알 수 있다.

이로 인해, 상기 표현부(260)는 상기 보정부(250)를 통해 보정된 점군 데이터를 표현할 때 표면의 왜곡이 더욱 완화된 점군 데이터를 표현할 수 있다.

상술한 바에 따라, 상기 송신 장치(100)는 깊이값에 대응되는 양자화 레벨을 깊이 이미지를 구성하는 각 픽셀에 포함된 각 채널별 채널값으로 할당하여 깊이 이미지를 생성하고, 상기 깊이 이미지를 가장 효율이 좋은 영상 코덱을 통해 압축하여 네트워크를 통해 영상에 필요한 대역폭만으로 수신 장치에 전송할 수 있다.

이를 통해, 상기 송신 장치(100)는 점군 데이터를 프레임 이미지 형태로 변환하여 전송할 수 있어 실시간 전송을 용이하게 지원할 뿐만 아니라, 압축 영상에 전송에 필요한 성능만이 요구되어 송신 장치(100) 및 수신 장치(200)의 구성 비용을 절감할 수 있다.

한편, 본 발명은 점군 데이터의 깊이값에 대한 양자화 레벨의 정밀도를 크게 향상시킬 수 있으며, 각 양자화 레벨에 대응되는 채널값을 3개 채널로 분할하여 할당함으로써, 양자화 과정 및 깊이 이미지의 압축 및 복원 과정에서 발생하는 채널값의 오차에 따른 영상 오류를 최소화할 수 있으며 이를 통해 점군 데이터에 대한 정확한 정보를 제공할 수 있다.

도 15는 본 발명의 실시예에 따른 송신 장치의 깊이 이미지 전송 과정에 대한 실시예로 도시한 예시도로서, 도시된 바와 같이 송신 장치(100)는 상술한 구성에 따라 생성한 깊이 이미지를 상기 수신 장치(200)에 압축 영상으로 전송하는 과정에 있어서, 상기 깊이 이미지에 대응되는 프레임 이미지를 함께 압축하여 전송할 수 있다.

또한, 상기 송신 장치(100)는 하나의 점군 데이터를 복수의 깊이 이미지로 분할하여 전송할 수도 있으며, 이를 통해 해상도가 높은 점군 데이터에 대해서도 용이하게 수신 장치(200)에 이미지 형태로 전송이 가능하다.

도 16은 본 발명의 실시예에 따른 점군 데이터를 위한 실시간 송수신 방법에 대한 순서도로서, 측정 대상을 3차원 스캔하는 측정부와 통신하는 송신 장치(100)는 상기 측정부(10)로부터 점군 데이터를 획득할 수 있다(S1).

이후, 상기 송신 장치(100)는 상기 점군 데이터로부터 얻은 깊이값을 양자화하고(S2), 양자화된 깊이값을 2차원 이미지의 각 픽셀을 구성하는 3개 채널에 각각 채널값으로 매핑하여(S3), 깊이 이미지를 생성할 수 있다(S4).

다음, 상기 송신 장치(100)가 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하여 수신 장치(200)로 전송할 수 있다(S5).

이후, 상기 수신 장치(200)는 상기 송신 장치(100)로부터 압축된 깊이 이미지를 수신하여 복원할 수 있다(S6).

다음, 상기 수신 장치(200)는 상기 복원된 깊이 이미지를 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하여(S7) 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성할 수 있다(S8).

상기 수신 장치(200)가 상기 점군 데이터에서 상기 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정하며(S9), 보정된 점군 데이터를 표현할 수 있다(S10).

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

10: 측정부 20: 깊이 이미지
100: 송신 장치 110: 점군데이터 생성부
120: 양자화부 130: 채널 매핑부
140: 영상 코딩부 150: 통신부
200: 수신 장치 210: 통신부
220: 영상 디코딩부 230: 채널 복원부
240: 점군데이터 생성부 250: 보정부
260: 표현부

Claims (14)

1. 측정 대상을 스캔하는 측정부로부터 점군 데이터를 획득하는 점군 데이터 생성부;
   상기 점군 데이터로부터 얻은 깊이값을 양자화하는 양자화부;
   상기 양자화된 깊이값을 2차원 깊이 이미지의 3개 채널에 각각 채널값으로 매핑하는 채널 매핑부;
   상기 양자화된 깊이값이 상기 채널값으로 매핑된 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하는 영상 코딩부; 및
   상기 압축된 깊이 이미지를 전송하는 통신부를 포함하고,
   상기 3개 채널은 각각 R, G, B 채널인 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
2. 청구항 1에 있어서,
   상기 채널 매핑부는 3개 채널 매핑시 영상 코덱의 압축 및 복원 오차를 고려하여 각 채널의 상기 채널값을 복수 비트 영역을 단위로 하여 양자화된 깊이값과 매핑하는 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
3. 청구항 1에 있어서,
   상기 채널 매핑부는 상기 양자화된 깊이값의 크기에 따라 채널 1 내지 3 중 어느 하나에 할당하는 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
4. 청구항 1에 있어서,
   상기 채널 매핑부는 상기 양자화된 깊이값을 미리 설정된 단위값으로 나눈 나머지와 몫에 따라 상기 양자화된 깊이값을 상기 3개 채널 중 2개 채널의 채널값으로 매핑하되, 각 채널에 미리 설정된 오차 허용 범위에 따른 최대값과 최소값의 차이에 상기 각 채널에 대응되는 상기 나머지 또는 몫의 크기에 따라 배수한 상기 각 채널의 채널값으로 매핑하는 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
5. 청구항 4에 있어서,
   상기 채널 매핑부는 상기 양자화된 깊이값을 상기 2개 채널을 제외한 나머지 채널에 미리 설정된 오차 허용 범위에 따른 최대값과 최소값의 차이에 상기 양자화된 깊이값의 최상위 자리수의 크기에 따라 배수한 채널값으로 매핑하는 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
6. 삭제
7. 청구항 1에 있어서,
   상기 측정부는 점군데이터의 생성을 위한 레이저 스캐너 또는 3차원 카메라를 포함하는 것을 특징으로 하는 점군 데이터를 위한 실시간 송신 장치.
   
8. 점군 데이터에 대한 압축 영상을 수신하는 수신부;
   상기 압축 영상을 복원하는 영상 디코딩부;
   상기 복원된 이미지 프레임을 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하는 채널 복원부;
   상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하는 점군 데이터 생성부;
   상기 점군 데이터에서 상기 압축 영상에 대한 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정하는 보정부; 및
   상기 보정된 점군 데이터를 표현하는 표현부
   를 포함하는 점군 데이터를 위한 실시간 수신 장치.
   
9. 청구항 8에 있어서,
   상기 채널 복원부는 상기 깊이값을 양자화한 양자화 레벨과 상기 픽셀별 채널값이 상호 매핑된 룩업 테이블을 포함하며,
   상기 채널 복원부는 상기 룩업 테이블을 기초로 상기 픽셀별 채널값에 대응되는 양자화 레벨에 미리 설정된 깊이값으로 복원하는 것을 특징으로 하는 점군 데이터를 위한 실시간 수신 장치.
   
10. 청구항 9에 있어서,
    상기 룩업 테이블은 각 양자화 레벨에 대응되는 채널값의 오차 허용 범위가 설정되며,
    상기 채널 복원부는 상기 오차 허용 범위에 속하는 서로 다른 채널값을 동일한 깊이값으로 복원하는 것을 특징으로 하는 점군 데이터를 위한 실시간 수신 장치.
    
11. 청구항 10에 있어서,
    상기 룩업 테이블은 상기 채널값에 오차를 반영한 최대값 및 최소값을 상기 채널값의 오차 허용 범위로 저장하는 것을 특징으로 하는 점군 데이터를 위한 실시간 수신 장치.
    
12. 청구항 8에 있어서,
    상기 보정부는 깊이 테스트를 통해 상기 고스트 포인트를 제거하여 보정하거나 상기 빈 영역에 폴리곤을 생성하여 빈 영역을 보정하는 것을 특징으로 하는 점군 데이터를 위한 실시간 수신 장치.
    
13. 측정 대상을 3차원 스캔하는 측정부와 통신하는 송신 장치가 상기 측정부로부터 점군 데이터를 획득하는 단계;
    상기 송신 장치가 상기 점군 데이터로부터 얻은 깊이값을 양자화하고, 양자화된 깊이값을 2차원 이미지의 각 픽셀을 구성하는 3개 채널에 각각 채널값으로 매핑하여 깊이 이미지를 생성하는 단계;
    상기 송신 장치가 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하여 수신 장치로 전송하는 단계;
    상기 수신 장치가 상기 송신 장치로부터 압축된 깊이 이미지를 수신하여 복원하는 단계;
    상기 수신 장치가 상기 복원된 깊이 이미지를 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하여 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하는 단계;
    상기 수신 장치가 상기 점군 데이터에서 상기 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정하는 단계; 및
    상기 수신 장치가 보정된 점군 데이터를 표현하는 단계
    를 포함하는 점군데이터를 위한 실시간 송수신 방법.
    
14. 측정 대상을 스캔하는 측정부로부터 점군 데이터를 획득하고, 상기 점군 데이터로부터 얻은 깊이값을 양자화하여 2차원 이미지의 각 픽셀을 구성하는 3개 채널에 각각 채널값으로 매핑하여 깊이 이미지를 생성하고, 상기 깊이 이미지를 미리 설정된 영상 코덱으로 압축하여 전송하는 송신 장치; 및
    상기 송신 장치로부터 압축된 깊이 이미지를 수신하여 복원하고, 상기 복원된 깊이 이미지를 구성하는 픽셀별 채널값으로부터 픽셀별 깊이값을 복원하며, 상기 복원된 픽셀별 깊이값으로부터 점군 데이터를 생성하고, 상기 점군 데이터에서 상기 영상 코덱 사용에 따라 생성된 고스트 포인트나 빈 영역을 보정한 점군 데이터를 표현하는 수신 장치
    를 포함하는 점군 데이터를 위한 실시간 송수신 시스템.

Images