KR101562995B1 - 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법 - Google Patents

삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법 Download PDF

Info

Publication number
KR101562995B1
KR101562995B1 KR1020140022840A KR20140022840A KR101562995B1 KR 101562995 B1 KR101562995 B1 KR 101562995B1 KR 1020140022840 A KR1020140022840 A KR 1020140022840A KR 20140022840 A KR20140022840 A KR 20140022840A KR 101562995 B1 KR101562995 B1 KR 101562995B1
Authority
KR
South Korea
Prior art keywords
information
interval
quantization
setting
dimensional image
Prior art date
Application number
KR1020140022840A
Other languages
English (en)
Other versions
KR20150101291A (ko
Inventor
조용주
김민영
박경신
서기영
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Priority to KR1020140022840A priority Critical patent/KR101562995B1/ko
Publication of KR20150101291A publication Critical patent/KR20150101291A/ko
Application granted granted Critical
Publication of KR101562995B1 publication Critical patent/KR101562995B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Library & Information Science (AREA)

Abstract

삼차원 영상 생성 장치는 이미지 및 상기 이미지의 각 픽셀에 상응하는 깊이 정보를 수신하는 입출력 인터페이스, 깊이 정보에 따른 거리를 비균등 양자화하여 삼차원 영상을 생성하도록 하는 명령어를 저장하는 메모리 및 명령어에 따라 삼차원 영상을 생성하는 프로세서를 포함하되, 명령어는 깊이 정보를 거리 정보로 변환하는 단계, 양자화 구간을 설정하고, 양자화 구간별 내부 구간을 설정하는 단계, 내부 구간에 따라 거리 정보에 대해 비균등 양자화하여 양자화 정보를 생성하는 단계 및 이미지 및 양자화 정보를 포함하는 삼차원 영상을 생성하는 단계를 수행하는 명령어인 것을 특징으로 한다.

Description

삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법{APPARATUS AND METHOD FOR PRODUCING 3D IMAGE, APPARATUS AND METHOD FOR RESTORE 3D IMAGE}
본 발명은 삼차원 영상 생성 및 재생에 관한 것으로, 보다 상세하게는 삼차원 영상의 깊이 정보를 양자화하여 삼차원 영상을 생성하고, 복원하는 기술에 관한 것이다.
최근 삼차원 디스플레이 디바이스가 대중화되고 있다. 삼차원 디스플레이의 소스가 되는 삼차원 영상은 화면의 각 화소에 대한 깊이 정보를 포함하고 있고, 깊이 정보에 따라 삼차원 디스플레이 디바이스는 거리감을 표현한다.
실제 삼차원 영상에서 각 화소의 깊이 정보를 나타내기 위한 수치는 한정적이다. 이에 따라, 삼차원 영상을 생성하기 위해서는 각 화소에 대한 깊이 정보를 거리에 따라 양자화시키는 작업을 진행하여야 한다. 하지만, 양자화 처리가 된 깊이 정보는 일부 정보가 유실되게 때문에 화질이 떨어질 가능성이 있다.
본 발명이 해결하고자 하는 과제는 삼차원 영상의 깊이 정보를 비균등 양자화를 통해 생성하는 삼차원 영상 생성 장치 및 방법과 해당 삼차원 영상을 환원하는 삼차원 영상 환원 장치를 제공하는 것이다.
본 발명의 일 측면에 따르면, 이미지 및 상기 이미지의 각 픽셀에 상응하는 깊이 정보를 수신하는 입출력 인터페이스; 상기 깊이 정보에 따른 거리를 비균등 양자화하여 삼차원 영상을 생성하도록 하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 삼차원 영상을 생성하는 프로세서를 포함하되, 상기 명령어는 상기 깊이 정보를 거리 정보로 변환하는 단계; 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계; 상기 내부 구간에 따라 상기 거리 정보에 대해 비균등 양자화하여 양자화 정보를 생성하는 단계; 및 상기 이미지 및 상기 양자화 정보를 포함하는 삼차원 영상을 생성하는 단계;를 수행하는 명령어인 것을 특징으로 하는 삼차원 영상 생성 장치가 제공된다.
상기 깊이 정보를 거리 정보로 변환하는 단계는 상기 깊이 정보에 미리 지정된 투영 행렬(Projection Matrix)의 역행렬을 곱하여 상기 거리 정보를 산출하는 단계일 수 있다.
상기 명령어는 상기 깊이 정보를 거리 정보로 변환하는 단계 이후에, 상기 거리 정보를 미리 지정된 범위에 상응하도록 정규화하는 단계를 더 포함하는 명령어일 수 있다.
상기 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계는, 상기 양자화 구간 중 어느 하나가 타 양자화 구간에 비해 내부 구간의 범위가 상이하도록 설정하는 단계일 수 있다.
상기 삼차원 영상은 상기 양자화 구간 및 상기 내부 구간에 대한 설정 정보인 구간 설정 정보를 메타 정보로 포함할 수 있다.
본 발명의 다른 측면에 따르면, 삼차원 영상 생성 장치가 삼차원 영상을 생성하는 방법에 있어서, 이미지 및 깊이 정보를 수신하는 단계; 상기 깊이 정보를 거리 정보로 변환하는 단계; 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계; 상기 내부 구간에 따라 상기 거리 정보에 대해 비균등 양자화하여 양자화 정보를 생성하는 단계; 및 상기 이미지 및 상기 양자화 정보를 포함하는 삼차원 영상을 생성하는 단계;를 포함하는 삼차원 영상 생성 방법이 제공된다.
상기 깊이 정보를 거리 정보로 변환하는 단계는 상기 깊이 정보에 미리 지정된 투영 행렬(Projection Matrix)의 역행렬을 곱하여 상기 거리 정보를 산출하는 단계일 수 있다.
상기 깊이 정보를 거리 정보로 변환하는 단계 이후에, 상기 거리 정보를 미리 지정된 범위에 상응하도록 정규화하는 단계를 더 포함할 수 있다.
상기 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계는, 상기 양자화 구간 중 어느 하나가 타 양자화 구간에 비해 내부 구간의 범위가 상이하도록 설정하는 단계일 수 있다.
상기 삼차원 영상은 상기 양자화 구간 및 상기 내부 구간에 대한 설정 정보인 구간 설정 정보를 메타 정보로 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 삼차원 영상을 수신하는 입출력 인터페이스; 상기 삼차원 영상에 포함된 양자화 정보를 변환하여 깊이 정보를 생성하도록 하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 삼차원 영상의 깊이 정보를 생성하는 프로세서를 포함하되, 상기 명령어는 상기 삼차원 영상의 깊이 정보에 대한 구간 정보를 설정하는 단계; 상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계; 및 상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계;를 수행하는 명령어인 것을 특징으로 하는 삼차원 영상 환원 장치가 제공된다.
상기 구간 설정 정보는 상기 삼차원 영상의 각 픽셀에 대한 깊이 정보를 양자화할 때 설정된 양자화 구간 및 내부 구간에 대한 설정 정보일 수 있다.
상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계 는, 상기 구간 설정 정보에 따라 상기 양자화 구간 및 상기 내부 구간을 설정하는 단계; 및 상기 양자화 정보에 따른 상기 삼차원 영상의 각 픽셀이 속한 상기 내부 구간에 상응하는 깊이 정보를 상기 삼차원 영상의 각 픽셀에 대한 거리 정보로 산출하는 단계;를 포함할 수 있다.
상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계는, 상기 거리 정보에 미리 지정된 투영 행렬(projection matrix)를 곱하여 상기 깊이 정보를 산출하는 단계일 수 있다.
상기 명령어는, 상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계 이전에, 상기 거리 정보에 미리 지정된 최대 거리(far)를 곱하는 단계를 더 수행하는 명령어일 수 있다.
본 발명의 또 다른 측면에 따르면, 삼차원 환원 장치가 삼차원 영상의 깊이 정보를 환원하는 방법에 있어서, 삼차원 영상을 수신하는 단계; 삼차원 영상에 포함된 구간 설정 정보를 추출하는 단계; 상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계; 및 상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계;를 포함하는 삼차원 영상 환원 방법이 제공된다.
상기 구간 설정 정보는 상기 삼차원 영상의 각 픽셀을 양자화할 때 설정된 양자화 구간 및 내부 구간에 대한 설정 정보일 수 있다.
상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계 는, 상기 구간 설정 정보에 따라 상기 양자화 구간 및 상기 내부 구간을 설정하는 단계; 및 상기 양자화 정보에 따른 상기 삼차원 영상의 각 픽셀이 속한 상기 내부 구간에 상응하는 거리 정보를 상기 삼차원 영상의 각 픽셀에 대한 거리 정보로 산출하는 단계;를 포함할 수 있다.
상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계는, 상기 거리 정보에 미리 지정된 투영 행렬(projection matrix)를 곱하여 상기 깊이 정보를 산출하는 단계일 수 있다.
상기 삼차원 환원 방법은 상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계 이전에, 상기 거리 정보에 미리 지정된 최대 거리(far)를 곱하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 삼차원 영상의 깊이 정보에 대한 데이터량을 변동하지 않으면서 삼차원 영상의 특정 영역에 대해 깊이 정보의 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 삼차원 영상을 생성하는 과정을 예시한 순서도.
도 3은 일반적인 양자화 과정에서 설정되는 양자화 구간을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 설정하는 양자화 구간을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치가 삼차원 영상의 깊이 정보를 환원하는 과정을 나타낸 순서도.
도 6은 본 발명의 일 실시에에 따른 삼차원 영상 환원 장치가 구간 설정 정보에 따라 양자화 구간 및 내부 구간을 설정한 것을 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치는 입출력 인터페이스(110), 프로세서(120), 메모리(130) 및 스토리지(140)를 포함한다.
입출력 인터페이스(110)는 카메라 등의 외부 장치로부터 깊이 정보 및 이미지를 수신한다. 이 때, 깊이 정보는 이미지에 포함된 각 픽셀에 대한 깊이를 나타내는 정보이다.
프로세서(120)는 스토리지(140)에 저장된 명령어를 메모리(130)에 적재하고, 깊이 정보를 비균등 양자화하여 삼차원 영상을 생성한다.
메모리(130)는 스토리지(140)에 저장된 비균등 양자화를 통한 삼차원 영상을 생성하는 프로그램을 적재한다. 이 때, 메모리(130)는 휘발성 메모리(RAM)일 수 있다.
스토리지(140)는 비균등 양자화를 위한 하나 이상의 명령어를 저장한다. 이 때, 스토리지(140)는 하드 디스크 등의 비휘발성 저장 매체일 수 있다.
이하 도 2를 참조하여, 상술한 명령어에 따라 프로세서(120)가 비균등 양자화를 통해 삼차원 영상을 생성하는 과정을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 삼차원 영상을 생성하는 과정을 예시한 순서도이고, 도 3은 일반적인 양자화 과정에서 설정되는 양자화 구간을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 설정하는 양자화 구간을 예시한 도면이다. 이하 도 2를 참조하여 설명하는 각 과정은 당해 삼차원 영상 생성 장치의 프로세서에 의해 수행되는 과정이나 발명의 간략하고 명확한 설명을 위해 주체를 삼차원 영상 생성 장치로 통칭하도록 한다.
단계 210에서 삼차원 영상 생성 장치는 입출력 인터페이스(110)를 통해 이미지 및 깊이 정보를 수신한다.
단계 220에서 삼차원 영상 생성 장치는 깊이 정보를 거리 정보로 변환한다. 이 때, 삼차원 영상 생성 장치는 미리 지정된 투영 행렬(projection matrix)의 역행렬에 깊이 정보를 곱하여 거리 정보를 산출할 수 있다. 이 때, 삼차원 영상 생성 장치는 단계 210에서 이미지 및 깊이 정보 이외 거리 정보를 추가로 수신한 경우, 단계 220의 과정을 생략할 수 있다.
단계 230에서 삼차원 영상 생성 장치는 거리 정보를 정규화한다. 예를 들어, 삼차원 영상 생성 장치는 각 픽셀에 대해 0부터 최대 거리(far)까지의 거리로 나타내는 거리 정보를 0부터 1까지의 수치로 나타내도록 각 픽셀의 거리를 최대 거리로 나누는 과정을 통해 거리 정보를 정규화 할 수 있다. 이 때, 최대 거리는 카메라를 통해 깊이를 판단할 수 있는 거리 중 최대 거리일 수 있다.
단계 240에서 삼차원 영상 생성 장치는 양자화 구간을 설정한다. 예를 들어, 삼차원 영상 생성 장치는 미리 설정된 범위 또는 입출력 인터페이스(110)를 통해 수신한 양자화 구간 설정 입력에 따라 양자화 구간을 설정한다. 이 때, 양자화 구간 설정 입력은 사용자로부터 양자화의 구간을 설정하는 입력일 수 있다. 이 때, 양자화 구간은 이미지의 카메라와 각 픽셀 간 거리의 양자화가 이루어지는 기본 단위이고, 일반적으로 도 3과 같이 균등한 구간으로 설정될 수 있다.
단계 250에서 삼차원 영상 생성 장치는 각 양자화 구간에 대한 내부 구간을 설정한다. 이 때, 삼차원 영상 생성 장치는 입력 인터페이스(110)를 통해 각 양자화 구간에 대한 내부 구간을 설정 입력을 수신할 수 있다. 이 때, 내부 구간은 각 양자화 구간을 세부적으로 추가 분할한 구간일 수 있다. 도 4를 참조하여 예를 들면, 삼차원 영상 생성 장치는 이미지에 대한 양자화 구간이 구간1, 구간2, 구간3으로 설정된 경우, 구간 1과 구간2에 대한 규격을 각 구간의 범위의 절반이 되도록 설정할 수 있다. 또한, 삼차원 영상 생성 장치는 구간 2에 대해서는 구간 2의 범위의 12분의 1로 규격을 설정할 수 있다. 따라서, 도 4에서는 삼차원 영상 생성 장치는 총 3개의 구간에서 16개의 내부 구간을 설정할 수 있다. 이 때, 구간 2에 대해서는 구간1 및 구간2의 내부 구간에 비해 좁은 범위의 12개의 내부 구간이 설정될 수 있다. 따라서, 실재 이미지의 객체의 카메라 쪽의 표면이 위치하는 구간인 구간 2는 좁은 내부 구간으로 분할될 수 있고, 이미지의 객체의 카메라 쪽의 표면이 위치하지 않는 구간인 구간 1 및 구간 3은 넓은 내부 구간으로 분할될 수 있다.
단계 260에서 삼차원 영상 생성 장치는 내부 구간에 따라 각 픽셀의 정규화된 거리에 대한 양자화를 수행한다. 따라서, 도 3과 같이 균등한 양자화 구간에 의해 양자화된 거리에 비해 도 4와 같이 내부 구간에 의해 양자화된 거리는 정확성이 상대적으로 높다. 즉, 본 발명의 삼차원 영상 생성 장치에 의해 양자화된 각 픽셀의 거리는 실재 픽셀의 거리와의 오차가 균등 양자화된 경우에 비해 작다. 예를 들어, 삼차원 영상 생성 장치는 하기의 수학식 1에 따라 정규화된 거리에 대한 양자화를 각 구간에 대해 수행할 수 있다.
[수학식 1]
이 때, R은 양자화된 거리이고, Ps는 현재 양자화할 내부 구간이 시작하는 거리이고, PE는 현재 양자화할 내부 구간이 종료되는 거리이고, PD는 전체 구간의 크기(즉, 1) 대비 현재 양자화할 내부 구간의 크기(PE - Ps)간 비율이고, Psum는 전체 구간의 크기 대비 0에서 Ps까지 내부 구간의 크기 간 비율이고, Q는 양자화 범위이고, D는 정규화된 거리이다.
단계 270에서 삼차원 영상 생성 장치는 양자화된 거리 정보(이하, 양자화 정보라 지칭)를 포함하는 삼차원 영상을 생성하여 입출력 인터페이스(110)를 통해 출력한다. 이 때, 삼차원 영상은 구간 설정 및 내부 구간의 설정을 나타낸 정보(이하, 구간 설정 정보라 지칭)를 메타 정보로 포함할 수 있다. 예를 들어, 삼차원 영상은 구간 거리 및 각 구간에 대한 내부 구간의 거리를 메타 정보로 포함할 수 있다.
따라서, 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 생성한 삼차원 영상은 실재 오브젝트가 위치한 구간에 대한 내부 구간이 좁게 형성되어, 양자화에서 발생하는 오차가 균일 양자화의 경우에 비해 작다. 이로 인해, 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치가 생성한 양자화 정보는 균일 양자화에 의해 생성된 양자화 정보와 동일한 비트수로 표현되나, 추후 설명할 삼차원 영상 환원 장치에 의해 환원된 각 픽셀에 대한 깊이 정보의 오차가 작아 그 영역의 영상의 질을 향상시킬 수 있다.
이하, 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치를 설명하도록 한다. 이 때, 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치는 삼차원 영상을 환원하기 위한 수행 과정을 명령하는 명령어를 상술한 삼차원 영상 생성 장치의 스토리지(140)에 저장하고, 해당 명령어를 메모리(130)에 적재하여 프로세서(120)가 수행하는 형태의 장치일 수 있다. 또는, 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치는 입출력 인터페이스, 프로세서, 메모리 및 스토리지를 포함하는 형태에서 입출력 인터페이스가 타 장치로부터 삼차원 영상을 수신하고, 삼차원 영상을 환원하기 위한 수행 과정을 명령하는 명령어를 스토리지가 저장하며, 메모리가 해당 명령어를 적재하여, 프로세서가 해당 명령어를 수행하는 형태의 상술한 삼차원 영상 생성 장치와는 별도의 장치일 수 있다.
이하, 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치가 삼차원 영상의 깊이 정보를 환원하는 과정을 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치가 삼차원 영상의 깊이 정보를 환원하는 과정을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치가 구간 설정 정보에 따라 양자화 구간 및 내부 구간을 설정한 것을 예시한 도면이다.
도 5를 참조하면, 단계 510에서 삼차원 영상 환원 장치는 삼차원 영상을 입출력 인터페이스(110)를 통해 수신한다.
단계 520에서 삼차원 영상 환원 장치는 삼차원 영상에 포함된 양자화 정보를 균등화한다. 이 때, 양자화 정보는 도 2를 참조하여 상술한 과정을 통해 비균등 양자화된 거리 정보이다. 예를 들어, 삼차원 영상 환원 장치는 삼차원 영상의 메타 정보를 참조하여 삼차원 영상의 구간 설정 정보를 추출하고, 구간 설정 정보에 따른 양자화 구간 및 내부 구간에 따른 정규화된 거리 정보를 산출한다. 도 6을 참조하여 예를 들면, 삼차원 영상에 포함된 양자화 정보는 610과 같이 각 화소가 16개의 양자화 구간(내부 구간) 중 어느 구간에 해당하는지를 나타낼 수 있다. 이 때, 610은 당해 삼차원 영상 환원 장치가 양자화 정보만을 확인하였을 경우, 해당 양자화 정보가 나타내는 거리를 알 수 없기 때문에 각 내부 구간의 범위가 동일한 거리로 설정되도록 표현되었다. 삼차원 영상 환원 장치는 구간 설정 정보를 참조하여, 각 양자화 구간(내부 구간)의 범위를 620과 같이 산출하고, 양자화 정보에 따른 각 픽셀이 해당하는 양자화 구간(내부 구간)의 거리를 해당 픽셀의 정규화된 거리 정보로 산출할 수 있다. 예를 들어, 삼차원 영상 환원 장치는 하기의 수학식 2에 따라 양자화 정보를 정규화된 거리 정보로 산출할 수 있다.
[수학식 2]
이 때, R은 양자화된 거리이고, Ps는 현재 양자화할 내부 구간이 시작하는 거리이고, PE는 현재 양자화할 내부 구간이 종료되는 거리이고, PD는 전체 구간의 크기(즉, 1) 대비 현재 양자화할 내부 구간의 크기(PE - Ps)간 비율이고, Psum는 전체 구간의 크기 대비 0에서 Ps까지 내부 구간의 크기 간 비율이고, Q는 양자화 범위이고, D는 정규화된 거리이다.
단계 530에서 삼차원 영상 환원 장치는 정규화된 거리 정보를 실재 거리 정보로 변환한다. 예를 들어, 삼차원 영상 환원 장치는 정규화된 거리 정보에 미리 지정된 최대 거리(far)를 곱하여 실재 거리 정보를 산출할 수 있다.
단계 540에서 삼차원 영상 환원 장치는 각 화소에 대한 거리 정보에 따라 깊이 정보를 산출한다. 예를 들어, 삼차원 영상 환원 장치는 각 화소에 대한 거리 정보에 미리 지정된 투영 행렬을 곱하여 깊이 정보를 산출할 수 있다. 물론 삼차원 영상 환원 장치는 삼차원 이미지 이외 거리 정보를 추가로 수신한 경우, 단계 520내 지 단계 530의 과정을 통해 실재 거리 정보를 산출하는 과정을 생략할 수 있다.
따라서, 본 발명의 일 실시예에 따른 삼차원 영상 환원 장치는 본 발명의 일 실시예에 따른 삼차원 영상 생성 장치에 의해 생성된 삼차원 영상을 해당 양자화 구간에 맞게 환원하여 깊이 정보를 산출할 수 있다.
이제까지 본 발명에 대하여 그 실시예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 이미지, 상기 이미지의 각 픽셀에 상응하는 깊이 정보 및 내부 구간을 설정하는 입력를 수신하는 입출력 인터페이스;
    상기 깊이 정보에 따른 거리를 비균등 양자화하여 삼차원 영상을 생성하도록 하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 삼차원 영상을 생성하는 프로세서
    를 포함하되,
    상기 명령어는
    상기 깊이 정보를 거리 정보로 변환하는 단계;
    양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계;
    상기 내부 구간에 따라 상기 거리 정보에 대해 비균등 양자화하여 양자화 정보를 생성하는 단계; 및
    상기 이미지 및 상기 양자화 정보를 포함하는 삼차원 영상을 생성하는 단계;
    를 수행하는 명령어이고,
    상기 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계는,
    상기 내부 구간을 설정하는 입력에 따라 상기 양자화 구간 중 어느 하나가 타 양자화 구간에 비해 내부 구간의 범위가 상이하도록 설정하는 단계이고,
    상기 삼차원 영상은 상기 양자화 구간 및 상기 내부 구간에 대한 설정 정보인 구간 설정 정보를 메타 정보로 포함하는 것을 특징으로 하는 삼차원 영상 생성 장치.
  2. 제1 항에 있어서,
    상기 깊이 정보를 거리 정보로 변환하는 단계는
    상기 깊이 정보에 미리 지정된 투영 행렬(Projection Matrix)의 역행렬을 곱하여 상기 거리 정보를 산출하는 단계인 것을 특징으로 하는 삼차원 영상 생성 장치.
  3. 제2 항에 있어서,
    상기 명령어는
    상기 깊이 정보를 거리 정보로 변환하는 단계 이후에,
    상기 거리 정보를 미리 지정된 범위에 상응하도록 정규화하는 단계를 더 포함하는 명령어인 것을 특징으로 하는 삼차원 영상 생성 장치.
  4. 삭제
  5. 삭제
  6. 삼차원 영상 생성 장치가 삼차원 영상을 생성하는 방법에 있어서,
    이미지, 깊이 정보 및 내부 구간을 설정하는 입력를 수신하는 단계;
    상기 깊이 정보를 거리 정보로 변환하는 단계;
    양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계;
    상기 내부 구간에 따라 상기 거리 정보에 대해 비균등 양자화하여 양자화 정보를 생성하는 단계; 및
    상기 이미지 및 상기 양자화 정보를 포함하는 삼차원 영상을 생성하는 단계;
    를 포함하되,
    상기 양자화 구간을 설정하고, 상기 양자화 구간별 내부 구간을 설정하는 단계는,
    상기 내부 구간을 설정하는 입력에 따라 상기 양자화 구간 중 어느 하나가 타 양자화 구간에 비해 내부 구간의 범위가 상이하도록 설정하는 단계이고,
    상기 삼차원 영상은 상기 양자화 구간 및 상기 내부 구간에 대한 설정 정보인 구간 설정 정보를 메타 정보로 포함하는 것을 특징으로 하는 삼차원 영상 생성 방법.
  7. 제6 항에 있어서,
    상기 깊이 정보를 거리 정보로 변환하는 단계는
    상기 깊이 정보에 미리 지정된 투영 행렬(Projection Matrix)의 역행렬을 곱하여 상기 거리 정보를 산출하는 단계인 것을 특징으로 하는 삼차원 영상 생성 방법.
  8. 제7 항에 있어서,
    상기 깊이 정보를 거리 정보로 변환하는 단계 이후에,
    상기 거리 정보를 미리 지정된 범위에 상응하도록 정규화하는 단계를 더 포함하는 것을 특징으로 하는 삼차원 영상 생성 방법.
  9. 삭제
  10. 삭제
  11. 삼차원 영상을 수신하는 입출력 인터페이스;
    상기 삼차원 영상에 포함된 양자화 정보를 변환하여 깊이 정보를 생성하도록 하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 삼차원 영상의 깊이 정보를 생성하는 프로세서
    를 포함하되,
    상기 명령어는
    상기 삼차원 영상에 포함된 구간 설정 정보를 추출하는 단계;
    상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계; 및
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계;
    를 수행하는 명령어이고,
    상기 구간 설정 정보는 상기 삼차원 영상의 각 픽셀을 양자화할 때 설정된 양자화 구간 및 내부 구간에 대한 설정 정보이고,
    상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계는,
    상기 구간 설정 정보에 따라 상기 양자화 구간 및 상기 내부 구간을 설정하는 단계; 및
    상기 양자화 정보에 따른 상기 삼차원 영상의 각 픽셀이 속한 상기 내부 구간에 상응하는 거리 정보를 상기 삼차원 영상의 각 픽셀에 대한 거리 정보로 산출하는 단계;
    를 포함하는 것을 특징으로 하는 삼차원 영상 환원 장치.
  12. 삭제
  13. 삭제
  14. 제11 항에 있어서,
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계는,
    상기 거리 정보에 미리 지정된 투영 행렬(projection matrix)를 곱하여 상기 깊이 정보를 산출하는 단계인 것을 특징으로 하는 삼차원 환원 장치.
  15. 제14 항에 있어서,
    상기 명령어는,
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계 이전에,
    상기 거리 정보에 미리 지정된 최대 거리(far)를 곱하는 단계
    를 더 수행하는 명령어인 것을 특징으로 하는 삼차원 환원 장치.
  16. 삼차원 환원 장치가 삼차원 영상의 깊이 정보를 환원하는 방법에 있어서,
    삼차원 영상을 수신하는 단계;
    상기 삼차원 영상에 포함된 구간 설정 정보를 추출하는 단계;
    상기 구간 설정 정보에 따라 상기 삼차원 영상에 포함된 양자화 정보를 거리 정보로 변환하는 단계; 및
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계;
    를 포함하되,
    상기 구간 설정 정보는 상기 삼차원 영상의 각 픽셀을 양자화할 때 설정된 양자화 구간 및 내부 구간에 대한 설정 정보이고,
    상기 구간 설정 정보에 따라 상기 양자화 정보를 거리 정보로 변환하는 단계는,
    상기 구간 설정 정보에 따라 상기 양자화 구간 및 상기 내부 구간을 설정하는 단계; 및
    상기 양자화 정보에 따른 상기 삼차원 영상의 각 픽셀이 속한 상기 내부 구간에 상응하는 거리 정보를 상기 삼차원 영상의 각 픽셀에 대한 거리 정보로 산출하는 단계;
    를 포함하는 것을 특징으로 하는 삼차원 영상 환원 방법.
  17. 삭제
  18. 삭제
  19. 제16 항에 있어서,
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계는,
    상기 거리 정보에 미리 지정된 투영 행렬(projection matrix)를 곱하여 상기 깊이 정보를 산출하는 단계인 것을 특징으로 하는 삼차원 환원 방법.
  20. 제19 항에 있어서,
    상기 삼차원 영상의 각 픽셀에 대한 상기 거리 정보를 깊이 정보로 변환하는 단계 이전에,
    상기 거리 정보에 미리 지정된 최대 거리(far)를 곱하는 단계
    를 더 포함하는 것을 특징으로 하는 삼차원 환원 방법.
KR1020140022840A 2014-02-26 2014-02-26 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법 KR101562995B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140022840A KR101562995B1 (ko) 2014-02-26 2014-02-26 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140022840A KR101562995B1 (ko) 2014-02-26 2014-02-26 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150101291A KR20150101291A (ko) 2015-09-03
KR101562995B1 true KR101562995B1 (ko) 2015-10-23

Family

ID=54242502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022840A KR101562995B1 (ko) 2014-02-26 2014-02-26 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101562995B1 (ko)

Also Published As

Publication number Publication date
KR20150101291A (ko) 2015-09-03

Similar Documents

Publication Publication Date Title
US10685282B2 (en) Machine-learning based video compression
US20200013212A1 (en) Facial image replacement using 3-dimensional modelling techniques
US20190138899A1 (en) Processing apparatus, processing method, and nonvolatile recording medium
CN111105375B (zh) 图像生成方法及其模型训练方法、装置及电子设备
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
JP6613749B2 (ja) 視差画像生成方法及び視差画像生成装置
KR102383888B1 (ko) 홀로그래픽 영상 화질 측정 장치 및 그 방법
US20160171759A1 (en) Depth information-based modeling method, graphic processing apparatus and storage medium
KR20210056149A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
KR20200138079A (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
KR102537207B1 (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
JP2023530548A (ja) マルチプレーン画像圧縮
Pascual et al. Adjustable compression method for still JPEG images
JP2017224939A5 (ko)
CN117726542B (zh) 基于扩散模型的可控噪声去除方法及系统
Váša et al. Rate‐distortion optimized compression of motion capture data
KR102252947B1 (ko) 양자화된 뎁스-맵을 이용한 이미지-홀로그램 변환 방법 및 시스템
KR101562995B1 (ko) 삼차원 영상 생성 장치 및 방법, 삼차원 영상 환원 장치 및 방법
US11750825B2 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
CN113012031A (zh) 图像处理方法和图像处理装置
KR102126916B1 (ko) 블러된 영상 복원을 위한 장치 및 방법
JP5263854B1 (ja) 画像圧縮装置、画像解凍装置、画像圧縮プログラム、画像解凍プログラム及びデータ構造
US9830707B2 (en) Apparatus and method for generating depth map
JP2016092600A5 (ko)
CN106791801A (zh) 一种三维图像的质量评价方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 5