KR102383888B1 - 홀로그래픽 영상 화질 측정 장치 및 그 방법 - Google Patents

홀로그래픽 영상 화질 측정 장치 및 그 방법 Download PDF

Info

Publication number
KR102383888B1
KR102383888B1 KR1020150165228A KR20150165228A KR102383888B1 KR 102383888 B1 KR102383888 B1 KR 102383888B1 KR 1020150165228 A KR1020150165228 A KR 1020150165228A KR 20150165228 A KR20150165228 A KR 20150165228A KR 102383888 B1 KR102383888 B1 KR 102383888B1
Authority
KR
South Korea
Prior art keywords
image
holographic
depth
image quality
holographic image
Prior art date
Application number
KR1020150165228A
Other languages
English (en)
Other versions
KR20170060725A (ko
Inventor
오관정
추현곤
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150165228A priority Critical patent/KR102383888B1/ko
Priority to US15/219,426 priority patent/US10127646B2/en
Publication of KR20170060725A publication Critical patent/KR20170060725A/ko
Application granted granted Critical
Publication of KR102383888B1 publication Critical patent/KR102383888B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2244—Means for detecting or recording the holobject
    • G03H2001/2247—Means for detecting or recording the holobject for testing the hologram or holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 장치는 홀로그램 영상을 복원하는 홀로그램 영상 복원부; 복원된 영상으로부터 미리 정한 깊이에서 초점이 맞는 영역을 모아 하나의 영상으로 중첩시키는 중첩 초점 영상 생성부; 및 상기 중첩 초점 영상에 대해 화질 평가를 수행하는 홀로그램 영상 화질 측정부를 포함할 수 있다.

Description

홀로그래픽 영상 화질 측정 장치 및 그 방법{Apparatus for measuring quality of Holographic image and method thereof}
본 발명은 홀로그래픽 영상 화질 측정 장치 및 그 방법에 관한 것으로, 보다 상세하게는 홀로그래픽 영상을 하나의 중첩된 초점 영상으로 생성하여 화질을 측정할 수 있는 기술에 관한 것이다.
홀로그래피는 빛의 회절과 간섭 현상을 이용하는 기술로 빛의 진폭 정보만 기록하는 기존의 2D 영상과 달리 빛의 위상정보까지 활용함으로써 실물을 보는 것과 같이 완벽한 3D 영상을 제공할 수 있는 기술로 궁극적인 3D 이미징 기술로 각광받고 있다.
이에 따라 홀로그램 영상을 서비스 할 수 있는 다양한 홀로그래픽 비디오 시스템에 대한 연구가 활발히 진행중이다. 크게는 홀로그래픽 데이터를 획득 및 생성하는 장치 및 방법에 관한 연구, 이를 압축 전송 및 복호화 하는 코덱 기술에 관한 연구, 그리고 이를 재현할 수 있는 홀로그래픽 디스플레이 장치에 대한 다양한 연구가 진행되고 있다.
영상에 대한 화질 측정은 디지털 영상 처리에서 가장 중요한 기술 요소이다. 화질 측정을 통해 디지털 영상 처리 알고리즘의 성능을 평가할 수 있고, 또한 이를 통해 영상 처리 알고리즘의 최적화가 가능하기 때문이다.
흔히 디지털 영상에 대한 화질 측정은 주관적인(subjective) 방법과 객관적인(objective) 방법으로 나뉜다. 주관적인 방법은 실제 디스플레이를 통해 재현된 영상을 사람이 눈으로 관찰하여 점수를 주는 방식으로 진행된다. 이에 반해 객관적인 방법은 평가 척도 (evaluation metric/measurement)를 통해 수치적으로 값을 비교하는 방식이다. 일반적으로 2D 영상에서는 PSNR(peak signal to noise ratio)이 대표적인 객관적 화질 평가 척도이다.
홀로그램 영상은 여러 깊이 평면과 여러 시점을 동시에 표현할 수 있어 이에 맞는 별도의 화질 평가 방법이 요구된다.
특허공개번호 KR 2013-0060978호
본 발명의 실시예는 홀로그램 영상에 대한 객관적 및 주관적 화질 평가가 가능한 홀로그래픽 영상 화질 측정 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 장치는 홀로그램 영상을 복원하는 홀로그램 영상 복원부; 복원된 영상으로부터 미리 정한 깊이에서 초점이 맞는 영역을 모아 하나의 영상으로 중첩시키는 중첩 초점 영상 생성부; 및 상기 중첩 초점 영상에 대해 화질 평가를 수행하는 홀로그램 영상 화질 측정부를 포함할 수 있다.
또한, 3차원 영상을 이용하여 홀로그램 영상을 생성하는 홀로그램 영상생성부를 더 포함할 수 있다.
또한, 상기 홀로그램 영상 복원부는 깊이별 수치적 복원을 수행할 수 있다.
또한, 상기 중첩 초점 영상 생성부는, 깊이 영상을 이용하여 초점이 맞는 영역을 모을 수 있다.
또한, 상기 중첩 초점 영상 생성부는 모든 깊이 평면 또는 대표성을 갖는 깊이평면에 대해서 중첩된 초점 영상을 생성할 수 있다.
또한, 상기 중첩 초점 영상 생성부는 깊이별 복원된 영상에 대해 디포커싱을 이용하거나 깊이별로 동일 영역에 대한 상관도를 분석하여 중첩된 초점 영상을 생성할 수 있다.
또한, 상기 깊이별 복원된 영상은 상기 홀로그램 영상 복원부에 의한 영상 복원 시에 깊이별 동일한 밝기를 갖도록 보정하거나, 복원이 완료된 후 동일한 밝기를 갖도록 후보정하거나, 상기 중첩 초점 영상 생성부에 의해 영상 중첩시에 보정할 수 있다.상기 홀로그램 영상 화질 측정부는 상기 중첩 초점 영상의 화질, 깊이감, 시야각을 측정할 수 있다.
또한, 상기 홀로그램 영상 화질 측정부는, 상기 중첩 초점 영상에 대해 대표성을 갖는 시점을 정의하고 상기 대표성을 갖는 시점에 대한 화질을 평가할 수 있다.
또한, 상기 홀로그램 영상 화질 측정부는, 상기 중첩 초점 영상에 대해 여러 시점의 영상을 이용하여 하나의 파노라마 이미지를 생성하고 상기 파노라마 영상에 대한 화질을 평가할 수 있다.
본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법은 홀로그램 영상의 깊이별 복원을 수행하는 하는 단계; 상기 복원된 홀로그램 영상의 미리 정한 깊이에서 초점이 맞는 영역을 모아 하나의 중첩된 초점 영상을 생성하는 단계; 및 상기 하나의 중첩된 초점 영상의 화질을 측정하는 단계를 포함할 수 있다.
또한, 상기 깊이별 복원을 수행하는 하는 단계는 깊이별 수치적 복원을 수행할 수 있다.
또한, 3차원 영상으로부터 상기 홀로그램 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 하나의 중첩된 초점 영상을 생성하는 단계는, 깊이 영상을 이용하여 미리 정한 깊이에서의 초점이 맞는 영역을 모아 상기 하나의 중첩된 초점 영상을 생성할 수 있다.
또한, 상기 하나의 중첩된 초점 영상의 화질을 측정하는 단계는 상기 하나의 중첩된 초점 영상의 화질, 깊이감, 시야각을 평가할 수 있다.
상기 하나의 중첩된 초점 영상의 화질을 측정하는 단계는 상기 하나의 중첩된 초점영상에 대해 대표성을 갖는 시점을 정의하고, 상기 대표성을 갖는 시점에 대한 화질을 평가할 수 있다.
본 기술은 상기 해결 수단에서 명시한 방법을 적용할 경우 홀로그램 영상에 대한 객관적 및 주관적 화질 평가가 가능하고 이를 기반으로 한 신호처리적인 관점의 최적화가 가능하다.
도 1은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 적용한 홀로그램 기반의 홀로그래픽 비디오 시스템의 구성도이다.
도 3은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 적용한 3차원 영상 기반의 홀로그래픽 비디오 시스템의 구성도이다.
도 4는 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 수치 복원 영상 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 깊이별 복원된 영상으로부터 중첩된 초점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 기술을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 장치의 구성도이다. 본 발명에서의 홀로그래픽 영상은 홀로그램 영상으로 변환이 가능한 3D 데이터를 모두 통칭하는 것으로, 직접 획득된 홀로그램 데이터, 홀로그램 영상, CGH(Computer generated hologram)를 통해 획득된 홀로그램, CGH를 통해 홀로그램으로 변환 가능한 3D 이미지 또는 3D 모델 데이터를 통칭한다. 본 발명에서는 대표적인 홀로그래픽 영상인 홀로그램 영상과 3D 비디오 영상을 기반으로 설명하기로 한다.
다시점 3차원 영상을 기반으로 한 3차원 영상 서비스를 보면 3차원 영상의 평가는 3차원 영상의 화질 자체뿐만 아니라 이를 통해 렌더링이 가능한 중간 시점의 영상에 대한 화질도 함께 평가를 한다. 즉, 코덱의 관점에서 볼 때 입력된 시점 외에 가상의 시점에 대한 영상의 화질까지 평가하는 것이다. 이는 다시점 3차원 영상에 대한 처리가 주어진 시점에서만 최적화되어 실제 서비스에 필요한 중간시점의 화질이 저하되는 것을 방지하기 위한 것인데, 홀로그래픽 영상의 화질 평가시에도 이러한 부분을 고려하기로 한다.
홀로그램 영상의 경우 기존의 2차원 및 3차원 영상과 달리 해당 영상이 직접적으로 눈에 보여지는 영상이 아니고, 공간광변조기(SLM;Spatial light modulator)에 로딩되는 데이터로서 영상 자체의 화질보다는 공간광변조기를 통해 재현되는 홀로그램의 화질이 중요하다. 즉, 부호화되어 보여지는 3차원 영상의 화질은 2차원 또는 3차원 디스플레이장치를 통해 직접적으로 눈에 보여지는 영상이지만 홀로그래픽 영상을 디스플레이할 때 3차원 영상의 화질은 단순히 홀로그램 영상을 만들기 위한 3차원 영상정보일 뿐이다.
이에, 본 발명에서는 3차원 영상 자체가 아닌 재현되는 홀로그래픽 영상에 대한 화질 평가를 수행한다.
이를 위해, 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 장치는 화질 측정부(100), 신호 처리부(200), 디스플레이부(300)를 포함한다.
화질 측정부(100)는 홀로그램 영상을 수치복원하고 수치복원 영상으로부터 중첩 초점 영상을 생성하여 중첩된 초점 영상을 기반으로 화질을 측정한다.
화질 측정부(100)는 홀로그램 영상 생성부(110), 홀로그램 영상 복원부(120), 중첩 초점 영상 생성부(130), 홀로그램 영상 화질 측정부(140)를 포함한다.
홀로그램 영상 생성부(110)는 색과 깊이를 가지는 3차원 영상으로부터 홀로그램 영상을 생성한다.
홀로그램 영상 복원부(120)는 홀로그램 영상의 모든 깊이 평면에 대해 수치적 복원을 수행한다. 홀로그램 영상은 기존의 2차원 영상과 달리 깊이 표현이 가능하여 실제 사람이 눈으로 보는 것과 같이 특정 깊이에 초점을 맞출 수 있다. 이에 홀로그램 영상에 대한 수치적 복원도 특정 깊이 평면에 초점을 맞춘 영상의 복원을 의미한다. 수치적 복원 영상은 깊이 평면별로 정의된다. 이에 수치적 복원된 홀로그램 영상에 대한 평가를 하기 위해서는 모든 깊이 평면에 대해 수치적 복원을 수행하고 이에 대한 영상을 모두 평가해야 한다. 예를 들어, 깊이 영상이 256레벨을 갖는 8비트 영상인 경우 256개의 깊이 평면이 정의되고 256개의 수치적 복원영상이 생성된다. 도 5는 3차원 영상(10, 20)으로부터 홀로그램 영상(30)으로 생성한 후 홀로그램 영상을 수치적 복원을 수행한 영상(40)을 도시하고 있다.
중첩 초점 영상 생성부(130)는 깊이별 수치적 복원된 영상에서 해당 깊이에서 초점이 맞는 영역만을 모아 하나의 이미지로 중첩시켜 하나의 중첩된 초점 영상으로 생성한다. 앞에서 예를 든 256개의 수치적 복원 영상이 생성된 경우, 256개의 수치적 복원 영상에 대해 모두 화질 평가를 하기 어려우므로, 256개의 수치적 복원 영상에서 초점이 맞는 영역만을 모아 하나의 중첩된 초점 영상을 생성한다. 도 6을 참조하면 여러 개의 깊이별 수치적 복원 영상(50)에서 특정 깊이에서 초점이 맞는 영역만을 모아 중첩된 초점 영상(70)을 만든 예를 도시하고 있다. 이때, 특정 깊이에서 초점이 맞는 영역은 원 깊이 영상(60)을 이용하여 구분할 수 있다.
예를 들어, 특정 객체가 100이라는 깊이 값을 갖는 경우, 100번째 깊이에서 수치적 복원된 영역에서 해당 객체 영역만을 가져올 수 있다. 이는 사람이 특정 깊이에 초점을 맞추면 다른 깊이 영역에 대해서는 보다 둔감하다는 특성을 이용한 것이다. 만약 깊이 영상을 이용할 수 없는 경우, 깊이별 복원 영상에 대해 디포커싱을 이용하거나 깊이 별로 동일 영역에 대한 상관도를 분석하는 방법 등을 이용한 신호처리적인 처리를 통해 중첩된 초점 영상을 만들 수 있다. 또한, 중첩된 초점 영상 생성 시 모든 깊이 평면이 활용될 수 있고 대표성을 갖는 깊이 평면에 대해서만 수행될 수도 있다. 중첩된 초점 영상 생성 시 사용되는 깊이별 복원 영상의 밝기차는 복원 과정에서 동일한 밝기를 갖도록 조정되거나, 복원 후 동일한 밝기를 갖도록 후보정 될 수 있다. 또는 영상을 중첩하는 과정에서 보정될 수도 있다.
홀로그래픽 영상 화질 측정부(140)는 중첩 초점 영상 생성부(130)에서 생성된 하나의 중첩 초점 영상에 대해 화질 평가를 수행한다. 이처럼 하나의 중첩 초점 영상에 대한 평가만으로도 해당 시점의 홀로그램 영상에 대한 화질과 깊이감을 모두 평가할 수 있다.
홀로그래픽 영상 화질 측정부(140)는 손실이 없는 홀로그래픽 데이터로부터 만들어진 중첩된 초점 영상과 압축이나 어떠한 신호처리를 통해 손실이 있는 홀로그래픽 데이터로부터 만들어진 중첩된 초점 영상을 2차원 영상 화질 평가 매트릭(METRIC)을 이용하여 비교하여 손실을 야기한 프로세싱에 대한 화질 저하를 측정할 수 있다.
신호 처리부(200)는 측정된 화질값을 이용하여 홀로그래픽 영상의 신호처리를 수행한다.
디스플레이부(300)는 신호처리된 홀로그래픽 영상을 디스플레이한다. 이때, 디스플레이부(300)는 홀로그래픽 영상으로부터 생성한 중첩된 초점 영상을 2차원 또는 3차원 디스플레이로 구현할 수 있다.
이와 같은 구성을 갖는 홀로그래피 영상 화질 측정장치는 홀로그램영상에 대해 화질 및 깊이감을 평가하는 실시예를 설명했다.
그런데, 홀로그램 영상의 시야각이 넓은 경우에는 여기에 시야각에 대한 평가가 추가되어야 한다. 시야각은 다른 표현으로는 시청 가능한 시점의 수(number)와 유사한 개념이 다. 즉, 어떤 홀로그램 영상이 20도의 시야각을 갖는다는 것은, 20도 내의 모든 시점에 대해서는 시청이 가능하다는 의미이다. 따라서 홀로그램 영상을 평가할 때는 화질과 깊이감 뿐만 아니라 시야각에 대한 평가도 함께 고려되어야 한다.
이에, 시야각에 대해 평가하기 위해서는, 중첩 초점 영상 생성부(130)가 해당 시야각 내의 특정 시점에 대해 중첩된 초점 영상을 만들고, 홀로그램 영상 화질 측정부(140)는 특정 시점에 대해 중첩된 초점 영상에 대해 화질을 평가한다. 무한한 시점에 대해 모두 평가를 할 수는 없으니 시야각내에서 대표 시점에 대한 정의를 통해 간략화할 수 있다. 예를 들어, 가장 좌측에 위치한 시점과, 중앙 시점, 그리고 가장 우측에 위치한 시점에 대한 화질을 평가한다면, 해당 시야각 내의 모든 시점에 대한 어느 정도의 대표성을 가질 수 있다. 혹은 여러 시점의 영상을 이용하여 하나의 파노라마 이미지를 만들어 이를 통해 화질을 평가할 수도 있다. 즉, 대표성을 갖는 시점 영상은 하나 혹은 다수의 시점 영상으로 대표되거나, 여러 시점 영상을 하나로 통합한 형태인 파노라마 영상이 될 수도 있다.
따라서, 본 발명에서는 중첩된 초점 영상을 정의하고 대표성을 갖는 시점(들)을 정의하여, 홀로그램 영상에 대한 화질을 평가한다
만약 홀로그램의 생성 및 수치적 복원 과정이 하나의 손실이 없는 이상적인 프로세스라면 도 6의 중첩된 영상은 도 5의 3차원 영상의 색(color) 영상 정보와 일치한다. 이는 중첩된 영상을 이용한 화질 평가 방법에 원 3차원 영상도 활용될 수 있음을 의미한다. 여러 시점에 대해 생성된 중첩된 초점 영상들을 마치 다시점 영상과 같은 형태를 갖는다. 따라서 홀로그램 영상에 대한 화질 평가 방법에서 홀로그래픽 디스플레이가 보편적으로 활용될 수 없는 경우라면 다시점 중첩된 초점 영상들을 기존의 스테레오나 다시점 디스플레이를 통해 재현함으로써 홀로그래픽 디스플레이에 대한 주관적 화질 평가와 유사한 효과를 얻을 수 있다.
이렇듯 홀로그램 화질에 대한 평가 방법을 정의하면 보다 유용한 홀로그램 화질 평가가 가능하고, 또한 이를 기반으로 하여 디지털 홀로그래픽 데이터에 대한 다양한 신호처리적인 프로세스에 대한 최적화가 가능하다. 예를 들어, 디지털 홀로그래픽 데이터를 압축하는 과정에서 비트율-왜곡 (rate-distortion) 최적화를 수행할 때, 홀로그래픽 영상 서비스를 고려한다면 왜곡에 홀로그램 화질에 대한 평가가 고려된다면 보다 유용할 것이다. 또한, 홀로그래픽 데이터에 대한 전처리/후처리/in-loop 필터링이나 다운업 샘플링(down/up sampling) 과정, 반복(iteration)을 기반으로 한 프로세싱등도 홀로그램 화질 평가 관점에서 최적화 될 수 있다.
도 2는 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 적용한 홀로그램 기반의 홀로그래픽 비디오 시스템의 구성도이다.
도 2를 참조하면, 홀로그램 기반의 홀로그래픽 비디오 시스템은 데이터 획득부(410), 압축부(420), 압축 해제부(430), 디스플레이부(440)를 포함한다.
데이터 획득부(410) 내의 홀로그램 획득부(411)는 홀로그램 영상을 획득하고 3D 이미지 획득부(412)는 3D 이미지를 획득한다. 이때 CGH 생성부(413)가 3D 이미지를 홀로그램 영상으로 변환한다.
이에 압축부(420)는 홀로그램 획득부(411)의 홀로그램 영상과 CGH 생성부(413)에 의해 생성된 홀로그램 영상을 압축하고, 압축된 영상을 방송(Broadcasting), 네트워크(Network), 저장매체(storage) 등을 통해 전송한다.
압축해제부(430)는 수신한 압축 영상을 압축 해제하여 디스플레이부(440)로 전달한다. 이때, 영상 데이터의 압축 및 압축해제 등은 일반적인 비디오 시스템의 압축 및 압축해제 기술을 사용할 수 있다.
디스플레이부(440)는 압축해제부(430)로부터 수신한 압축한 홀로그램 영상을 디스플레이 한다. 이때, 코딩부(4420)를 통해 압축 데이터를 코딩 후 디스플레이할 수 있다.
이와 같이, 도 2에서는 3D 영상을 이용하여 홀로그램 영상을 생성하고 홀로그램 영상을 압축하여 전송하면 수신단에서 압축된 홀로그램 영상을 압축해제하여 디스플레이 장치가 압축 해제된 홀로그램 영상을 재현하고 본 발명에서는 이러한 홀로그램 영상의 화질을 측정할 수 있다.
도 3은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 적용한 3차원 영상 기반의 홀로그래픽 비디오 시스템의 구성도이다.
도 3에 도시된 3차원 영상 기반의 홀로그래픽 비디오 시스템은 데이터 획득부(510)에서 3차원 영상을 획득하고 압축부(520)에서 3차원 영상을 압축한 후 전송하면 수신단의 압축 해제부(530)에서 3차원 영상을 압축 해제하고 디스플레이부(540)로 전달한다.
디스플레이부(540)의 CGH 생성부(541)는 압축 해제된 3차원 영상을 홀로그램으로 변환하여 홀로그램 디스플레이부(542)로 전달하여 홀로그램 디스플레이부(542)는 홀로그램 영상을 재현한다. 한편 2D/3D 디스플레이부(543)는 압축해제된 3차원 영상을 바로 디스플레이할 수 있다.
이와 같이, 도 3에서는 3D 영상을 압축하여 전송하면 수신단에서 압축된 3D 영상을 압축해제하고 압축해제된 3D 영상을 CGH 생성부(541)에서 홀로그램 영상으로 변환하여 변환된 홀로그램 영상을 재현하고 본 발명에서는 이러한 홀로그램 영상의 화질을 측정할 수 있다.
이하, 도 4를 참조하여 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 방법을 구체적으로 설명하기로 한다.
홀로그램 영상 생성부(110)는 3차원 영상으로부터 홀로그램 영상을 생성한다(S101). 이때, 3차원 영상으로부터 홀로그램 영상을 생성하지 않고 홀로그램 영상 자체를 이용할수 도 있다.
이어 홀로그램 영상 복원부(120)는 홀로그램 영상의 깊이별 수치적 복원을 수행한다(S102). 즉, 홀로그램 영상 복원부(120)는 홀로그램 영상의 특정 깊이 평면에 초점을 맞춘 영상의 복원을 수행한다.
그 후 중첩 초점 영상 생성부(130)는 수치적 복원된 영상의 특정 깊이에서 초점이 맞는 영역만을 모아 하나의 이미지로 중첩시켜 중첩된 초점 영상을 생성한다(S103). 이때, 중첩 초점 영상 생성부(130)는 시야각을 고려하는 경우, 특정 시야각 내의 특정 시점에 대해 중첩된 초점 영상을 생성한다.
이어서, 홀로그램 영상 화질 측정부(140)는 하나의 중첩된 초점 영상에서 대표성을 갖는 시점들에 대한 홀로그램 영상의 화질을 측정한다(S104). 그 후, 신호처리부(200)는 측정된 화질값을 이용하여 신호처리 및 압축을 수행한다(S105).
이어, 디스플레이부(300)는 하나의 중첩된 초점 영상을 2D 또는 3D 디스플레이부에서 재현한다(S106).
도 7은 본 발명의 실시예에 따른 홀로그래픽 영상 화질 측정 기술을 적용한 컴퓨터 시스템의 구성도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 화질 측정부
200 : 신호처리부
300 : 디스플레이부
110 : 홀로그램 영상 생성부
120 : 홀로그램 영상 복원부
130 : 중첩 초점 영상 생성부
140 : 홀로그램 영상 화질 측정부

Claims (16)

  1. 3차원 공간 상의 홀로그램 영상을 복원하는 홀로그램 영상 복원부;
    복원된 영상으로부터 설정된 시야각 내 적어도 하나의 대표성을 갖는 시점에 대해 미리 정한 깊이에서 초점이 맞는 영역을 모아 상기 적어도 하나의 대표성을 갖는 시점에 대한 중첩 초점 영상을 생성하는 중첩 초점 영상 생성부; 및
    상기 적어도 하나의 대표성을 갖는 시점에 대한 중첩 초점 영상에 대해 화질 평가를 수행하는 홀로그램 영상 화질 측정부
    를 포함하는 홀로그래픽 영상 화질 측정 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 홀로그램 영상 복원부는
    깊이별 수치적 복원을 수행하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 중첩 초점 영상 생성부는
    모든 깊이 평면 또는 대표성을 갖는 깊이평면에 대해서 상기 중첩 초점 영상을 생성하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 장치.
  6. 청구항 3에 있어서,
    상기 중첩 초점 영상 생성부는
    깊이별 복원된 영상에 대해 디포커싱을 이용하거나 깊이별로 동일 영역에 대한 상관도를 분석하여 상기 중첩 초점 영상을 생성하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 장치.
  7. 청구항 6에 있어서,
    상기 깊이별 복원된 영상은 상기 홀로그램 영상 복원부에 의한 영상 복원 시에 깊이별 동일한 밝기를 갖도록 보정하거나, 복원이 완료된 후 동일한 밝기를 갖도록 후보정하거나, 상기 중첩 초점 영상 생성부에 의해 영상 중첩시에 보정하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 장치.
  8. 청구항 1에 있어서,
    상기 홀로그램 영상 화질 측정부는
    상기 중첩 초점 영상의 화질, 깊이감, 시야각을 평가하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 장치.
  9. 삭제
  10. 삭제
  11. 3차원 공간 상의 홀로그램 영상의 깊이별 복원을 수행하는 하는 단계;
    상기 복원된 홀로그램 영상으로부터 설정된 시야각 내 적어도 하나의 대표성을 갖는 시점에 대해 미리 정한 깊이에서 초점이 맞는 영역을 모아 상기 적어도 하나의 대표성을 갖는 시점에 대한 중첩 초점 영상을 생성하는 단계; 및
    상기 적어도 하나의 대표성을 갖는 시점에 대한 중첩 초점 영상의 화질을 측정하는 단계
    를 포함하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 방법.
  12. 청구항 11에 있어서,
    상기 깊이별 복원을 수행하는 하는 단계는
    깊이별 수치적 복원을 수행하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 방법.
  13. 삭제
  14. 삭제
  15. 청구항 11에 있어서,
    상기 중첩 초점 영상의 화질을 측정하는 단계는
    상기 중첩 초점 영상의 화질, 깊이감, 시야각을 평가하는 것을 특징으로 하는 홀로그래픽 영상 화질 측정 방법.
  16. 삭제
KR1020150165228A 2015-11-25 2015-11-25 홀로그래픽 영상 화질 측정 장치 및 그 방법 KR102383888B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150165228A KR102383888B1 (ko) 2015-11-25 2015-11-25 홀로그래픽 영상 화질 측정 장치 및 그 방법
US15/219,426 US10127646B2 (en) 2015-11-25 2016-07-26 Apparatus and method for measuring quality of holographic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150165228A KR102383888B1 (ko) 2015-11-25 2015-11-25 홀로그래픽 영상 화질 측정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170060725A KR20170060725A (ko) 2017-06-02
KR102383888B1 true KR102383888B1 (ko) 2022-04-07

Family

ID=58721773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150165228A KR102383888B1 (ko) 2015-11-25 2015-11-25 홀로그래픽 영상 화질 측정 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10127646B2 (ko)
KR (1) KR102383888B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497832B1 (ko) 2017-12-26 2023-02-08 한국전자통신연구원 홀로그램 생성 장치 및 그 방법
KR102577707B1 (ko) 2018-04-30 2023-09-14 한국전자통신연구원 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
CN109559276B (zh) * 2018-11-14 2020-09-08 武汉大学 一种基于质量评价和特征统计的图像超分辨率重建方法
US11205257B2 (en) 2018-11-29 2021-12-21 Electronics And Telecommunications Research Institute Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region
KR20200116318A (ko) * 2019-04-01 2020-10-12 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 장치 및 방법
US11310475B2 (en) * 2019-08-05 2022-04-19 City University Of Hong Kong Video quality determination system and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344553B2 (ja) * 1997-02-05 2002-11-11 セントラル硝子株式会社 ホログラムの像質評価方法およびその装置
US6631403B1 (en) * 1998-05-11 2003-10-07 At&T Corp. Architecture and application programming interfaces for Java-enabled MPEG-4 (MPEG-J) systems
EP1631788B1 (en) * 2003-05-16 2007-03-14 Universite Libre De Bruxelles Digital holographic microscope for 3d imaging and process using it
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
ITRM20050120A1 (it) * 2005-03-16 2006-09-17 Consiglio Nazionale Ricerche Metodo olografico a ricostruzione numerica per ottenere un'immagine di un oggetto tridimensionale nella quale siano a fuoco anche punti situati al di fuori della profondita' di campo, e apparato olografico utilizzante tale metodo.
JP4720785B2 (ja) * 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
KR101216329B1 (ko) 2009-12-16 2012-12-27 한국전자통신연구원 복수 계층 영상의 품질 측정 방법 및 시스템
US20110310447A1 (en) * 2010-06-17 2011-12-22 Eun-Soo Kim Method for generating 3d video computer generated hologram using look-up table and spatial redundancy, and apparatus thereof
KR20130060978A (ko) 2011-11-30 2013-06-10 성균관대학교산학협력단 3ｄ 영상의 화질 향상을 위한 움직임 기반의 깊이 맵 동적 재배열 방법 및 장치
KR101859774B1 (ko) * 2011-12-27 2018-05-18 한국전자통신연구원 디지털 홀로그래픽 콘텐츠 제작 시스템
US9742993B2 (en) * 2012-02-16 2017-08-22 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution optical image scanning
KR20150081010A (ko) 2014-01-03 2015-07-13 한국전자통신연구원 홀로그램 재현 영상의 시야각 측정 평가 장치 및 방법
KR102083875B1 (ko) * 2014-08-11 2020-03-03 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법

Also Published As

Publication number Publication date
US10127646B2 (en) 2018-11-13
US20170148151A1 (en) 2017-05-25
KR20170060725A (ko) 2017-06-02

Similar Documents

Publication Publication Date Title
KR102383888B1 (ko) 홀로그래픽 영상 화질 측정 장치 및 그 방법
Song et al. MCL-3D: A database for stereoscopic image quality assessment using 2D-image-plus-depth source
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
US9269163B2 (en) Method and apparatus for compressing or decompressing light field images
KR101177408B1 (ko) 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
KR102083875B1 (ko) 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
US10119809B2 (en) Simulating multi-camera imaging systems
TW201703518A (zh) 用於使用深度資訊之全視差壓縮光場合成之方法
KR100690784B1 (ko) 화질 평가를 위한 압축 영상 품질 검사 방법
JP2014504462A (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
TW201904279A (zh) 用於全視差光場壓縮之方法
Graziosi et al. Compression for full-parallax light field displays
Piao et al. Sub-sampling elemental images for integral imaging compression
KR101600681B1 (ko) 집적 영상시스템의 3차원 영상 표시깊이변환방법
EP4156685A1 (en) Light field image processing method, light field image encoder and decoder, and storage medium
US20150029566A1 (en) Method of coding a holographic pattern, a corresponding coding device and computer program
KR20150081010A (ko) 홀로그램 재현 영상의 시야각 측정 평가 장치 및 방법
TW201904278A (zh) 用於具有殘留之光域壓縮之方法及系統
KR20170094969A (ko) 홀로그래픽 이미지를 처리하는 방법 및 장치
KR102637106B1 (ko) 홀로그램 영상 데이터를 처리하는 방법 및 장치
JP3699921B2 (ja) 画像再構成法及び画像再構成装置
Pinheiro et al. Definition of common test conditions for the new JPEG pleno holography standard
US10996628B2 (en) Apparatus and method for evaluating hologram encoding/holographic image quality for amplitude-modulation hologram
KR20120054790A (ko) 중간영상을 생성하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
KR20120054799A (ko) 다시점 깊이영상을 이용하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant