KR20180065819A - 홀로그래픽 영상처리 장치 및 방법 - Google Patents

홀로그래픽 영상처리 장치 및 방법 Download PDF

Info

Publication number
KR20180065819A
KR20180065819A KR1020160167133A KR20160167133A KR20180065819A KR 20180065819 A KR20180065819 A KR 20180065819A KR 1020160167133 A KR1020160167133 A KR 1020160167133A KR 20160167133 A KR20160167133 A KR 20160167133A KR 20180065819 A KR20180065819 A KR 20180065819A
Authority
KR
South Korea
Prior art keywords
fringe pattern
user
fringe
graphic object
points
Prior art date
Application number
KR1020160167133A
Other languages
English (en)
Other versions
KR101927592B1 (ko
Inventor
홍지수
김영민
홍성희
강훈종
신춘성
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2016/014400 priority Critical patent/WO2018105786A1/ko
Priority to KR1020160167133A priority patent/KR101927592B1/ko
Publication of KR20180065819A publication Critical patent/KR20180065819A/ko
Application granted granted Critical
Publication of KR101927592B1 publication Critical patent/KR101927592B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/10—Shape or geometry
    • G03H2225/13—3D SLM

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그래픽 영상처리 장치가 개시된다. 본 발명에 따른 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 3차원 그래픽 객체에 대한 홀로그래픽 영상처리 장치는, 사용자의 시야를 복수의 영역으로 분할하는 영역 설정부; 상기 사용자의 시야 범위 내의 상기 3차원 그래픽 객체로부터 상기 분할된 영역 별로 포인트들을 샘플링하는 샘플링부 - 여기서, 상기 샘플링된 포인트들의 점밀도는 상기 분할된 영역 별로 상이함-; 및 상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 프린지 패턴 작성부를 포함한다. 본 발명은 홀로그래픽 재생 영상의 해상도를 떨어뜨리지 않으면서도 고속으로 홀로그램을 생성할 수 있는 효과가 있다.

Description

홀로그래픽 영상처리 장치 및 방법{Apparatus and method for processing holographic image}
본 발명은 홀로그래픽 영상처리 장치 및 방법에 관한 것으로, 보다 상세하게는 홀로그래픽 재생 영상의 해상도를 떨어뜨리지 않으면서도 고속으로 홀로그램을 생성할 수 있는 홀로그래픽 영상처리 기술에 관한 것이다.
최근, 입체(3차원) 영상과 영상 재생 기술에 대한 연구들이 활발히 이루어지고 있다. 입체 영상 관련 미디어는 시각 정보의 수준을 한 차원 더 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 영상장치를 주도할 것으로 예상된다. 기존의 2차원 영상 시스템은 평면 영상을 제공하지만, 3차원 영상 시스템은 물체가 가지고 있는 실제 영상 정보를 관찰자에게 보여주는 관점에서 궁극적인 영상 구현 기술이라고 할 수 있다.
입체 영상을 재생하기 위한 방법 중에서 홀로그래피(Holography) 방식은 레이저를 이용하여 제작한 홀로그램을 관측시 특수 안경을 장착하지 않고도 실물과 동일한 입체 영상을 느낄 수 있는 방식이다. 이에 따라, 홀로그래피 방식은 입체감이 뛰어나며 관측자가 피로감 없이 입체 영상을 느낄 수 있는 가장 이상적인 방식으로 알려져 있다.
홀로그래피 방식은 물체에서 반사된 광(물체파)과 간섭성이 있는 광(기준파)을 겹쳐서 얻어지는 간섭 신호를 기록하고, 이를 재생하는 원리를 이용하는 것이다. 가간섭성이 높은 레이저 광을 사용하여 물체에 부딪쳐 산란되는 물체파를 또 다른 방향에서 입사된 기준파와 만나게 하여 형성된 간섭 무늬(프린지 패턴)를 사진 필름에 기록하는 것을 홀로그램이라고 한다. 물체파와 기준파가 만날 때, 간섭에 의한 간섭 무늬를 형성하는데, 이 간섭 무늬에 물체의 진폭과 위상 정보가 함께 기록된다. 이렇게 기록된 간섭 무늬에 참조 광을 조사하여 홀로그램에 기록된 입체성을 입체 영상으로 복원하는 것을 홀로그래피라 한다.
홀로그램을 저장, 전송 및 영상처리를 위해 컴퓨터에 의해 생성하는 방법으로서, 컴퓨터 생성 홀로그램(CGH: Computer Generated Hologram)이 개발되었다. 컴퓨터 생성 홀로그램(CGH)은 컴퓨터를 이용하여 물체 광과 참조 광 사이의 간섭 패턴을 계산하여 홀로그램 간섭 패턴 데이터를 생성하고, 생성된 홀로그램 간섭 패턴 데이터를 공간 광 변조기(Spatial Light Modulator; SLM)에 전송한 후, 레이저를 이용한 참조 광을 공간 광 변조기(SLM)에 조사하여 공간 광 변조기에서 구현되는 홀로그램 간섭 패턴에 대응되는 입체 영상을 복원하여 재생하게 된다.
일반적으로, CGH 생성 기술은 크게 3차원 정보기반 점광원(point source) 방식과 집적영상기반 광필드(light field) 방식으로 나뉘어진다. 점광원 방식의 CGH 생성 기술은 3차원 그래픽 객체를 3차원 포인트의 집합(Point cloud)으로 가정하고, 각각의 포인트들에 대한 홀로그램 패턴을 계산하여 모두 합하는 방식이다. 이때, 3차원 그래픽 객체가 세밀하거나 복잡할수록 3차원 그래픽 객체에 포함된 포인트의 개수가 증가하게 되고, 이는 연산량의 급격한 증가에 따라 고속으로 홀로그램을 생성하지 못하는 문제점을 야기한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 홀로그래픽 재생 영상의 해상도를 떨어뜨리지 않으면서도 고속으로 홀로그램을 생성할 수 있는 방법 및 시스템을 제공함에 있다.
또한, 본 발명은 고속으로 홀로그램을 생성하는 기술 제공함으로써 실시간 동영상 홀로그램을 제공하는 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예들을 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 3차원 그래픽 객체에 대한 홀로그래픽 영상처리 장치에 있어서, 사용자의 시야를 복수의 영역으로 분할하는 영역 설정부; 상기 사용자의 시야 범위 내의 상기 3차원 그래픽 객체로부터 상기 분할된 영역 별로 포인트들을 샘플링하는 샘플링부 - 여기서, 상기 샘플링된 포인트들의 점밀도는 상기 분할된 영역 별로 상이함-; 및 상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 프린지 패턴 작성부를 포함할 수 있다.
일 실시예에서, 홀로그래픽 영상처리 장치는, 상기 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 프린지 패턴 보간부를 더 포함할 수 있다.
일 실시예에서, 상기 프린지 패턴들의 보간은, 포인트들의 점밀도가 미리 설정된 값 보다 작은 영역에 대해 수행될 수 있다.
일 실시예에서, 상기 프린지 패턴들의 보간은, 상기 복사한 프린지 패턴을 상기 복사 대상 프린지 패턴의 위치에서 소정의 거리만큼 시프팅 시켜 수행될 수 있다.
일 실시예에서, 홀로그래픽 영상처리 장치는, 상기 프린지 패턴들을 합성하는 프린지 패턴 합성부를 더 포함할 수 있다.
일 실시예에서, 상기 복수의 영역은 동심원에 의해 구분될 수 있다.
일 실시예에서, 상기 점밀도는 상기 동심원의 중심에서 멀리 있는 영역일수록 낮아질 수 있다.
일 실시예에서, 홀로그래픽 영상처리 장치는, 사용자의 응시점을 추적하는 트래킹부를 더 포함할 수 있다.
일 실시예에서, 상기 복수의 영역은 사용자의 응시점을 중심으로 하는 동심원에 의해 구분될 수 있다.
본 발명의 다른 측면에 따르면, 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 홀로그래픽 영상처리 장치는, 상기 3차원 그래픽 객체로부터 포인트들을 샘플링하는 샘플링부; 상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 프린지 패턴 작성부; 및 상기 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 프린지 패턴 보간부를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 홀로그래픽 영상처리 방법에 있어서, 사용자의 시야를 복수의 영역으로 분할하는 단계; 상기 사용자의 시야 범위 내의 3차원 그래픽 객체로부터 상기 분할된 영역 별로 포인트들을 샘플링하는 단계-여기서, 샘플링된 포인트들의 점밀도는 상기 분할된 영역 별로 상이함-; 및 상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 단계를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 본 발명은 홀로그래픽 재생 영상의 해상도를 떨어뜨리지 않으면서도 고속으로 홀로그램을 생성할 수 있다.
또한, 본 발명은 고속으로 홀로그램을 생성하는 기술 제공함으로써 실시간 동영상 홀로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 홀로그래픽 영상처리 방법에 대한 흐름도.
도 2는 본 발명의 일 실시예에 따른 홀로그래픽 영상 처리 흐름을 나타낸 도면도.
도 3은 포비티드 렌더링 기술의 일 예를 나타낸 도면.
도 4는 홀필링기법을 설명하기 위한 도면.
도 5는 홀필링기법이 적용된 이미지를 나타낸 도면.
도 6은 본 발명의 다른 실시예에 따라 보간된 프린지 패턴을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 프린지 패턴을 작성하여 합성하는 시간과 포인트 밀도와의 관계를 나타낸 그래프.
도 8은 본 발명의 일 실시예에 따른 홀로그래픽 영상처리 장치에서 수행되는 홀로그래픽 영상처리 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 홀로그래픽 디스플레이 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 홀로그래픽 영상 처리 흐름을 나타낸 도면이다.
도 1을 참조하면, 홀로그래픽 디스플레이 시스템(100)은 홀로그래픽 영상처리 장치(110), 시선정보 획득부(120) 및 디스플레이부(130)를 포함한다.
홀로그래픽 영상처리 장치(110)는 3차원 그래픽 객체를 해석하여 프린지 패턴을 작성하고 합성하는 기능을 수행한다. 홀로그래픽 영상처리 장치(110)의 구체적인 동작 및 구성은 후술하기로 한다.
디스플레이부(130)는 3차원 홀로그래픽 영상을 재현하는 기능을 수행한다. 디스플레이부(130)는 공간 광변조기(Spatial Light Modulator : SLM), LED(Light Emitting Diode) 디스플레이 등이 일 수 있고, 기타 3차원 홀로그래픽 영상을 재현할 수 있는 기능을 가진 장치라면 제한없이 적용될 수 있다. 또한, 공간 광변조기는 음향 광 변조기 (AOM: acoustooptic modulator), 액정 디스플레이(LCD: liquid crystal display), DMD(Digital micromirror display) 등 일 수 있다.
시선정보 획득부(120)는 디스플레이부(130)를 바라보는 사용자의 시선정보를 획득하는 기능을 수행한다. 예를 들어, 시선정보 획득부(120)는 카메라일 수 있다. 시선정보 획득부(120)가 카메라인 경우 시선정보는 카메라를 통해 획득된 영상정보이다. 여기서, 시선정보 획득부(120)는 다수의 카메라로 구성된 카메라 어레이일 수 있다. 카메라 어레이는 다수의 카메라를 이용하여 디스플레이부(130)를 기준으로 전 방향에서 다수의 채널 영상을 획득할 수 있다. 일 실시예에 따른 카메라 어레이는 다수의 카메라가 원형으로 배열되어 360도 전체 각도에서 영상 정보를 획득할 수 있다. 이때, 각 카메라는 채널 정보를 가지며, 카메라간 간격은 일정한 거리 또는 일정한 각도로 균일하게 배열될 수 있다. 또는 상황에 따라 소정의 영역에 카메라가 집중적으로 배열될 수도 있다.
또한, 시선정보 획득부(120)는 카메라 외에도 사용자의 시선정보를 획득할 수 있는 장치라면 제한 없이 적용될 수 있다. 예를 들어, 광(예를 들어, 적외선 등) 방출부와 수광부로 구성된 시스템, 초음파 방출부와 음압센서로 구성된 시스템 등일 수 있다.
다만, 이하 본 발명의 명확한 이해와 설명의 편의를 위해 시선정보 획득부(120)는 카메라이고, 시선정보는 카메라를 통해 획득된 영상정보인 것을 예로 들어 설명하기로 한다.
홀로그래픽 영상처리장치(110)는 영역 설정부(112), 샘플링부(113) 및 프린지 패턴 작성부(114)를 포함한다. 그리고, 홀로그래픽 영상처리장치(110)는 다양한 변형 실시예에 따라 트래킹부(111), 프린지 패턴 보간부(115) 및 프린지 패턴 합성부(116) 중 하나 이상을 더 포함할 수 있다. 이하, 발명의 명확한 이해와 설명의 편의를 위해 홀로그래픽 영상처리 장치(110)는 상기한 모든 구성을 포함하는 것으로 한정하고, 참조번호 순서에 따라 설명하기로 한다.
트래킹부(111)는 카메라(120)로부터 획득된 영상정보를 해석하여 사용자의 응시점을 추적하는 기능을 수행한다. 예를 들어, 트래킹부(111)는 영상정보로부터 사용자의 동공의 위치 및 동공이 향하는 정보를 해석하여 사용자의 응시점을 추적할 수 있다. 이때, 응시점은 사용의 시야(Field of view)의 중심일 수 있다.
영역 설정부(112)는 디스플레이부(130)를 향하는 사용자의 시야를 복수의 영역으로 분할하는 기능을 수행한다. 이때, 각각의 영역은 다양한 모양(예를 들어, 원, 다각형 등) 및 다양한 배열(예를 들어, 세로 배열, 가로 배열, 중첩 배열, 사각 배열 등)을 가질 수 있다. 일 실시예에 따르면, 복수의 영역은 서로 다른 반지름을 가지는 동심원에 의해 구분되는 영역일 수 있다. 이하, 복수의 영역의 모양 및 배열은 도 2에 도시된 예를 통해 설명하기로 하지만 본 발명이 이에 한정되지 않음은 물론이다.
본 발명의 일 실시예에 따르면, 도 2에 도시된 바와 같이 사용자의 시야는 사각형(220)이고, 시야는 사각형 내부의 2개의 동심원으로 분할 될 수 있다. 이에 따라, 사용자의 시야는 중심 영역(221), 중간 영역(222) 및 외곽 영역(223) 3개로 구분된다.
샘플링부(113)는 3차원 그래픽 객체(210)로부터 포인트들을 샘플링하는 기능을 수행하며, 샘플링은 다운샘플링일 수 있다. 이때, 샘플링부(113)는 사용자의 시야 범위 내의 3차원 그래픽 객체(210)로부터 각각의 영역(221, 222, 223) 별로 포인트들을 샘플링하며, 샘플링된 포인트들의 점밀도는 각각의 영역(221, 222, 223) 별로 상이할 수 있다. 도 2에 도시된 바와 같이, 샘플링된 포인트들의 점밀도는 중심 영역(221)에서 외곽 영역(223)로 갈수록 낮아질 수 있다.
도 2를 참조하면, 3차원 그래픽 객체(210, 3차원 토끼 모양)를 점광원법에 기반하여 복수의 영역(221, 222, 223) 별로 점밀도를 다르게 샘플링한 결과가 참조번호 230에 도시되어 있다. 참조번호 230에서 사용자의 응시점(즉, 시야의 중심)에서 벗어날수록 포인트들의 점밀도가 낮아지는 것을 확인할 수 있다.
프린지 패턴 작성부(114)는 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 기능을 수행한다. 점광원 방식에 기초하여 각각의 점광원에 대응하는 프린지 패턴을 작성하는 방법은 레일레이 좀머펠드(Rayleigh Sommerfeld) 접근법, 프레넬(Fresnel) 및 프라운호프(Fraunhofer) 근사화 등이 있으며, 이러한 프린지 패턴 작성법은 공지된 기술 내용이고 당업자에게 자명한 사항이므로 상세한 설명은 생략하기로 한다.
프린지 패턴 합성부(116)는 작성된 프린지 패턴을 합성하는 기능을 수행한다. 일 실시예에 따른 합성 결과가 참조번호 240에 나타나 있다. 참조번호 240의 합성된 프린지 패턴이 디스플레이부(130)에 표현되고, 여기에 참조광을 조사하면 사용자는 3차원 홀로그래픽 영상을 볼 수 있게 된다.
3차원 홀로그래픽 영상을 구현함에 있어서 가장 문제가 되는 것은 프린지 패턴을 작성하는데 너무 많은 시간이 걸린다는 것이고, 이는 3차원 홀로그래픽 영상을 실시간으로 재현하는 것에 있어서 장애물로 작용한다. 점광원 방식의 CGH 생성 기술에서 3차원 그래픽 객체(210)로부터 샘플링되는 포인트의 개수가 증가하면 CGH 생성을 위한 연산시간도 증가하고, 반대로 포인트의 개수가 감소하면 그 연산시간도 감소한다.
앞서 설명된 본 발명의 일 실시예에 따르면 3차원 그래픽 객체(210)로부터 샘플링된 포인트들에 대해 프린지 패턴을 작성하기 때문에 샘플링된 포인트들의 개수는 3차원 그래픽 객체(210)의 CGH를 생성하는 연산시간에 중요한 영향을 미친다. 다만, 3차원 그래픽 객체(210)로부터 샘플링된 포인트의 개수가 줄어들수록 3차원 홀로그래픽 영상의 해상도가 떨어지는 2차적인 문제가 발생한다. 하지만, 본 발명의 일 실시예에서는 사용자 시야의 중심에서 외곽으로 갈수록 점밀도를 떨어뜨리는 다운샘플링을 실시하였기 때문에 실제로 사용자가 느끼는 해상도의 변화는 포인트의 감소에 비해 미미하며, 이에 대한 근거는 이미 공지된 포비티드 렌더링(Foveated Rendering) 기술에서 확인할 수 있다.
도 3은 포비티드 렌더링 기술의 일 예를 나타낸 도면이다.
인간의 망막에서 수용체(receptors)의 분포로 인해 인간의 시력은 시야의 중심(즉, 응시점)에서 가장 높고, 주변부로 갈수록 떨어진다. 따라서, 인간의 시야 범위 내에 제공되는 이미지의 질은 모두가 같을 필요가 없다. 즉, 인간의 시야 범위 내에 제공되는 이미지의 질이 전체적으로 높게 제공되는 경우와 시야 중심에서 높고 외곽으로 갈수록 낮게 제공되는 경우를 비교할 때, 인간이 느끼는 이미지의 해상도는 큰 차이를 보이지 않는다는 것이다.
도 3을 참조하면, 이미지(310)를 3개의 영역(321, 322, 333)으로 구분하고, 중심으로부터 외곽으로 갈수록 해상도를 떨어뜨린 후 이미지를 합성하면 참조번호 330의 이미지가 되며, 이러한 일련의 과정을 포비티드 렌더링이라고 한다. 만약 사용자의 응시점이 이미지(310, 330)의 중심에 조준되어 있다면, 사용자는 참조번호 310의 이미지와 참조번호 330의 이미지의 해상도 차이를 잘 느끼지 못하게 된다.
결국, CGH 생성기술에 포비티드 렌더링 기술을 적용한 본 발명의 일 실시예에 따르면, 3차원 홀로그래픽 영상의 해상도를 거의 떨어뜨리지 않으면서도 연산속도는 상당한 수준으로 감소시킬 수 있는 장점이 있다. 하지만, 본 실시예에서 사용자 시야의 가장자리(주변부)에서 다운샘플링이 과도하게 이루어지는 경우 사용자가 해상도가 급격히 떨어지게 된 것을 인지할 위험이 있다. 이러한 문제점을 해결하기 위해 본 발명의 다른 실시예에서 홀로그래픽 영상처리장치(110)는 프린지 패턴 보간부(115)를 더 포함한다.
프린지 패턴 보간부(115)는 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 기능을 수행한다. 이때, 프린지 패턴의 보간은 복사한 프린지 패턴을 복사 대상 프린지 패턴의 위치에서 소정의 거리만큼 시프팅 시켜서 위치시키는 것이다. 보다 구체적인 설명을 위해 도2를 참조하면, 사용자의 시력은 외곽 영역(223)에서 가장 낮기 때문에 외곽 영역(223)에서의 점밀도를 특정 수준 이상으로만 유지한다면 사용자는 이를 통해 재현되는 3차원 홀로그래픽 영상의 해상도 차이를 잘 인지하지 못한다. 하지만, 점밀도를 특정 수준 아래로 낮추지 못한다면 CGH 생성 시간도 더 이상 줄일 수 없다는 문제점이 발생한다. 이러한 문제점을 해결하기 위한 구성요소인 프린지 패턴 보간부(115)는 공지의 홀필링기법(hole filling method)이 가지는 기술적 사상을 참조한 것이다.
도 4는 홀필링기법을 설명하기 위한 도면이고, 도 5는 홀필링기법이 적용된 이미지를 나타낸 도면이고, 도 6은 본 발명의 다른 실시예에 따라 보간된 프린지 패턴을 나타낸 도면이다.
도 4를 참조하면, 홀필링기법은 기준 이미지(410)에서 다운샘플링을 실시(도 4에도시된 실시예에서는 1/2 다운샘플링임, 420)한 후, 다운샘플링을 통해 사라진 픽셀(412)의 위치에 인접한 픽셀(411)을 복사하여 채워 넣는 것이다. 이 경우 복사하여 채워 넣은 픽셀(411)이 다운샘플링을 통해 사라진 픽셀(412)과 동일하지 않을 지라도 사용자는 홀필링기법이 적용되기 전의 이미지(420) 보다 홀필링기법이 적용된 후의 이미지(430)에 대한 시각적 인지가 떨어지고, 특히 시력이 떨어지는 시야의 주변부에서 홀필링기법이 적용된다면 더 극적이 효과를 볼 수 있다.
도 5에서 참조번호 510 이미지는 기준 이미지이고, 참조번호 520은 1/2 다운샘플링 후 홀필링기법이 적용된 이미지이고, 참조번호 530은 1/3 다운샘플링 후 홀필링기법이 적용된 이미지이며, 참조번호 540은 1/4 다운샘플링 후 홀필링기법이 적용된 이미지이다.
프린지 패턴 보간부(115)가 적용된 실시예에서, 홀필링기법은 점밀도가 낮아지도록 다운샘플링된 포인트들에 적용되는 것이 아니라 다운샘플링된 포인트들 각각에 대응하는 프린지 패턴에 적용되는 것이다. 왜냐하면, 다운샘플링된 포인트들에 대해 홀필링기법이 적용된다면 다운샘플링을 통해 낮아진 점밀도가 다시 원래의 상태로 돌아가게 되고, 포인트들의 개수 변화가 없다면 CGH 생성시간 역시 줄어들지 않기 때문이다. 하지만, 다운샘플링된 포인트들에 대해 프린지 패턴을 먼저 작성한 후에, 다운샘플링을 통해 사라진 포인트들의 위치에 사라진 포인트들에 인접한 포인트들의 프린지 패턴을 복사하여 위치시킨다면(도 6 참조), 프린지 패턴이 작성되어야 하는 포인트들의 개수는 줄이면서 포인트들이 사라진 위치에 프린지 패턴을 채울 수 있기 때문에 사용자가 3차원 홀로그래픽 영상의 해상도가 크게 떨어졌음을 인지할 가능성을 낮추면서 CGH 생성시간을 크게 줄일 수 있다. 특히 시력이 떨어지는 시야의 주변부에서는 더 극적인 효과를 볼 수 있다.
도 7은 본 발명의 일 실시예에 따른 프린지 패턴을 작성하여 합성하는 시간과 포인트 밀도와의 관계를 나타낸 그래프이다.
도 7에서 x축은 샘플링되는 포인트들의 밀도를 나타낸 것이고, y축은 규준화된 CGH 연산시간을 나타낸 것이다. 참조번호 710의 영역 내의 그래프를 살펴 보면, 샘플링된 포인트들의 점밀도가 감소함에 따라 CGH 연산시간이 극적으로 줄어드는 것을 볼 수 있다. 참조번호 720의 영역 내의 그래프에서 약간의 CGH 연산시간의 증가는 본 발명의 실시예에 따른 프린지 패턴을 보간하는 프로세스의 관여로 인한 것이다.
도 8은 본 발명의 일 실시예에 따른 홀로그래픽 영상처리 장치에서 수행되는 홀로그래픽 영상처리 방법을 나타낸 순서도이다.
단계 S810에서, 카메라(120)로부터 획득된 영상정보를 해석하여 사용자의 응시점을 추적하는 단계가 수행된다. 예를 들어, 트래킹부(111)는 영상 정보로부터 사용자의 동공의 위치 및 동공이 향하는 정보를 해석하여 사용자의 응시점을 추적할 수 있다. 이때, 응시점은 사용의 시야(Field of view)의 중심일 수 있다.
단계 S820에서, 홀로그래픽 영상처리 장치(110)는 디스플레이부(130)를 향하는 사용자의 시야를 복수의 영역으로 분할하는 단계를 수행한다. 일 실시예에 따르면, 복수의 영역은 반지름이 서로 다른 동심원으로 구분되는 영역일 수 있다.
단계 S830에서, 홀로그래픽 영상처리 장치(110)는 사용자의 시야 범위 내의 3차원그래픽 객체로부터 분할된 영역 별로 포인트들을 샘플링하는 단계를 수행한다. 이때, 샘플링된 포인트들의 점밀도는 분할된 영역 별로 상이할 수 있다.
단계 S840에서, 홀로그래픽 영상처리 장치(110)는 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 단계를 수행한다. 점광원 방식에 기초하여 각각의 점광원에 대응하는 프린지 패턴을 작성하는 방법은 레일레이 좀머펠드(Rayleigh Sommerfeld) 접근법, 프레넬(Fresnel) 및 프라운호프(Fraunhofer) 근사화 등이 있다.
단계 S850에서, 홀로그래픽 영상처리 장치(110)는 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 단계를 수행한다. 이때, 프린지 패턴의 보간은 복사한 프린지 패턴을 복사 대상 프린지 패턴의 위치에서 소정의 거리만큼 시프팅 시켜서 위치시키는 것이다.
단계 S860에서, 홀로그래픽 영상처리 장치(110)는 작성된 프린지 패턴을 합성하는 단계를 수행한다.
상술한 홀로그래픽 영상처리 방법은 도 8에 도시된 순서에 따라 S810부터 S860까지 순차적으로 설명하였으나, 도 1 내지 도 7을 통해 설명된 다양한 실시예를 참조하여 S810 내지 S860의 일부 단계를 조합하여 다양한 실시예가 도출될 수 있고, 이러한 조합 실시예가 본 발명의 범위에 속함은 자명하다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 홀로그래픽 영상처리 시스템
110 : 홀로그래픽 영상처리 장치
111 : 트래킹부
112 : 영역 설정부
113 : 샘플링부
114 : 프린지 패턴 작성부
115 : 프린지 패턴 보간부
116 : 프린지 패턴 합성부
120 : 시선정보 획득부

Claims (11)

  1. 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 3차원 그래픽 객체에 대한 홀로그래픽 영상처리 장치에 있어서,
    사용자의 시야를 복수의 영역으로 분할하는 영역 설정부;
    상기 사용자의 시야 범위 내의 상기 3차원 그래픽 객체로부터 상기 분할된 영역 별로 포인트들을 샘플링하는 샘플링부 - 여기서, 상기 샘플링된 포인트들의 점밀도는 상기 분할된 영역 별로 상이함-; 및
    상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 프린지 패턴 작성부를 포함하는 홀로그래픽 영상처리 장치.
  2. 제1항에 있어서,
    상기 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 프린지 패턴 보간부를 더 포함하는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  3. 제2항에 있어서,
    상기 프린지 패턴들의 보간은,
    포인트들의 점밀도가 미리 설정된 값 보다 작은 영역에 대해 수행되는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  4. 제2항에 있어서,
    상기 프린지 패턴들의 보간은,
    상기 복사한 프린지 패턴을 상기 복사 대상 프린지 패턴의 위치에서 소정의 거리만큼 시프팅 시켜 수행되는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프린지 패턴들을 합성하는 프린지 패턴 합성부를 더 포함하는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  6. 제1항에 있어서,
    상기 복수의 영역은 동심원에 의해 구분되는 영역인 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  7. 제6항에 있어서,
    상기 점밀도는 상기 동심원의 중심에서 멀리 있는 영역일수록 낮아지는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  8. 제1항에 있어서,
    사용자의 응시점을 추적하는 트래킹부를 더 포함하는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  9. 제8항에 있어서,
    상기 복수의 영역은 사용자의 응시점을 중심으로 하는 동심원에 의해 구분되는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  10. 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 홀로그래픽 영상처리 장치에 있어서,
    상기 3차원 그래픽 객체로부터 포인트들을 샘플링하는 샘플링부;
    상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 프린지 패턴 작성부; 및
    상기 작성된 프린지 패턴 중 적어도 하나를 복사하여 작성된 프린지 패턴들을 보간하는 프린지 패턴 보간부를 포함하는 것을 특징으로 하는 홀로그래픽 영상처리 장치.
  11. 3차원 그래픽 객체를 포인트 클라우드 방식으로 구현하는 홀로그래픽 영상처리 방법에 있어서,
    사용자의 시야를 복수의 영역으로 분할하는 단계;
    상기 사용자의 시야 범위 내의 3차원 그래픽 객체로부터 상기 분할된 영역 별로 포인트들을 샘플링하는 단계-여기서, 샘플링된 포인트들의 점밀도는 상기 분할된 영역 별로 상이함-; 및
    상기 샘플링된 포인트들 각각에 대응하는 프린지 패턴을 작성하는 단계를 포함하는 홀로그래픽 영상처리 방법.
KR1020160167133A 2016-12-08 2016-12-08 홀로그래픽 영상처리 장치 및 방법 KR101927592B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2016/014400 WO2018105786A1 (ko) 2016-12-08 2016-12-08 홀로그래픽 영상처리 장치 및 방법
KR1020160167133A KR101927592B1 (ko) 2016-12-08 2016-12-08 홀로그래픽 영상처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167133A KR101927592B1 (ko) 2016-12-08 2016-12-08 홀로그래픽 영상처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180065819A true KR20180065819A (ko) 2018-06-18
KR101927592B1 KR101927592B1 (ko) 2018-12-10

Family

ID=62491929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167133A KR101927592B1 (ko) 2016-12-08 2016-12-08 홀로그래픽 영상처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101927592B1 (ko)
WO (1) WO2018105786A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230084652A (ko) * 2021-12-06 2023-06-13 한국전자기술연구원 포비티드 홀로그램 렌더링 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310365B (zh) * 2019-06-27 2021-01-05 四川大学 一种三维重建方法及装置
KR102277098B1 (ko) 2020-02-25 2021-07-15 광운대학교 산학협력단 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042859A (ko) * 2011-10-19 2013-04-29 삼성전자주식회사 고속으로 홀로그램을 생성하는 방법 및 장치
KR20130046535A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841624B1 (ko) * 2012-01-25 2018-03-26 삼성전자주식회사 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치
KR101573362B1 (ko) * 2014-03-04 2015-12-02 전자부품연구원 고속의 신축적인 디지털 홀로그램 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042859A (ko) * 2011-10-19 2013-04-29 삼성전자주식회사 고속으로 홀로그램을 생성하는 방법 및 장치
KR20130046535A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230084652A (ko) * 2021-12-06 2023-06-13 한국전자기술연구원 포비티드 홀로그램 렌더링 방법 및 시스템
WO2023106428A1 (ko) * 2021-12-06 2023-06-15 한국전자기술연구원 포비티드 홀로그램 렌더링 방법 및 시스템

Also Published As

Publication number Publication date
KR101927592B1 (ko) 2018-12-10
WO2018105786A1 (ko) 2018-06-14

Similar Documents

Publication Publication Date Title
JP4717320B2 (ja) ３次元ディスプレイのための計算時間削減
US20180259905A1 (en) Method for generating a head up display for an aircraft using video holograms in real time with the help of sub- holograms
JP5416094B2 (ja) リアルタイムにビデオホログラムを計算する解析的方法
US6130957A (en) Method and system for producing computer generated holograms realizing real time holographic video production and display
TWI436177B (zh) 以校正後可視度重組三維景象的方法與裝置
KR101927592B1 (ko) 홀로그래픽 영상처리 장치 및 방법
JP7227095B2 (ja) ホログラム生成装置およびホログラム生成方法
KR20090021264A (ko) 영상 형성 방법 및 영상 투사 장치
TWI431443B (zh) 產生三維場景全像圖重建之裝置及方法
EP3712711B1 (en) Method and apparatus for processing holographic image
US9811052B2 (en) Hologram generation apparatus and method
KR100910642B1 (ko) 홀로그래피 기법에 의해 획득된 영상의 3차원 집적 영상복원 방법 및 장치
KR20140126120A (ko) 디지털 홀로그램 합성 방법 및 그 장치
KR101412053B1 (ko) 홀로그램 생성 장치 및 방법
KR20220028496A (ko) 홀로그래픽 디스플레이 장치 및 방법
KR101412050B1 (ko) 홀로그램 생성 장치 및 방법
JP2012008207A (ja) ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置
KR102144473B1 (ko) 3d 홀로그램 생성 장치 및 3d 홀로그램 생성 방법
CN109946943B (zh) 一种基于光束整形抑制散斑噪声的全息显示系统
WO2022209258A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2022254833A1 (ja) 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
Zhang Digital Phase Conjugation and Real-Time 3D Object Generation With Mems Phase Light Modulator
Yamaguchi et al. Computer-generated cylindrical hologram
KR101598615B1 (ko) 디지털 홀로그램으로부터의 임의시점 및 임의시차의 스테레오스코픽 영상 생성 방법
CN116643402A (zh) 平视显示器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant