KR101808129B1 - 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법 - Google Patents

디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법 Download PDF

Info

Publication number
KR101808129B1
KR101808129B1 KR1020140138429A KR20140138429A KR101808129B1 KR 101808129 B1 KR101808129 B1 KR 101808129B1 KR 1020140138429 A KR1020140138429 A KR 1020140138429A KR 20140138429 A KR20140138429 A KR 20140138429A KR 101808129 B1 KR101808129 B1 KR 101808129B1
Authority
KR
South Korea
Prior art keywords
image
channel
observer
pupil
digital holographic
Prior art date
Application number
KR1020140138429A
Other languages
English (en)
Other versions
KR20160043786A (ko
Inventor
추현곤
이수현
김진웅
문경애
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140138429A priority Critical patent/KR101808129B1/ko
Priority to US14/882,632 priority patent/US9906767B2/en
Publication of KR20160043786A publication Critical patent/KR20160043786A/ko
Application granted granted Critical
Publication of KR101808129B1 publication Critical patent/KR101808129B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G03H2001/2242—Multiple viewing windows
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/36—Occluded features resolved due to parallax selectivity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/10—Shape or geometry
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/60—Multiple SLMs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Holo Graphy (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법이 개시된다. 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이 장치는 다수의 카메라를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득하는 카메라 어레이와, 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적하는 제어부와, 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생하는 디스플레이부를 포함한다.

Description

디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법 {Digital holographic table-top display apparatus and method thereof}
본 발명은 3차원 입체 디스플레이 기술에 관한 것이다.
현재까지 상용화된 3차원 입체영상은 스크린에서 2차원 영상으로 구현되었으므로 실제의 3차원 영상을 보는 것과는 차이가 있다. 기술적으로 어려운 문제로는 영상을 다른 각도에서 볼 때 이에 대응하는 다른 면을 관찰할 수 있는 이동 시차(motion parallax)가 실제와 같이 연속적으로 완전하게 제공되지 못하는 점이다. 아울러 관찰자가 피로감을 느끼지 않도록 하기 위해서, 관찰자가 3차원 공간상에 초점을 맞추면 그 위치에서 객체가 관찰되도록 영상을 제공하여야 한다.
그러나, 전술한 두 가지 조건을 만족하는 형태의 입체영상 재현 방식은 기존의 스크린 방식으로는 가능하지 않다. 초다시점 영상 등이 제한된 기능으로 이를 대신할 수 있으나, 최적의 방안인 홀로그래픽 영상(holographic image)만이 유일하게 완전한 3차원 입체영상을 제공할 수 있다.
일 실시 예에 따라, 디지털 홀로그래픽 영상을 360도 전 방향에서 관찰자의 동공 위치에 맞추어 제공함에 따라 시야 영역을 확장할 수 있는 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법을 제안한다.
일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이 장치는 다수의 카메라를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득하는 카메라 어레이와, 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적하는 제어부와, 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생하는 디스플레이부를 포함한다.
일 실시 예에 따른 카메라 어레이는 다수의 카메라가 테이블의 중심을 향하여 원형으로 배열되어 360도 전체 각도에서 촬영 영상을 획득한다.
일 실시 예에 따른 제어부는 각 카메라를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상을 생성하는 다분할 영상 생성부와, 하나의 다분할 영상에서 적어도 하나의 관찰자를 검출하는 관찰자 검출부와, 관찰자가 검출된 채널 영상에 해당하는 채널을 선택하는 채널 설정부와, 선택된 채널 정보를 가진 채널 영상에서 동공 위치를 추적하는 동공 추적부와, 추적된 동공 위치정보와 채널 정보를 이용하여 동공의 3차원 위치를 계산하는 좌표 계산부를 포함한다.
일 실시 예에 따른 관찰자 검출부는 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 부가영역 위치정보를 추출하고, 추출된 부가영역 위치정보를 채널 정보와 함께 채널 설정부에 전송한다. 이때, 부가영역 위치정보는 얼굴 위치정보이거나 얼굴영역 및 눈 영역의 위치정보일 수 있다.
일 실시 예에 따른 채널 설정부는 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 하나의 다분할 영상으로 분할되기 이전에 해당 카메라를 통해 획득된 원 채널 영상 또는 이에 상응하는 확대영상을 제공한다.
일 실시 예에 따른 좌표 계산부는 인접한 두 스테레오 카메라를 통해 촬영된 채널 영상으로부터 추적된 각 동공의 3차원 좌표를 계산하고, 각 동공의 3차원 좌표를 미리 설정된 기준점을 기준으로 변환한다. 이때, 미리 설정된 기준점은 테이블의 중심일 수 있다.
일 실시 예에 따른 디스플레이부는 제어부를 통해 추적된 동공 위치로 빔의 방향을 제어하여 시야 창을 형성하고 형성된 시야 창으로 디지털 홀로그래픽 영상을 재생하는 광학 장치를 포함한다.
다른 실시 예에 따른 디지털 홀로그래픽 영상 디스플레이 방법은, 다수의 카메라로 구성된 카메라 어레이를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득하는 단계와, 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적하는 단계와, 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생하는 단계를 포함한다.
일 실시 예에 따른 동공 위치를 추적하는 단계는 각 카메라를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상을 생성하는 단계와, 하나의 다분할 영상에서 적어도 하나의 관찰자를 검출하는 단계와, 관찰자가 검출된 채널 영상에 해당하는 채널을 선택하는 단계와, 선택된 채널 정보를 가진 채널 영상에서 동공 위치를 추적하는 단계와, 추적된 동공 위치정보와 채널 정보를 이용하여 동공의 3차원 위치를 계산하는 단계를 포함한다.
일 실시 예에 따르면, 디지털 홀로그래픽 테이블탑형 디스플레이에 있어서, 다수의 카메라를 이용하여 관찰자의 동공을 3차원 공간상에서 정확히 추적하고 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생함에 따라 제한된 시야 영역을 해결할 수 있다.
도 1a는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이의 개념도이고, 도 1b는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이를 구성하는 방식을 도시한 참조도,
도 2는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이 장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 Haar 특징 기반 얼굴 인식방법을 보여주는 참조도,
도 4는 본 발명의 일 실시 예에 따른 동공의 3차원 좌표 생성 프로세스를 설명하기 위한 카메라 배열 예를 보여주는 참조도,
도 5는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 영상 디스플레이 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 관찰자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이의 개념도이고, 도 1b는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이를 구성하는 방식을 도시한 참조도이다.
도 1a 및 도 1b을 참조하면, 디지털 홀로그래픽 디스플레이 기술은 공간 광변조기(Spatial Light Modulator: SLM)(14)를 기반으로 광원(10)의 빛 회절 현상을 이용하여 3차원 공간에 홀로그래픽 입체영상을 재생하는 기술이다. 홀로그래픽 테이블탑형 디스플레이는 도 1a에 도시된 바와 같이 평면의 테이블(110) 위 3차원 공간에 홀로그래픽 입체영상(100)을 출력하여, 적어도 하나의 관찰자가 360도 어느 각도에서나 입체영상을 볼 수 있도록 하는 기술을 의미한다. 홀로그래픽 입체영상(100)은 홀로그램 영상을 공간 광변조기(14)를 통해 복원하여 재생한 영상이다.
홀로그래픽 테이블탑형 디스플레이의 광학 구조를 살펴보면, 도 1b에 도시된 바와 같이 구형 거울(12) 등과 같은 광학 구조체를 통해 광원(10)의 빛 회절 각도를 조절하여 영상이 공간에 떠 있는 것과 같은 효과를 제공한다. 광원(10)은 레이저와 같은 간섭성 광원 또는 LED와 같은 부분 간섭성 광원일 수 있다.
홀로그래픽 테이블탑형 디스플레이의 경우에도 다른 홀로그래픽 디스플레이와 마찬가지로 광원(10) 및 공간 광 변조기(14)를 기반으로 한다. 이로 인해서 공간 광 변조기(14)의 픽셀 크기로 인해 관찰자의 시야 영역(Viewing zone)에 제약을 가지게 된다. 이를 보완하기 위해서 관찰자의 동공 위치에 따라서 광원(10) 및 공간 광 변조기(14)를 이용하여 출력되는 빛의 방향을 조절하는 방법이 요구된다. 본 발명은 관찰자의 동공을 3차원 공간상에서 정확히 추적하여 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생함에 따라 제한된 시야 영역을 해결할 수 있는 기술을 제안한다.
도 2는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 테이블탑형 디스플레이 장치(이하 '디스플레이 장치'라 칭함)의 구성도이다.
도 2를 참조하면, 디스플레이 장치(2)는 다수의 카메라(200-1,200-2,…,200-n)로 구성된 카메라 어레이(20), 제어부(22) 및 디스플레이부(24)를 포함한다.
카메라 어레이(20)는 다수의 카메라(200-1,200-2,…,200-n)를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득한다. 일 실시 예에 따른 카메라 어레이(20)는 다수의 카메라(200-1,200-2,…,200-n)가 테이블의 중심을 향하여 원형으로 배열되어 360도 전체 각도에서 촬영 영상을 획득한다. 예를 들어 16개의 카메라를 테이블의 원형을 따라 링(ring) 형태로 배열하여 촬영 영상을 획득할 수 있다. 각 카메라(200-1,200-2,…,200-n)는 채널 정보를 가진다. 카메라(200-1,200-2,…,200-n) 간 간격을 일정한 거리 또는 일정한 각도로 균일하게 배열할 수 있다. 또는 작업 환경에 따라 소정의 영역에 카메라들을 집중시켜 배열할 수도 있다.
360도 관찰 가능한 전방위 카메라(Omni Camera) 하나와 테이블을 중심으로 원형으로 배치된 카메라 어레이를 함께 사용하여 동공 위치를 추적할 수 있다. 그러나, 전술한 방법은 별도의 카메라 입력 채널이 존재하며, 전방위 카메라와 카메라 어레이 사이의 대응관계를 다시 계산해야 한다. 또한, 하나의 전방위 카메라에서 왜곡이 발생함에 따라 왜곡을 보정하기 위한 추가적인 계산이 요구된다. 나아가, 전방위 카메라는 카메라 어레이와 서로 다른 높이에 위치하므로 전방위 카메라에서 얼굴 인지 능력이 떨어지게 된다. 그러나, 본 발명은 전방위 카메라 없이도 카메라 어레이만을 이용하여 3차원 상의 동공을 정확하게 추적할 수 있는 기술을 제안한다.
제어부(22)는 카메라 어레이(20)의 각 카메라(200-1,200-2,…,200-n)를 통해 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적한다. 일 실시 예에 따른 제어부(22)는 다분할 영상 생성부(220), 관찰자 검출부(222), 채널 설정부(224), 동공 추적부(226) 및 좌표 계산부(228)를 포함한다.
다분할 영상 생성부(220)는 카메라 어레이(20)를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상(2200)을 생성한다. 일 실시 예에 따른 다분할 영상 생성부(220)는 카메라 어레이(20)를 통해 획득된 채널 영상들을 축소하여 썸네일 영상들(thumbnail images)을 생성하고 이를 모아서 하나의 다분할 영상(2200)을 생성하며, 생성된 다분할 영상을 관찰자 검출부(222)에 전송한다.
관찰자 검출부(222)는 다분할 영상 생성부(220)에서 생성된 하나의 다분할 영상에서 적어도 하나의 관찰자를 검출한다. 그리고, 관찰자가 검출된 채널 영상에 해당하는 채널 정보를 채널 설정부(224)에 전송한다. 예를 들어, 도 2에 도시된 바와 같이, 16개의 채널 정보를 사용하는 경우, 1번 채널(#1)의 채널 영상과 2번 채널(#2)의 채널 영상에서 관찰자를 검출하였다면, 해당하는 1번 채널(#1)과 2번 채널(#2)의 채널 정보를 채널 설정부(224)에 전송한다.
일 실시 예에 따른 관찰자 검출부(222)는 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 부가영역 위치정보를 추출하고, 추출된 부가영역 위치정보를 채널 정보와 함께 채널 설정부(224)에 전송한다. 부가영역 위치정보는 얼굴 위치정보일 수 있다. 예를 들어, 관찰자 검출부(222)는 채널 정보와 함께 얼굴 위치정보, 예를 들어 1번 채널의 시작점(100,120)에서 가로 80, 세로 60에 해당하는 사각 영역의 위치정보를 채널 설정부(224)에 전송한다.
다른 실시 예에 따른 관찰자 검출부(222)는 4 분할 영상과 같이 어느 정도의 크기를 가진 채널 영상들로 구성된 다분할 영상의 경우에 눈의 위치를 추적할 수 있다. 이 경우, 관찰자 검출부(222)는 추적된 눈 위치정보를 채널 정보와 함께 채널 설정부(224)에 전송한다. 한편, 도 2에서는 동일한 관찰자를 검출하는 경우를 예를 들었으나, 검출되는 관찰자는 서로 상이할 수 있다.
채널 설정부(224)는 관찰자 검출부(222)를 통해 관찰자가 검출된 채널 영상에 해당하는 채널을 선택한다. 즉, 채널 설정부(224)는 관찰자 검출부(222)에서 전송받은 영상에서 검출자가 검출된 영상에 해당하는 채널 정보만을 동공 추적부(226)로 전송한다. 이는 모든 채널 정보를 제공하는 것이 아니라, 관찰자가 검출된 채널 영상에 해당하는 채널 정보만을 전송함에 따라 동공 위치 추적의 효율성을 높이기 위함이다. 채널 설정부(224)는 동공 추적부(226)에 하나 이상의 채널 정보를 전송할 수 있다. 예를 들어, 스테레오 카메라를 기반으로 동공의 3차원 좌표를 생성하기 위해서 한 사람에 대해 최소 2개의 채널 정보를 전송한다.
일 실시 예에 따른 채널 설정부(224)의 채널 설정은 스위칭 기능을 가지는데, 입력 채널을 통해 채널 영상을 입력받아 미리 설정된 출력 채널 개수에 맞추어 출력 채널로 채널 영상을 출력한다. 이때, 채널 설정부(224)는 하나의 다분할 영상에서 관찰자가 검출된 채널 영상들을 대상으로 하나의 다분할 영상으로 분할되기 이전에 해당 카메라를 통해 획득된 원래의 고해상도의 채널 영상 또는 확대된 영상을 동공 추적부(226)에 전송할 수 있다. 이 경우, 동공 추적부(226)는 채널 설정부(224)로부터 전송받은 고해상도의 채널 영상에서 동공 위치를 추적할 수 있게 된다.
동공 추적부(226)는 채널 설정부(224)로부터 채널 영상들을 입력받아 동공 위치를 추적한다. 이때, 얼굴이나 눈 영역의 위치정보에 해당하는 부가정보를 같이 입력받는 경우, 해당 영역의 위치정보를 중심으로 세부적으로 동공 위치를 추적한다. 동공 추적부(226)는 추적된 동공의 위치정보를 채널 정보와 함께 좌표 계산부(228)에 전송한다. 채널 정보의 경우, 관찰자 검출부(222) 또는 채널 설정부(224)에서 좌표 계산부(228)로 바로 전달할 수도 있다.
일 실시 예에 따른 동공 추적부(226)는 채널 설정부(224)로부터 입력받은 고해상도의 채널 영상으로부터 동공의 위치를 추적한다. 이때, 관찰자 검출부(222)를 통해 계산된 얼굴 영역의 위치정보가 있는 경우, 얼굴 영역을 중심으로 눈 영역의 위치를 추적한다. 이에 비해, 얼굴 영역의 위치정보가 없는 경우 관찰자 검출부(222)에서의 얼굴 위치 검출 방법과 동일하게 얼굴 영역을 먼저 찾고, 얼굴 영역 내에서 눈의 위치를 찾게 된다. 이에 비해, 동공 추적부(226)가 관찰자 검출부(222)에서 검출된 눈의 위치정보를 전송받은 경우, 전송받은 눈 위치정보를 이용하여 눈의 세부 위치를 찾게 된다.
또 다른 실시 예로 채널 설정부(224)의 채널 설정 시 관찰자 검출부(222)를 통해 계산된 얼굴 영역의 위치정보가 있는 경우, 해당 하는 영역의 고 해상도 채널 영상을 동공 추적부(226)로 전송할 수 있다. 이를 통해 얼굴 영역으로 한정된 데이터를 전송하여 눈 위치 정보를 빠르게 찾을 수 있다.
눈의 세부 위치, 즉 동공을 찾는 과정은 일반적인 동공 추적 또는 눈 추적 장치 등에서 사용되는 방법을 적용할 수 있다. 이때, 동공의 형태가 원 또는 타원에 가깝다는 특성과, 동공이 카메라로 촬영시 주변 영역보다 어둡게 보이는 특성을 이용하여 동공의 위치를 찾을 수 있다. 예를 들어, 눈의 형태적 특성을 이용한 한 예로 눈 주위 경계선의 밝기 차이를 누적한 값을 비교하는 원형 검출 알고리즘을 이용하는 경우, 식(1)과 같이 표시할 수 있다.
Figure 112014097801105-pat00001
(1)
식 (1)에서 I(x, y)는 (x, y) 위치에서의 화소값을, (x0, y0)은 원의 중심을 의미하고 r은 반지름을 나타낸다. 식 (1)은 원의 중심인 (x0, y0)로부터 반지름 r에 의해 2πr로 정규화된 원의 둘레에 있는 모든 화소 값을 더한다. 그리고 안쪽과 바깥쪽의 원 둘레의 각각의 화소 값의 차가 가장 크게 났을 때, 동공 영역으로 판단한다. 동공을 추출하는데 있어서 노이즈를 제거하기 위하여 반지름 r의 방향으로 가우시안 함수 G(r)를 수행한다. 또 다른 예로는 밝기 차이를 이용하여 가장 어두운 영역을 찾고, 이 영역 중 가장 원에 가까운 영역을 찾는 방법 등이 있다. 한편, 전술한 방법들은 본 발명의 이해를 돕기 위한 일 실시 예일 뿐 이에 한정되는 것은 아니다.
좌표 계산부(228)는 카메라의 채널 정보와 추적된 동공 위치정보를 이용하여 동공의 3차원 위치를 계산한다. 카메라의 채널 정보는 동공 추적부(226)로부터 전송받을 수 있다. 또는 관찰자 검출부(222)나 채널 설정부(224)로부터 전송받을 수도 있다. 좌표 계산부(228)는 계산된 3차원 동공의 위치를 디스플레이부(24)에 전송한다.
디스플레이부(24)는 제어부(22)를 통해 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생한다. 이때, 디스플레이부(24)는 동공 위치로 빔의 방향을 제어하여 시야 창(viewing window)을 형성하고 형성된 시야 창으로 디지털 홀로그래픽 영상을 재생하는 광학 장치를 포함할 수 있다. 시야 창은 이를 통하여 재구성된 3차원 영상을 볼 수 있는 관찰자 영역의 가상 윈도우이다.
도 3은 본 발명의 일 실시 예에 따른 Haar 특징 기반 얼굴 인식방법을 보여주는 참조도이다.
도 2 및 도 3을 참조하면, 일 실시 예에 따른 얼굴 인식을 위해서 Haar 특징 기반 얼굴 인식방법을 이용한다. 해당 방법은 도 3에 도시된 바와 같이 다양한 특징 벡터를 통한 영상에서의 각각 위치에서의 결과치를 벡터로 구성하고, 이를 기존의 얼굴 분류기에 입력하여 그 결과를 얻어내는 방법이다.
다른 예로 다분할 영상의 각 채널 영상의 크기가 큰 경우, 예를 들어 4채널 또는 8채널 분할 영상인 경우 눈 영역도 검출이 가능하다. 예를 들어, Haar 특징 기반 접근 방법을 이용하는 경우, 얼굴로 인지되는 영역에 대해서 다시 Haar 특징 벡터를 수집한 이후, 눈 분류기의 특징 벡터와 비교하여 유사도를 비교하면 된다. 그러나, 전술한 얼굴 인식방법들은 본 발명의 이해를 돕기 위한 일 실시 예일 뿐, 일반적인 얼굴 인식에 사용되는 방법을 적용할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 동공의 3차원 좌표 생성 프로세스를 설명하기 위한 카메라 배열 예를 보여주는 참조도이다.
도 2 및 도 4를 참조하면, 좌표 계산부(228)는 채널 설정부(224)가 선택한 채널 정보와 동공 추적부(226)에서 계산된 동공의 위치정보를 이용하여 동공의 3차원 좌표를 계산한다. 채널 정보는 어느 위치의 카메라를 통해 해당되는 채널 영상을 입력 받았는지에 대한 정보를 알려준다. 카메라가 스테레오 구성인 경우, 인접한 두 대의 카메라를 통해 촬영된 동공의 위치 차이(disparity)를 이용하여 카메라와 관찰자 간의 거리 및 동공의 위치를 계산한다.
인접한 두 스테레오 카메라를 통해 촬영된 채널 영상으로부터 추적된 각 동공의 3차원 위치 간에는 차이가 발생한다. 일 실시 예에 따른 좌표 계산부(228)는 차이가 발생하는 각 동공의 3차원 좌표를 미리 설정된 기준점을 기준으로 변환하여 일정한 3차원 위치를 얻는다. 예를 들어, 도 4에 도시된 바와 같이 관찰자와 카메라가 배열되는 경우, 1번 카메라에서 얻어진 동공의 3차원 좌표와 2번 카메라에서 얻어진 동공의 3차원 좌표정보에는 차이가 발생하게 된다. 좌표 계산부(228)는 각 동공의 3차원 좌표를 테이블의 중심을 기준으로 하여 변환한다. 이는 일반적인 3차원 변환식과 같이 동일하게 계산할 수 있다. 식 (2)는 카메라에서 얻어진 3차원 좌표(x’,y’,z’)를 테이블의 중심점을 기준으로 하여 변환한 좌표(xc,yc,zc)를 나타낸다.
Figure 112014097801105-pat00002
(2)
좌표 계산부(228)를 통해 계산된 3차원 좌표값은 디스플레이부(24)에 전송되며, 디스플레이부(24)는 계산된 관찰자의 동공 위치에 맞추어 디지털 홀로그래픽 입체 영상을 재생한다.
도 5는 본 발명의 일 실시 예에 따른 디지털 홀로그래픽 영상 디스플레이 방법을 도시한 흐름도이다.
도 2 및 도 5를 참조하면, 디스플레이 장치(2)는 다수의 카메라(200-1,200-2,…,200-n)로 구성된 카메라 어레이(20)를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득한다(500). 이때, 카메라 어레이(20)는 다수의 카메라(200-1,200-2,…,200-n)가 테이블의 중심을 향하여 원형으로 배열된 카메라 어레이를 통해 360도 전체 각도에서 촬영 영상을 획득할 수 있다.
이어서, 디스플레이 장치(2)는 각 카메라(200-1,200-2,…,200-n)를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상을 생성한다. 그리고, 하나의 다분할 영상에서 적어도 하나의 관찰자를 검출한다(510). 관찰자를 검출하는 단계(510)에서, 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 부가영역 위치정보를 추출할 수 있다. 부가영역 위치정보는 얼굴영역 또는 얼굴영역 및 눈 영역일 수 있다.
이어서, 디스플레이 장치(2)는 관찰자가 검출된 채널 영상에 해당하는 채널을 선택하고, 선택된 채널 정보를 가진 채널 영상에서 동공 위치를 추적한다(520).
이어서, 디스플레이 장치(2)는 추적된 동공 위치정보와 채널 정보를 이용하여 동공의 3차원 위치를 계산하고, 계산된 동공의 3차원 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생한다(530). 3차원 위치를 계산할 때, 인접한 두 스테레오 카메라를 통해 촬영된 채널 영상으로부터 추적된 각 동공의 3차원 좌표를 계산하고, 각 동공의 3차원 좌표를 미리 설정된 기준점을 기준으로 변환하여 일정한 3차원 좌표를 얻을 수 있다. 디지털 홀로그래픽 영상을 재생하는 단계(530)에서, 계산된 동공의 3차원 위치로 빔의 방향을 제어하여 시야 창을 형성하고, 형성된 시야 창으로 디지털 홀로그래픽 영상을 재생할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
2: 디지털 홀로그래픽 테이블탑형 디스플레이 장치
20: 카메라 어레이 22: 제어부
24: 디스플레이부 220: 다분할 영상 생성부
222: 관찰자 검출부 224: 채널 설정부
226: 동공 추적부 228: 좌표 계산부

Claims (16)

  1. 다수의 카메라를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득하는 카메라 어레이;
    상기 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적하는 제어부; 및
    상기 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생하는 디스플레이부를 포함하는 것을 특징으로 하며,
    상기 제어부는,
    각 카메라를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상을 생성하는 다분할 영상 생성부;
    하나의 다분할 영상에서 적어도 하나의 관찰자를 검출하는 관찰자 검출부;
    관찰자가 검출된 채널 영상에 해당하는 채널을 선택하는 채널 설정부;
    선택된 채널 정보를 가진 채널 영상에서 동공 위치를 추적하는 동공 추적부; 및
    추적된 동공 위치정보와 채널 정보를 이용하여 동공의 3차원 위치를 계산하는 좌표 계산부를 포함하는 것을 특징으로 하는
    디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  2. 제 1 항에 있어서, 상기 카메라 어레이는
    다수의 카메라가 테이블의 중심을 향하여 원형으로 배열되어 360도 전체 각도에서 촬영 영상을 획득하는 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 관찰자 검출부는
    상기 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 부가영역 위치정보를 추출하고, 추출된 부가영역 위치정보를 채널 정보와 함께 상기 채널 설정부에 전송하는 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 부가영역 위치정보는 얼굴 위치정보이거나 얼굴영역 및 눈 영역의 위치정보인 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  6. 제 1 항에 있어서, 상기 채널 설정부는
    상기 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 상기 하나의 다분할 영상으로 분할되기 이전에 해당 카메라를 통해 획득된 원 채널 영상 또는 이에 상응하는 확대영상을 제공하는 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  7. 제 1 항에 있어서, 상기 좌표 계산부는
    인접한 두 스테레오 카메라를 통해 촬영된 채널 영상으로부터 추적된 각 동공의 3차원 좌표를 계산하고, 각 동공의 3차원 좌표를 미리 설정된 기준점을 기준으로 변환하는 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  8. 제 7 항에 있어서,
    상기 미리 설정된 기준점은 테이블의 중심인 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  9. 제 1 항에 있어서, 상기 디스플레이부는
    상기 제어부를 통해 추적된 동공 위치로 빔의 방향을 제어하여 시야 창을 형성하고 형성된 시야 창으로 디지털 홀로그래픽 영상을 재생하는 광학 장치를 포함하는 것을 특징으로 하는 디지털 홀로그래픽 테이블탑형 디스플레이 장치.
  10. 다수의 카메라로 구성된 카메라 어레이를 이용하여 테이블을 기준으로 전 방향에서 다수의 채널 영상을 획득하는 단계;
    상기 획득된 다수의 채널 영상에서 관찰자를 검출하고 관찰자가 검출된 적어도 하나의 채널 영상에서 관찰자의 동공 위치를 추적하는 단계; 및
    상기 추적된 동공 위치에 맞추어 3차원 공간에 디지털 홀로그래픽 영상을 재생하는 단계를 포함하는 것을 특징으로 하며,
    상기 동공 위치를 추적하는 단계는,
    각 카메라를 통해 획득된 각 채널 영상을 모아서 하나의 다분할 영상을 생성하는 단계;
    하나의 다분할 영상에서 적어도 하나의 관찰자를 검출하는 단계;
    관찰자가 검출된 채널 영상에 해당하는 채널을 선택하는 단계;
    선택된 채널 정보를 가진 채널 영상에서 동공 위치를 추적하는 단계; 및
    추적된 동공 위치정보와 채널 정보를 이용하여 동공의 3차원 위치를 계산하는 단계를 포함하는 것을 특징으로 하는
    디지털 홀로그래픽 영상 디스플레이 방법.
  11. 제 10 항에 있어서, 상기 다수의 채널 영상을 획득하는 단계는
    다수의 카메라가 테이블의 중심을 향하여 원형으로 배열된 카메라 어레이를 통해 360도 전체 각도에서 촬영 영상을 획득하는 것을 특징으로 하는 디지털 홀로그래픽 영상 디스플레이 방법.
  12. 삭제
  13. 제 10 항에 있어서, 상기 관찰자를 검출하는 단계는
    상기 하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 부가영역 위치정보를 추출하는 단계; 및
    추출된 부가영역 위치정보를 채널 정보와 함께 전송하는 단계;
    를 포함하는 것을 특징으로 하는 디지털 홀로그래픽 영상 디스플레이 방법.
  14. 제 10 항에 있어서, 상기 채널을 선택하는 단계는
    하나의 다분할 영상에서 관찰자가 검출된 적어도 하나의 채널 영상을 대상으로 상기 하나의 다분할 영상으로 분할되기 이전에 해당 카메라를 통해 획득된 원 채널 영상 또는 이에 상응하는 확대영상을 제공하는 것을 특징으로 하는 디지털 홀로그래픽 영상 디스플레이 방법.
  15. 제 10 항에 있어서, 상기 3차원 위치를 계산하는 단계는
    인접한 두 스테레오 카메라를 통해 촬영된 채널 영상으로부터 추적된 각 동공의 3차원 좌표를 계산하는 단계; 및
    각 동공의 3차원 좌표를 미리 설정된 기준점을 기준으로 변환하는 단계;
    를 포함하는 것을 특징으로 하는 디지털 홀로그래픽 영상 디스플레이 방법.
  16. 제 10 항에 있어서, 상기 디지털 홀로그래픽 영상을 재생하는 단계는
    추적된 동공 위치로 빔의 방향을 제어하여 시야 창을 형성하는 단계; 및
    형성된 시야 창으로 디지털 홀로그래픽 영상을 재생하는 단계;
    를 포함하는 것을 특징으로 하는 디지털 홀로그래픽 영상 디스플레이 방법.
KR1020140138429A 2014-10-14 2014-10-14 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법 KR101808129B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140138429A KR101808129B1 (ko) 2014-10-14 2014-10-14 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법
US14/882,632 US9906767B2 (en) 2014-10-14 2015-10-14 Apparatus and method for digital holographic table top display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140138429A KR101808129B1 (ko) 2014-10-14 2014-10-14 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160043786A KR20160043786A (ko) 2016-04-22
KR101808129B1 true KR101808129B1 (ko) 2017-12-13

Family

ID=55656351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140138429A KR101808129B1 (ko) 2014-10-14 2014-10-14 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9906767B2 (ko)
KR (1) KR101808129B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
US10073520B2 (en) * 2015-10-30 2018-09-11 Sony Mobile Communications Inc. Method and system for interaction using holographic display system
KR20180059210A (ko) 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN106886289B (zh) * 2017-04-02 2023-05-23 浙江工业大学 一种双用户互动的全息显示装置
CN111856776A (zh) * 2019-04-30 2020-10-30 上海科技大学 全息投影设备
US11256214B2 (en) 2019-10-18 2022-02-22 Looking Glass Factory, Inc. System and method for lightfield capture
US11425363B2 (en) 2020-04-09 2022-08-23 Looking Glass Factory, Inc. System and method for generating light field images
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
US11736680B2 (en) 2021-04-19 2023-08-22 Looking Glass Factory, Inc. System and method for displaying a three-dimensional image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529483A (ja) * 2007-05-21 2010-08-26 シーリアル テクノロジーズ ソシエテ アノニム 一連の可視領域を使用するホログラフィック再構成システム及び方法
JP2011259373A (ja) * 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1048167B1 (en) * 1998-09-17 2009-01-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
KR100940237B1 (ko) 2003-03-06 2010-02-04 삼성테크윈 주식회사 이벤트 발생과 연동하여 모니터링 및 레코딩 제어가가능한 감시시스템 및 그 제어방법
KR101286965B1 (ko) 2009-12-29 2013-07-23 동국대학교 산학협력단 시선 추적 장치 및 방법
KR101177408B1 (ko) 2010-09-16 2012-08-27 광운대학교 산학협력단 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
KR101311463B1 (ko) 2011-10-21 2013-09-25 (주)위드솔루션 원격 영상정보 제공시스템
KR20140090838A (ko) 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529483A (ja) * 2007-05-21 2010-08-26 シーリアル テクノロジーズ ソシエテ アノニム 一連の可視領域を使用するホログラフィック再構成システム及び方法
JP2011259373A (ja) * 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法

Also Published As

Publication number Publication date
US20160105658A1 (en) 2016-04-14
US9906767B2 (en) 2018-02-27
KR20160043786A (ko) 2016-04-22

Similar Documents

Publication Publication Date Title
KR101808129B1 (ko) 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법
US10176639B2 (en) Virtual/augmented reality system having dynamic region resolution
JP4649219B2 (ja) 立体画像生成装置
US20180160048A1 (en) Imaging system and method of producing images for display apparatus
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
EP3326048B1 (en) Virtual/augmented reality system having dynamic region resolution
WO2017163688A1 (en) Monitoring system and monitoring method
JP6300346B2 (ja) Ｉｐ立体映像推定装置及びそのプログラム
JPWO2017187694A1 (ja) 注目領域画像生成装置
US9602797B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
US10306208B2 (en) Device for creating and enhancing three-dimensional image effects
KR101293576B1 (ko) 3차원 집적 영상디스플레이의 깊이조절시스템
WO2016085851A1 (en) Device for creating and enhancing three-dimensional image effects
JP6622621B2 (ja) 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム
KR101025785B1 (ko) 3차원 실물 화상장치
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
KR101832743B1 (ko) 디지털 홀로그래피 디스플레이 및 그 방법
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR101657373B1 (ko) 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법
KR101634014B1 (ko) 관측자의 위치를 고려한 집적영상 디스플레이 시스템의 영상 제공 방법
KR101909137B1 (ko) 홀로그램 정보 보정 장치 및 방법
JP2013030848A (ja) 画像処理装置および画像処理方法
KR20170059879A (ko) 입체 영상 촬영 장치
KR20130019581A (ko) 비점수차가 적용된 패턴 빔을 이용하는 3차원 이미지 촬영 장치 및 방법
KR101555974B1 (ko) 렌즈어레이를 이용한 테이블탑형 3차원 디스플레이 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant