KR20200144097A - 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법 - Google Patents

라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법 Download PDF

Info

Publication number
KR20200144097A
KR20200144097A KR1020207029432A KR20207029432A KR20200144097A KR 20200144097 A KR20200144097 A KR 20200144097A KR 1020207029432 A KR1020207029432 A KR 1020207029432A KR 20207029432 A KR20207029432 A KR 20207029432A KR 20200144097 A KR20200144097 A KR 20200144097A
Authority
KR
South Korea
Prior art keywords
light field
information
image
image generation
display
Prior art date
Application number
KR1020207029432A
Other languages
English (en)
Inventor
데츠로 모리모토
Original Assignee
도판 인사츠 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도판 인사츠 가부시키가이샤 filed Critical 도판 인사츠 가부시키가이샤
Publication of KR20200144097A publication Critical patent/KR20200144097A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 서버와, 형상 정보로부터 가상 공간 내에 있어서, 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 가상 3차원 형상을 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 갖는 화상 생성 서버를 구비하는 라이트 필드 화상 생성 시스템이다.

Description

라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법
본 발명은 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법에 관한 것이다.
본원은, 2018년 4월 12일에, 일본에 출원된 일본 특허 출원 제2018-076786호에 기초하여 우선권을 주장하고, 이들의 내용을 여기에 원용한다.
위험한 장소나, 처리의 대상물이 원격지에 있는 경우, 작업자가 직접 현지에서 작업을 행하기가 곤란하다.
그 때문에, 대상물의 어느 위치로부터 이격된 장소에서, 이 대상물의 어느 장소에 설치된 기계를 조작하여 작업을 행하는 원격 조작 시스템이 있다. 원격 조작 시스템은, 대상물에 대해 작업을 행하기 위한 로봇과 원격 조작 장치를 구비하고, 로봇을 무선 등으로 원격 조작하는 시스템이다(예를 들어, 특허문헌 1 참조).
상술한 원격 조작 시스템에 있어서는, 대상물을 처리하는 작업자가 헤드 마운트 디스플레이(이하, HMD(Head Mounted Display))를 헤드부에 장착하여, 현지에 배치된 촬상 장치가 촬상된 화상을 관찰하면서 작업을 행한다.
이 경우, 통상의 HMD에 있어서는, 대상물을 관찰할 때, 폭주에 의해 대상물의 심도 정보를 얻어, 3차원 형상을 뇌 내에 있어서 재구성하고 있다.
한편, 대상물을 관찰할 때, 작업자는, 안구의 수정체를 조정하여, 대상물의 화상이 표시되어 있는 HMD의 표시면에 맞춘다. 이 때문에, 작업자의 눈에 있어서는, 초점이 폭주에 의해 인지되는 심도의 위치에 조절되지 않기 때문에, 폭주와 초점 조절과의 불일치가 발생된다.
이 때문에, 작업자는, HMD를 사용하여 원격 조작을 행하는 경우, 상술한 폭주와 초점 조절과의 불일치에 의해, 안정 피로나 영상 멀미 등을 일으키고, 작업(특히 미세한 조작을 필요로 하는 작업)에 지장을 초래하는 경우가 있다.
또한, 작업자는, 안정 피로나 영상 멀미 등에 의해, HMD를 사용한 원격 작업을 장시간에 걸쳐 행할 수 없다.
상술한 HMD에 있어서의 폭주와 초점 조절과의 불일치를 해소하기 위해, 근년, 라이트 필드의 기술을 이용한 디스플레이를 사용한 HMD가 개발되고 있다.
라이트 필드 정보(대상물의 표면으로부터 사출되는 광선의 정보)를 사용함으로써, 1매의 화상에 있어서 대상물이 갖는 깊이감(대상물의 3차원 형상)을 시인시키는 것이 가능해지고, 작업자의 뇌 내에 의해 대상물의 3차원 형상을 구성시키기가 가능해진다.
일본 특허 공개 제2014-004656호 공보
상술한 바와 같이, 작업의 대상물 라이트 필드 정보를 취득하여, 이 라이트 필드 정보에 대응한 화상을 생성하고, HMD에 표시함으로써, 작업자가 동일한 화상 내의 대상물의 3차원 형상에 있어서 원하는 심도의 위치에도 초점을 맞추는 것이 가능해진다.
이 라이트 필드 정보를 사용함으로써, 작업자에 있어서의 폭주와 초점 조절을 일치시킬 수 있고, 안정 피로나 영상 멀미 등을 억제하는 것이 가능해지고, 미세한 작업이나 장시간의 작업을 행하기 쉽게 하는 것을 기대할 수 있다.
그러나, 라이트 필드 정보는, 라이트 필드에 있어서의 광선의 정보이며, 시점을 소정의 거리 어긋난 복수의, 예를 들어 n×m의 매트릭스의 촬상 화상의 집합(라이트 필드 화상)으로부터 얻어지는 라이트 필드에 있어서의 상술한 광선의 정보이다.
도 11에 도시하는 바와 같이, 동일 평면 형상에 있어서, x 방향 및 y 방향으로 시점 위치(촬상 위치)를 어긋나게 하고, 시점 위치가 각각 다른 n×m의 촬상 장치(401), 예를 들어 3×3의 다른 9개의 시점에 각각 배열된 9개의 촬상 장치(401)각각에 의해, 대상물(403)을 촬상한다. 이 9개의 시점 위치의 다른 촬상 화상이, 대상물(403)로부터의 9 방향에 대한 광선의 정보(라이트 필드 정보)를 갖는 라이트 필드 화상(402)으로서 생성된다. θ가 라이트 필드 화상의 중심을 수직으로 통과하는 축과 y축과의 평면에 있어서의 각도이다. φ가 라이트 필드 화상의 중심을 수직으로 통과하는 축과 x축과의 평면에 있어서의 각도이다.
이 라이트 필드 화상(402)의 각각은, 소정의 해상도에 의해 촬상되기 때문에, 해상도에 대응한 화소 분의 계조도를 갖고 있다. 따라서, 라이트 필드 정보의 데이터양은, (화소수×계조도)×라이트 필드 화상의 매수로 되어, 매우 커진다.
이 때문에, 원격지에서 촬상한 라이트 필드 화상을, HMD에 대해 표시시키는 처리를 행하는 서버까지 송신할 때, 송신하는 데이터양이 매우 크기 때문에 통신 부하가 증대하여, 라이트 필드 정보의 데이터 송신에 시간을 요한다.
이 라이트 필드 화상 데이터 송신에 시간이 걸리기 때문에, 화상, 특히 동화상을 HMD에 표시시킬 때 등, 라이트 필드 정보의 갱신이 주기적으로 필요하지만, 라이트 필드 정보의 전반이 지연되고, HMD에 있어서의 화상의 표시 처리가 지연되거나, 화상의 결락이 발생되거나 함으로써, 원격 조작에서의 작업에 지장이 발생되는 경우가 있다.
본 발명은 상기 상황을 감안하여 이루어진 것이며, 송신하는 라이트 필드 정보의 정보량을 적게 함으로써 통신 부하를 저감하여, HMD에 있어서의 화상의 표시 처리가 지연되거나, 화상의 결락이 발생되거나 하는 것을 억제하는 것이 가능한 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법을 제공한다.
본 발명의 제1 양태는, 라이트 필드 화상 생성 시스템이며, 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 서버와, 상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 갖는 화상 생성 서버를 구비한다.
본 발명의 제2 양태는, 상기 제1 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 화상 생성 서버에 있어서의 상기 라이트 필드 화상 생성부가, 상기 가상 공간 내에 있어서의 임의의 시점 위치 및 시점 방향에 의해, 가상 촬상 장치에 의해 상기 가상 3차원 형상을 촬상하고, 상기 임의의 시점 위치 및 시점 방향으로부터 라이트 필드 화상을 생성해도 된다.
본 발명의 제3 양태는, 상기 제1 양태 또는 제2 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 형상 정보 취득 서버가, 촬상 장치에 의해 상기 대상물이 촬상된 촬상 화상으로부터, 당해 대상물의 상기 형상 정보를 생성해도 된다.
본 발명의 제4 양태는, 상기 제1 양태 내지 제3 양태 중 어느 일 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 형상 정보가, 상기 대상물이 촬상된 촬상 화상에 있어서의 각 화소의 계조도 정보 및 심도 정보의 각각이어도 된다.
본 발명의 제5 양태는, 상기 제1 양태 내지 제3 양태 중 어느 일 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 형상 정보가, 상기 대상물의 특징점을 포함하는 3차원 점군 정보와, 각 특징점의 계조도 정보의 각각이어도 된다.
본 발명의 제6 양태는, 상기 제4 양태 또는 제5 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 계조도 정보가, 색 정보로서의 R색 성분, G색 성분 및 B색 성분의 계조도여도 된다.
본 발명의 제7 양태는, 상기 제1 양태 내지 제6 양태 중 어느 일 양태의 라이트 필드 화상 생성 시스템에 있어서, 상기 형상 정보가 상이한 시점 위치 및 시점 방향에 배치된 복수의 촬상 장치에 의해 촬상된 복수의 촬상 화상으로부터 추출한 정보로 구성되어 있어도 된다.
본 발명의 제8 양태는, 화상 표시 시스템이며, 상기 어느 라이트 필드 화상 생성 시스템과, 라이트 필드 화상으로부터 표시 화상을 생성하는 화상 생성 서버와, 표시 장치를 구비하고, 상기 표시 장치가, 적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부를 구비하고 있고, 상기 화상 생성 서버가, 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을 생성한다.
본 발명의 제9 양태는, 형상 정보 취득 서버이며, 대상물의 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 갖는 화상 생성 서버와 함께 라이트 필드 화상 생성 시스템에 구비되는 형상 정보 취득 서버이며, 상기 대상물의 3차원 형상을 나타내는 상기 형상 정보를 취득한다.
본 발명의 제10 양태는, 화상 생성 서버이며, 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 서버와 함께 라이트 필드 화상 생성 시스템에 구비되는 화상 생성 서버이며, 상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부로 구비한다.
본 발명의 제11 양태는, 표시 장치이며, 상기 제1 양태 내지 제6 양태 중 어느 일 양태의 라이트 필드 화상 생성 시스템과, 라이트 필드 화상으로부터 표시 화상을 생성하는 화상 생성 서버와 함께 화상 표시 시스템에 포함되는 표시 장치이며, 적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부를 구비하고, 상기 화상 생성 서버가 생성한 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을, 상기 디스플레이의 각각에 표시한다.
본 발명의 제12 양태는, 라이트 필드 화상 생성 방법이며, 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 과정과, 상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성 과정과, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성 과정을 포함한다.
본 발명의 제13 양태는, 화상 표시 방법이며, 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 과정과, 상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성 과정과, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성 과정과, 표시 장치가, 적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부에 대해, 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을 생성하는 표시 화상 생성 과정을 포함한다.
이상 설명한 바와 같이, 본 발명의 상기 양태에 의하면, 송신하는 정보량을 적게 함으로써 통신 부하를 저감하여, HMD에 있어서의 화상의 표시 처리가 지연되거나, 화상의 결락이 발생되거나 하는 것을 억제하는 것이 가능한 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법을 제공하는 것이 가능해진다.
도 1은 본 발명의 제1 실시 형태에 따른 라이트 필드 화상 생성 시스템의 구성예를 도시하는 도면이다.
도 2는 촬상 화상으로부터 취득되는 3차원 형상 정보 및 계조도 정보의 각각을 도시하는 개념도이다.
도 3은 복원된 대상 물체(200)의 가상 3차원 형상을, 매트릭스상으로 배열된 가상 카메라로 촬상하는 것에 의한 라이트 필드 화상의 생성을 도시하는 개념도이다.
도 4는 3차원 공간에 있어서의 라이트 필드를 설명하는 개념도이다.
도 5는 제1 실시 형태에 따른 라이트 필드 화상 생성 시스템에 의한 라이트 필드 화상 생성 처리의 동작예를 도시하는 흐름도이다.
도 6은 본 발명의 라이트 필드 화상 생성 시스템을 사용한, 제2 실시 형태의 화상 표시 시스템의 구성예를 도시하는 도면이다.
도 7은 제2 실시 형태에서의 HMD(42)의 표시부(42A)의 구성예를 도시하는 개념도이다.
도 8은 라이트 필드 화상과 표시부(42A)에 표시되는 표시 화상의 대응 관계를 설명하는 개념도이다.
도 9는 본 실시 형태에 따른 화상 표시 시스템에 의한 가상 3차원 형상의 입체시 위한 표시 화상 생성 처리의 동작예를 도시하는 흐름도이다.
도 10은 본 발명의 제3 실시 형태에 따른 화상 표시 서버(6)를 사용한 화상 표시 시스템의 구성예를 도시하는 도면이다.
도 11은 대상물의 라이트 필드 화상의 촬상을 설명하는 개념도이다.
도 12는 대상 물체(200)의 3차원 형상 정보를 나타내는 심도 화상(심도가 계조도로 나타난 화상) 및 컬러 화상의 생성을 설명하는 도면이다.
도 13은 UV 전개에 의한 대상 물체(200)의 3차원 형상 정보를 나타내는 심도 화상 및 컬러 화상의 생성을 설명하는 도면이다.
<제1 실시 형태＞
이하, 본 발명의 제1 실시 형태에 따른 라이트 필드 화상 생성 시스템을, 도면을 참조하여 설명한다. 도 1은, 본 발명의 제1 실시 형태에 따른 라이트 필드 화상 생성 시스템의 구성예를 도시하는 도면이다.
도 1에 있어서, 라이트 필드 화상 생성 시스템은, 형상 정보 취득 서버(1)와 화상 생성 서버(2)를 구비하고 있다. 형상 정보 취득 서버(1)와 화상 생성 서버(2)의 각각은, 정보 통신망(500)을 통하여 데이터의 송수신을 행한다. 촬상 장치(3_1) 및 촬상 장치(3_2)는, 대상 물체(200)를 촬상하고, 촬상된 촬상 화상을 형상 정보 취득 서버(1)에 출력한다. 혹은, 촬상 장치(3_1) 및 촬상 장치(3_2)는, 형상 정보 취득 서버(1)로부터 액세스가 있는 경우, 대상 물체(200)를 촬상하고, 촬상된 촬상 화상을 형상 정보 취득 서버(1)에 대해 출력한다.
촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 예를 들어 대상 물체(200)의 2차원 화상을 촬상하는 카메라이며, 각각 촬상 화상을 대상 물체(200)의 3차원 형상 정보(특징점을 포함하는 3차원 점군 정보 혹은 심도 화상인 심도 정보와, 색 화상(컬러 화상)인 색 정보와의 조합인 형상 정보)로서 형상 정보 취득 서버(1)에 출력한다(케이스 #1). 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 다른 시점에서 대상 물체(200)를 촬상하여 촬상 화상을 한다. 케이스 #1의 경우, 촬상 장치(3_1)의 1대이고, 다른 시점에서 2매 이상의 촬상 화상을 촬상해도 된다.
또한, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 예를 들어 RGB(Red, Green, Blue)-D(Depth) 카메라이며, 대상 물체(200)의 2차원 화상을 촬상하는 카메라이며, 각각 촬상 화상을 대상 물체(200)의 3차원 형상 정보(심도 정보 및 색 정보의 조합)로서 형상 정보 취득 서버(1)에 출력한다(케이스 #2). 케이스 #2의 경우, 촬상 장치(3_1)의 1대만으로, 1시점으로부터의 촬상 화상을 촬상하는 것만이어도 된다.
또한, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 예를 들어 3차원 계측 장치이며, 광(레이저광) 절단법, 혹은 줄무늬 투영법에 의해, 대상 물체(200)의 3차원 형상을 나타내는 특징점을 포함하는 3차원 점군을 대상 물체(200)의 3차원 형상 정보(3차원 점군 혹은 심도 화상과, 특징점에 있어서의 색 정보)로서, 형상 정보 취득 서버(1)에 출력한다(케이스 #3). 이 케이스 #3의 경우, 방사된 레이저광의 반사광으로부터 형상 정보를 얻기 위해, 3차원 점군의 특징점의 각각의 색 정보를 취득할 수 없다.
또한, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 예를 들어 라이트 필드 카메라(예를 들어, 카메라 어레이 방식, 부호화 개구 방식 혹은 마이크로렌즈 어레이 방식)이며, 이 라이트 필드 카메라로 촬상된 촬상 화상으로부터 광선 정보를 취득한다. 그리고, 취득한 광선 정보에 의해, 대상 물체(200)의 3차원 형상을 나타내는 특징점의 3차원 형상 정보(3차원 점군 정보 또는 심도 화상인 심도 정보) 및 당해 특징점의 색 정보(예를 들어, 색 성분의 R색 성분, G색 성분, B색 성분의 각 계조도)를 구한다. 그리고, 이 3차원 형상 정보가, 대상 물체(200)의 3차원 형상 정보로서, 형상 정보 취득 서버(1)에 대해 출력된다(케이스 #4).
또한, 상술한 케이스 #1 내지 케이스 #4의 각각에서 촬상된 촬상 화상을 사용하여, 각각의 촬상 화상으로부터 구한 특징점의 심도 정보 및 색 정보를 정합성을 구한 후에 합성하여(이 합성의 알고리즘에 대해서는 후술), 이 합성 결과를, 대상 물체(200)의 3차원 형상을 나타내는 특징점을 포함하는 3차원 점군을 대상 물체(200)의 3차원 형상 정보(3차원 점군 정보 혹은 심도 화상인 심도 정보와, 색 정보와의 조합)로서, 형상 정보 취득 서버(1)에 출력한다(케이스 #5).
형상 정보 취득 서버(1)는, 촬상 화상 입력부(11), 3차원 형상 정보 생성부(12), 3차원 형상 정보 출력부(13) 및 기억부(14)의 각각을 구비하고 있다.
촬상 화상 입력부(11)는, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각으로부터, 대상 물체(200)의 형상을 나타내는 3차원 형상 정보를 입력하고, 기억부(14)에 일단 기입하여 기억시킨다.
3차원 형상 정보 생성부(12)는, 기억부(14)로부터 3차원 형상 정보를 읽어들이고, 읽어들인 3차원 형상 정보로부터, 화상 생성 서버(2)에 대해 송신하는 대상 물체(200)의 심도 정보(기하학 정보) 및 색 정보를 포함하는 3차원 형상 정보를 생성한다.
ㆍ케이스 #1의 경우
3차원 형상 정보 생성부(12)는, 다른 시점에 있어서 촬상된 2매의 촬상 화상으로부터, 스테레오 매칭법을 사용하여 대상 물체(200)의 기하학 정보를, 가상 3차원 공간에 있어서의 대상 물체(200)의 특징점의 3차원 점군으로서 생성한다. 3차원 형상 정보 생성부(12)는, 2차원 화상이 컬러 화상인 경우, 심도 정보인 기하학 정보에 대해, 특징점의 계조도 정보(특징점에 대응하는 화소의 색 성분 RGB의 각각의 계조도의 정보, 즉 R색 성분, G색 성분, B색 성분의 계조도를 포함하는 색 정보)로서, R색 성분, G색 성분 및 B색 성분의 각각의 계조도를 부여하고, 3차원 형상 정보로 한다.
ㆍ케이스 #2의 경우
3차원 형상 정보 생성부(12)는, 3차원 형상 정보로서 촬상 장치(3_1), 촬상 장치(3_2)로부터 공급되는, 3차원 형상의 특징점 계조도 정보의 각각의 기하학 정보인 심도 정보를, 화상 생성 서버(2)에 대해 송신하는 3차원 형상 정보로 한다. 또한, 촬상 장치(3_1), 촬상 장치(3_2)로부터 공급되는, 3차원 형상의 특징점 계조도 정보의 각각의 심도 정보로부터 특징점의 가상 3차원 공간에 있어서의 3차원 점군을 생성하고, 이 3차원 점군을 기하학 정보로 하는 구성으로 해도 된다. 3차원 형상 정보 생성부(12)는, 3차원 점군(심도 정보)의 특징점의 계조도 정보가 R색 성분, G색 성분 및 B색 성분의 계조도인 경우, 기하학 정보인 심도 정보에 대해, 특징점의 계조도 정보(특징점에 대응하는 화소의 색 성분 RGB의 R색 성분, G색 성분 및 B색 성분의 각각의 계조도의 정보, 즉 색 정보)로서, R색 성분, G색 성분 및 B색 성분의 각각의 계조도를 부여하고, 3차원 형상 정보로 한다.
도 2는, 촬상 화상으로부터 취득되는 3차원 형상 정보 및 계조도 정보의 각각을 도시하는 개념도이다. 도 2의 (a)는, RGB-D 카메라가 취득하는 심도 정보와, 색 정보의 계조도 정보의 각각을 나타내고 있다. 여기서, 심도 정보는, 3차원 점군 혹은 심도 화상(심도가 계조도로 나타낸 화상)이다. 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 대상 물체(200)를 촬상(3차원 형상을 계측)하고, 3차원 형상 정보로서, 대상 물체(200)의 각 특징점의 심도 정보(계조도 표시)(212)와, 촬상되는 화상이 컬러 화상이기 때문에, 특징점의 R색 성분, G색 성분 및 B색 성분의 계조도를 포함하는 계조도 정보(213)(색 정보)를 생성한다.
또한, 복수의 다른 시점에서, RGB 카메라로 촬상한 복수의 기하학 정보(3차원 점군 또는 심도 화상의 심도 정보)가 얻어지는 경우, 3차원 형상 정보 생성부(12)는, 이들 복수의 기하학 정보에 있어서의 특징점을 통합하고, 복수의 시점에서 관찰 가능한 3차원 점군 혹은 심도 화상을 가상 3차원 공간에 생성하여 심도 정보로 하여 심도 정보의 특징점에 색 정보를 부가하여 3차원 형상 정보로 한다.
ㆍ케이스 #3의 경우
도 1로 되돌아가, 3차원 형상 정보 생성부(12)는, 기하학 정보로서 공급되는 대상 물체(200)의 3차원 형상을 나타내는 가상 3차원 공간으로 있어서의 특징점을 포함하는 3차원 점군을, 대상 물체(200)의 3차원 형상 정보로 한다. 여기서, 이미 설명한 바와 같이, 레이저광의 반사로부터 기하적인 형상을 취득하는 것만으로, 3차원 점군에 있어서의 특징점의 각각의 색 정보가 얻어지지 않기 때문에, 3차원 형상 정보로서는, 3차원 점군 혹은 심도 화상의 기하학 정보만이 된다.
그러나, 다른 카메라로 대상 물체(200)를 촬상하고, 이 촬상 화상의 화소와 3차원 점군의 특징점의 정합성을 취득함으로써, 각 3차원 점군 또는 심도 화상에 있어서의 특징점에는, 색 정보로서 R색 성분, G색 성분 및 B색 성분의 각각의 계조도를 부여할 수 있다. 이 경우, 3차원 형상 정보에 심도 정보 및 색 정보의 각각을 포함시킬 수 있다.
ㆍ케이스 #4의 경우
3차원 형상 정보 생성부(12)는, 라이트 필드 카메라가 촬상된 촬상 화상으로부터 광선 정보를 추출한다. 그리고, 3차원 형상 정보 생성부(12)는, 이 광선 정보로부터, 예를 들어 포토그램메트리법을 사용하여, 기하학 정보로서 공급되는 대상 물체(200)의 3차원 형상을 나타내는 가상 3차원 공간에 있어서의 특징점을 포함하는 3차원 점군 혹은 심도 화상을 생성한다. 이 3차원 점군은, 대상 물체(200)의 기하학 정보이다. 여기서, 각 3차원 점군에 있어서의 특징점에는, 라이트 필드 카메라가 촬상된 촬상 화상이 컬러 화상인 경우, 색 정보로서 R색 성분, G색 성분 및 B색 성분의 각각의 계조도가 부여되고, 3차원 형상 정보로 되어 있다.
ㆍ케이스 #5의 경우
케이스 #1 내지 케이스 #4의 각각으로부터 얻어지는 심도 정보 및 색 정보(3차원 형상 정보)를 조합하여 합성함으로써, 새로운 3차원 형상 정보로 하고 있다.
그러나, 카메라, RGBD 카메라, 3차원 계측 장치 및 라이트 필드 카메라의 각각의 촬상 장치는, 각각 해상도, 기하학적인 위치 및 자세, 렌즈의 왜곡 등이 다르다. 이 때문에, 대상 물체(200)를 촬상하기 전에, 격자 혹은 도트 패턴을 인쇄한 평면의 보드, 혹은 형상이 기지의 3차원 형상 등의 교정 대상을, 각 촬상 장치를 촬상할 수 있는 다양한 자세 및 위치에서 복수의 촬상 화상을 촬상한다. 그리고, 이 촬상 화상에 촬상된 교정 대상의 형상에 대응하여, 동일한 3차원 공간에 있어서의 각 촬상 장치(카메라 등)의 상대적인 위치ㆍ자세 및 렌즈 파라미터를 추정한다. 이 추정 결과로부터, 각 촬상 장치의 위치ㆍ자세의 각각에 대해서는, 동일한 3차원 공간에 있어서의 상대적인 촬상 위치 및 촬상 방향의 정합성을 취득해 둘 필요가 있다. 이에 의해, 각 촬상 장치에서 촬상된 촬상 화상으로 생성되는 대상 물체(200)의 3차원 형상의 특징점을, 동일한 3차원 공간에 있어서 합성하여 통합하고, 통합 결과에 있어서의 밀한 특징점의 각각에 대응하는 심도 정보 및 색 정보를 취득한다.
도 2의 (b)는 라이트 필드 카메라 및 RGBD 카메라의 각각이 취득하는 심도 정보 및 계조도 정보의 각각을 나타내고 있다. 이 도 2의 (b)는 라이트 필드 카메라 및 RGBD 카메라의 각각의 촬상 화상으로 생성한 기하학 정보(3차원 점군 혹은 심도 화상)를 합성하여 얻은 심도 정보 및 색 정보(계조도 정보)를 나타내고 있다.
라이트 필드 카메라 및 RGBD 카메라의 각각은, 대상 물체(200)를 촬상하고, 3차원 형상 정보로서, 대상 물체(200)의 각 특징점의 심도 정보와, 촬상되는 화상이 컬러 화상인 경우에 특징점의 색 정보로서 R색 성분, G색 성분 및 B색 성분의 계조도를 포함하는 계조도 정보를 생성한다.
그리고, RGBD 카메라의 촬상 화상으로 생성한 심도 정보(222)(심도 화상)에 대해, 라이트 필드 카메라의 촬상 화상으로 생성한 심도 정보(232)를 합성하여, 대상 물체(200)의 심도 정보로 한다. 또한, 마찬가지로, RGBD 카메라의 촬상 화상으로 생성한 계조도 정보(223)에 대해, 라이트 필드 카메라의 촬상 화상으로 생성한 계조도 정보(233)를 합성하여, 대상 물체(200)의 계조도 정보(색 정보로서의 특징점의 R색 성분, G색 성분 및 B색 성분의 계조도)로 한다.
여기서, 라이트 필드 카메라는, RGBD 카메라에 비교하여 일반적으로 화각이 좁기 때문에, 촬상하는 영역의 범위가 RGBD 카메라보다 작아진다. 한편, 라이트 필드 카메라는, RGBD 카메라에 비교하여 분해능이 높고, 취득할 수 있는 특징점 수가 많아지고, 밀한 심도 정보 및 색 정보를 취득할 수 있다. 이에 의해, 심도 정보 및 색 정보의 각각에 있어서, 특징점이 소한 영역과 밀한 영역의 각각이 생성된다.
그러나, 용도로서, 대상 물체(200)의 전체적인 3차원 형상에 있어서 부분적으로 상세하게 관찰하고 싶은 영역이 있는 경우, 그 상세하게 관찰하고 싶은 영역을 라이트 필드 카메라로 촬상된 촬상 화상으로부터 구한 밀한 특징점에 의해, RGBD 카메라로 촬상된 촬상 화상으로부터 구한 소한 특징점을 보완하기 위해, 심도 정보 및 색 정보의 각각의 합성을 행하는 구성으로 해도 된다.
상술한 심도 정보, 색 정보 각각의 합성을 행할 때, 특징점이 밀한 영역과 소한 영역의 경계 부분을, 그라데이션을 주고, 특징점 수가 소한 영역으로부터 점차 밀한 영역을 향하여 증가하도록 하면, 이용자가 라이트 필드 화상을 관찰할 때 경계 부분을 두드러지지 않게 할 수 있다. 한편, 경계 부분이 명확하게 하고 싶은 경우, 특징점이 소한 영역과 밀한 영역을 단순하게 합성하고, 대상 물체(200)의 3차원 형상 정보의 심도 정보와 색 정보로 함으로써, 지금 어디를 이용자가 라이트 필드 카메라로 관찰하고 있거나, 즉 어디가 밀한 영역인지를 시인하기 쉽게 할 수 있다.
3차원 형상 정보 출력부(13)는, 3차원 형상 정보 생성부(12)가 생성한 3차원 형상 정보로서의 심도 정보 및 색 정보의 각각을, 라이트 필드 정보로서, 정보 통신망(500)을 통하여, 화상 생성 서버(2)에 대해 송신한다.
여기서, 라이트 필드 정보로서, 라이트 필드 화상을 송신하는 경우, 도 11에 도시하는 바와 같이 n×m, 예를 들어 3×3의 다른 9개소의 각각의 시점 위치에서 촬상한 9매의 촬상 화상을 송신할 필요가 있다. 이미, 설명한 바와 같이, 각 촬상 화상은, 화소마다 R색 성분, G색 성분 및 B색 성분의 각각의 계조도를 갖고 있다. 이 때문에, 촬상 화상의 해상도를 증가시키는, 혹은 취득하는 광선 정보를 증가시키는 경우, 또한 촬상 화상에 있어서의 데이터양이 증가하게 된다.
그러나, 상술한 바와 같이, 가상 3차원 공간에 있어서의 대상 물체(200)의 특징점을 포함하는 3차원 점군으로서, 대상 물체(200)의 기하학 정보인 심도 정보와, 각 특징점의 색 정보를 3차원 형상 정보로서 송신함으로써, 송신하는 데이터양을 저감시켜서, 종래의 라이트 필드 화상의 송신에 비교하여 고속으로 라이트 필드 정보를 송신할 수 있다.
또한, 전송에 관해서는, 3차원 형상 정보에 있어서, 기하학 정보에 있어서의 특징점의 각각을 정합성이 취해진 심도 화상과 컬러 화상으로 변환하여 보냄으로써, 라이트 필드 화상 및 RGBD 화상을 사용하여, 특징점이 소한 영역과 밀한 영역을 포함하는 심도 정보 및 색 정보의 각각을, 소한 영역 및 밀한 영역의 특징점 정보가 유지된 상태에서, 3차원 형상 정보를 라이트 필드 정보로서, 형상 정보 취득 서버(1)로부터 화상 생성 서버(2)에 대해 송신할 수 있다.
도 12는, 대상 물체(200)의 3차원 형상 정보를 나타내는 심도 화상과 컬러 화상의 생성을 설명하는 도면이다. 도 12에 있어서, 가상 3차원 공간(370)에는, 대상 물체(200)의 가상 3차원 형상(371)이 생성되어 있다. 이 가상 3차원 형상(371)은, 상술한 바와 같이, 생성에 대해 라이트 필드 화상 및 RGBD 화상을 사용하고 있기 때문에, 특징점이 밀한 영역과 소한 영역이 존재하고 있다. 이 가상 3차원 공간(370)에 있어서, 이 가상 3차원 형상(371)을 가상 카메라(375 및 376)의 각각에 의해 촬상한다. 그리고, 가상 카메라(375)(우측의 카메라)가 촬상된 촬상 화상(실제로는 투영된 화상, 즉 정투영)으로부터, 색 정보(컬러 화상)(375_1) 및 심도 정보(심도 화상)(375_2)의 각각이 생성된다. 또한, 가상 카메라(376)(좌측의 카메라)가 촬상된 촬상 화상(실제로는 투영된 화상, 즉 정투영)으로부터, 색 정보(컬러 화상)(376_1) 및 심도 정보(심도 화상)(376_2)의 각각이 생성된다.
그리고, 상기 색 정보(375_1, 376_1), 심도 정보(375_2 및 376_2)의 각각이, 대상 물체(200)의 3차원 형상 정보로서, 형상 정보 취득 서버(1)에 대해 출력된다.
심도 화상으로서 심도 정보를 송신함으로써, 3차원 점군의 각각의 특징점의 3차원 공간에 있어서의 좌표값으로서 송신하기보다, 데이터양을 저감할 수 있다. 또한, 심도 화상을 송신하는 경우, 일반적인 화상 압축의 알고리즘을 사용할 수 있고, 또한 데이터양을 저감할 수 있기 때문에, 동화상의 송신에는 특히 유효하다.
폴리곤에서 송신한 경우에도, 폴리곤의 형상이나 좌표값을 나타내는 데이터, 또한 텍스처가 첩부하는 위치를 나타내는 데이터 등이 필요해지기 때문에, 상당히 데이터양이 증가하게 된다.
또한, 구체나 원기둥을 사용하여, 상술한 2차원 평면에 촬상 화상으로서 3차원 형상 정보의 각각의 특징점을 정투영하는 것이 아니라, 3차원 형상 정보에 있어서의 특징점의 심도 정보 및 색 정보의 각각을, 위치 정보를 대응짓고, 각각 심도 화상, 컬러 화상으로서 UV 전개하고, 도 12와 마찬가지의 화상으로서 3차원 형상 정보를 송신해도 된다.
도 13은, UV 전개에 의한 대상 물체(200)의 3차원 형상 정보를 나타내는 심도 화상 및 컬러 화상의 생성을 설명하는 도면이다.
가상 3차원 공간(350)에는, 대상 물체(200)의 가상 3차원 형상(351)이 생성되어 있다. 이 가상 3차원 형상(351)은, 도 12와 마찬가지로, 생성에 대해 라이트 필드 화상 및 RGBD 화상을 사용하고 있기 때문에, 특징점이 밀한 영역과 소한 영역이 존재하고 있다. 가상 3차원 공간(350)에 있어서, 가상 3차원 형상(351)의 무게 중심 위치를 중심으로 하고, 이 가상 3차원 형상(351)을 포함하는 구체(352)를 생성한다. 그리고, 이 구체(352)의 내면에 대해, 가상 3차원 형상(351)의 특징점의 색 정보(컬러 화상)을 투영(UV 전개)하여 컬러 화상(360)을 생성하고, 이 투영된 부분에 구체(352)로부터 특징점까지의 거리인 심도 정보를, 계조도 정보로 한 심도 화상(도시하지 않음)을 생성한다.
도 13에 있어서도, 도 12와 마찬가지로, 이 가상 3차원 형상(351)은, 상술한 바와 같이, 생성에 대해 라이트 필드 화상 및 RGBD 화상을 사용하고 있기 때문에, 특징점이 밀한 영역과 소한 영역이 존재하고 있다.
심도 화상으로서 심도 정보를 송신함으로써, 3차원 점군의 각각의 특징점의 3차원 공간에 있어서의 좌표값으로서 송신하는 것보다, 데이터양을 저감할 수 있다. 또한, 심도 화상을 송신하는 경우, 일반적인 화상 압축의 알고리즘을 사용할 수 있고, 또한 데이터양을 저감할 수 있기 때문에, 동화상의 송신에는 특히 유효하다.
또한, 도 12 및 도 13의 각각의 경우에는, 특징점이 밀한 영역의 해상도와 소한 영역의 해상도가 다르기 때문에, 영역을 분할하여 송신할 필요가 있다.
또한, 도 13의 UV 전개를 사용한 경우, 도 12에 비교하여 시야각을 벌이를 할 수 있고, 대상 물체(200)의 전방위에 있어서의 3차원 형상 정보(심도 정보 및 색 정보)를 갖고 송신할 수 있다.
화상 생성 서버(2)는, 3차원 형상 정보 입력부(21), 3차원 형상 재구성부(22), 라이트 필드 화상 생성부(23) 및 기억부(24)의 각각을 구비하고 있다.
3차원 형상 정보 입력부(21)는, 형상 정보 취득 서버(1)로부터, 대상 물체(200)의 형상을 나타내는 기하학 정보인 심도 정보와, 기하학 정보에 있어서의 특징점의 색 정보를 포함하는 3차원 형상 정보를 입력하고, 기억부(24)에 기입하여 일단 기억시킨다.
3차원 형상 재구성부(22)는, 심도 정보 및 색 정보를 포함하는 3차원 형상 정보로부터 대상 물체(200)의 3차원 형상을 가상 3차원 공간에 있어서, 가상 3차원 형상으로서 재구성(복원) 처리를 행한다. 이 3차원 형상의 복원 처리는, 일반적으로 사용되고 있는 방법의 어느 3차원 형상을 복원하는 방법을 사용한다.
이 복원 방법에 있어서, 라이트 필드 화상 생성 시스템이 사용되는 용도에 따라, 복원되는 가상 3차원 형상으로서는 치밀함(깨끗함)이 필요한 경우가 있다. 사용 용도에 대응시켜서, 필요해지는 치밀함에 따라, 이하의 복원의 방법을 적절하게 선택할 수 있다.
가상 3차원 형상의 일례로서는, 기하학 형상으로 3차원 점군 혹은 심도 화상의 그 자체를 복원한 가상 3차원 형상(3차원 형상 모델)으로 해도 된다. 또한, 다른 예로서, 기하학 형상으로 3차원 점군 혹은 심도 화상을 사용하여 각 특징점의 3차원 좌표를 계산하고, 보다 고밀도의 점군 데이터(Dense point cloud)를 구하여, 이 고밀도의 점군 데이터를, 복원한 가상 3차원 형상(3차원 형상 모델)으로 해도 된다. 또한, 다른 예로서, 기하학 정보의 3차원 점군 혹은 심도 화상을 사용하여 각 특징점의 3차원 좌표를 계산하고, 보다 고밀도의 점군 데이터를 구하여, 이 점군 데이터로부터 메시데이터를 작성하여, 특징점의 RGB의 계조도에 대응하고, 메시데이터의 각각의 색을 보완함으로써 최종적인 가상 3차원 형상(3차원 형상 모델)을 복원해도 된다.
또한, 기억부(24)에 대해, 미리 대상 물체(200)의 3차원 형상, 예를 들어 CG(Computer Graphics)로 생성된 3차원 형상의 데이터를 기입하여 기억시켜서 두고, 복원한 상기 가상 3차원 형상과 합성하는 구성으로 해도 된다.
예를 들어, 내시경에 마련된 카메라로 촬상하는 영역이 좁고(화각이 좁고), 예를 들어 위의 내부를 촬상하고 있을 때, 촬상되고 있는 부분이 위의 어느 주변의 장소일지의 판정이, 초보자에게는 좀처럼 설 수 없는 경우가 있다. 이 때, 3차원 형상 재구성부(22)는, 미리 위의 내부를 CG로 생성된 3차원 형상을 기억부(24)로부터 판독하고, 복원된 가상 3차원 형상으로 합성하는 구성으로 해도 된다.
이에 의해, 라이트 필드 화상 생성부(23)는, CG로 생성된 3차원 형상의 심장 중에 있어서, 가상 3차원 형상이 포커스된 라이트 필드 화상을 생성할 수 있다. 이용자는, 이 라이트 필드 화상을 보는 것에 의해, 내시경으로 자신이 관찰하고 있는 심장의 개소를, 전체의 어느 위치에 대응하는지를 명확하게 인식할 수 있다.
여기서, 심장의 3차원 형상의 데이터는, 예를 들어 MRI(Magnetic Resonance Imaging) 등의 화상으로부터 CG를 사용하여 생성되고, 내시경의 촬상하는 위치는 기하학적인 정합성은 미리 취득해 두고, CG의 3차원 형상과, 가상 3차원 형상은 동일한 3차원 공간에 있어서, 위치가 정합된 상태에서 배치된다.
또한, 상기 CG의 3차원 형상과, 가상 3차원 형상을 합성하는 기술은, MR(Mixed Reality, 실제 화상에 CG의 가상 화상을 중첩 표시함) 매뉴얼로서 사용할 수도 있다. 예를 들어, 자동차의 엔진 분해를 행하는 경우, CG로 생성된 엔진 전체의 3차원 형상에 대해, 이용자가 관찰하고 있는 개소의 가상 3차원 화상을 합성하고, 분해하기 위해서는 어느 나사에서부터 풀 지 등의 정보, 위치의 명칭이나 기능을 설명하는 화상을 중첩하고, 3차원 형상을 구성한다. 그리고, 라이트 필드 화상 생성부(23)는, 3차원 공간에 있어서, CG로 생성된 엔진의 3차원 화상과, 이용자의 관찰하고 있는 영역의 가상 3차원 형상과, 설명의 화상 등이 합성된 형상으로부터 라이트 필드 화상을 생성한다. 이에 의해, AR(Augmented Reality)로서의 화상을, 이용자가 관찰할 수 있고, 초보자라도 엔진의 분해나 각 부분의 기능 학습을 행할 수 있다.
라이트 필드 화상 생성부(23)는, 3차원 형상 재구성부(22)가 복원한, 가상 3차원 공간 내에 있어서의 대상 물체(200)의 가상 3차원 형상을, 가상 3차원 공간 내에 있어서의 가상 카메라(가상 촬상 장치)에 의해 촬상하여, 라이트 필드 화상을 생성한다.
즉, 가상 3차원 공간에 있어서, 도 11에 도시한 것과 마찬가지로, 소정의 거리 어긋나게 한 시점 위치에, n×m의 매트릭스상으로 가상 카메라를 배치하고, n×m개의 다른 위치로부터 대상 물체(200)를 촬상하고, n×m매의 촬상 화상을 라이트 필드 화상으로서 생성(취득)한다.
또한, 라이트 필드 화상 생성부(23)는, 생성된 라이트 필드 화상을, 기억부(24)에 기입하여 기억시킨다.
도 3은, 복원된 대상 물체(200)의 가상 3차원 형상을, 매트릭스상으로 배열된 가상 카메라로 촬상하는 것에 의한 라이트 필드 화상의 생성을 도시하는 개념도이다.
도 3에 있어서, 가상 3차원 공간 내에 있어서의 대상 물체(200)의 가상 3차원 형상(311)을, 이 가상 공간 내의 임의의 시점에서, 5(=n)×5(=m)의 매트릭스상으로 배열한 25대의 가상 카메라에 의해, 라이트 필드 화상으로 하고, R(red) 색 성분의 계조도 화상(312r), G(green) 색 성분의 계조도 화상(312g) 및 B(blue) 색 성분의 계조도가 상(312b)을 얻는다.
이 결과, 가상 3차원 공간 내에 있어서, 어느 임의의 시점에서도, 25매의 촬상 화상을 포함하는 라이트 필드 화상(각각 색 성분 R, 색 성분 G 및 색 성분 B의 각각의 계조도 화상을 포함하는 촬상 화상)을 용이하게 얻을 수 있다.
도 11에 도시하는 실공간에 있어서 라이트 필드 화상을 촬상하는 경우, 시점을 바꾸어 촬상할 때마다, 새로운 라이트 필드 화상을 촬상하여 송신할 필요가 있다.
그러나, 가상 3차원 공간 내라면, 대상 물체(200)의 3차원 형상을 복원한 가상 3차원 형상이 있기 때문에, 형상이 변화하지 않는 한, 새로운 가상 3차원 형상을 복원할 필요가 없고, 가상 3차원 공간에 있어서 자유롭게 임의의 시점에서, 가상 3차원 형상의 라이트 필드 화상을 얻을 수 있다.
도 4는, 3차원 공간에 있어서의 라이트 필드를 설명하는 개념도이다.
도 4의 (a)에 도시하는 바와 같이, 대상 물체(200_1) 및 대상 물체(200_2)의 각각을, 매트릭스상으로 배치된 복수의 촬상 장치(혹은 라이트 필드 카메라)로 촬상한다.
이에 의해, 촬상 장치의 각각에는, 배치된 위치에 따라, 시점 위치가 어긋난 촬상 화상이 촬상된다. 이 촬상 화상의 각각에는, 배치된 위치를 시점 위치로 하고, 대상 물체(200_1) 및 대상 물체(200_2)의 각각의 표면에 있어서의 다른 부분으로부터 사출되는 광선(다른 방향의 광선)이 촬상되어 있다. 이에 의해, 대상 물체(200_1) 및 대상 물체(200_2)의 각각의 표면에 있어서의 부분마다에, 복수의 방향(광선 방향)으로 사출되는 광선의 정보를 얻을 수 있다.
이에 의해, 촬상 화상의 각각을 기하학적으로 처리함으로써, 도 4의 (b)에 도시하는 라이트 필드(광선 공간) 정보를 얻을 수 있다.
도 4의 (b)에 도시하는 광선 공간에 있어서의 좌표점 V(Vx,Vy,Vu)에 있어서의 광선의 광선 방향을 따른 휘도가, 이하에 나타내는 식 (1) 등에 의해 표시된다. θ가 광선 방향의 수직 방향의 각도(x축 및 y축에 의해 생성되는 2차원 평면에 있어서의 각도)이며, φ이 광선 방향의 평행 방향의 각도(x축 및 u축에 의해 생성되는 2차원 평면에 있어서의 각도)이다.
Figure pct00001
따라서, 도 4의 (c)에 도시하는 바와 같이, 광선 공간에 있어서, 시점 방향(시선 방향)으로부터 관찰되는 2차원 화상이 실공간과 마찬가지로 다르게 관찰할 수 있다. 여기서, 시점 방향이란, 광선 공간을 평면으로 절단한, 단면 C1 혹은 단면 C2에 나타내는 단면에 대해 수직인 방향이다.
상술한 광선 공간은, 실공간에 있어서의 라이트 필드 화상으로부터 생성되는 가상 3차원 공간에 복원되는 대상 물체(200)의 가상 3차원 형상이어도, 화상 생성 서버(2)에 있어서의 가상 3차원 공간에 복원되는 대상 물체(200)의 가상 3차원 공간이어도 마찬가지로 성립된다.
또한, 화상 생성 서버(2)가 가상 3차원 공간에 있어서의 대상 물체(200)의 가상 3차원 형상을 사용하여 라이트 필드 화상을 생성할 때, 광선 공간을 생성하는 촬상 카메라의 시점 위치 및 시점 방향을 임의로 설정할 수 있기 때문에, 대상 물체(200)로부터 이격된 장소(원격지)에 있어서도, 실공간에 있어서 마찬가지로 대상 물체(200)의 라이트 필드 화상의 촬상이 가능해진다.
도 5는, 본 실시 형태에 따른 라이트 필드 화상 생성 시스템에 의한 라이트 필드 화상 생성 처리의 동작예를 도시하는 흐름도이다.
스텝 S101:
촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 라이트 필드 화상을 사용하는 장소와 이격된 원격지에 있어서, 고정된 상태에 있어서 대상 물체(200)를 소정의 시점 위치로부터 촬상한다. 여기서, 일례로서, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각에는 RGB-D 카메라를 사용한다.
그리고, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각은, 대상 물체(200)의 3차원 형상을 나타내는, 각각의 시점 위치에서의 기하학 정보 #1 및 기하학 정보 #2를 형상 정보 취득 서버(1)에 대해 출력한다.
이 때, 촬상 화상 입력부(11)는, 촬상 장치(3_1) 및 촬상 장치(3_2)의 각각으로부터 공급되는 기하학 정보 #1, 기하학 정보 #2의 각각을, 기억부(14)에 기입하여 기억시킨다.
스텝 S102:
3차원 형상 정보 생성부(12)는, 기억부(14)로부터 기하학 정보 #1 및 기하학 정보 #2를 판독하고, 가상 공간 내에 있어서, 기하학 정보 #1 및 기하학 정보 #2의 각각의 특징점의 정합성을 취하고, 기하학 정보 #1, 기하학 정보 #2 각각의 특징점 통합을 행한다.
그리고, 3차원 형상 정보 생성부(12)는, 기하학 정보 #1 및 기하학 정보 #2의 각각의 계조도 정보, 심도 정보에 의해, 대상 물체(200)의 3차원 형상을 나타내는 3차원 점군(혹은 심도 화상)을 기하학 정보로서 가상 3차원 공간 내에 생성한다. 그리고, 3차원 형상 정보 생성부(12)는, 3차원 점군(혹은 심도 화상)에 있어서의 특징점의 각각에 대해 색 정보로서, 색 성분 RGB의 계조도 정보를 부여하고, 대상 물체(200)의 3차원 형상 정보로 한다.
그리고, 3차원 형상 정보 생성부(12)는, 생성된 3차원 형상 정보의 데이터를 기억부(14)에 기입하여 기억시킨다.
스텝 S103:
3차원 형상 정보 출력부(13)는, 기억부(14)로부터 3차원 형상 정보를 판독하고, 정보 통신망(500)을 통하여, 화상 생성 서버(2)에 대해 출력한다.
이 때, 도 12 및 도 13에서 설명한 바와 같이, 기하학 정보로서의 심도 정보와, 이 3차원 형상의 특징점의 색 정보 각각을, 기하학적으로 정합성을 가진 심도 화상, 컬러 화상 각각을 포함하는 3차원 형상 정보로서 송신함으로써, 일반적인 화상압축을 사용함으로써 데이터양을 적게 할 수 있고, 3차원 형상 정보의 전송 부하(전송량)을 더 저감할 수 있다.
3차원 형상 정보 입력부(21)는, 형상 정보 취득 서버(1)로부터 공급되는, 대상 물체(200)의 3차원 형상 정보의 데이터를, 기억부(24)에 기입하여 기억시킨다.
스텝 S104:
3차원 형상 재구성부(22)는, 기억부(24)로부터 라이트 필드 정보로서의 3차원 형상 정보의 데이터를 판독하고, 대상 물체(200)의 3차원 형상을 가상 3차원 공간에 있어서 재구성(복원)하고, 대상 물체(200)의 가상 3차원 형상으로서 생성한다.
그리고, 3차원 형상 재구성부(22)는, 3차원 가상 공간에 있어서 생성된 가상 3차원 형상의 데이터를, 기억부(24)에 기입하여 기억시킨다.
스텝 S105:
라이트 필드 화상 생성부(23)는, 가상 3차원 형상을 기억부(24)로부터 판독하고, 가상 3차원 공간 내에 있어서의 임의의 시점 위치에 있어서, 가상 카메라(라이트 필드 카메라)에 의해, 가상 3차원 형상의 라이트 필드 화상을 촬상한다.
그리고, 라이트 필드 화상 생성부(23)는, 촬상한 라이트 필드 화상을, 기억부(24)에 기입하여 기억시킨다.
상술한 구성에 의해, 본 실시 형태에 의하면, 형상 정보 취득 서버(1)에 의해 대상 물체(200)의 3차원 형상 정보를 취득하고, 이 3차원 형상 정보의 데이터를, 화상 생성 서버(2)에 송신하고, 화상 생성 서버(2)가 공급되는 3차원 형상 정보에 의해 대상 물체(200)의 가상 3차원 형상을 복원하기 위해, 형상 정보 취득 서버(1)와 화상 생성 서버(2) 각각의 한쪽에 대해 다른 쪽이 상대적으로 원격지에 위치하고 있는 경우, 라이트 필드 정보로서 3차원 점군이나 색 정보 등의 3차원 형상 정보를 송신하기 위해, 정보 통신망(500)에 있어서의 데이터의 송수신 통신 부하를 저감시켜서, 라이트 필드 화상을 그대로 송신하는 경우에 비교하여 고속으로 라이트 필드 정보를 송신할 수 있다.
이에 의해, 본 실시 형태에 의하면, 대상 물체(200)의 존재하는 원격지에 있어서, 종래에 비교하여 고속으로 라이트 필드 화상을 얻는 것이 가능해진다.
또한, 본 실시 형태에 의하면, 가상 3차원 공간 내에 대상 물체(200)의 가상 3차원 형상을 복원하기 위해, 가상 3차원 공간을 임의의 사이즈로 확대 혹은 축소하며, 또한 가상 카메라에 의해 임의의 시점 위치로부터 용이하게 라이트 필드 화상을 얻는 것이 가능해진다.
<제2 실시 형태＞
이하, 본 발명의 제2 실시 형태로서, 본 발명의 제1 실시 형태에 따른 라이트 필드 화상 생성 시스템을 사용한 화상 표시 시스템에 대해, 도면을 참조하여 설명한다. 도 6은, 본 발명의 라이트 필드 화상 생성 시스템을 사용한, 제2 실시 형태의 화상 표시 시스템의 구성예를 도시하는 도면이다.
이하, 도 6의 제2 실시 형태에 있어서, 도 1의 제1 실시 형태와 다른 구성 및 동작만 설명한다. 형상 정보 취득 서버(1)는, 제1 실시 형태와 마찬가지 구성이다. 화상 생성 서버(2A)는, 제1 실시 형태에서의 화상 생성 서버(2)에 라이트 필드 화상 출력부(25)가 추가된 구성으로 되어 있다. 또한, 화상 표시 시스템으로서는, 표시 화상 생성 단말기(4), 표시부(42A)를 포함하는 HMD(42)의 구성이 추가되어 있다. 또한, 본 실시 형태에 있어서, 표시 화상 생성 단말기(4)와 HMD(42)가 일체로서, 예를 들어 HMD(42)의 기능부에 표시 화상 생성 단말기(4)의 기능이 포함되어 형성되는 구성으로 해도 된다.
라이트 필드 화상 출력부(25)는, 기억부(24)에 기억되어 있는, 라이트 필드 화상 생성부(23)가 생성한 라이트 필드 화상을 판독한다. 그리고, 라이트 필드 화상 출력부(25)는, 판독한 라이트 필드 화상을, 표시 화상 생성 단말기(4)에 대해 출력한다.
표시 화상 생성 단말기(4)는, 라이트 필드 화상 출력부(25)로부터 공급되는 라이트 필드 화상에 기초하여, HMD(42)의 표시부(42A)에 표시하는 표시 화상을 생성한다. 그리고, 표시 화상 생성 단말기(4)는, 생성된 표시 화상을 HMD(42)(표시 장치의 일례)에 대해 출력한다.
HMD(42)는, 도시하지 않은 내부의 표시 제어부에 의해, 표시 화상 생성 단말기(4)로부터 공급되는 표시 화상을 표시부(42A)에 대해 표시한다. HMD(42)는, 대상 물체(200)의 가상 3차원 형상을 관찰하는 관찰자의 헤드부에 장착된다.
도 7은, 본 실시 형태에서의 HMD(42)의 표시부(42A)의 구성예를 도시하는 개념도이다. 도 7에 도시하는 바와 같이, 표시부(42A)는, 전면 투명 디스플레이인 전면 액정 패널(201)과, 후면 디스플레이인 후면 액정 패널(202)와의 2매의 액정 패널이 서로 표시면이 평행으로, 대응하는 화소가 평면으로 보아 겹치도록 대향하여 적층되어 구성되어 있다. 전면 액정 패널(201)은, 후면 액정 패널(202)보다, 관찰자의 눈(접안 렌즈(112))에 가까운 배치가 되어 있다. 본 실시 형태에 있어서는, 표시부(42A)를 2매의 액정 패널로 구성된다고 설명하지만, 3매 이상의 복수매를 적층하여 구성해도 된다. 이 복수매의 액정 패널 구성에 있어서, 마지막면인 후면 디스플레이(후면 액정 패널(202)) 이외의, 후면 디스플레이의 전면에 배치되는 것 외의 액정 패널의 각각은 투명한 액정 패널이다.
전면 액정 패널(201)과 후면 액정 패널(202)의 각각은, 접안 렌즈(112)의 광축에 직교하는 면과, 각각의 표시면이 평행으로 배치되어 있다.
전면 액정 패널(201)과 후면 액정 패널(202) 사이에는, 각각의 표시면을 소정의 간격으로 이격시키기 위해, 소정 폭(광축 방향의 폭)의 스페이서(204)가 마련되어 있다.
접안 렌즈(112)는, 광축이 전면 액정 패널(201)과 후면 액정 패널(202)의 표시면과 수직이 되는 위치에 배치되어 있다.
백라이트(203)는, 후면 액정 패널(202)의 전면 액정 패널(201)과 대향하는 표시면의 이면과 대향하는 위치에 배치되어 있다.
상술한 표시부(42A)의 구성에 의해, HMD(42)를 장착한 관찰자는, 접안 렌즈(112)를 통하여 전면 액정 패널(201)과 후면 액정 패널(202)의 각각을 관찰함으로써, 전면 액정 패널(201), 후면 액정 패널(202)의 각각으로부터 출사하는 광선에 의해 구성되는 라이트 필드(광선 공간)에 의해, 대상 물체(200)의 가상 3차원 형상의 입체감을 시인할 수 있다.
상술한 바와 같이, 관찰자에 대해 가상 3차원 형상을 입체적으로 시인시키기 위해, 도 11에 도시하는 매트릭스상으로 배치된 촬상 장치에 의해 촬상된 복수의 촬상 화상인 라이트 필드 화상(402)을, 전면 액정 패널(201)과 후면 액정 패널(202)의 각각에 소정의 화상으로서 표시시킬 필요가 있다. 즉, 전면 액정 패널(201)과 후면 액정 패널(202)의 각각에 대해, 각각 소정의 화상을 표시시킴으로써, 가상 3차원 형상의 표면으로부터 출사하는 광선을 재현하는 라이트 필드를 구성한다. 이에 의해, 라이트 필드 내에 있어서, 도 4에 도시하는 임의의 단면(예를 들어, 단면 C1, 단면 C2의 시점 방향)에 의해, 전면 액정 패널(201)과 후면 액정 패널(202)에 있어서, 관찰자의 초점을 맞춘 때 관찰되는 화소의 겹침 조합이 다르다. 이 때문에, 관찰자의 초점을 맞춘 위치에 따라, 전면 액정 패널(201)과 후면 액정 패널(202)에 있어서의 겹치는 화소를 투과하는 광선 방향 및 휘도가 변화하고, 가상 3차원 형상의 관찰하는 부위가 다르다. 이 때문에, 관찰자는, 표시부(42A)에 있어서의 가상 3차원 형상을, 자신의 눈 초점 조절 기능에 의해 입체적으로 시인할 수 있다.
도 8은, 라이트 필드 화상과 표시부(42A)에 표시되는 표시 화상의 대응 관계를 설명하는 개념도이다.
전면 액정 패널(201)과 후면 액정 패널(202)의 각각에는, 각각 표시 화상(201A), 표시 화상(202A)이 표시된다. 이 표시 화상(201A) 및 표시 화상(202A)의 각각은, 라이트 필드 화상이 갖고 있는 라이트 필드의 광선 정보를 압축한 화상이다.
표시 화상(201A) 및 표시 화상(202A)의 각각은, 라이트 필드 화상에 있어서의 라이트 필드에 있어서의 광선이 사출되는 위치 및 방향의 정보를 갖고 있다. 이 라이트 필드 화상의 압축은, 액정 패널의 매수에 따라, 음수 미포함 행렬 인자 분해법(rank-1 NMF법)에 의해, 라이트 필드 화상에 있어서의 광선의 정보를 압축함으로써 행해진다.
도 8에 있어서, 상술된 압축에 의해, 예를 들어 라이트 필드 화상(312)(도 3)으로부터 생성된 표시 화상(202A)이 후면 액정 패널(202)에, 표시 화상(201A)이 전면 액정 패널(201)에 각각 표시된다.
이 결과, 관찰자의 눈(200E)의 망막에 있어서는, 표시 화상(201A) 및 표시 화상(202A)의 각각에 각각 표시되는 표시 화상(201A), 표시 화상(202A)이 결상된다. 이 때, 관찰자의 망막에는, 접안 렌즈(112)를 통함으로써, 소정의 거리만큼 이격된 가상 스크린(301)과 가상 스크린(302) 각각에 가상적으로 표시된 표시 화상(201A) 및 표시 화상(202A)이 결상된다. 가상 스크린(301)은 전면 액정 패널(201)에 대응하고, 가상 스크린(302)는 후면 액정 패널(202)에 대응하고 있다.
이에 의해, 관찰자는, 전면 액정 패널(201) 및 후면 액정 패널(202)의 각각에 표시되는, 표시 화상(201A), 표시 화상(202A)의 각각을 중첩하여 관찰하게 된다.
이미 설명한 바와 같이, 관찰자의 초점을 맞춘 위치에 따라, 전면 액정 패널(201)과 후면 액정 패널(202)에 있어서의 겹치는 화소를 투과하는 광선 방향 및 휘도, 즉 표시 화상(201A), 표시 화상(202A) 각각의 화소의 겹침이 변화된다. 이 때문에, 라이트 필드에 있어서의 시점에 대응한 관찰 화상(303A)(가상 3차원 형상을 단면에 투영한 2차원 화상)을 관찰할 수 있고, 표시부(42A)에 있어서 가상 3차원 형상을 입체적으로 시인할 수 있다.
도 9는, 본 실시 형태에 따른 화상 표시 시스템에 의한 가상 3차원 형상의 입체시를 위한 표시 화상 생성 처리의 동작예를 도시하는 흐름도이다. 도 9에 있어서, 스텝 S101 내지 스텝 S105까지는, 도 5에 있어서의 스텝 S101 내지 스텝 S5까지와 마찬가지이다. 이하, 스텝 S106 내지 스텝 S108까지의 처리를 설명한다.
스텝 S106:
라이트 필드 화상 출력부(25)는, 기억부(24)로부터 라이트 필드 화상 생성부(23)가 생성한 라이트 필드 화상을, 표시 화상 생성 단말기(4)에 대해 송신한다.
표시 화상 생성 단말기(4)는, 화상 생성 서버(2)로부터 공급되는 라이트 필드 화상을 압축하고, 전면 액정 패널(201) 및 후면 액정 패널(202)의 각각에 표시하는 표시 화상(201A), 표시 화상(202A)의 각각을 생성한다.
스텝 S107:
표시 화상 생성 단말기(4)는, 생성된 표시 화상(201A) 및 표시 화상(202A)의 각각을, HMD(42)에 대해 출력한다.
스텝 S108:
HMD(42)의 표시 제어부는, 표시 화상(201A) 및 표시 화상(202A)의 각각을, 전면 액정 패널(201), 후면 액정 패널(202)의 각각에 표시한다.
상술한 구성에 의해, 본 실시 형태에 의하면, 형상 정보 취득 서버(1)에 의해 대상 물체(200)의 3차원 형상 정보를 취득하고, 이 3차원 형상 정보의 데이터를, 화상 생성 서버(2)에 송신한다. 그리고, 화상 생성 서버(2)가 공급되는 3차원 형상 정보에 의해 대상 물체(200)의 가상 3차원 형상을 복원하기 위해, 형상 정보 취득 서버(1)와 화상 생성 서버(2)의 각각이 원격지에 위치하고 있는 경우, 라이트 필드 정보로서 3차원 점군이나 색 정보 등의 3차원 형상 정보를 송신하기 위해, 정보 통신망(500)에 있어서의 통신 부하를 저감시켜서, 라이트 필드 화상을 그대로 송신하는 경우에 비교하여 고속으로 라이트 필드 정보를 얻어, 라이트 필드 화상을 생성할 수 있다.
이에 의해, 본 실시 형태에 의하면, 대상 물체(200)의 존재하는 원격지에 있어서, HMD(42) 등에 대해, 종래에 비교하여 고속으로 라이트 필드 화상으로부터 생성되는 표시 화상을 생성하여 공급하는 것이 가능해진다.
또한, 본 실시 형태에 있어서, 라이트 필드 디스플레이로서 HMD(42)의 표시부(42A)를, 복수매의 액정 패널을 갖는 구성으로서 설명하였다. 그러나, 라이트 필드 디스플레이에는, 패럴랙스 배리어를 사용하여 공간적으로 시야를 할당하고, 라이트 필드에 있어서의 광선을 표시하는 표시부를 사용한 패럴랙스 배리어 방식의 구성으로 해도 된다. 혹은, 라이트 필드 디스플레이에는, 렌티큘러 렌즈의 마이크로렌즈 어레이를 사용하여 공간적으로 시야를 할당하고, 라이트 필드에 있어서의 광선을 표시하는 표시부를 사용한 렌티큘러 방식의 구성으로 해도 된다. 또한, 회절 격자와 디스플레이를 사용한 방식을 사용한 구성으로 해도 된다. 이들 방식의 경우, 표시 화상 생성 단말기(4)는, 각각의 구성의 라이트 필드 디스플레이의 방식에 대응한 표시 화상을 라이트 필드 화상으로부터 생성한다.
<제3 실시 형태＞
이하, 본 발명의 제3 실시 형태로서, 본 발명의 제1 실시 형태에 따른 형상 정보 취득 서버(1)와, 제2 실시 형태에 따른 화상 생성 서버(2)의 각각의 구성을 복합된 화상 표시 서버(6)를 사용한 화상 표시 시스템에 대해, 도면을 참조하여 설명한다. 도 10은, 본 발명의 제3 실시 형태에 따른 화상 표시 서버(6)를 사용한 화상 표시 시스템의 구성예를 도시하는 도면이다.
도 10에 있어서, 화상 표시 서버(6)는, 제1 실시 형태에서의 형상 정보 취득 서버(1)의 촬상 화상 입력부(11) 및 3차원 형상 정보 생성부(12)와, 제1 실시 형태에서의 화상 생성 서버(2)에 있어서의 3차원 형상 재구성부(22) 및 라이트 필드 화상 생성부(23)와, 제2 실시 형태에서의 표시 화상 생성 단말기(4)의 기능을 갖는 표시 화상 생성부(41)가 마련되어 있다. 또한, 기억부(14A)는, 형상 정보 취득 서버(1)에 있어서의 기억부(14)와, 화상 생성 서버(2)에 있어서의 기억부(24)가 통합된 구성이다.
3차원 형상 정보 생성부(12)는, 가상 3차원 공간에 있어서 대상 물체(200)의 특징점의 3차원 점군(혹은 심도 화상)과, 이 특징점의 색 정보를 3차원 형상 정보로서 생성하고, 기억부(14A)에 기입하여 기억시킨다.
3차원 형상 재구성부(22)는, 기억부(14A)로부터 상기 3차원 형상 정보를 판독하고, 가상 3차원 공간에 있어서 심도 정보인 3차원 점군(혹은 심도 화상)과, 3차원 점군의 특징점의 색 정보로부터, 대상 물체(200)의 3차원 형상을 가상 3차원 형상으로서 재구성하고, 기억부(14A)에 기입하여 기억시킨다.
그리고, 라이트 필드 화상 생성부(23)는, 대상 물체(200)의 가상 3차원 형상을 기억부(14A)로부터 판독한다.
또한, 라이트 필드 화상 생성부(23)는, 가상 3차원 공간 내에 있어서 가상 카메라에 의해, 대상 물체(200)의 가상 3차원 형상을 임의의 시점 방향으로부터 촬상하고, 라이트 필드 화상을 생성하고, 기억부(14A)에 기입하여 기억시킨다.
표시 화상 생성부(41A)는, 기억부(14A)로부터 라이트 필드 화상을 판독하고, 이미 설명한 압축 처리를 행하고, 생성된 표시 화상(201A) 및 표시 화상(202A)의 각각을, 케이블(42B) 혹은 무선을 통하여 HMD(42)에 대해 출력한다. 또한, 제2 실시 형태에 기재한 바와 같이, 라이트 필드 디스플레이로서, HMD(42)의 적층 방식의 디스플레이 방식이 아니고, 패럴랙스 배리어 방식 또는 렌티큘러 방식의 디스플레이를 사용해도 된다.
상술한 바와 같이, 본 실시 형태에 의하면, 가상 3차원 공간에 대상 물체(200)의 가상 3차원 형상을 복원하고 있기 때문에, 관찰자가 임의의 시점 방향의 라이트 필드(광선 공간)을 형성할 수 있고, 종래과 같이, 시점 방향을 바꿀 때마다 라이트 필드 화상을 촬상할 필요가 없어, 관찰자의 촬상 공정에서의 수고를 저감할 수 있다.
또한, 본 실시 형태에 의하면, 화상 표시 서버(6)에 있어서, 라이트 필드 화상을 압축하고, HMD(42)의 표시부(42A)에 표시하는 표시 화상(201A) 및 표시 화상(202A)의 각각을 생성하고 있기 때문에, 처리 속도를 향상시키기가 가능해지고, 동화상에 대한 표시 화상의 생성을 실시간으로 행할 수 있어, 관찰자의 지연없이 가상 3차원 형상을 관찰할 수 있다.
또한, 본 실시 형태에 의하면, 라이트 필드 화상이 아니고, 표시 화상(201A) 및 표시 화상(202A)의 각각을, 케이블(42B) 혹은 무선을 통하여 HMD(42)에 대해 출력하기 위해, 데이터 전송의 부하를 저감할 수 있고, 송신 속도를 상승시킴으로써, 표시부(42A)에 있어서의 동화상 등의 화상 표시를 실시간으로 행할 수 있고, 관찰자의 지연없이 가상 3차원 형상을 HMD(42)에 있어서 관찰할 수 있다.
또한, 본 발명에 있어서의 도 1에 있어서의 형상 정보 취득 서버(1) 및 화상 생성 서버(2)와, 도 6에 있어서의 화상 생성 서버(2A) 및 표시 화상 생성 단말기(4)와, 도 10에 있어서의 화상 표시 서버(6)의 각각의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록하고, 이 기록 매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하고, 실행함으로써, 대상물의 가상 3차원 형상의 라이트 필드 화상의 촬상, 혹은 HMD의 표시부에 표시되는 표시 화상을 생성하는 제어를 행해도 된다. 또한, 여기서 말하는 「컴퓨터 시스템」이라 함은, OS나 주변 기기 등의 하드웨어를 포함하는 것으로 한다.
또한, 「컴퓨터 시스템」은, 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록 매체」란, 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 가반 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또한 「컴퓨터 판독 가능한 기록 매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통하여 프로그램이 송신된 경우의 서버나 클라이언트로 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이, 일정 시간 프로그램을 유지하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은, 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터, 전송 매체를 통하거나, 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 갖는 매체를 말한다. 또한, 상기 프로그램은, 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또한, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램의 조합으로 실현할 수 있는 것, 소위 차분 파일(차분 프로그램)이어도 된다.
1: 형상 정보 취득 서버
2: 화상 생성 서버
3-1, 3-2: 촬상 장치
4: 표시 화상 생성 단말기
11: 촬상 화상 입력부
12: 3차원 형상 정보 생성부
13: 3차원 형상 정보 출력부
14, 14A, 24: 기억부
21: 3차원 형상 정보 입력부
22: 3차원 형상 재구성부
23: 라이트 필드 화상 생성부
24: 기억부
25: 라이트 필드 화상 출력부
41: 표시 화상 생성부
42: HMD
42A: 표시부
500: 정보 통신망

Claims (13)

  1. 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 서버와,
    상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 갖는 화상 생성 서버를 구비하는, 라이트 필드 화상 생성 시스템.
  2. 제1항에 있어서,
    상기 화상 생성 서버에 있어서의 상기 라이트 필드 화상 생성부가,
    상기 가상 공간 내에 있어서의 임의의 시점 위치 및 시점 방향에 의해, 가상 촬상 장치에 의해 상기 가상 3차원 형상을 촬상하고, 상기 임의의 시점 위치 및 시점 방향으로부터 라이트 필드 화상을 생성하는, 라이트 필드 화상 생성 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 형상 정보 취득 서버가,
    촬상 장치에 의해 상기 대상물이 촬상된 촬상 화상으로부터, 당해 대상물의 상기 형상 정보를 생성하는, 라이트 필드 화상 생성 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 형상 정보가, 상기 대상물이 촬상된 촬상 화상에 있어서의 각 화소의 계조도 정보 및 심도 정보의 각각인, 라이트 필드 화상 생성 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 형상 정보가, 상기 대상물의 특징점을 포함하는 3차원 점군 정보와, 각 특징점의 계조도 정보의 각각인, 라이트 필드 화상 생성 시스템.
  6. 제4항 또는 제5항에 있어서,
    상기 계조도 정보가, 색 정보로서의 R색 성분, G색 성분 및 B색 성분의 계조도인, 라이트 필드 화상 생성 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 형상 정보가 상이한 시점 위치 및 시점 방향에 배치된 복수의 촬상 장치에 의해 촬상된 복수의 촬상 화상으로부터 추출한 정보로 구성되어 있는, 라이트 필드 화상 생성 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 라이트 필드 화상 생성 시스템과,
    라이트 필드 화상으로부터 표시 화상을 생성하는 화상 생성 서버와,
    표시 장치를 구비하고,
    상기 표시 장치가, 적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부를 구비하고 있고,
    상기 화상 생성 서버가, 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을 생성하는, 화상 표시 시스템.
  9. 대상물의 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와, 상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 갖는 화상 생성 서버와 함께 라이트 필드 화상 생성 시스템에 구비되는 형상 정보 취득 서버이며,
    상기 대상물의 3차원 형상을 나타내는 상기 형상 정보를 취득하는, 형상 정보 취득 서버.
  10. 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 서버와 함께 라이트 필드 화상 생성 시스템에 구비되는 화상 생성 서버이며,
    상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성부와,
    상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성부를 구비하는, 화상 생성 서버.
  11. 제1항 내지 제6항 중 어느 한 항에 기재된 라이트 필드 화상 생성 시스템과, 라이트 필드 화상으로부터 표시 화상을 생성하는 화상 생성 서버와 함께 화상 표시 시스템에 포함되는 표시 장치이며,
    적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부를 구비하고, 상기 화상 생성 서버가 생성한 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을, 상기 디스플레이의 각각에 표시하는, 표시 장치.
  12. 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 과정과,
    상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성 과정과,
    상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성 과정을 포함하는, 라이트 필드 화상 생성 방법.
  13. 대상물의 3차원 형상을 나타내는 형상 정보를 취득하는 형상 정보 취득 과정과,
    상기 형상 정보로부터 가상 공간 내에 있어서, 상기 대상물의 3차원 형상을 가상 3차원 형상으로서 재구성하는 형상 재구성 과정과,
    상기 가상 3차원 형상을 상기 가상 공간 내에 있어서의 소정의 시점 위치에서의 라이트 필드 화상을 생성하는 라이트 필드 화상 생성 과정과,
    표시 장치가, 적어도 전면 투명 디스플레이와 후면 디스플레이를 포함하는 2층 이상의 디스플레이가 평면으로 보아 대응하는 화소가 겹치도록 배치된 표시부에 대해, 상기 디스플레이의 각각에 표시하는, 상기 라이트 필드 화상의 상기 화소의 계조도 정보를 압축한 표시 화상 각각을 생성하는 표시 화상 생성 과정을 포함하는, 화상 표시 방법.
KR1020207029432A 2018-04-12 2019-04-11 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법 KR20200144097A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-076786 2018-04-12
JP2018076786 2018-04-12
PCT/JP2019/015745 WO2019198784A1 (ja) 2018-04-12 2019-04-11 ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法

Publications (1)

Publication Number Publication Date
KR20200144097A true KR20200144097A (ko) 2020-12-28

Family

ID=68163697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029432A KR20200144097A (ko) 2018-04-12 2019-04-11 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법

Country Status (6)

Country Link
US (1) US11961250B2 (ko)
EP (1) EP3779892A4 (ko)
JP (1) JP7377413B2 (ko)
KR (1) KR20200144097A (ko)
CN (1) CN111954896A (ko)
WO (1) WO2019198784A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
CN114363530B (zh) * 2022-01-18 2022-08-30 北京拙河科技有限公司 基于亿级像素设备的云端视频监控方法与监控平台
JP2023128268A (ja) * 2022-03-03 2023-09-14 キヤノン株式会社 情報処理装置、情報処理方法、画像生成装置、画像生成方法及びプログラム
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014004656A (ja) 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285260A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 多視点画像の符号化方法及び任意視点画像の生成方法
JP3453086B2 (ja) 1999-05-18 2003-10-06 日本電信電話株式会社 三次元表示方法およびヘッドマウントディスプレイ装置
JP4192640B2 (ja) * 2003-03-19 2008-12-10 セイコーエプソン株式会社 ブロック内のエッジを検出しながら処理を行う画像処理装置、および画像処理方法
JP4706068B2 (ja) * 2007-04-13 2011-06-22 国立大学法人名古屋大学 画像情報処理方法及び画像情報処理システム
JP2011233141A (ja) * 2010-04-05 2011-11-17 Kddi Corp 自由視点画像伝送のためのサーバ装置、プログラム及び自由視点画像伝送方法
JP2014135006A (ja) * 2013-01-11 2014-07-24 Canon Inc 画像処理装置、画像処理方法、およびプログラム
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) * 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
KR101670970B1 (ko) * 2015-05-15 2016-11-01 한양대학교 에리카산학협력단 3차원 디스플레이 장치, 3차원 디스플레이 방법 및 이를 이용한 헤드업 마운트 디스플레이 장치
CN107851333A (zh) * 2015-07-28 2018-03-27 株式会社日立制作所 图像生成装置、图像生成系统以及图像生成方法
CA3004271C (en) 2015-11-04 2024-04-09 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
CN109997170B (zh) * 2016-10-18 2023-08-11 弗托斯传感与算法公司 用于从视图中获得距离信息的设备和方法
JP2018076786A (ja) 2016-11-07 2018-05-17 アイシン精機株式会社 電動ポンプ
JP6915368B2 (ja) * 2017-04-28 2021-08-04 凸版印刷株式会社 多焦点視覚出力方法、多焦点視覚出力装置
CN109143576B (zh) * 2017-06-27 2021-01-22 京东方科技集团股份有限公司 显示系统及其显示方法、交通工具
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP7274682B2 (ja) * 2018-01-14 2023-05-17 ライト フィールド ラボ、インコーポレイテッド ３ｄ環境からデータをレンダリングするためのシステムおよび方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014004656A (ja) 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム

Also Published As

Publication number Publication date
EP3779892A1 (en) 2021-02-17
JP7377413B2 (ja) 2023-11-10
EP3779892A4 (en) 2021-05-05
CN111954896A (zh) 2020-11-17
US20210042948A1 (en) 2021-02-11
WO2019198784A1 (ja) 2019-10-17
JPWO2019198784A1 (ja) 2021-04-30
US11961250B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
JP7377413B2 (ja) ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、ライトフィールド画像生成方法及び画像表示方法
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
JP5340952B2 (ja) 三次元投影ディスプレイ
KR20160135744A (ko) 웨어러블 3d 증강 현실 디스플레이
US11960086B2 (en) Image generation device, head-mounted display, and image generation method
CN211128024U (zh) 3d显示设备
CN106507096B (zh) 一种具有超大视角的追踪式地面光场3d显示方法及系统
JP4817425B2 (ja) 画像表示システム及び画像表示方法
CA2796514A1 (en) Method and device for representing synthetic environments
US20220113543A1 (en) Head-mounted display and image display method
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
WO2012140397A2 (en) Three-dimensional display system
JPH07240945A (ja) 仮想空間生成提示装置
CN108450031A (zh) 图像捕获装置
US10148931B2 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
US20220113794A1 (en) Display device and image display method
JP2017098596A (ja) 画像生成方法及び画像生成装置
CN108833893A (zh) 一种基于光场显示的3d图像校正方法
CN108012139A (zh) 应用于真实感近眼显示的图像生成方法和装置
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
Katayama et al. A method for converting three-dimensional models into auto-stereoscopic images based on integral photography
JPH08116556A (ja) 画像処理方法および装置
Hill Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays
JP6543096B2 (ja) 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치