WO2020111471A1 - 증강현실을 위한 모바일 홀로그램 디스플레이 단말기 - Google Patents

증강현실을 위한 모바일 홀로그램 디스플레이 단말기 Download PDF

Info

Publication number
WO2020111471A1
WO2020111471A1 PCT/KR2019/012018 KR2019012018W WO2020111471A1 WO 2020111471 A1 WO2020111471 A1 WO 2020111471A1 KR 2019012018 W KR2019012018 W KR 2019012018W WO 2020111471 A1 WO2020111471 A1 WO 2020111471A1
Authority
WO
WIPO (PCT)
Prior art keywords
hologram
camera
content
mobile
display
Prior art date
Application number
PCT/KR2019/012018
Other languages
English (en)
French (fr)
Inventor
홍성희
김영민
홍지수
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2020111471A1 publication Critical patent/WO2020111471A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram

Definitions

  • the present invention relates to a sensory information processing technology, and more particularly, to a mobile display terminal for displaying augmented reality.
  • FIG. 1 is a view showing a marker-based mobile augmented reality terminal according to the conventional method.
  • the AR (Augmented Reality) implemented on a mobile terminal such as a smartphone shown in FIG. 1 is a method in which a 3D virtual object is projected and output as a flat screen image when a marker is photographed with a camera of the terminal.
  • the user needs to take measures such as moving the marker from a different angle or moving the marker with the terminal camera to view the object from a different point of view, so that the user's AR content viewing range is displayed on the flat screen of the terminal.
  • measures such as moving the marker from a different angle or moving the marker with the terminal camera to view the object from a different point of view, so that the user's AR content viewing range is displayed on the flat screen of the terminal.
  • the present invention has been devised to solve the above problems, and an object of the present invention is to provide a 3D mobile AR terminal capable of viewing a multi-view point that cannot be seen in an existing mobile terminal display-based AR.
  • the mobile terminal is a 3D camera for shooting a real scene; A hologram display for outputting hologram content; And a processor for synthesizing a virtual object into a reality scene photographed by a 3D camera to generate hologram content and delivering the generated hologram content to a hologram display.
  • the hologram content may be AR content.
  • a marker designating a virtual object for AR may be photographed together.
  • the processor may determine a location of the virtual object by referring to the location of the marker.
  • the processor may be to synthesize a virtual object at a location determined in a reality scene photographed by a 3D camera.
  • the 3D camera may generate RGB images and depth images through shooting.
  • the 3D camera may be a stereo camera located at the rear.
  • the 3D camera the step of shooting a real scene; Generating, by the processor, hologram content by synthesizing the virtual object into a real scene shot by a 3D camera; A method of displaying a hologram is provided, wherein the hologram display includes outputting the generated hologram content.
  • the mobile AR can be viewed as a multi-view 3D stereoscopic image rather than a constrained flat image at the user's point of view. It will be able to transcend the limitations of the existing viewpoint of augmented reality.
  • FIG. 1 is a view showing a marker-based mobile augmented reality terminal according to a conventional method
  • FIG. 2 is a view provided for conceptual description of a mobile hologram display terminal according to an embodiment of the present invention
  • 3 is a view provided for description of AR content that can be viewed through a flat display of a conventional mobile terminal
  • FIG. 4 is a view provided for description of hologram AR content that can be viewed through a hologram display of a mobile terminal according to an embodiment of the present invention
  • FIG. 5 is a block diagram of a mobile hologram display terminal according to an embodiment of the present invention.
  • FIG. 6 is a view provided to explain a process of outputting a stereoscopic image of a mobile hologram display terminal according to another embodiment of the present invention.
  • a mobile hologram display terminal for AR (Augmented Reality) is presented.
  • FIG. 2 is a view provided for conceptual description of a mobile hologram display terminal according to an embodiment of the present invention.
  • the display of the existing mobile terminal is replaced with a hologram display capable of optical multi-view 3D image output.
  • the rear camera of the existing mobile terminal used to photograph the AR marker is replaced with a stereo camera.
  • the user can view the 3D image content stereoscopically output on the hologram display as a multi-view point instead of viewing a cross-section of the AR content rendered in a plane on the mobile terminal screen.
  • FIG. 3 illustrates AR content that can be viewed through a flat display of a conventional mobile terminal
  • FIG. 4 illustrates hologram AR content that can be viewed through a hologram display of a mobile terminal according to an embodiment of the present invention.
  • AR content provided according to the prior art needs to change the terminal to a desired viewpoint position and direction in order to view different viewpoints of an image and a virtual object.
  • FIG. 5 is a block diagram of a mobile hologram display terminal according to an embodiment of the present invention.
  • the mobile hologram display terminal includes a stereo camera 110, a hologram display 120, a processor 130, a storage unit 140, and a communication unit 150, as shown in FIG. 5. do.
  • the stereo camera 110 is located at the rear of the mobile hologram display terminal, and photographs a real scene.
  • an AR marker which is a location where a virtual object for AR is to be displayed, is also photographed.
  • the stereo camera 110 is a type of 3D camera that generates RGB images and depth images through shooting.
  • the mobile hologram display terminal not only the three-dimensional position and orientation of the camera from the captured AR marker, but also the entire 3D data to be converted into 3D data and output must be reconstructed.
  • the RGB image and the depth image are generated by the stereo camera 110.
  • the hologram display 120 is a display that outputs AR content as a hologram.
  • a general display cannot output a stereoscopic image that can be viewed directly by the human eye.
  • the mobile multi-view hologram display 120 that can output the hologram must be used.
  • the processor 130 generates hologram content by synthesizing a virtual object with the 3D image generated by the stereo camera 110 and delivers the generated hologram content to the hologram display 120.
  • the processor 130 extracts the AR marker from the scene photographed by the stereo camera 110, generates a virtual object indicated by the AR marker, and determines the location of the virtual object by referring to the location of the AR marker .
  • the processor 130 synthesizes the generated virtual object into a 3D image photographed by the stereo camera 110.
  • the storage unit 140 provides storage space necessary for the processor 130 to operate and function, and the communication unit 150 supports communication between the processor 130 and an external terminal and a communication network.
  • FIG. 6 is a view provided to explain a process of outputting a stereoscopic image of a mobile hologram display terminal according to another embodiment of the present invention.
  • an RGB image and a depth-map image are generated by shooting the stereo camera 110 located at the rear side of the mobile hologram display terminal.
  • the processor 130 generates a holographic content by synthesizing a virtual object with the 3D image generated by the stereo camera 110, and delivers the generated hologram content to the hologram display 120.
  • the processor 130 generates a multi-view 3D image with the RGB image and the depth-map image taken by the stereo camera 110, and uses the AR marker extracted from the image to place the virtual object of the corresponding type in the corresponding location. To create.
  • the processor 130 synthesizes a virtual object in a multi-view 3D image, generates a holographic stereoscopic image, and delivers it to the hologram display 120.
  • the hologram display 120 displays a holographic stereoscopic image received from the processor 130 so that the user can observe the multi-view image.
  • a 3D mobile AR terminal capable of viewing a multi-view, which cannot be seen in the existing mobile terminal display-based AR, was presented, and viewing of the existing augmented reality that was limitedly viewed in the flat panel display or requiring direct manipulation by the user Breaking time constraints.
  • the mobile AR can be viewed as a multi-view 3D stereoscopic image rather than a restricted flat image at the user's viewpoint.
  • the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and stores data.
  • the computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like.
  • computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

기존의 모바일 단말기 디스플레이 기반의 AR에서는 볼 수 없던, 다시점 관람이 가능한 3D 모바일 AR 단말기가 제공된다. 본 발명의 실시예에 따른 모바일 단말기는 현실 장면을 촬영하기 위한 3D 카메라; 홀로그램 컨텐츠를 출력하는 홀로그램 디스플레이; 및 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이로 전달하는 프로세서;를 포함한다. 이에 의해, 모바일 AR을 사용자 시점에 제약적인 평면 영상이 아닌 다시점 3D 입체 영상으로 관람할 수 있게 되며, 평면 디스플레이에서는 제한적으로 관람되었던 혹은 사용자의 직접적인 조작이 요구되던 기존 증강현실의 관람 시점 제약을 초월할 수 있게 된다.

Description

증강현실을 위한 모바일 홀로그램 디스플레이 단말기
본 발명은 실감 정보 처리 기술에 관한 것으로, 더욱 상세하게는 증강현실을 표시하기 위한 모바일 디스플레이 단말기에 관한 것이다.
도 1은 종래 방식에 따른 마커 기반 모바일 증강현실 단말기를 나타낸 도면이다.
도 1에 나타난 스마트폰과 같은 모바일 단말기 상에 구현되는 AR(Augmented Reality : 증강현실)은 단말기의 카메라로 마커를 촬영하면 3D 가상 객체가 평면 화면 이미지로 투영되어 출력되는 방식이다.
이와 같은 방식에서는, 사용자가 객체를 다른 시점으로 보기 위해, 단말기 카메라로 마커를 다른 각도에서 촬영해야 하거나, 마커를 움직여야 하는 등의 조치가 필요하여, 사용자의 AR 컨텐츠 관람 범위가 단말기의 평면 화면에 종속되는 문제가 있다..
이는, 가상 객체를 현실에 합성하여 시각적으로 실감 정보를 제공하는 것이 목적인 AR 컨텐츠의 실감성을 크게 떨어뜨리는 요인으로 작용한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존의 모바일 단말기 디스플레이 기반의 AR에서는 볼 수 없던, 다시점 관람이 가능한 3D 모바일 AR 단말기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 단말기는 현실 장면을 촬영하기 위한 3D 카메라; 홀로그램 컨텐츠를 출력하는 홀로그램 디스플레이; 및 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이로 전달하는 프로세서;를 포함한다.
홀로그램 컨텐츠는, AR 컨텐츠일 수 있다.
현실 장면에는, AR을 위한 가상 객체를 지정하는 마커가 함께 촬영될 수 있다.
프로세서는, 마커의 위치를 참조하여 가상 객체의 위치를 결정하는 것일 수 있다.
프로세서는, 3D 카메라에 의해 촬영된 현실 장면에서 결정된 위치에 가상 객체를 합성하는 것일 수 있다.
3D 카메라는, 촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 것일 수 있다.
3D 카메라는, 후면에 위치한 스테레오 카메라일 수 있다.
본 발명의 다른 측면에 따르면, 3D 카메라가, 현실 장면을 촬영하는 단계; 프로세서가, 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하는 단계; 홀로그램 디스플레이가, 생성된 홀로그램 컨텐츠를 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 방법이 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 모바일 AR을 사용자 시점에 제약적인 평면 영상이 아닌 다시점 3D 입체 영상으로 관람할 수 있게 되며, 평면 디스플레이에서는 제한적으로 관람되었던 혹은 사용자의 직접적인 조작이 요구되던 기존 증강현실의 관람 시점 제약을 초월할 수 있게 된다.
도 1은 종래 방식에 따른 마커 기반 모바일 증강현실 단말기를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 개념 설명에 제공되는 도면,
도 3은 종래 모바일 단말의 평면 디스플레이를 통해 감상할 수 있는 AR 컨텐츠의 설명에 제공되는 도면,
도 4는 본 발명의 실시예에 따른 모바일 단말기의 홀로그램 디스플레이를 통해 감상할 수 있는 홀로그램 AR 컨텐츠의 설명에 제공되는 도면,
도 5는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 블럭도, 그리고,
도 6은 본 발명의 다른 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 입체 영상 출력 과정의 설명에 제공되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 AR(Augmented Reality : 증강현실)을 위한 모바일 홀로그램 디스플레이 단말기를 제시한다.
도 2는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 개념 설명에 제공되는 도면이다.
본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기를 구현하기 위해, 도 2에 도시된 바와 같이, 기존 모바일 단말기의 디스플레이를 광학적 다시점 3D 영상 출력이 가능한 홀로그램 디스플레이로 교체한다.
또한, 본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기를 구현하기 위해, 도 2에 도시된 바와 같이, AR 마커를 촬영할 때 이용하는 기존 모바일 단말기의 후면 카메라를 스테레오 카메라로 교체한다.
이는 홀로그램 디스플레이로 3D 영상을 출력하기 위해 요구되는 3D 장면 데이터를 스테레오 카메라를 이용하여, RGB 영상과 Depth 영상으로 취득하기 위함이다.
이를 통해, 사용자는 모바일 단말기 화면에 평면으로 렌더링 출력된 AR 컨텐츠의 단면을 감상하는 것이 아닌, 홀로그램 디스플레이로 입체 출력되는 3D 영상 컨텐츠를 어느 위치에서나 다시점으로 볼 수 있게 된다.
도 3에는 종래 모바일 단말의 평면 디스플레이를 통해 감상할 수 있는 AR 컨텐츠를 예시하였고, 도 4에는 본 발명의 실시예에 따른 모바일 단말기의 홀로그램 디스플레이를 통해 감상할 수 있는 홀로그램 AR 컨텐츠를 예시하였다.
도 3과 도 4를 비교하면, 종래 기술과 본 발명의 실시예에서 제공하는 AR 컨텐츠의 차이를 확인할 수 있다.
도 3을 통해 짐작할 수 있는 바와 같이, 종래 기술에 따라 제공되는 AR 컨텐츠는 영상과 가상 객체의 다른 시점을 보기 위해 단말기를 원하는 시점 위치와 방향으로 변화시켜야 한다.
하지만, 도 4를 통해 짐작할 수 있는 바와 같이, 본 발명의 실시예에 따르면, 마치 영상이 디스플레이 밖으로 튀어나온 듯 입체 영상을 재생하기 때문에, 모바일 단말기를 이동시키지 않고도 영상의 다른 시점 위치와 방향의 모습을 감상할 수 있다.
도 5는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 블럭도이다.
본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기는, 도 5에 도시된 바와 같이, 스테레오 카메라(110), 홀로그램 디스플레이(120), 프로세서(130), 저장부(140) 및 통신부(150)를 포함한다.
스테레오 카메라(110)는 모바일 홀로그램 디스플레이 단말기의 후면에 위치하여, 현실 장면을 촬영한다. 스테레오 카메라(110)에 의한 현실 장면 촬영시에는 AR을 위한 가상 객체가 표시될 위치인 AR 마커도 함께 촬영된다.
스테레오 카메라(110)는 촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 3D 카메라의 일종이다.
종래의 평면 영상을 재생하는 증강현실은 오직 영상 내 촬영된 AR 마커 만으로 영상의 3차원 위치와 방향을 인식하기 때문에 단안(monocular) 카메라 영상을 이용하였었다.
반면, 본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 경우, 촬영된 AR 마커로부터의 카메라 3차원 위치와 방향 뿐만 아니라, 촬영 장면 전반을 3D 데이터로 변환하여 출력할 입체 영상을 재구성해야 하기 때문에, 스테레오 카메라(110)로 RGB 영상과 뎁스 영상을 생성한다.
홀로그램 디스플레이(120)는 AR 컨텐츠를 홀로그램으로 출력하는 디스플레이이다.
일반적인 디스플레이로는 인간의 눈으로 직접 관람 가능한 입체 영상을 출력할 수 없다. 스테레오 카메라(110)에 의해 촬영된 Depth-Map 기반의 3D 영상으로부터 생성한 홀로그램을 사용자가 관람할 수 있도록 하기 위해서는 홀로그램을 출력할 수 있는 모바일용 다시점 홀로그램 디스플레이(120)가 이용되어야 한다.
프로세서(130)는 스테레오 카메라(110)에 의해 생성된 3D 영상에 가상 객체를 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이(120)에 전달한다.
구체적으로, 프로세서(130)는 스테레오 카메라(110)에 의해 촬영된 장면에서 AR 마커를 추출하여, AR 마커가 지시하는 가상 객체를 생성하되, AR 마커의 위치를 참조하여 가상 객체의 위치를 결정한다.
그리고, 프로세서(130)는 생성한 가상 객체를 스테레오 카메라(110)에 의해 촬영된 3D 영상에 합성한다.
저장부(140)는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장공간을 제공하며, 통신부(150)는 프로세서(130)와 외부 단말기 및 통신망과의 통신을 지원한다.
도 6은 본 발명의 다른 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 입체 영상 출력 과정의 설명에 제공되는 도면이다.
도 6에 도시된 바와 같이, 먼저 모바일 홀로그램 디스플레이 단말기의 후면에 위치한 스테레오 카메라(110)의 촬영에 의해 RGB 영상과 Depth-Map 영상이 생성된다.
그러면, 프로세서(130)는 스테레오 카메라(110)에 의해 생성된 3D 영상에 가상 객체를 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이(120)에 전달한다.
구체적으로, 프로세서(130)는 스테레오 카메라(110)에 의해 촬영된 RGB 영상과 Depth-Map 영상으로 다시점 3D 영상을 생성하고, 영상에서 추출한 AR 마커를 이용하여 해당 종류의 가상 객체를 해당 위치에 생성한다.
그리고, 프로세서(130)는 다시점 3D 영상에 가상 객체를 합성하여, 홀로그래픽 입체 영상을 생성하여, 홀로그램 디스플레이(120)에 전달한다.
홀로그램 디스플레이(120)는 프로세서(130)로부터 전달받은 홀로그래픽 입체 영상을 디스플레이하여, 사용자가 다시점 영상으로 관찰할 수 있도록 한다.
지금까지, 증강현실을 위한 모바일 홀로그램 디스플레이 단말기에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 기존의 모바일 단말기 디스플레이 기반 AR에서는 볼 수 없던, 다시점 관람이 가능한 3D 모바일 AR 단말기를 제시하였는데, 평면 디스플레이에서는 제한적으로 관람되었던 혹은 사용자의 직접적인 조작이 요구되던 기존 증강현실의 관람 시점 제약을 파괴하였다.
본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기에 의해, 모바일 AR을 사용자 시점에 제약적인 평면 영상이 아닌 다시점 3D 입체 영상으로 관람할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 현실 장면을 촬영하기 위한 3D 카메라;
    홀로그램 컨텐츠를 출력하는 홀로그램 디스플레이; 및
    가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이로 전달하는 프로세서;를 포함하는 것을 특징으로 하는 모바일 단말기.
  2. 청구항 1에 있어서,
    홀로그램 컨텐츠는,
    AR 컨텐츠인 것을 특징으로 하는 모바일 단말기.
  3. 청구항 2에 있어서,
    현실 장면에는,
    AR을 위한 가상 객체를 지정하는 마커가 함께 촬영되는 것을 특징으로 하는 모바일 단말기.
  4. 청구항 3에 있어서,
    프로세서는,
    마커의 위치를 참조하여 가상 객체의 위치를 결정하는 것을 특징으로 하는 모바일 단말기.
  5. 청구항 4에 있어서,
    프로세서는,
    3D 카메라에 의해 촬영된 현실 장면에서 결정된 위치에 가상 객체를 합성하는 것을 특징으로 하는 모바일 단말기.
  6. 청구항 1에 있어서,
    3D 카메라는,
    촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 것을 특징으로 하는 모바일 단말기.
  7. 청구항 4에 있어서,
    3D 카메라는,
    후면에 위치한 스테레오 카메라인 것을 특징으로 하는 모바일 단말기.
  8. 3D 카메라가, 현실 장면을 촬영하는 단계;
    프로세서가, 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하는 단계;
    홀로그램 디스플레이가, 생성된 홀로그램 컨텐츠를 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 방법.
PCT/KR2019/012018 2018-11-29 2019-09-18 증강현실을 위한 모바일 홀로그램 디스플레이 단말기 WO2020111471A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0150814 2018-11-29
KR1020180150814A KR20200064577A (ko) 2018-11-29 2018-11-29 증강현실을 위한 모바일 홀로그램 디스플레이 단말기

Publications (1)

Publication Number Publication Date
WO2020111471A1 true WO2020111471A1 (ko) 2020-06-04

Family

ID=70852849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012018 WO2020111471A1 (ko) 2018-11-29 2019-09-18 증강현실을 위한 모바일 홀로그램 디스플레이 단말기

Country Status (2)

Country Link
KR (1) KR20200064577A (ko)
WO (1) WO2020111471A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)
US20140210947A1 (en) * 2013-01-30 2014-07-31 F3 & Associates, Inc. Coordinate Geometry Augmented Reality Process
KR101666500B1 (ko) * 2015-07-23 2016-10-17 주식회사 제스트컴퍼니 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치
KR20170062266A (ko) * 2015-11-27 2017-06-07 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327117A1 (en) * 2011-06-23 2012-12-27 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (ar)
US20140210947A1 (en) * 2013-01-30 2014-07-31 F3 & Associates, Inc. Coordinate Geometry Augmented Reality Process
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
KR101666500B1 (ko) * 2015-07-23 2016-10-17 주식회사 제스트컴퍼니 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치
KR20170062266A (ko) * 2015-11-27 2017-06-07 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법

Also Published As

Publication number Publication date
KR20200064577A (ko) 2020-06-08

Similar Documents

Publication Publication Date Title
US20120120203A1 (en) Three-dimensional display method, tracking three-dimensional display unit and image processing device
KR101640404B1 (ko) 휴대 단말기 및 그 동작 제어방법
US20170026635A1 (en) Virtual reality communication systems and methods thereof
CN112752085A (zh) 基于人眼跟踪的裸眼3d视频播放系统及方法
US11012676B2 (en) Methods, systems, and media for generating and rendering immersive video content
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
US11611738B2 (en) User interface module for converting a standard 2D display device into an interactive 3D display device
WO2020111471A1 (ko) 증강현실을 위한 모바일 홀로그램 디스플레이 단말기
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
JP4141620B2 (ja) 立体物表示システム及びその受信装置
CN113382222B (zh) 一种在用户移动过程中基于全息沙盘的展示方法
WO2019124802A1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
WO2020262738A1 (ko) 투명 oled 디스플레이를 이용한 ar 쇼케이스
CN113891063A (zh) 一种全息展示方法及装置
WO2021045500A1 (ko) 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN207603821U (zh) 一种基于集群和渲染的裸眼3d系统
WO2018066734A1 (ko) 프로젝터 자세에 연동하는 콘텐츠 디스플레이 시스템 및 방법
WO2017150847A2 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
WO2019097639A1 (ja) 情報処理装置および画像生成方法
WO2014035204A1 (ko) 뷰 포인트에 따른 입체화 방법
WO2024128371A1 (ko) 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법
CN113382229B (zh) 一种基于全息沙盘的动辅相机调整方法及装置
KR20120074678A (ko) 3차원 증강 현실 표시 장치 및 방법
WO2024117556A1 (ko) 재배치가 필요 없는 홀로그램 프린팅용 홀로그램 이미지 렌더링 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890456

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19890456

Country of ref document: EP

Kind code of ref document: A1