KR20200064577A - Mobile Hologram Display Terminal for Augmented Reality - Google Patents

Mobile Hologram Display Terminal for Augmented Reality Download PDF

Info

Publication number
KR20200064577A
KR20200064577A KR1020180150814A KR20180150814A KR20200064577A KR 20200064577 A KR20200064577 A KR 20200064577A KR 1020180150814 A KR1020180150814 A KR 1020180150814A KR 20180150814 A KR20180150814 A KR 20180150814A KR 20200064577 A KR20200064577 A KR 20200064577A
Authority
KR
South Korea
Prior art keywords
hologram
camera
content
mobile
display
Prior art date
Application number
KR1020180150814A
Other languages
Korean (ko)
Inventor
홍성희
강훈종
신춘성
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180150814A priority Critical patent/KR20200064577A/en
Priority to PCT/KR2019/012018 priority patent/WO2020111471A1/en
Publication of KR20200064577A publication Critical patent/KR20200064577A/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A 3D mobile AR terminal capable of viewing multi-viewpoints, which was not seen in a conventional mobile terminal display-based AR, is provided. The mobile terminal, according to an embodiment of the present invention, comprises: a 3D camera for photographing a real scene; a hologram display for outputting hologram content; and a processor for synthesizing a virtual object into a reality scene photographed by a 3D camera to generate the hologram content and delivering the generated hologram content to a hologram display. The mobile AR can be viewed as a multi-view 3D stereoscopic image rather than a restricted flat image at the user′s point of view, and can exceed the viewing point limitation of the existing augmented reality which was limitedly viewed on the flat panel display or requires direct manipulation by the user.

Description

증강현실을 위한 모바일 홀로그램 디스플레이 단말기{Mobile Hologram Display Terminal for Augmented Reality}Mobile Hologram Display Terminal for Augmented Reality

본 발명은 실감 정보 처리 기술에 관한 것으로, 더욱 상세하게는 증강현실을 표시하기 위한 모바일 디스플레이 단말기에 관한 것이다.The present invention relates to a sensory information processing technology, and more particularly, to a mobile display terminal for displaying augmented reality.

도 1은 종래 방식에 따른 마커 기반 모바일 증강현실 단말기를 나타낸 도면이다.1 is a view showing a marker-based mobile augmented reality terminal according to the conventional method.

도 1에 나타난 스마트폰과 같은 모바일 단말기 상에 구현되는 AR(Augmented Reality : 증강현실)은 단말기의 카메라로 마커를 촬영하면 3D 가상 객체가 평면 화면 이미지로 투영되어 출력되는 방식이다.The AR (Augmented Reality) implemented on a mobile terminal such as a smart phone shown in FIG. 1 is a method in which a 3D virtual object is projected and output as a flat screen image when a marker is photographed with a camera of the terminal.

이와 같은 방식에서는, 사용자가 객체를 다른 시점으로 보기 위해, 단말기 카메라로 마커를 다른 각도에서 촬영해야 하거나, 마커를 움직여야 하는 등의 조치가 필요하여, 사용자의 AR 컨텐츠 관람 범위가 단말기의 평면 화면에 종속되는 문제가 있다..In this way, the user needs to take measures such as moving the marker from a different angle or moving the marker with the terminal camera to view the object from a different point of view, so that the user's AR content viewing range is displayed on the flat screen of the terminal. There is a subordinate problem.

이는, 가상 객체를 현실에 합성하여 시각적으로 실감 정보를 제공하는 것이 목적인 AR 컨텐츠의 실감성을 크게 떨어뜨리는 요인으로 작용한다.This acts as a factor that significantly degrades the sensibility of AR content, which aims to visually provide sensory information by synthesizing a virtual object into reality.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존의 모바일 단말기 디스플레이 기반의 AR에서는 볼 수 없던, 다시점 관람이 가능한 3D 모바일 AR 단말기를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a 3D mobile AR terminal capable of viewing a multi-view point that cannot be seen in an existing mobile terminal display-based AR.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 단말기는 현실 장면을 촬영하기 위한 3D 카메라; 홀로그램 컨텐츠를 출력하는 홀로그램 디스플레이; 및 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이로 전달하는 프로세서;를 포함한다. According to an embodiment of the present invention for achieving the above object, the mobile terminal is a 3D camera for shooting a real scene; A hologram display for outputting hologram content; And a processor for synthesizing a virtual object into a reality scene photographed by a 3D camera to generate hologram content and delivering the generated hologram content to a hologram display.

홀로그램 컨텐츠는, AR 컨텐츠일 수 있다. The hologram content may be AR content.

현실 장면에는, AR을 위한 가상 객체를 지정하는 마커가 함께 촬영될 수 있다. In the reality scene, a marker designating a virtual object for AR may be photographed together.

프로세서는, 마커의 위치를 참조하여 가상 객체의 위치를 결정하는 것일 수 있다. The processor may determine a location of the virtual object by referring to the location of the marker.

프로세서는, 3D 카메라에 의해 촬영된 현실 장면에서 결정된 위치에 가상 객체를 합성하는 것일 수 있다. The processor may be to synthesize a virtual object at a location determined in a reality scene photographed by a 3D camera.

3D 카메라는, 촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 것일 수 있다. The 3D camera may generate RGB images and depth images through shooting.

3D 카메라는, 후면에 위치한 스테레오 카메라일 수 있다. The 3D camera may be a stereo camera located at the rear.

본 발명의 다른 측면에 따르면, 3D 카메라가, 현실 장면을 촬영하는 단계; 프로세서가, 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하는 단계; 홀로그램 디스플레이가, 생성된 홀로그램 컨텐츠를 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 방법이 제공된다.According to another aspect of the invention, the 3D camera, the step of shooting a real scene; Generating, by the processor, hologram content by synthesizing the virtual object into a real scene shot by a 3D camera; A method of displaying a hologram is provided, wherein the hologram display includes outputting the generated hologram content.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 모바일 AR을 사용자 시점에 제약적인 평면 영상이 아닌 다시점 3D 입체 영상으로 관람할 수 있게 되며, 평면 디스플레이에서는 제한적으로 관람되었던 혹은 사용자의 직접적인 조작이 요구되던 기존 증강현실의 관람 시점 제약을 초월할 수 있게 된다.As described above, according to embodiments of the present invention, the mobile AR can be viewed as a multi-view 3D stereoscopic image rather than a constrained flat image at the user's point of view. It will be able to transcend the limitations of the existing viewpoint of augmented reality.

도 1은 종래 방식에 따른 마커 기반 모바일 증강현실 단말기를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 개념 설명에 제공되는 도면,
도 3은 종래 모바일 단말의 평면 디스플레이를 통해 감상할 수 있는 AR 컨텐츠의 설명에 제공되는 도면,
도 4는 본 발명의 실시예에 따른 모바일 단말기의 홀로그램 디스플레이를 통해 감상할 수 있는 홀로그램 AR 컨텐츠의 설명에 제공되는 도면,
도 5는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 블럭도, 그리고,
도 6은 본 발명의 다른 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 입체 영상 출력 과정의 설명에 제공되는 도면이다.1 is a view showing a marker-based mobile augmented reality terminal according to a conventional method,
2 is a view provided for conceptual description of a mobile hologram display terminal according to an embodiment of the present invention,
3 is a view provided for description of AR content that can be viewed through a flat display of a conventional mobile terminal,
4 is a view provided for explanation of hologram AR content that can be viewed through a hologram display of a mobile terminal according to an embodiment of the present invention,
5 is a block diagram of a mobile hologram display terminal according to an embodiment of the present invention, and
6 is a view provided to explain a process of outputting a stereoscopic image of a mobile hologram display terminal according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는 AR(Augmented Reality : 증강현실)을 위한 모바일 홀로그램 디스플레이 단말기를 제시한다.In an embodiment of the present invention, a mobile hologram display terminal for AR (Augmented Reality) is presented.

도 2는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 개념 설명에 제공되는 도면이다.2 is a view provided for conceptual description of a mobile hologram display terminal according to an embodiment of the present invention.

본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기를 구현하기 위해, 도 2에 도시된 바와 같이, 기존 모바일 단말기의 디스플레이를 광학적 다시점 3D 영상 출력이 가능한 홀로그램 디스플레이로 교체한다.In order to implement a mobile hologram display terminal according to an embodiment of the present invention, as shown in FIG. 2, the display of the existing mobile terminal is replaced with a hologram display capable of optical multi-view 3D image output.

또한, 본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기를 구현하기 위해, 도 2에 도시된 바와 같이, AR 마커를 촬영할 때 이용하는 기존 모바일 단말기의 후면 카메라를 스테레오 카메라로 교체한다.In addition, in order to implement a mobile hologram display terminal according to an embodiment of the present invention, as shown in FIG. 2, the rear camera of the existing mobile terminal used to photograph the AR marker is replaced with a stereo camera.

이는 홀로그램 디스플레이로 3D 영상을 출력하기 위해 요구되는 3D 장면 데이터를 스테레오 카메라를 이용하여, RGB 영상과 Depth 영상으로 취득하기 위함이다.This is to acquire 3D scene data required to output a 3D image to a hologram display using a stereo camera as an RGB image and a depth image.

이를 통해, 사용자는 모바일 단말기 화면에 평면으로 렌더링 출력된 AR 컨텐츠의 단면을 감상하는 것이 아닌, 홀로그램 디스플레이로 입체 출력되는 3D 영상 컨텐츠를 어느 위치에서나 다시점으로 볼 수 있게 된다.Through this, the user can view the 3D image content that is stereoscopically output on the hologram display as a multi-view point instead of viewing the cross-section of the AR content that is rendered and output in a plane on the mobile terminal screen.

도 3에는 종래 모바일 단말의 평면 디스플레이를 통해 감상할 수 있는 AR 컨텐츠를 예시하였고, 도 4에는 본 발명의 실시예에 따른 모바일 단말기의 홀로그램 디스플레이를 통해 감상할 수 있는 홀로그램 AR 컨텐츠를 예시하였다.3 illustrates AR content that can be viewed through a flat display of a conventional mobile terminal, and FIG. 4 illustrates hologram AR content that can be viewed through a hologram display of a mobile terminal according to an embodiment of the present invention.

도 3과 도 4를 비교하면, 종래 기술과 본 발명의 실시예에서 제공하는 AR 컨텐츠의 차이를 확인할 수 있다.When comparing FIGS. 3 and 4, it is possible to check the difference between AR content provided in the prior art and the embodiment of the present invention.

도 3을 통해 짐작할 수 있는 바와 같이, 종래 기술에 따라 제공되는 AR 컨텐츠는 영상과 가상 객체의 다른 시점을 보기 위해 단말기를 원하는 시점 위치와 방향으로 변화시켜야 한다.As can be imagined through FIG. 3, AR content provided according to the prior art needs to change the terminal to a desired viewpoint position and direction in order to view different viewpoints of an image and a virtual object.

하지만, 도 4를 통해 짐작할 수 있는 바와 같이, 본 발명의 실시예에 따르면, 마치 영상이 디스플레이 밖으로 튀어나온 듯 입체 영상을 재생하기 때문에, 모바일 단말기를 이동시키지 않고도 영상의 다른 시점 위치와 방향의 모습을 감상할 수 있다.However, as can be guessed through FIG. 4, according to an embodiment of the present invention, since a 3D image is reproduced as if the image is protruding out of the display, a different viewpoint position and direction of the image without moving the mobile terminal Can appreciate.

도 5는 본 발명의 일 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 블럭도이다.5 is a block diagram of a mobile hologram display terminal according to an embodiment of the present invention.

본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기는, 도 5에 도시된 바와 같이, 스테레오 카메라(110), 홀로그램 디스플레이(120), 프로세서(130), 저장부(140) 및 통신부(150)를 포함한다.The mobile hologram display terminal according to an embodiment of the present invention includes a stereo camera 110, a hologram display 120, a processor 130, a storage unit 140, and a communication unit 150, as shown in FIG. 5. do.

스테레오 카메라(110)는 모바일 홀로그램 디스플레이 단말기의 후면에 위치하여, 현실 장면을 촬영한다. 스테레오 카메라(110)에 의한 현실 장면 촬영시에는 AR을 위한 가상 객체가 표시될 위치인 AR 마커도 함께 촬영된다.The stereo camera 110 is located on the back of the mobile hologram display terminal, and photographs a real scene. When photographing a real scene by the stereo camera 110, an AR marker, which is a location where a virtual object for AR is to be displayed, is also photographed.

스테레오 카메라(110)는 촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 3D 카메라의 일종이다.The stereo camera 110 is a type of 3D camera that generates RGB images and depth images through shooting.

종래의 평면 영상을 재생하는 증강현실은 오직 영상 내 촬영된 AR 마커 만으로 영상의 3차원 위치와 방향을 인식하기 때문에 단안(monocular) 카메라 영상을 이용하였었다.Since augmented reality that reproduces a conventional flat image recognizes the 3D position and direction of the image only with the AR marker captured in the image, a monocular camera image was used.

반면, 본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 경우, 촬영된 AR 마커로부터의 카메라 3차원 위치와 방향 뿐만 아니라, 촬영 장면 전반을 3D 데이터로 변환하여 출력할 입체 영상을 재구성해야 하기 때문에, 스테레오 카메라(110)로 RGB 영상과 뎁스 영상을 생성한다.On the other hand, in the case of the mobile hologram display terminal according to an embodiment of the present invention, not only the three-dimensional position and orientation of the camera from the captured AR marker, but also the entire 3D data to be converted into 3D data and output must be reconstructed. The RGB image and the depth image are generated by the stereo camera 110.

홀로그램 디스플레이(120)는 AR 컨텐츠를 홀로그램으로 출력하는 디스플레이이다.The hologram display 120 is a display that outputs AR content as a hologram.

일반적인 디스플레이로는 인간의 눈으로 직접 관람 가능한 입체 영상을 출력할 수 없다. 스테레오 카메라(110)에 의해 촬영된 Depth-Map 기반의 3D 영상으로부터 생성한 홀로그램을 사용자가 관람할 수 있도록 하기 위해서는 홀로그램을 출력할 수 있는 모바일용 다시점 홀로그램 디스플레이(120)가 이용되어야 한다.A general display cannot output a stereoscopic image that can be viewed directly by the human eye. In order to allow a user to view the hologram generated from the Depth-Map based 3D image photographed by the stereo camera 110, the mobile multi-view hologram display 120 that can output the hologram must be used.

프로세서(130)는 스테레오 카메라(110)에 의해 생성된 3D 영상에 가상 객체를 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이(120)에 전달한다.The processor 130 generates hologram content by synthesizing a virtual object with the 3D image generated by the stereo camera 110 and delivers the generated hologram content to the hologram display 120.

구체적으로, 프로세서(130)는 스테레오 카메라(110)에 의해 촬영된 장면에서 AR 마커를 추출하여, AR 마커가 지시하는 가상 객체를 생성하되, AR 마커의 위치를 참조하여 가상 객체의 위치를 결정한다.Specifically, the processor 130 extracts the AR marker from the scene photographed by the stereo camera 110, generates a virtual object indicated by the AR marker, and determines the location of the virtual object by referring to the location of the AR marker .

그리고, 프로세서(130)는 생성한 가상 객체를 스테레오 카메라(110)에 의해 촬영된 3D 영상에 합성한다.Then, the processor 130 synthesizes the generated virtual object into a 3D image photographed by the stereo camera 110.

저장부(140)는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장공간을 제공하며, 통신부(150)는 프로세서(130)와 외부 단말기 및 통신망과의 통신을 지원한다.The storage unit 140 provides storage space necessary for the processor 130 to operate and function, and the communication unit 150 supports communication between the processor 130 and an external terminal and a communication network.

도 6은 본 발명의 다른 실시예에 따른 모바일 홀로그램 디스플레이 단말기의 입체 영상 출력 과정의 설명에 제공되는 도면이다.6 is a view provided to explain a process of outputting a stereoscopic image of a mobile hologram display terminal according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 먼저 모바일 홀로그램 디스플레이 단말기의 후면에 위치한 스테레오 카메라(110)의 촬영에 의해 RGB 영상과 Depth-Map 영상이 생성된다.As illustrated in FIG. 6, first, an RGB image and a depth-map image are generated by shooting the stereo camera 110 located at the rear side of the mobile hologram display terminal.

그러면, 프로세서(130)는 스테레오 카메라(110)에 의해 생성된 3D 영상에 가상 객체를 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이(120)에 전달한다.Then, the processor 130 generates a holographic content by synthesizing a virtual object with the 3D image generated by the stereo camera 110, and delivers the generated hologram content to the hologram display 120.

구체적으로, 프로세서(130)는 스테레오 카메라(110)에 의해 촬영된 RGB 영상과 Depth-Map 영상으로 다시점 3D 영상을 생성하고, 영상에서 추출한 AR 마커를 이용하여 해당 종류의 가상 객체를 해당 위치에 생성한다.Specifically, the processor 130 generates a multi-view 3D image with the RGB image and the depth-map image taken by the stereo camera 110, and uses the AR marker extracted from the image to place the virtual object of the corresponding type in the corresponding location. To create.

그리고, 프로세서(130)는 다시점 3D 영상에 가상 객체를 합성하여, 홀로그래픽 입체 영상을 생성하여, 홀로그램 디스플레이(120)에 전달한다.Then, the processor 130 synthesizes a virtual object in a multi-view 3D image, generates a holographic stereoscopic image, and delivers it to the hologram display 120.

홀로그램 디스플레이(120)는 프로세서(130)로부터 전달받은 홀로그래픽 입체 영상을 디스플레이하여, 사용자가 다시점 영상으로 관찰할 수 있도록 한다.The hologram display 120 displays a holographic stereoscopic image received from the processor 130 so that the user can observe the multi-view image.

지금까지, 증강현실을 위한 모바일 홀로그램 디스플레이 단말기에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment of a mobile hologram display terminal for augmented reality has been described in detail.

위 실시예에서는, 기존의 모바일 단말기 디스플레이 기반 AR에서는 볼 수 없던, 다시점 관람이 가능한 3D 모바일 AR 단말기를 제시하였는데, 평면 디스플레이에서는 제한적으로 관람되었던 혹은 사용자의 직접적인 조작이 요구되던 기존 증강현실의 관람 시점 제약을 파괴하였다.In the above embodiment, a 3D mobile AR terminal capable of viewing a multi-view, which cannot be seen in the existing mobile terminal display-based AR, was presented, and viewing of the existing augmented reality that was limitedly viewed in the flat panel display or requiring direct manipulation by the user Breaking time constraints.

본 발명의 실시예에 따른 모바일 홀로그램 디스플레이 단말기에 의해, 모바일 AR을 사용자 시점에 제약적인 평면 영상이 아닌 다시점 3D 입체 영상으로 관람할 수 있게 된다.By the mobile hologram display terminal according to an embodiment of the present invention, the mobile AR can be viewed as a multi-view 3D stereoscopic image rather than a restricted flat image at the user's viewpoint.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and stores data. Of course, the computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

110 : 스테레오 카메라
120 : 홀로그램 디스플레이
130 : 프로세서
140 : 저장부
150 : 통신부110: stereo camera
120: hologram display
130: processor
140: storage
150: communication unit

Claims (8)

현실 장면을 촬영하기 위한 3D 카메라;
홀로그램 컨텐츠를 출력하는 홀로그램 디스플레이; 및
가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하고, 생성한 홀로그램 컨텐츠를 홀로그램 디스플레이로 전달하는 프로세서;를 포함하는 것을 특징으로 하는 모바일 단말기.
3D camera for shooting a real scene;
A hologram display for outputting hologram content; And
And a processor for synthesizing a virtual object into a reality scene photographed by a 3D camera to generate hologram content and delivering the generated hologram content to a hologram display.
청구항 1에 있어서,
홀로그램 컨텐츠는,
AR 컨텐츠인 것을 특징으로 하는 모바일 단말기.
The method according to claim 1,
Hologram content,
Mobile terminal characterized in that the AR content.
청구항 2에 있어서,
현실 장면에는,
AR을 위한 가상 객체를 지정하는 마커가 함께 촬영되는 것을 특징으로 하는 모바일 단말기.
The method according to claim 2,
In the reality scene,
A mobile terminal characterized in that a marker designating a virtual object for AR is photographed together.
청구항 3에 있어서,
프로세서는,
마커의 위치를 참조하여 가상 객체의 위치를 결정하는 것을 특징으로 하는 모바일 단말기.
The method according to claim 3,
The processor,
A mobile terminal characterized by determining the location of the virtual object by referring to the location of the marker.
청구항 4에 있어서,
프로세서는,
3D 카메라에 의해 촬영된 현실 장면에서 결정된 위치에 가상 객체를 합성하는 것을 특징으로 하는 모바일 단말기.
The method according to claim 4,
The processor,
A mobile terminal characterized by synthesizing a virtual object at a location determined in a real scene shot by a 3D camera.
청구항 1에 있어서,
3D 카메라는,
촬영을 통해 RGB 영상과 뎁스 영상을 생성하는 것을 특징으로 하는 모바일 단말기.
The method according to claim 1,
3D camera,
A mobile terminal characterized by generating an RGB image and a depth image through shooting.
청구항 4에 있어서,
3D 카메라는,
후면에 위치한 스테레오 카메라인 것을 특징으로 하는 모바일 단말기.
The method according to claim 4,
3D camera,
A mobile terminal characterized in that it is a stereo camera located at the rear.
3D 카메라가, 현실 장면을 촬영하는 단계;
프로세서가, 가상 객체를 3D 카메라에 의해 촬영된 현실 장면에 합성하여 홀로그램 컨텐츠를 생성하는 단계;
홀로그램 디스플레이가, 생성된 홀로그램 컨텐츠를 출력하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 방법.
3D camera, the step of shooting a real scene;
Generating, by the processor, hologram content by synthesizing the virtual object into a real scene shot by a 3D camera;
The hologram display, the step of outputting the generated hologram content; Hologram display method comprising a.
KR1020180150814A 2018-11-29 2018-11-29 Mobile Hologram Display Terminal for Augmented Reality KR20200064577A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180150814A KR20200064577A (en) 2018-11-29 2018-11-29 Mobile Hologram Display Terminal for Augmented Reality
PCT/KR2019/012018 WO2020111471A1 (en) 2018-11-29 2019-09-18 Mobile hologram display terminal for augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150814A KR20200064577A (en) 2018-11-29 2018-11-29 Mobile Hologram Display Terminal for Augmented Reality

Publications (1)

Publication Number Publication Date
KR20200064577A true KR20200064577A (en) 2020-06-08

Family

ID=70852849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150814A KR20200064577A (en) 2018-11-29 2018-11-29 Mobile Hologram Display Terminal for Augmented Reality

Country Status (2)

Country Link
KR (1) KR20200064577A (en)
WO (1) WO2020111471A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US10504231B2 (en) * 2014-05-21 2019-12-10 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
KR101666500B1 (en) * 2015-07-23 2016-10-17 주식회사 제스트컴퍼니 Method for controlling display of hologram image in mobile terminal and apparatus for displaying hologram image using the same
KR20170062266A (en) * 2015-11-27 2017-06-07 엘지전자 주식회사 Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
WO2020111471A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
WO2003081921A1 (en) 3-dimensional image processing method and device
US11099392B2 (en) Stabilized and tracked enhanced reality images
JP2003284093A (en) Stereoscopic image processing method and apparatus therefor
JP2022183177A (en) Head-mounted display device
US11922602B2 (en) Virtual, augmented, and mixed reality systems and methods
CN112752085A (en) Naked eye 3D video playing system and method based on human eye tracking
CN113382224B (en) Interactive handle display method and device based on holographic sand table
KR101212223B1 (en) Device taking a picture and method to generating the image with depth information
JP2003284095A (en) Stereoscopic image processing method and apparatus therefor
CN113382222B (en) Display method based on holographic sand table in user moving process
JP6091850B2 (en) Telecommunications apparatus and telecommunications method
KR20200064577A (en) Mobile Hologram Display Terminal for Augmented Reality
JP2003284094A (en) Stereoscopic image processing method and apparatus therefor
KR101893038B1 (en) Apparatus and method for providing mapping pseudo hologram using individual video signal output
KR20210067166A (en) Virtual content experience system and control method
JP7336871B2 (en) All-dome video processing device and program
NL2030325B1 (en) Scaling of three-dimensional content for an autostereoscopic display device
CN113382229B (en) Dynamic auxiliary camera adjusting method and device based on holographic sand table
CN113382225B (en) Binocular holographic display method and device based on holographic sand table
EP4030752A1 (en) Image generation system and method
KR20240132320A (en) Scaling of three-dimensional content for display on stereoscopic display devices
US20230245259A1 (en) Method for protecting copyright of light field content
KR20210027918A (en) Method of making 3D image FOR HMD from 2D image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination