KR20200045097A - Method and system for providing augmented reality providing space-shifting experience - Google Patents

Method and system for providing augmented reality providing space-shifting experience Download PDF

Info

Publication number
KR20200045097A
KR20200045097A KR1020180125676A KR20180125676A KR20200045097A KR 20200045097 A KR20200045097 A KR 20200045097A KR 1020180125676 A KR1020180125676 A KR 1020180125676A KR 20180125676 A KR20180125676 A KR 20180125676A KR 20200045097 A KR20200045097 A KR 20200045097A
Authority
KR
South Korea
Prior art keywords
terminal
image
screen
augmented reality
displayed
Prior art date
Application number
KR1020180125676A
Other languages
Korean (ko)
Inventor
김영
Original Assignee
주식회사 제이슨와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이슨와이 filed Critical 주식회사 제이슨와이
Priority to KR1020180125676A priority Critical patent/KR20200045097A/en
Publication of KR20200045097A publication Critical patent/KR20200045097A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Abstract

The present invention relates to an augmented reality providing method for virtual space movement and to a system thereof. The augmented reality providing method comprises the steps of: inputting augmented reality initiation information to a terminal; displaying a location movement entrance image by being superimposed on a photographed image on a photographing screen of the terminal in a photographing mode; and displaying a first virtual movement location image on a screen of the terminal when the location of the terminal in the photographing mode is moved toward the location movement entrance image and reaches a point where the location movement entrance image is displayed on the photographing screen.

Description

공간 이동 체험을 가능하게 하는 증강 현실 제공 방법 및 시스템{Method and system for providing augmented reality providing space-shifting experience}Method and system for providing augmented reality providing space-shifting experience}

본 발명은 가상 공간 이동을 위한 증강 현실 제공 방법 및 시스템에 관한 것으로, 보다 상세하게는, 단말기의 촬영 화면에 공간 이동이 이루어지는 입구를 표시하고, 단말기의 이동에 따라 입구를 통해 다른 공간으로 이동하는 듯한 경험을 하게 하는 증강 현실 제공 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for providing augmented reality for virtual space movement, and more specifically, to display an entrance where space movement is made on a photographing screen of the terminal, and to move to another space through the entrance according to the movement of the terminal. It relates to a method and system for providing augmented reality to make a seeming experience.

증강현실(AR; Augmented Reality)은 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해 주는 기술을 말한다. 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 더해 하나의 영상으로 보여준다. 증강현실 기술은 1990년 보잉사의 항공기 전선 조립과정을 설명하는 데 처음 사용된 이후 미국과 일본을 중심으로 이에 대한 기술 연구개발이 진행되었고, 2000년대 중반 이후 스마트폰이 등장하고 활성화됨에 따라 이 기술을 적용하면서 주목받기 시작했다.Augmented Reality (AR) refers to a technology that fuses and complements virtual objects and information made with computer technology in the real world. It adds a virtual world with additional information to the real world in one video. Augmented reality technology was first used to describe Boeing's aircraft wire assembly process in 1990, and technology research and development has been conducted around the United States and Japan, and since the mid-2000s, smartphones have appeared and activated. As it was applied, it began to attract attention.

앞으로 스마트폰과 같은 휴대용 단말기의 발전과 함께 다양한 증강현실 기술과 컨텐츠가 개발될 것으로 예상되며, 그 활용 분야도 무궁무진하게 증가될 것으로 예상되고 있다.In the future, along with the development of portable terminals such as smartphones, various augmented reality technologies and contents are expected to be developed, and the fields of application are also expected to increase endlessly.

본 발명의 기술적 사상에 따른 증강 현실 제공 방법 및 시스템이 이루고자 하는 기술적 과제는, 단말기의 촬영 화면 상에 공간 이동이 가능한 입구를 표시하고, 이 입구를 향해 단말기를 실제 공간에서 이동시키면 촬영 화면 상에 다른 공간의 영상이 표시되도록 하여, 사용자 혼자 또는 동시 사용자들이 함께 이 입구를 통해 마치 다른 공간으로 이동하는 듯한 체험을 하도록 하는 증강 현실 제공 방법 및 시스템을 제공하는 것이다. The technical problem to be achieved by the method and system for providing augmented reality according to the technical idea of the present invention is to display an entrance capable of space movement on a photographing screen of the terminal, and move the terminal in the real space toward the entrance to the photographing screen. It is to provide an augmented reality providing method and system that allows an image of a different space to be displayed so that a user alone or concurrent users can experience the movement as if moving to another space through this entrance.

본 발명의 기술적 사상에 따른 증강 현실 제공 방법 및 시스템이 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the method and system for providing augmented reality according to the technical idea of the present invention are not limited to the above-mentioned problems, and other problems that are not mentioned can be clearly understood by a person skilled in the art from the following description. will be.

본 발명의 기술적 사상에 의한 일 실시예에 따른 증강 현실 제공 방법은 증강 현실 개시 정보가 단말기에 입력되는 단계; 촬영 모드의 단말기의 촬영 화면에 위치 이동 입구 이미지가 촬영 이미지 위에 겹쳐서 표시되는 단계; 및 촬영 모드의 단말기의 위치가 위치 이동 입구 이미지를 향해 이동되어 촬영 화면 상의 위치 이동 입구 이미지가 표시된 지점에 도달하게 되면, 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 단계를 포함할 수 있다.According to an embodiment of the present invention, a method for providing augmented reality includes inputting augmented reality start information to a terminal; Displaying a location movement entrance image superimposed on the photographed image on the photographed screen of the terminal in the photographing mode; And when the location of the terminal in the photographing mode is moved toward the location movement entrance image and reaches the point where the location movement entrance image on the photographing screen is displayed, displaying a first virtual movement location image on the screen of the terminal. .

증강 현실 개시 정보는 복수개의 숫자, QR코드, 바코드, 이미지 및 문자 중 적어도 하나의 인식자이며, 단말기가 인식자를 촬영하여 인식자 정보가 입력될 수 있다.The augmented reality initiation information is at least one recognizer among a plurality of numbers, QR codes, barcodes, images, and characters, and the identifier information may be input by the terminal photographing the recognizer.

촬영 모드의 단말기의 위치가 위치 이동 입구 이미지를 향해 이동됨에 따라 위치 이동 입구 이미지의 크기가 증가되도록 촬영 화면에 표시될 수 있다.As the position of the terminal in the photographing mode is moved toward the position movement entrance image, it may be displayed on the shooting screen so that the size of the location movement entrance image is increased.

제 1 가상 이동 장소 영상은 360도 이미지일 수 있다.The first virtual moving place image may be a 360-degree image.

제 1 가상 이동 장소 영상은 위치 정보를 포함하는 360도 이미지이며, 단말기의 소정 방향으로의 소정 거리 만큼의 위치 이동에 대응되는 360도 이미지로 표시가 될 수 있다.The first virtual moving place image is a 360-degree image including location information, and may be displayed as a 360-degree image corresponding to a position movement by a predetermined distance in a predetermined direction of the terminal.

증강 현실 제공 방법은 단말기의 화면에 표시된 제 1 가상 이동 장소 영상 위에 정보 제공 이미지를 오버레이하여 표시하는 단계를 더 포함할 수 있다.The augmented reality providing method may further include overlaying and displaying the information providing image on the first virtual moving place image displayed on the screen of the terminal.

정보 제공 이미지는 2차원 이미지, 3차원 이미지, 동영상 이미지 및 위치 이동 입구 이미지 중 적어도 하나일 수 있다.The information providing image may be at least one of a 2D image, a 3D image, a video image, and a location moving entrance image.

정보 제공 이미지가 2차원 이미지 또는 3차원 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 정보 제공 이미지에 대응되는 정보가 단말기 화면에 표시될 수 있다.When the information providing image is a 2D image or a 3D image, when a user presses the information providing image on the terminal screen, information corresponding to the information providing image may be displayed on the terminal screen.

정보 제공 이미지가 동영상 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 정보 제공 이미지에 대응되는 동영상이 재생될 수 있다.When the information provided image is a video image, when a user presses the information provided image on the terminal screen, a video corresponding to the information provided image may be played.

정보 제공 이미지가 위치 이동 입구 이미지인 경우에, 단말기의 위치가 위치 이동 입구 이미지를 향해 이동되어 위치 이동 입구 이미지가 표시된 지점에 도달하게 되면, 단말기의 화면에 제 2 가상 이동 장소 영상이 표시될 수 있다.When the information provision image is the location movement entrance image, when the location of the terminal is moved toward the location movement entrance image and reaches the point where the location movement entrance image is displayed, the second virtual movement place image may be displayed on the screen of the terminal. have.

제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며, 제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하며, 제 1 단말기의 화면에는 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되고, 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시될 수 있다.The first terminal and the second terminal include a screen-side camera, and while the first virtual moving place image is displayed on the screen of the first terminal, the first virtual move on the screen of the second terminal that inputs the same augmented reality start information. When the place image is displayed, the screen-side camera of the first terminal and the screen-side camera of the second terminal start shooting, and the face of the user of the second terminal is overlaid on the first virtual moving place image on the screen of the first terminal. The first terminal user's face may be superimposed on the first virtual moving image on the screen of the second terminal.

제 1 단말기와 제 2 단말기는 마이크와 스피커를 포함하며, 제 1 단말기의 스피커는 제 2 단말기의 마이크를 통해 입력된 제 2 단말기 사용자의 음성을 출력하고, 제 2 단말기의 스피커는 제 1 단말기의 마이크를 통해 입력된 제 1 단말기 사용자의 음성을 출력할 수 있다.The first terminal and the second terminal include a microphone and a speaker, and the speaker of the first terminal outputs the voice of the user of the second terminal input through the microphone of the second terminal, and the speaker of the second terminal includes the speaker of the first terminal. The voice of the user of the first terminal input through the microphone may be output.

제 1 단말기가 좌측 또는 우측으로 돌린 방향으로 향하게 되면 제 1 단말기의 화면에 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되고, 제 2 단말기가 우측 또는 좌측으로 돌린 방향으로 향하게 되면 제 2 단말기의 화면에 제 1 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시될 수 있다.When the first terminal faces the left or right direction, the face of the second terminal user is superimposed on the first virtual moving place image on the screen of the first terminal, and when the second terminal faces the right or left direction. The face of the first terminal user may be superimposed on the screen of the second terminal on the first virtual moving image.

제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며, 제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하며, 제 1 단말기 및 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴과 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시될 수 있다.The first terminal and the second terminal include a screen-side camera, and while the first virtual moving place image is displayed on the screen of the first terminal, the first virtual move on the screen of the second terminal that inputs the same augmented reality start information. When the place image is displayed, the screen-side camera of the first terminal and the screen-side camera of the second terminal start shooting, and the faces of the first terminal user and the second terminal user are displayed on the screens of the first terminal and the second terminal. The face of may be displayed overlaid on the first virtual moving image.

본 발명의 기술적 사상에 의한 일 실시예에 따른 증강 현실 제공 시스템은 가상 이동 장소 영상들이 저장된 장소 영상 데이터베이스; 단말기에 입력된 증강 현실 개시 정보가 전송되는 개시 정보 확인부; 개시 정보 확인부에 증강 현실 개시 정보가 전송되면, 촬영 모드의 단말기의 촬영 화면 위에 위치 이동 입구 이미지를 오버레이시켜 표시하는 이미지 오버레이 표시부; 촬영 화면에 위치 이동 입구 이미지가 표시된 단말기의 위치가 촬영 화면 상에 표시된 위치 이동 입구 이미지에 도달되었는지 여부를 판단하는 공간 이동 판단부; 및 공간 이동 판단부에 의해 단말기의 위치가 촬영 화면 상에 표시된 위치 이동 입구 이미지에 도달되었다고 판단되면, 증강 현실 개시 정보에 대응되는 제 1 가상 이동 장소 영상을 장소 영상 데이터베이스로부터 단말기로 전송하는 영상 제어부를 포함할 수 있다.An augmented reality providing system according to an embodiment of the present invention includes a place image database in which virtual place images are stored; A start information confirmation unit to which augmented reality start information inputted to a terminal is transmitted; When the augmented reality start information is transmitted to the start information confirmation unit, an image overlay display unit overlaying and displaying the location movement entrance image on the shooting screen of the terminal in the shooting mode; A space movement determination unit to determine whether the location of the terminal where the location movement entrance image is displayed on the shooting screen has reached the location movement entrance image displayed on the shooting screen; And an image control unit that transmits a first virtual moving place image corresponding to augmented reality start information from the place image database to the terminal when it is determined that the location of the terminal has reached the location moving entrance image displayed on the shooting screen by the space moving determination unit. It may include.

가상 이동 장소 영상들은 위치 정보를 포함하는 360도 이미지들일 수 있다.The virtual moving place images may be 360-degree images including location information.

영상 제어부는 단말기가 소정 방향으로 소정 거리 만큼 위치 이동을 하면, 그 위치 이동이 반영된 위치에서의 360도 이미지를 표시할 수 있다.When the terminal moves the position by a predetermined distance in a predetermined direction, the image controller may display a 360-degree image at a position where the position movement is reflected.

증강 현실 개시 정보는 복수개의 숫자, QR코드, 바코드, 이미지 및 문자 중 적어도 하나의 인식자이며, 단말기가 인식자를 촬영하여 인식자 정보가 입력될 수 있다.The augmented reality initiation information is at least one recognizer among a plurality of numbers, QR codes, barcodes, images, and characters, and the identifier information may be input by the terminal photographing the recognizer.

이미지 오버레이 표시부는 촬영 모드의 단말기의 위치가 위치 이동 입구 이미지를 향해 이동됨에 따라 위치 이동 입구 이미지의 크기가 증가되도록 위치 이동 입구 이미지를 촬영 화면에 표시할 수 있다.The image overlay display unit may display the location movement entrance image on the shooting screen so that the size of the location movement entrance image increases as the position of the terminal in the shooting mode moves toward the location movement entrance image.

이미지 오버레이 표시부는 단말기의 화면에 표시된 제 1 가상 이동 장소 영상 위에 정보 제공 이미지를 오버레이하여 표시할 수 있다.The image overlay display unit may display the information providing image overlaid on the first virtual moving place image displayed on the screen of the terminal.

정보 제공 이미지는 2차원 이미지, 3차원 이미지, 동영상 이미지 및 위치 이동 입구 이미지 중 적어도 하나일 수 있다.The information providing image may be at least one of a 2D image, a 3D image, a video image, and a location moving entrance image.

정보 제공 이미지가 2차원 이미지 또는 3차원 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 이미지 오버레이 표시부는 정보 제공 이미지에 대응되는 정보를 단말기 화면에 표시할 수 있다.When the information providing image is a 2D image or a 3D image, when the user presses the information providing image on the terminal screen, the image overlay display unit may display information corresponding to the information providing image on the terminal screen.

정보 제공 이미지가 동영상 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 이미지 오버레이 표시부는 정보 제공 이미지에 대응되는 동영상을 재생할 수 있다.When the information-providing image is a video image, when the user presses the information-providing image on the terminal screen, the image overlay display unit may play a video corresponding to the information-provided image.

정보 제공 이미지가 위치 이동 입구 이미지인 경우에, 단말기의 위치가 위치 이동 입구 이미지를 향해 이동되어 위치 이동 입구 이미지가 표시된 지점에 도달하게 되면, 이미지 오버레이 표시부는 단말기의 화면에 제 2 가상 이동 장소 영상을 표시할 수 있다.When the information provision image is the location movement entrance image, when the location of the terminal is moved toward the location movement entrance image and reaches the point where the location movement entrance image is displayed, the image overlay display unit displays a second virtual movement location image on the screen of the terminal. Can be displayed.

제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며, 증강 현실 제공 시스템은 제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하게 하며, 제 1 단말기의 화면에는 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시하고, 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시하는 사용자 표시부를 더 포함할 수 있다.The first terminal and the second terminal include a screen-side camera, and the augmented reality providing system is a screen of the second terminal that inputs the same augmented reality start information while the first virtual moving place image is displayed on the screen of the first terminal. When the first virtual moving place image is displayed on the screen, the screen-side camera of the first terminal and the screen-side camera of the second terminal start shooting, and the face of the second terminal user is displayed on the screen of the first terminal. The display of the virtual moving place image may be superimposed, and the screen of the second terminal may further include a user display unit in which the face of the first terminal user is superimposed on the first virtual moving place image.

제 1 단말기와 제 2 단말기는 마이크와 스피커를 포함하며, 사용자 표시부는 제 1 단말기의 스피커가 제 2 단말기의 마이크를 통해 입력된 제 2 단말기 사용자의 음성을 출력하도록 하고, 제 2 단말기의 스피커가 제 1 단말기의 마이크를 통해 입력된 제 1 단말기 사용자의 음성을 출력하도록 할 수 있다.The first terminal and the second terminal include a microphone and a speaker, and the user display unit causes the speaker of the first terminal to output the voice of the user of the second terminal input through the microphone of the second terminal, and the speaker of the second terminal The voice of the user of the first terminal input through the microphone of the first terminal may be output.

사용자 표시부는 제 1 단말기가 좌측 또는 우측으로 돌린 방향으로 향하게 될 때, 제 1 단말기의 화면에 제 2 단말기 사용자의 얼굴을 제 1 가상 이동 장소 영상 위에 겹쳐서 표시하고, 제 2 단말기가 우측 또는 좌측으로 돌린 방향으로 향하게 될 때, 제 2 단말기의 화면에 제 1 단말기 사용자의 얼굴을 제 1 가상 이동 장소 영상 위에 겹쳐서 표시할 수 있다.When the user display unit faces the first terminal toward the left or right direction, the face of the second terminal user is superimposed on the first virtual moving place image on the screen of the first terminal, and the second terminal is moved to the right or left. When facing in the turned direction, the face of the first terminal user may be superimposed on the first virtual moving image on the screen of the second terminal.

제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며, 증강 현실 제공 시스템은 제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하도록 하며, 제 1 단말기 및 제 2 단말기의 화면에 제 1 단말기 사용자의 얼굴과 제 2 단말기 사용자의 얼굴을 제 1 가상 이동 장소 영상 위에 겹쳐서 표시하는 사용자 표시부를 더 포함할 수 있다.The first terminal and the second terminal include a screen-side camera, and the augmented reality providing system is a screen of the second terminal that inputs the same augmented reality start information while the first virtual moving place image is displayed on the screen of the first terminal. When the first virtual moving image is displayed on the screen, the screen-side camera of the first terminal and the screen-side camera of the second terminal start shooting, and the first terminal user is displayed on the screen of the first terminal and the second terminal. The display may further include a user display unit displaying the face and the face of the second terminal user overlaid on the first virtual moving image.

본 발명의 기술적 사상에 의한 실시예들에 따른 증강 현실 제공 방법 및 시스템은, 단말기의 촬영 화면 상에 공간 이동이 가능한 입구를 표시하고, 이 입구를 향해 단말기를 실제 공간에서 이동시키면 다른 공간의 영상이 표시되도록 하여, 사용자 혼자 또는 동시 사용자들이 함께 이 입구를 통해 마치 다른 공간으로 이동하는 듯한 체험을 할 수 있도록 한다. The method and system for providing augmented reality according to the embodiments of the inventive concept display an entrance through which a space can be moved on a photographing screen of a terminal, and when moving the terminal in the real space toward the entrance, an image of another space This is displayed so that the user alone or concurrent users can experience the experience of moving to another space through this entrance.

다만, 본 발명의 일 실시예에 따른 증강 현실 제공 방법 및 시스템이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.However, effects achievable by the method and system for providing augmented reality according to an embodiment of the present invention are not limited to those mentioned above, and other effects not mentioned are clearly apparent to those skilled in the art from the following description. Will be understandable.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 방법의 순서도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기를 통해 증강 현실 화면이 제공되는 것을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기를 통해 정보 제공 이미지가 제공되는 것을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기들의 사용자들이 가상 이동 장소 영상에 오버레이되어 표시되는 것을 도시한 도면이다.
A brief description of each drawing is provided to better understand the drawings cited herein.
1 is a view showing a schematic configuration of an augmented reality providing system according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present invention.
3 is a diagram illustrating that an augmented reality screen is provided through a terminal connected to an augmented reality providing system according to an embodiment of the present invention.
4 is a diagram illustrating that an information providing image is provided through a terminal connected to an augmented reality providing system according to an embodiment of the present invention.
5 is a diagram illustrating that users of terminals connected to an augmented reality providing system according to an embodiment of the present invention are displayed overlaid on a virtual moving place image.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood that the present invention includes all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the numbers (for example, first, second, etc.) used in the description process of the present specification are only identification numbers for distinguishing one component from other components.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Further, in this specification, when one component is referred to as "connected" or "connected" with another component, the one component may be directly connected to the other component, or may be directly connected, but in particular, It should be understood that, as long as there is no objection to the contrary, it may or may be connected via another component in the middle.

또한, 본 명세서에서 '~부'로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, in the present specification, two or more components may be combined into one component, or one component may be divided into two or more for each subdivided function. In addition, each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions in charge of them, and some of the main functions of each component are different. Needless to say, it may be carried out exclusively by components.

이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present invention will be described in detail.

도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템의 개략적인 구성을 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 방법의 순서도를 도시한 도면이다. 도 3은 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기를 통해 증강 현실 화면이 제공되는 것을 도시한 도면이다. 1 is a view showing a schematic configuration of an augmented reality providing system according to an embodiment of the present invention. 2 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present invention. 3 is a diagram illustrating that an augmented reality screen is provided through a terminal connected to an augmented reality providing system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 증강 현실 제공 시스템(100)은 적어도 하나의 단말기(101)와 네트워크를 통해 연결되어 증강 현실 컨텐츠를 단말기로 전송하는 기능을 수행할 수 있다.The augmented reality providing system 100 according to an embodiment of the present invention may be connected to at least one terminal 101 through a network to perform a function of transmitting augmented reality content to a terminal.

여기서, 네트워크는 단말기들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. Here, the network means a connection structure capable of exchanging information between each node such as terminals and servers, and examples of such a network include a 3rd Generation Partnership Project (3GPP) network, a Long Term Evolution (LTE) network, World Interoperability for Microwave Access (WIMAX) network, Internet, Local Area Network (LAN), Wireless Local Area Network (WLAN), Wide Area Network (WAN), Personal Area Network (PAN), Bluetooth network , Satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like.

사용자의 단말기(101)는 네트워크를 통하여 원격지의 서버나 단말기에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, 사용자의 단말기(101)는 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말기로 구현될 수 있다. 사용자의 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 단말기(101)는 화면 쪽 카메라, 화면 반대쪽 카메라, 마이크, 스피커, 거리 측정 센서 및 위치 센서를 포함하는 것이 바람직하다. The user's terminal 101 may be implemented as a computer capable of accessing a remote server or terminal through a network. Here, the computer may include, for example, a laptop equipped with a web browser (WEB Browser), a desktop, a laptop, and the like. Further, the user's terminal 101 may be implemented as a terminal that can access a remote server or terminal through a network. The user's terminal is, for example, a wireless communication device in which portability and mobility are guaranteed, Personal Communication System (PCS), Global System for Mobile communications (GSM), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), PDA (Personal Digital Assistant), International Mobile Telecommunication (IMT) -2000, Code Division Multiple Access (CDMA) -2000, W-Code Division Multiple Access (W-CDMA), Wireless Broadband Internet (Wibro) terminal, smartphone (smartphone) , All kinds of handheld-based wireless communication devices such as a smartpad, a tablet PC, and the like. Preferably, the terminal 101 includes a screen-side camera, a camera opposite the screen, a microphone, a speaker, a distance measuring sensor, and a position sensor.

증강 현실 제공 시스템(100)은 장소 영상 데이터베이스(110), 개시 정보 확인부(120), 이미지 오버레이 표시부(130), 공간 이동 판단부(140), 영상 제어부(150) 및 사용자 표시부(160)를 포함할 수 있다.The augmented reality providing system 100 includes a place image database 110, a start information confirmation unit 120, an image overlay display unit 130, a space movement determination unit 140, an image control unit 150, and a user display unit 160. It can contain.

장소 영상 데이터베이스(110)에는 가상 이동 장소 영상들이 저장될 수 있다. 장소 영상 데이터베이스(110)는 데이터 저장 서버로서, 소정의 가상 이동 장소와 관련된 위치 기반 화상 데이터가 저장될 수 있다. 예를 들어, GPS 좌표에 기초하여 각 좌표값마다 360도 카메라에 의해 촬영된 360도 이미지의 화상 데이터가 저장될 수 있으며, 전세계 어느 곳이든 가상 이동 장소 영상으로 촬영되어 저장될 수 있으며, 가상의 공간(예를 들어 우주, 바닷속)에 대한 데이터 제작 및 저장도 가능할 수 있다. 이러한 가상 이동 장소 영상들은 사용자들에 의해 업로드가 될 수도 있다. 여기서, 360도 이미지는 정적 이미지와 동적 이미지를 모두 포함할 수 있다.Virtual moving place images may be stored in the place image database 110. The location image database 110 is a data storage server, and location-based image data related to a predetermined virtual mobile location may be stored. For example, based on GPS coordinates, image data of a 360-degree image captured by a 360-degree camera for each coordinate value may be stored, and may be captured and stored as a virtual moving place image anywhere in the world. Data production and storage of space (eg, space, underwater) may also be possible. The virtual moving place images may be uploaded by users. Here, the 360 degree image may include both static and dynamic images.

먼저, 사용자는 단말기(101)에 증강 현실 개시 정보를 입력할 수 있다(S110). First, the user may input augmented reality start information to the terminal 101 (S110).

증강 현실 개시 정보의 입력은 단말기(101)에서 구동 프로그램을 실행시키고, 체험하고자 하는 증강 현실 컨텐츠에 대한 정보를 직접 입력하거나, 인식자(identifier)(105)를 단말기(101)의 카메라로 촬영하여 증강 현실 컨텐츠에 대한 정보가 자동 입력되도록 할 수 있다. 인식자(105)는 숫자, QR코드, 바코드, 이미지 및 문자 중 적어도 하나가 될 수 있고, 촬영 모드로 전환된 단말기(101)의 카메라를 이용하여 스캔을 할 수 있다. 증강 현실 컨텐츠에 대한 정보를 단말기(101)에 직접 입력한 경우에는 단말기(101)는 이후의 가상 현실 컨텐츠 구현을 위해 촬영 모드로 자동 전환될 수 있다. The input of the augmented reality start information is executed by running the driving program in the terminal 101, directly inputting information about the augmented reality content to be experienced, or photographing the identifier 105 with the camera of the terminal 101 Information about augmented reality content may be automatically input. The recognizer 105 may be at least one of a number, a QR code, a barcode, an image, and a character, and scan using the camera of the terminal 101 switched to the shooting mode. When the information on the augmented reality content is directly input to the terminal 101, the terminal 101 may be automatically switched to a shooting mode to implement virtual reality content thereafter.

예를 들면, 도 3(a)에 도시된 바와 같이, 단말기(101)가 인식자(105)인 QR코드를 스캔할 수 있다. For example, as shown in FIG. 3 (a), the terminal 101 can scan the QR code that is the recognizer 105.

증강 현실 개시 정보가 단말기에 입력되면, 입력된 증강 현실 개시 정보는 네트워크를 통해 개시 정보 확인부(120)로 전송될 수 있다(S120). 증강 현실 개시 정보는 위치 이동 입구 이미지(131)를 가상으로 통과했을 때 표시될 가상 이동 장소 및 그 가상 이동 장소에서 이용 가능한 컨텐츠에 대한 정보를 포함할 수 있다.When the augmented reality initiation information is input to the terminal, the input augmented reality initiation information may be transmitted to the initiation information confirmation unit 120 through a network (S120). The augmented reality launch information may include information about a virtual moving place to be displayed when the location moving entrance image 131 is virtually passed and content available at the virtual moving place.

개시 정보 확인부(120)에 증강 현실 개시 정보가 전송되면, 도 3(b) 및 도 3(c)에 도시된 바와 같이, 이미지 오버레이 표시부(130)는 촬영 모드의 단말기의 촬영 화면에서 위치 이동 입구 이미지(131)를 촬영 대상 이미지(132) 위에 겹쳐서 표시할 수 있다(S130).When the augmented reality initiation information is transmitted to the initiation information confirmation unit 120, as shown in FIGS. 3 (b) and 3 (c), the image overlay display unit 130 moves the position on the shooting screen of the terminal in the shooting mode The entrance image 131 may be superimposed on the image to be photographed 132 (S130).

단말기(101)는 공지의 거리 측정 센서를 포함할 수 있으며, 이미지 오버레이 표시부(130)는 단말기(101)의 거리 측정 센서를 통해 주변의 벽이나 사물까지의 거리를 측정하고, 이 거리를 위치 이동 입구 이미지 생성 거리로 결정할 수 있으며, 위치 이동 입구 이미지 생성 거리에 위치된 벽이나 사물에 위치 이동 입구 이미지(131)를 오버레이시켜 표시할 수 있다. 주변에 위치 이동 입구 이미지(131)를 표시할 벽이나 사물이 존재하지 않는 장소(예를 들어 평원)에서는 이미지 오버레이 표시부(130)가 미리 설정된 거리를 위치 이동 입구 이미지 생성 거리로 결정하고 촬영 화면에서 위치 이동 입구 이미지 생성 거리만큼 떨어진 지점에 위치 이동 입구 이미지(131)를 촬영 대상 이미지(132) 위에 오버레이시켜 표시할 수 있다.The terminal 101 may include a known distance measuring sensor, and the image overlay display unit 130 measures a distance to a surrounding wall or object through the distance measuring sensor of the terminal 101 and moves the distance to the location The entrance image generation distance may be determined, and the location movement entrance image 131 may be overlaid and displayed on a wall or object positioned at the location movement entrance image generation distance. In a place where there is no wall or object to display the location movement entrance image 131 in the vicinity (for example, a plain), the image overlay display unit 130 determines a preset distance as the location movement entrance image generation distance and in the shooting screen The position movement entrance image 131 may be overlaid on the target image 132 to be displayed at a point that is a distance away from the location movement entrance image generation distance.

위치 이동 입구 이미지(131)는 공간 이동을 가능하게 하는 입구의 신비한 느낌을 주는 형상을 가지는 것이 바람직하다. 원형, 삼각형, 사각형, 다각형 등의 형상이 가능하고, 테두리는 동적인 형상을 가질 수 있다. 위치 이동 입구 이미지(131)의 내부 영역에는 제 1 가상 이동 장소 영상(151)이 부분적으로 표시되고, 그 외부 영역은 단말기(101)가 촬영하고 있는 현실 세계의 촬영 대상 이미지(132)가 표시되는 것이 바람직하다.The position movement entrance image 131 preferably has a shape that gives a mysterious feeling of the entrance that enables space movement. A shape such as a circle, a triangle, a square, and a polygon is possible, and a border may have a dynamic shape. The first virtual moving place image 151 is partially displayed in the inner region of the location movement entrance image 131, and the real-world shooting target image 132 photographed by the terminal 101 is displayed in the outer region. It is preferred.

위치 이동 입구 이미지(131)가 표시된 촬영 모드의 단말기(101)의 위치가 사용자에 의해 위치 이동 입구 이미지(131)를 향해 이동되어 단말기(101)의 촬영 화면 상의 위치 이동 입구 이미지(131)가 표시된 실제 위치, 즉 단말기(101)로부터 위치 이동 입구 이미지 생성 거리만큼 떨어진 위치에 도달하게 되면, 도 3(d)에 도시된 바와 같이, 단말기(101)의 화면에 제 1 가상 이동 장소 영상(151)이 전체 화면으로 표시될 수 있다(S140).The location of the terminal 101 in the shooting mode in which the location movement entrance image 131 is displayed is moved by the user toward the location movement entrance image 131 so that the location movement entrance image 131 on the shooting screen of the terminal 101 is displayed. When a real position, that is, a position that is farther away from the terminal 101 by a distance from which the entrance image is generated, reaches the first virtual moving place image 151 on the screen of the terminal 101, as shown in FIG. 3 (d). This may be displayed in full screen (S140).

사용자가 촬영 모드의 단말기(101)를 들고 위치 이동 입구 이미지(131)가 표시된 지점을 향해 이동하게 되면, 이미지 오버레이 표시부(130)는 위치 이동 입구 이미지(131)의 크기가 점차 증가되도록 촬영 화면에 표시할 수 있다. 이러한 표시 방법에 의해 사용자는 위치 이동 입구 이미지(131) 속으로 빨려 들어가는 느낌을 가질 수 있다.When the user lifts the terminal 101 in the shooting mode and moves toward the point where the location movement entrance image 131 is displayed, the image overlay display unit 130 is displayed on the shooting screen so that the size of the location movement entrance image 131 is gradually increased. Can be displayed. By this display method, the user may have a feeling of being sucked into the location movement entrance image 131.

공간 이동 판단부(140)는 촬영 화면에 위치 이동 입구 이미지(131)가 표시된 단말기의 위치가 촬영 화면 상에 표시된 위치 이동 입구 이미지(131)의 실제 위치, 즉 단말기(101)로부터 위치 이동 입구 이미지 생성 거리만큼 떨어진 위치에 도달되었는지 여부를 판단할 수 있다.The space movement determining unit 140 displays the location of the terminal where the location movement entrance image 131 is displayed on the shooting screen, the actual location of the location movement entrance image 131 displayed on the shooting screen, that is, the location movement entrance image from the terminal 101 It may be determined whether or not a position that is farther away from the generated distance is reached.

단말기(101)에 설치된 공지의 위치 센서를 통해 단말기(101)의 이동 거리를 감지하고, 이 이동 거리가 위치 이동 입구 이미지(131)가 표시된 방향으로 위치 이동 입구 이미지 생성 거리만큼 이동한 것으로 판단하면, 단말기(101)의 위치가 촬영 화면 상에 표시된 위치 이동 입구 이미지(131)에 도달되었다고 판단할 수 있다.When the moving distance of the terminal 101 is sensed through a known position sensor installed in the terminal 101, and it is determined that the moving distance has been moved by the location moving entrance image generation distance in the direction in which the moving position entrance image 131 is displayed , It can be determined that the position of the terminal 101 has reached the position movement entrance image 131 displayed on the shooting screen.

영상 제어부(150)는 이미지 오버레이 표시부(130)가 단말기(101)의 촬영 화면 상에 위치 이동 입구 이미지(131)를 형성하면, 증강 현실 개시 정보에 대응되는 제 1 가상 이동 장소 영상(151)을 장소 영상 데이터베이스(110)로부터 선택할 수 있다. 여기서, 위치 이동 입구 이미지(131)의 형성 단계와 제 1 가상 이동 장소 영상(151)의 선택 단계는 서로 순서가 바뀔 수도 있다. 이미지 오버레이 표시부(130)는 위치 이동 입구 이미지(131)의 내부 영역에, 선택된 제 1 가상 이동 장소 영상(151)의 일부를 표시할 수 있으며, 공간 이동 판단부(140)에 의해 단말기(101)의 위치가 촬영 화면 상에 표시된 위치 이동 입구 이미지(131)에 도달되었다고 판단되면, 이미지 오버레이 표시부(130)는 제 1 가상 이동 장소 영상(151)을 전체 화면으로 표시할 수 있다.When the image overlay display 130 forms the location movement entrance image 131 on the photographing screen of the terminal 101, the image control unit 150 displays the first virtual moving place image 151 corresponding to the augmented reality start information. It can be selected from the place image database 110. Here, the order of forming the position movement entrance image 131 and the step of selecting the first virtual movement place image 151 may be reversed. The image overlay display unit 130 may display a portion of the selected first virtual moving place image 151 in the inner region of the location movement entrance image 131, and the terminal 101 by the spatial movement determination unit 140 When it is determined that the location of the image has reached the location movement entrance image 131 displayed on the photographing screen, the image overlay display unit 130 may display the first virtual movement location image 151 in full screen.

단말기(101)에 제 1 가상 이동 장소 영상(151)이 전체 화면으로 표시되는 상태에서, 단말기(101)가 사용자에 의해 소정 방향으로 소정 거리 만큼 위치 이동을 하면, 이미지 오버레이 표시부(130)는 그 위치 이동이 반영된 위치에서의 제 1 가상 이동 장소 영상(151)의 360도 이미지를 표시할 수 있다. 사용자는 단말기(101)의 카메라가 향하는 방향을 상하좌우 360도 방향으로 자유롭게 변경시키면서 360도 이미지를 감상할 수 있게 된다.When the first virtual moving place image 151 is displayed in full screen on the terminal 101, when the terminal 101 moves by a predetermined distance in a predetermined direction by the user, the image overlay display unit 130 A 360-degree image of the first virtual moving place image 151 at the position where the position movement is reflected may be displayed. The user can enjoy viewing the 360-degree image while freely changing the direction that the camera of the terminal 101 faces up, down, left, and right 360 degrees.

도 4는 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기를 통해 정보 제공 이미지가 제공되는 것을 도시한 도면이다. 4 is a diagram illustrating that an information providing image is provided through a terminal connected to an augmented reality providing system according to an embodiment of the present invention.

이미지 오버레이 표시부(130)는 단말기(101)의 화면에 표시된 제 1 가상 이동 장소 영상(151) 위에 정보 제공 이미지를 겹쳐서 표시할 수 있다(S150). 정보 제공 이미지는 2차원 이미지, 3차원 이미지, 동영상 이미지 및 위치 이동 입구 이미지 중 적어도 하나일 수 있다.The image overlay display unit 130 may superimpose and display the information providing image on the first virtual moving place image 151 displayed on the screen of the terminal 101 (S150). The information providing image may be at least one of a 2D image, a 3D image, a video image, and a location moving entrance image.

정보 제공 이미지가 2차원 이미지(152) 또는 3차원 이미지(153)인 경우에, 사용자가 단말기(101) 화면 상의 2차원 이미지(152) 또는 3차원 이미지(153)를 누르면 이미지 오버레이 표시부(130)는 정보 제공 이미지에 대응되는 정보를 단말기(101) 화면에 표시할 수 있다. 정보 제공 이미지에 대응되는 정보는 이미지, 동영상, 오디오, 웹페이지 중 적어도 하나를 포함할 수 있으며, 이는 화면 전체에 표시되거나, 화면 일부에 표시될 수 있다. 정보 제공 이미지에 대응되는 정보는 2차원 이미지(152) 또는 3차원 이미지(153)와 관련된 홍보물(예를 들어, 영화예고편, 할인 행사 등)일 수 있으며, 관련 정보(예를 들어, 메뉴, 행사진행순서, 해당 장소의 역사 등)를 알리는 내용일 수도 있다.When the information-providing image is a 2D image 152 or a 3D image 153, when the user presses the 2D image 152 or the 3D image 153 on the terminal 101 screen, the image overlay display 130 The information corresponding to the information provision image may be displayed on the screen of the terminal 101. Information corresponding to the information provided image may include at least one of an image, a video, an audio, and a web page, which may be displayed on the entire screen or may be displayed on a part of the screen. The information corresponding to the information provided image may be a promotional material (for example, a movie trailer, a discount event, etc.) related to the 2D image 152 or the 3D image 153, and related information (eg, menu, event) It may be the content that informs the order of progress, the history of the place, etc.).

정보 제공 이미지가 동영상 이미지(154)인 경우에, 사용자가 단말기(101) 화면 상의 동영상 이미지(154)를 누르면 이미지 오버레이 표시부(130)는 동영상 이미지(154)에 연결된 동영상을 재생할 수 있다. 동영상은 화면에 표시된 크기로 재생될 수 있으며, 전체 화면 모드로 재생이 될 수도 있다.When the information-providing image is the video image 154, when the user presses the video image 154 on the screen of the terminal 101, the image overlay display 130 may play a video connected to the video image 154. The video can be played in the size displayed on the screen, or in full screen mode.

정보 제공 이미지가 2차 위치 이동 입구 이미지(155)인 경우에, 단말기(101)의 위치가 사용자에 의해 2차 위치 이동 입구 이미지(155)를 향해 이동되어 2차 위치 이동 입구 이미지(155)가 표시된 위치에 도달하게 되면, 이미지 오버레이 표시부(130)는 단말기(101)의 화면에 제 2 가상 이동 장소 영상(156)을 표시할 수 있다. 여기서, 제 2 가상 이동 장소는 사용자가 선택 가능하거나, 기설정된 장소일 수 있다. 이러한 방식으로 사용자는 가상 이동 장소를 계속하여 이동할 수도 있다.When the information providing image is the secondary position movement entrance image 155, the position of the terminal 101 is moved by the user toward the secondary position movement entrance image 155 so that the secondary location movement entrance image 155 When the displayed position is reached, the image overlay display unit 130 may display the second virtual moving place image 156 on the screen of the terminal 101. Here, the second virtual moving place may be a user selectable or a preset place. In this way, the user may continue to move the virtual location.

도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 시스템에 연결된 단말기들의 사용자들이 가상 이동 장소 영상에 오버레이되어 표시되는 것을 도시한 도면이다.5 is a diagram illustrating that users of terminals connected to an augmented reality providing system according to an embodiment of the present invention are displayed overlaid on a virtual moving place image.

제 1 단말기에 증강 현실 개시 정보가 입력되고, 동일한 시간대에 제 1 단말기와 떨어져 있는 제 2 단말기에도 제 1 단말기에 입력된 증강 현실 개시 정보와 동일한 증강 현실 개시 정보가 입력될 수 있다. Augmented reality initiation information is input to the first terminal, and augmented reality initiation information identical to the augmented reality initiation information input to the first terminal may also be input to a second terminal that is remote from the first terminal at the same time.

입력된 동일한 증강 현실 개시 정보에 따라, 사용자 표시부(160)는 제 1 단말기가 위치 이동 입구 이미지(131)를 통과한 후에 제 1 단말기의 화면에 제 1 가상 이동 장소 영상(151)을 표시하고, 제 2 단말기가 위치 이동 입구 이미지(131)를 통과한 후에 제 2 단말기의 화면에도 제 1 가상 이동 장소 영상(151)을 표시할 수 있다. According to the same augmented reality start information input, the user display unit 160 displays the first virtual moving place image 151 on the screen of the first terminal after the first terminal passes the location movement entrance image 131, After the second terminal passes the location movement entrance image 131, the first virtual moving place image 151 may be displayed on the screen of the second terminal.

제 1 단말기의 화면에 표시되는 제 1 가상 이동 장소 영상(151)의 GPS 좌표값과 제 2 단말기의 화면에 표시되는 제 1 가상 이동 장소 영상(151)의 GPS 좌표값이 소정 거리 내에 위치되면, 사용자 표시부(160)는 제 1 단말기의 제 1 사용자에게 제 2 단말기를 사용하는 제 2 사용자를 제 1 단말기의 화면에 표시하고 대화를 할 것인지를 묻고, 이에 동의하면 제 1 단말기를 사용자 표시 준비 상태로 설정한다. 또한, 사용자 표시부(160)는 제 2 단말기의 제 2 사용자에게 제 1 단말기를 사용하는 제 1 사용자를 제 2 단말기의 화면에 표시하고 대화를 할 것인지를 묻고, 이에 동의하면 제 2 단말기를 사용자 표시 준비 상태로 설정한다. 사용자들의 모습은 자신의 단말기에 설치된 화면 쪽 카메라에 의해 촬영되어 상대방 단말기로 전송될 수 있다.When the GPS coordinate values of the first virtual moving place image 151 displayed on the screen of the first terminal and the GPS coordinates of the first virtual moving place image 151 displayed on the screen of the second terminal are located within a predetermined distance, The user display unit 160 prompts the first user of the first terminal to display a second user who uses the second terminal on the screen of the first terminal and to have a conversation. Set to In addition, the user display unit 160 prompts the second user of the second terminal to display a first user who uses the first terminal on the screen of the second terminal and to have a conversation, and if so, displays the second terminal to the user Set to ready state. The appearances of users may be captured by a screen-side camera installed in their terminal and transmitted to the other terminal.

사용자 표시부(160)는 제 1 단말기와 제 2 단말기가 모두 사용자 표시 준비 상태가 된 것을 확인하면, 제 1 단말기와 제 2 단말기를 상호 간에 화상 대화가 가능한 화상 대화 모드로 설정한다.When the user display unit 160 confirms that both the first terminal and the second terminal are in a user display ready state, the user display unit 160 sets the first terminal and the second terminal to a video conversation mode capable of video communication with each other.

화상 대화 모드에서는 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 사용자의 얼굴을 촬영하기 시작하며, 사용자 표시부(160)는 제 1 단말기의 화면에는 제 2 단말기 사용자의 얼굴을 제 1 가상 이동 장소 영상(151) 위에 겹쳐서 표시하고, 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴을 제 1 가상 이동 장소 영상(151) 위에 겹쳐서 표시할 수 있다. 도 5(a)에 도시된 바와 같이 사용자 표시부(160)는 단말기의 화면 쪽 카메라에 의해 촬영된 사용자의 뒷배경을 트리밍하여 제거한 후에 제 1 가상 이동 장소 영상(151) 위에 겹쳐서 표시할 수 있다.In the video conversation mode, the screen-side camera of the first terminal and the screen-side camera of the second terminal start to capture the user's face, and the user display unit 160 displays the face of the second terminal user on the screen of the first terminal. The virtual mobile place image 151 may be overlaid and the face of the first terminal user may be superimposed on the first virtual mobile place image 151 on the screen of the second terminal. As shown in FIG. 5 (a), the user display unit 160 may overlay and display the first virtual moving image 151 after trimming and removing the background of the user photographed by the screen-side camera of the terminal.

사용자 표시부(160)는 화상 대화 모드에서 제 1 단말기의 스피커가 제 2 단말기의 마이크를 통해 입력된 제 2 단말기 사용자의 음성을 출력하도록 하고, 제 2 단말기의 스피커가 제 1 단말기의 마이크를 통해 입력된 제 1 단말기 사용자의 음성을 출력하도록 할 수 있다.The user display unit 160 causes the speaker of the first terminal to output the voice of the user of the second terminal input through the microphone of the second terminal in the video chat mode, and the speaker of the second terminal is input through the microphone of the first terminal It is possible to output the voice of the first terminal user.

사용자 표시부(160)는 제 1 단말기가 좌측으로 약 90도 돌린 방향으로 향하게 될 때, 비로소 제 1 단말기의 화면에 제 2 단말기의 제 2 사용자의 얼굴을 제 1 가상 이동 장소 영상(151) 위에 겹쳐서 표시할 수 있다. 또한, 사용자 표시부(160)는 제 2 단말기가 우측으로 약 90도 돌린 방향으로 향하게 될 때, 비로소 제 2 단말기의 화면에 제 1 단말기의 제 1 사용자의 얼굴을 제 1 가상 이동 장소 영상(151) 위에 겹쳐서 표시할 수 있다. 이러한 방식에 의해 제 1 가상 이동 장소 영상(151) 속에서 제 1 사용자와 제 2 사용자가 나란히 걷는 것 같은 체험을 하게 할 수 있다.When the first terminal faces in the direction in which the first terminal is rotated about 90 degrees to the left, the user display unit 160 overlaps the face of the second user of the second terminal on the first virtual moving place image 151 on the screen of the first terminal. Can be displayed. In addition, when the second terminal faces in the direction in which the second terminal is rotated about 90 degrees to the right, the user display unit 160 displays the first user's face of the first terminal on the screen of the second terminal as the first virtual moving place image 151. It can be superimposed on top. In this way, the first user and the second user may experience an experience such as walking side by side in the first virtual moving place image 151.

또한, 사용자 표시부(160)는 화상 대화 모드 중에 제 1 사용자와 제 2 사용자에게 기념 사진을 제공할 수 있다. 도 5(b)에 도시된 바와 같이, 사용자 표시부(160)는 제 1 단말기 및 제 2 단말기의 화면에 제 1 단말기 사용자의 얼굴과 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상(151) 위에 함께 겹쳐서 표시할 수 있으며, 이러한 상태의 정지 영상이나 동영상을 생성하여 제 1 사용자 및 제 2 사용자에게 전송할 수 있다. Also, the user display unit 160 may provide a commemorative picture to the first user and the second user during the video conversation mode. As shown in FIG. 5 (b), the user display unit 160 displays the first terminal user's face and the second terminal user's face on the screens of the first terminal and the second terminal as the first virtual moving place image 151. It can be superimposed on the top, and still images or videos in this state can be generated and transmitted to the first user and the second user.

이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 혹은 이들 중 하나 이상의 조합에서 구현 가능하다.The above-described functional operations and embodiments related to the subject can be implemented in digital electronic circuits or computer software, firmware or hardware, or a combination of one or more of them, including the structures disclosed herein and their structural equivalents. Do.

본 명세서에서 기술하는 주제의 실시형태는 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 혹은 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 혹은 이들 중 하나 이상의 조합일 수 있다.Embodiments of the subject matter described herein are one or more computer program products, that is, one or more modules for computer program instructions encoded on a tangible program medium for execution by a data processing apparatus or for controlling its operation. Can be implemented. The tangible program medium may be a propagated signal or a computer-readable medium. Propagated signals are artificially generated signals, such as, for example, machine-generated electrical, optical or electromagnetic signals generated to encode information for transmission to a suitable receiver device for execution by a computer. The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a combination of materials affecting a machine-readable propagated signal, or a combination of one or more of these.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.A computer program (also known as a program, software, software application, script, or code) can be written in any form of a compiled or interpreted language, or a programming language, including a priori or procedural language. It can be deployed in any form, including components, subroutines or other units suitable for use in a computer environment.

컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다.Computer programs do not necessarily correspond to files in the file system. The program is in a single file provided to the requested program, or in multiple interactive files (eg, files that store one or more modules, subprograms or parts of code), or parts of files that hold other programs or data. (Eg, one or more scripts stored in a markup language document).

컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터 또는 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.Computer programs may be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

부가적으로, 본 명세서에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다. Additionally, the logical flows and structural block diagrams described herein describe corresponding actions and / or specific methods supported by corresponding functions and steps supported by the disclosed structural means, and corresponding software. It can also be used to construct structures and algorithms and their equivalents.

본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래머블 프로세서에 의하여 수행 가능하다.The processes and logic flows described herein can be performed by one or more programmable processors executing one or more computer programs to perform functions by operating on input data and generating output.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 종류의 디지털 컴퓨터의 어떠한 하나 이상의 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 혹은 양자로부터 명령어와 데이터를 수신할 것이다. Processors suitable for the execution of a computer program include, for example, both general purpose and special purpose microprocessors and any one or more processors of any kind of digital computer. Generally, the processor will receive instructions and data from read-only memory or random access memory or both.

컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상의 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 혹은 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.A key element of a computer is one or more memory devices for storing instructions and data, and a processor for performing instructions. In addition, computers are generally operatively coupled to receive data from one or more mass storage devices for storing data, such as magnetic, magneto-optical disks or optical disks, to transfer data to it, or to perform both of those operations. Or will include it. However, the computer need not have such a device.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. The described description presents the best mode of the present invention, and provides examples for explaining the present invention and for those skilled in the art to make and use the present invention. This written specification is not intended to limit the invention to the specific terms presented.

따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있다는 점을 밝힌다.Therefore, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, alterations, and modifications to these examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all the functional blocks shown in the drawings or to follow all the order shown in the drawings in the order shown, and even if not, any number of technical aspects of the present invention described in the claims It reveals that it can fall within the scope.

110: 장소 영상 데이터베이스
120: 개시 정보 확인부
130: 이미지 오버레이 표시부
140: 공간 이동 판단부
150: 영상 제어부
160: 사용자 표시부
110: place image database
120: start information confirmation unit
130: image overlay display
140: space movement determination unit
150: image control unit
160: user display

Claims (14)

증강 현실 개시 정보가 단말기에 입력되는 단계;
촬영 모드의 단말기의 촬영 화면에 위치 이동 입구 이미지가 촬영 이미지 위에 겹쳐서 표시되는 단계; 및
촬영 모드의 단말기의 위치가 위치 이동 입구 이미지를 향해 이동되어 촬영 화면 상의 위치 이동 입구 이미지가 표시된 지점에 도달하게 되면, 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 단계를 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
Augmented reality initiation information input to a terminal;
A step of displaying a location movement entrance image superimposed on the photographed image on a photographing screen of a terminal in the photographing mode; And
And when the position of the terminal in the shooting mode is moved toward the position movement entrance image and reaches the point where the location movement entrance image on the shooting screen is displayed, the step of displaying the first virtual movement place image on the screen of the terminal. Augmented reality provision method.
제 1 항에 있어서,
증강 현실 개시 정보는 복수개의 숫자, QR코드, 바코드, 이미지 및 문자 중 적어도 하나의 인식자이며, 단말기가 인식자를 촬영하여 인식자 정보가 입력되는 것을 특징으로 하는 증강 현실 제공 방법.
According to claim 1,
Augmented reality initiation information is a plurality of numbers, QR code, barcode, image, and at least one of the recognizer of the character, augmented reality providing method characterized in that the terminal is the recognition information is input by capturing the recognizer.
제 1 항에 있어서,
촬영 모드의 단말기의 위치가 위치 이동 입구 이미지를 향해 이동됨에 따라 위치 이동 입구 이미지의 크기가 증가되도록 촬영 화면에 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
According to claim 1,
The method of providing augmented reality, characterized in that the location of the terminal in the shooting mode is displayed on the shooting screen so that the size of the location movement entrance image increases as it moves toward the location movement entrance image.
제 1 항에 있어서, 제 1 가상 이동 장소 영상은 360도 이미지인 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 1, wherein the first virtual moving place image is a 360-degree image.
제 1 항에 있어서, 제 1 가상 이동 장소 영상은 위치 정보를 포함하는 360도 이미지이며, 단말기의 소정 방향으로의 소정 거리 만큼의 위치 이동에 대응되는 360도 이미지로 표시가 되는 것을 특징으로 하는 증강 현실 제공 방법.
The augmentation according to claim 1, wherein the first virtual moving place image is a 360-degree image including location information, and is displayed as a 360-degree image corresponding to a position movement by a predetermined distance in a predetermined direction of the terminal. How to provide reality.
제 1 항에 있어서, 증강 현실 제공 방법은
단말기의 화면에 표시된 제 1 가상 이동 장소 영상 위에 정보 제공 이미지를 오버레이하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 1, wherein the method for providing augmented reality
And overlaying and displaying the information providing image on the first virtual moving place image displayed on the screen of the terminal.
제 6 항에 있어서,
정보 제공 이미지는 2차원 이미지, 3차원 이미지, 동영상 이미지 및 위치 이동 입구 이미지 중 적어도 하나인 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 6,
The information providing image is at least one of a 2D image, a 3D image, a video image, and a location moving entrance image.
제 7 항에 있어서,
정보 제공 이미지가 2차원 이미지 또는 3차원 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 정보 제공 이미지에 대응되는 정보가 단말기 화면에 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 7,
When the information providing image is a 2D image or a 3D image, when a user presses the information providing image on the terminal screen, information corresponding to the information providing image is displayed on the terminal screen.
제 7 항에 있어서,
정보 제공 이미지가 동영상 이미지인 경우에, 사용자가 단말기 화면 상의 정보 제공 이미지를 누르면 정보 제공 이미지에 대응되는 동영상이 재생되는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 7,
When the information-providing image is a video image, when a user taps the information-provided image on the terminal screen, the video corresponding to the information-provided image is played back.
제 7 항에 있어서,
정보 제공 이미지가 위치 이동 입구 이미지인 경우에, 단말기의 위치가 위치 이동 입구 이미지를 향해 이동되어 위치 이동 입구 이미지가 표시된 지점에 도달하게 되면, 단말기의 화면에 제 2 가상 이동 장소 영상이 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 7,
When the information provision image is the location movement entrance image, when the location of the terminal is moved toward the location movement entrance image and reaches the point where the location movement entrance image is displayed, the second virtual movement place image is displayed on the screen of the terminal. Method of providing augmented reality characterized by.
제 1 항에 있어서,
제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며,
제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하며, 제 1 단말기의 화면에는 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되고, 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
According to claim 1,
The first terminal and the second terminal include a screen-side camera,
When the first virtual moving place image is displayed on the screen of the second terminal in which the same augmented reality start information is input while the first virtual moving place image is displayed on the screen of the first terminal, the screen side camera of the first terminal And the screen-side camera of the second terminal starts shooting, and the face of the second terminal user is superimposed on the first virtual moving place image on the screen of the first terminal, and the face of the first terminal user is displayed on the screen of the second terminal. Augmented reality providing method characterized in that it is superimposed on the first virtual moving image.
제 11 항에 있어서,
제 1 단말기와 제 2 단말기는 마이크와 스피커를 포함하며,
제 1 단말기의 스피커는 제 2 단말기의 마이크를 통해 입력된 제 2 단말기 사용자의 음성을 출력하고, 제 2 단말기의 스피커는 제 1 단말기의 마이크를 통해 입력된 제 1 단말기 사용자의 음성을 출력하는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 11,
The first terminal and the second terminal include a microphone and a speaker,
The speaker of the first terminal outputs the voice of the second terminal user input through the microphone of the second terminal, and the speaker of the second terminal outputs the voice of the first terminal user input through the microphone of the first terminal. Method of providing augmented reality characterized by.
제 11 항에 있어서,
제 1 단말기가 좌측 또는 우측으로 돌린 방향으로 향하게 되면 제 1 단말기의 화면에 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되고,
제 2 단말기가 우측 또는 좌측으로 돌린 방향으로 향하게 되면 제 2 단말기의 화면에 제 1 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
The method of claim 11,
When the first terminal is directed to the left or right direction, the face of the second terminal user is superimposed on the first virtual moving image on the screen of the first terminal,
The method for providing augmented reality, wherein when the second terminal faces in the direction of turning to the right or left, the face of the first terminal user is superimposed on the first virtual moving image on the screen of the second terminal.
제 1 항에 있어서,
제 1 단말기와 제 2 단말기는 화면 쪽 카메라를 포함하며,
제 1 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 동안, 동일한 증강 현실 개시 정보를 입력한 제 2 단말기의 화면에 제 1 가상 이동 장소 영상이 표시되는 경우에, 제 1 단말기의 화면 쪽 카메라와 제 2 단말기의 화면 쪽 카메라가 촬영을 시작하며, 제 1 단말기 및 제 2 단말기의 화면에는 제 1 단말기 사용자의 얼굴과 제 2 단말기 사용자의 얼굴이 제 1 가상 이동 장소 영상 위에 겹쳐서 표시되는 것을 특징으로 하는 증강 현실 제공 방법.
According to claim 1,
The first terminal and the second terminal include a screen-side camera,
When the first virtual moving place image is displayed on the screen of the second terminal in which the same augmented reality start information is input while the first virtual moving place image is displayed on the screen of the first terminal, the screen side camera of the first terminal And the screen camera of the second terminal starts shooting, and the faces of the first terminal user and the faces of the second terminal user are superimposed on the first virtual moving place image on the screens of the first terminal and the second terminal. Augmented reality provision method.
KR1020180125676A 2018-10-22 2018-10-22 Method and system for providing augmented reality providing space-shifting experience KR20200045097A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180125676A KR20200045097A (en) 2018-10-22 2018-10-22 Method and system for providing augmented reality providing space-shifting experience

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125676A KR20200045097A (en) 2018-10-22 2018-10-22 Method and system for providing augmented reality providing space-shifting experience

Publications (1)

Publication Number Publication Date
KR20200045097A true KR20200045097A (en) 2020-05-04

Family

ID=70732715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125676A KR20200045097A (en) 2018-10-22 2018-10-22 Method and system for providing augmented reality providing space-shifting experience

Country Status (1)

Country Link
KR (1) KR20200045097A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220109800A (en) * 2021-01-29 2022-08-05 주식회사 엘지유플러스 Electronic device for providing interactive education service, and operating method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220109800A (en) * 2021-01-29 2022-08-05 주식회사 엘지유플러스 Electronic device for providing interactive education service, and operating method thereof

Similar Documents

Publication Publication Date Title
US10764626B2 (en) Method and apparatus for presenting and controlling panoramic image, and storage medium
KR102595150B1 (en) Method for controlling multiple virtual characters, device, apparatus, and storage medium
KR20230156408A (en) Activates hands-free mode to operate the electronic mirroring device
US20220157000A1 (en) Body animation sharing and remixing
CN112312111A (en) Virtual image display method and device, electronic equipment and storage medium
WO2022093939A1 (en) Side-by-side character animation from realtime 3d body motion capture
US20240028132A1 (en) Mirroring device with pointing based navigation
US20150172634A1 (en) Dynamic POV Composite 3D Video System
KR20230156407A (en) Mirroring device with hands-free mode
KR102644833B1 (en) Method, and system for compensating delay of virtural reality stream
US11823346B2 (en) AR body part tracking system
WO2022182660A1 (en) Whole body visual effects
KR102523493B1 (en) Method and system for providing a content using a machine of virtual camera
CN112068703B (en) Target object control method and device, electronic device and storage medium
KR20200045097A (en) Method and system for providing augmented reality providing space-shifting experience
EP3173943A1 (en) System, method and computer program product for transferring three-dimensional models
CN117244249A (en) Multimedia data generation method and device, readable medium and electronic equipment
KR20220159968A (en) Conference handling method and system using avatars
WO2023211688A1 (en) Shared augmented reality experience in video chat
US11918888B2 (en) Multi-user AR experience with offline synchronization
US11825239B1 (en) Sharing social augmented reality experiences in video calls
CN114415907B (en) Media resource display method, device, equipment and storage medium
KR20230124689A (en) Video trimming within the messaging system
KR20220160558A (en) A method and system for expressing an avatar that follows a user's motion in a virtual space
US20230410440A1 (en) Integrating augmented reality experiences with other components