KR102237940B1 - System for making and showing of augmented reality photos connected with video clips - Google Patents

System for making and showing of augmented reality photos connected with video clips Download PDF

Info

Publication number
KR102237940B1
KR102237940B1 KR1020190149619A KR20190149619A KR102237940B1 KR 102237940 B1 KR102237940 B1 KR 102237940B1 KR 1020190149619 A KR1020190149619 A KR 1020190149619A KR 20190149619 A KR20190149619 A KR 20190149619A KR 102237940 B1 KR102237940 B1 KR 102237940B1
Authority
KR
South Korea
Prior art keywords
photo
video
remote server
information
linked
Prior art date
Application number
KR1020190149619A
Other languages
Korean (ko)
Inventor
한동수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190149619A priority Critical patent/KR102237940B1/en
Application granted granted Critical
Publication of KR102237940B1 publication Critical patent/KR102237940B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Provided is a system for producing and showing an AR photo to which a video is linked. According to an embodiment of the present invention, a photographing device comprises: a camera taking a photo; and an information processing terminal connected to the camera, linking the taken photo with a video recorded or acquired, and transmitting the same to a remote server. Accordingly, instantly collecting and linking photos and videos in a specific place, outputting the photos, recognizing the photos, and converting the recognized photos into videos can be implemented as one integrated service. In addition, an AR business card, an AR invitation card, an AR album, an AR booklet, an AR photo, and the like can be produced and showed. Further, by adding and managing ID information of a user to data in which the photos and the videos are linked, when searching for the videos in accordance with a photo recognition result, the videos can be searched based on the added ID information, thereby reducing the load of the search operation.

Description

동영상이 연계된 AR 사진 제작 및 상영 시스템{System for making and showing of augmented reality photos connected with video clips}System for making and showing of augmented reality photos connected with video clips}

본 발명은 동영상이 연계된 AR 사진 제작 및 상영 시스템에 관한 것으로, 더욱 상세하게는 현장에서 촬영된 사진에 동영상을 연계시켜 서버에 저장하고, 스마트폰 또는 테블릿 PC와 같은 모바일 단말을 통해 사진을 인식하면, 연계된 동영상을 AR 타입으로 제공하는 AR 사진 제작 및 상영 시스템에 관한 것이다.The present invention relates to a video-linked AR photo production and screening system, and more particularly, by linking a video to a picture taken in the field and storing it in a server, and storing the picture through a mobile terminal such as a smartphone or a tablet PC. Upon recognition, it relates to an AR photo production and screening system that provides a linked video in an AR type.

최근에는 QR 코드, 사진 등을 스마트폰의 앱이 인식하여 동영상을 상영하는 서비스가 많아지고 있다. 이런 기술의 발전은 사용자가 직접 자신의 사진과 동영상을 촬영하고 연계시키는 것도 가능하게 할 수 있으며, 더 나아가 사진과 동영상 촬영 그리고 촬영한 사진을 출력하고 동영상을 상영하는 서비스를 일괄하여 서비스할 수 있다. Recently, more and more services are showing a video by recognizing a QR code, a photo, etc. by an app on a smartphone. The advancement of this technology can enable users to directly shoot and link their own photos and videos, and furthermore, it is possible to collectively provide services for photographing and video shooting, and for outputting and screening videos. .

예를 들면, 관광지나 쇼핑몰, 기념관, 전시관 등에 촬영 기기를 설치하여 사용자가 특정 장소를 방문한 것을 기념할 수 있게 한다. For example, by installing a photographing device in a tourist destination, a shopping mall, a memorial hall, an exhibition hall, etc., a user can commemorate the visit of a specific place.

그럼에도 불구하고 상기와 같은 서비스는 아직은 널리 사용되지 못하고 있다. 상기에서 설명한 각각의 기능이 독립적으로 존재하고 있으나, 상호 연계되어 있지 못하기 때문이다. Nevertheless, such a service has not yet been widely used. This is because each function described above exists independently, but is not linked to each other.

따라서, 사진과 동영상을 특정 장소에서 즉각적으로 수집하고 연계시키고, 사진을 출력하고, 사진을 인식하고, 인식된 사진을 동영상으로 전환하는 것을 하나의 서비스로 통합하기 위한 방안의 모색이 요구된다. Therefore, there is a need to find a way to immediately collect and link photos and videos at a specific place, output photos, recognize photos, and integrate the recognized photos into videos into one service.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사진과 동영상을 특정 장소에서 즉각적으로 수집하고 연계시키고, 사진을 출력하고, 사진을 인식하고, 인식된 사진을 동영상으로 전환하는 것을 하나의 통합 서비스로 구현한 동영상이 연계된 AR 사진 제작 및 상영 시스템을 제공함에 있다.The present invention was conceived to solve the above problems, and an object of the present invention is to immediately collect and link photos and videos in a specific place, output photos, recognize photos, and convert the recognized photos into videos. It is to provide an AR photo production and screening system in which video is realized as a single integrated service.

또한, 본 발명의 다른 목적은, 동영상이 연계된 AR 명함, AR 청첩장, AR 앨범, AR 책자 및 AR 사진 등을 제작하고 상영할 수 있는 동영상이 연계된 AR 사진 제작 및 상영 시스템을 제공함에 있다.In addition, another object of the present invention is to provide a video-linked AR photo production and screening system capable of producing and screening AR business cards, AR wedding invitations, AR albums, AR booklets, and AR photos linked with videos.

그리고 본 발명의 다른 목적은, 사진과 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여 관리함으로써, 사진 인식 결과에 따른 동영상 검색 시, 부가된 ID 정보를 기반으로 동영상의 검색할 수 있어, 검색 작업의 부하를 경감시켜 줄 수 있는 동영상이 연계된 AR 사진 제작 및 상영 시스템을 제공함에 있다.Another object of the present invention is to add and manage the user's ID information to the data associated with the photo and the video, so that when a video is searched according to the photo recognition result, the video can be searched based on the added ID information. It is to provide an AR photo production and screening system linked with a video that can reduce the load of work.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 촬영 장치는, 사진을 촬영하는 카메라; 및 카메라와 연결되어, 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버에 전송하는 정보처리 단말;을 포함한다. According to an embodiment of the present invention for achieving the above object, a photographing device includes a camera for taking a picture; And an information processing terminal connected to the camera, linking the captured or acquired video to the captured picture, and transmitting it to a remote server.

이때, 정보처리 단말은, 촬영된 사진과 촬영되거나 획득된 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여, 원격 서버에 전송할 수 있다.In this case, the information processing terminal may add the user's ID information to data linking the captured photo and the captured or acquired video, and transmit it to the remote server.

그리고 원격 서버에 저장된 데이터는, 별도로 마련되는 모바일 단말에 설치된 애플리케이션을 통해 사진이 인식되면, 인식된 사진과 연계된 동영상이 검색되어, 모바일 단말로 제공될 수 있다.In addition, when a picture is recognized through an application installed in a mobile terminal provided separately from the data stored in the remote server, a video associated with the recognized picture may be searched and provided to the mobile terminal.

또한, 본 발명의 일 실시예에 따른, 촬영 장치는, 사진과 동영상 연계 시, 사진 또는 동영상을 선택하기 위한 UI/UX로 이용 가능하도록 마련되는 터치형 디스플레이;를 더 포함할 수 있다.In addition, the photographing device according to an embodiment of the present invention may further include a touch-type display provided to be used as a UI/UX for selecting a photo or a video when linking a photo and a video.

그리고 원격 서버는, 검색 작업의 부하가 경감되도록, 모바일 단말에 의해 사진이 인식되는 경우, 인식된 사진과 연계된 동영상이 검색되는 과정에서, 부가된 ID 정보와 관련된 사진 및 동영상만을 대상으로 검색을 수행할 수 있다. In addition, the remote server searches only photos and videos related to the added ID information in the process of searching for a video associated with the recognized photo when a photo is recognized by the mobile terminal so as to reduce the load of the search operation. You can do it.

또한, 정보처리 단말은, 명함이 촬영되면, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 원격 서버에 전송할 수 있다.In addition, when a business card is photographed, the information processing terminal may link the photographed or acquired video to the business card or an image included in the business card and transmit it to a remote server.

그리고 정보처리 단말은, 명함이 촬영되는 경우, 사용자의 추가 조작 없이도, 명함에 기재된 문자를 인식하여, 이메일 주소, 이름, 전화번호가 포함된 ID 정보를 자동 생성하고, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시킨 데이터에 자동 생성된 ID 정보를 부가하여, 원격 서버에 전송할 수 있다.In addition, when a business card is photographed, the information processing terminal automatically generates ID information including an email address, name, and phone number by recognizing the characters written on the business card without any additional manipulation by the user, and automatically generating the ID information including the business card or the image The automatically generated ID information can be added to the data linked to the video captured or acquired in the video and transmitted to the remote server.

또한, 정보처리 단말은, 청첩장이 촬영되는 경우, 청첩장 또는 청첩장에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 연계 데이터를 생성하고, 청첩장에 기재된 문자를 인식하여, 신랑과 신부의 이름이 포함된 ID 정보를 자동 생성하며, 자동 생성된 ID 정보를 연계 데이터에 부가하여 원격 서버에 전송할 수 있다. In addition, when a wedding invitation is photographed, the information processing terminal generates linkage data by linking the video captured or acquired to the wedding invitation or the image included in the wedding invitation, and recognizes the characters written on the wedding invitation, and includes the names of the groom and the bride. The generated ID information is automatically generated, and the automatically generated ID information can be added to the linked data and transmitted to a remote server.

그리고 정보처리 단말은, 책자가 촬영되는 경우, 책자에 포함되는 복수의 사진과 촬영되거나 획득된 동영상을 연계시키고 ID 정보를 부가하여, 원격 서버에 전송할 수 있다. In addition, when a book is photographed, the information processing terminal may associate a plurality of photographs included in the book with a photographed or acquired video, add ID information, and transmit it to a remote server.

또한, 정보처리 단말은, 사진 촬영 시, 촬영된 원본 사진에 AR 컨텐츠를 입힌 AR 사진을 생성하고, 원본 사진과 AR 사진 중 적어도 하나를 동영상에 연계시켜 원격 서버에 전송할 수 있다. In addition, when taking a picture, the information processing terminal may generate an AR photo in which AR content is coated on the captured original photo, and may link at least one of the original photo and the AR photo to the video and transmit it to a remote server.

그리고 AR 사진은, 원본 사진에 담긴 사람과 원본 사진 속 현장에 없는 사람이 함께 자세를 취하는 모습이 담긴 사진 또는 원본 사진 속 현장과 다른 배경에서의 원본 사진에 담긴 사람의 모습이 담긴 사진일 수 있다.In addition, the AR photo may be a photo of a person in the original photo and a person who is not at the scene in the original photo posing together, or a photo of a person in the original photo in a background different from the site in the original photo. .

또한, 모바일 단말은, AR 타입으로 동영상이 상영되도록, 인식된 사진과 연계된 동영상을 상영하는 경우, 사진이 출력되는 화면의 면적에 따라 화면을 점유하고 있는 영역만 동영상으로 전환되도록 할 수 있다. In addition, when the mobile terminal displays the video associated with the recognized photo so that the video is displayed in the AR type, only the area occupying the screen may be converted to the video according to the area of the screen on which the photo is output.

그리고 촬영 장치는, 프린터와 일체형 기기로 구현될 수 있다.In addition, the photographing device may be implemented as a printer and an integrated device.

또한, 촬영 장치는, 원격으로 설치된 카메라와 유선 또는 무선 네트워크으로 연결되어, 원격으로 설치된 카메라를 통해 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버에 전송할 수 있다. In addition, the photographing device may be connected to a remotely installed camera through a wired or wireless network, link a video captured or acquired through a remotely installed camera, and transmit the video to a remote server.

한편, 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법은, 사진을 촬영하는 단계; 및 촬영된 사진과 촬영 또는 획득된 동영상을 연계시켜 원격 서버에 전송하고 저장하는 단계;를 포함한다.On the other hand, according to an embodiment of the present invention, a video-linked AR photo production and screening method includes: taking a photo; And transmitting and storing the captured photo and the captured or acquired video to a remote server.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사진과 동영상을 특정 장소에서 즉각적으로 수집하고 연계시키고, 사진을 출력하고, 사진을 인식하고, 인식된 사진을 동영상으로 전환하는 것을 하나의 통합 서비스로 구현할 수 있다.As described above, according to embodiments of the present invention, instantaneous collection and association of photos and videos in a specific place, outputting photos, recognizing photos, and converting the recognized photos into videos are integrated into one It can be implemented as a service.

또한, 본 발명의 실시예들에 따르면, 동영상이 연계된 AR 명함, AR 청첩장, AR 앨범, AR 책자 및 AR 사진 등을 제작하고 상영할 수 있다.In addition, according to embodiments of the present invention, an AR business card, an AR wedding invitation, an AR album, an AR booklet, and an AR photo may be produced and screened.

그리고 본 발명의 실시예들에 따르면, 사진과 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여 관리함으로써, 사진 인식 결과에 따른 동영상 검색 시, 부가된 ID 정보를 기반으로 동영상의 검색할 수 있어, 검색 작업의 부하를 경감시켜 줄 수 있다. In addition, according to embodiments of the present invention, by adding and managing user ID information to data associated with a photo and a video, when searching for a video according to a photo recognition result, it is possible to search for a video based on the added ID information. , It can reduce the load of search work.

도 1은 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 시스템의 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따른 촬영 장치의 설명에 제공된 도면,
도 3은 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법의 설명에 제공된 도면이다.
도 4는 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진의 제작 및 상영을 위한 사진 및 동영상 촬영, 선택, 출력, 그리고 애플리케이션 다운로드 과정의 설명에 제공된 도면,
도 5는 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법을 이용하여 동영상이 연계된 AR 명함의 ID를 자동 생성하는 과정의 설명에 제공된 도면,
도 6은 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법을 이용하여 동영상이 연계된 AR 청첩장의 ID를 자동 생성하는 과정의 설명에 제공된 도면, 그리고
도 7은 본 발명의 다른 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 시스템의 설명에 제공된 도면이다.
1 is a diagram provided to explain an AR photo production and screening system in which a video is linked according to an embodiment of the present invention;
2 is a diagram provided to explain a photographing apparatus according to an embodiment of the present invention;
3 is a diagram provided to explain a method of producing and screening an AR photo linked to a video according to an exemplary embodiment of the present invention.
FIG. 4 is a diagram provided to explain a process of photographing, selecting, outputting, and downloading an application for production and screening of an AR photo linked to a video according to an embodiment of the present invention; FIG.
5 is a diagram provided for explaining a process of automatically generating an ID of an AR business card linked with a video using a method for producing and screening an AR photo linked with a video according to an embodiment of the present invention;
6 is a diagram provided for explaining a process of automatically generating an ID of an AR wedding invitation associated with a video using a method for producing and screening an AR photo associated with a video according to an embodiment of the present invention; and
7 is a diagram provided to explain an AR photo production and screening system in which a video is linked according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

1. 동영상이 연계된 AR 사진 제작 및 상영 시스템의 구성1. Composition of AR photo production and screening system linked with video

도 1은 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 시스템(이하에서는 'AR 사진 제작 및 상영 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이고, 도 2는 본 발명의 일 실시예에 따른 촬영 장치(100)의 설명에 제공된 도면이다.FIG. 1 is a diagram provided to explain an AR photo production and screening system (hereinafter referred to as'AR photo production and screening system') in which a video is linked according to an embodiment of the present invention, and FIG. 2 is the present invention. It is a diagram provided to describe the photographing apparatus 100 according to an embodiment of the present invention.

본 실시예에 따른 AR 사진 제작 및 상영 시스템은, 사진과 동영상을 특정 장소에서 즉각적으로 수집하고 연계시키고, 사진을 출력하고, 사진을 인식하고, 인식된 사진을 동영상으로 전환하는 것을 하나의 통합 서비스로 구현할 수 있다.The AR photo production and screening system according to the present embodiment is an integrated service that immediately collects and links photos and videos at a specific place, outputs photos, recognizes photos, and converts recognized photos into videos. It can be implemented as

이를 위해, 본 AR 사진 제작 및 상영 시스템은, 사진을 촬영하는 촬영 장치(100), 사진과 동영상을 저장하는 원격 서버(200), 사진을 출력하는 프린터(300) 및 출력된 사진을 인식하면, 인식 결과에 따라 원격 서버(200)로부터 동영상을 제공받아 상영하는 모바일 단말(400)을 포함할 수 있다.To this end, the AR photo production and screening system recognizes the photographing device 100 for taking photos, the remote server 200 for storing photos and videos, the printer 300 for outputting photos, and the output photos, It may include a mobile terminal 400 that receives and displays a video from the remote server 200 according to the recognition result.

촬영 장치(100)는, 사진을 촬영하고, 촬영된 사진과 촬영되거나 또는 외부로부터 획득되는 동영상을 연계시켜 원격 서버(200)에 전송할 수 있다. The photographing device 100 may take a picture, and transmit the captured picture to the remote server 200 by linking the captured picture with a video captured or obtained from the outside.

예를 들면, 촬영 장치(100)는, 사진 또는 동영상을 촬영하는 카메라(110)와 카메라(110)와 연결되어, 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버(200)에 전송하는 정보처리 단말(120)로 구성될 수 있다.For example, the photographing device 100 is connected to the camera 110 and the camera 110 for taking a picture or video, linking the captured or acquired video to the taken picture, and transmitting it to the remote server 200 It may be composed of an information processing terminal 120.

이때, 정보처리 단말(120)은, 데스크탑 컴퓨터, 노트북, 테블릿 PC 또는 스마트폰과 같은 장치로 구현되며, 내부에 카메라가 탑재되어 있는 경우에는, 촬영에 이용되는 카메라를 선택할 수 있다.In this case, the information processing terminal 120 is implemented as a device such as a desktop computer, a notebook computer, a tablet PC, or a smartphone, and when a camera is mounted therein, a camera used for photographing may be selected.

또한, 촬영 장치(100)는, 사용자의 편의성 향상을 위해, 사진 또는 동영상 촬영이나, 촬영된 사진과 동영상을 연계시키는 작업을 수행하는 과정에서 사진 또는 동영상을 선택하기 위한 UI/UX로 이용 가능하도록 마련되는 터치형 디스플레이(130)가 추가로 구비될 수 있다. In addition, the photographing device 100 may be used as a UI/UX for selecting a photo or video in the process of taking a photo or a video or linking a captured photo and a video to improve the user's convenience. The provided touch-type display 130 may be additionally provided.

그리고 촬영 장치(100)는, 프린터(300)와 일체형 기기로 구현될 수 있으며, 이 경우, 사진 출력구(140)가 추가로 마련되어 촬영된 사진이 출력되어, 실시간으로 사용자에게 제공될 수 있다. In addition, the photographing device 100 may be implemented as an integrated device with the printer 300. In this case, a photo output port 140 may be additionally provided to output a photographed photo, and may be provided to a user in real time.

원격 서버(200)는, 유/무선 네트워크를 통해, 촬영 장치(100) 및 모바일 단말(400)과 연결되고, 촬영 장치(100)로부터 수신된 사진과 동영상을 동영상-사진 연계 DB(210)에 저장할 수 있다.The remote server 200 is connected to the photographing device 100 and the mobile terminal 400 through a wired/wireless network, and transfers the photos and videos received from the photographing device 100 to the video-photo linking DB 210 Can be saved.

본 촬영 장치(100)는, 촬영된 사진과 촬영되거나 획득된 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여, 원격 서버(200)에 전송하게 되며, 이때, 원격 서버(200)는, 모바일 단말(400)을 통해 출력된 사진을 인식하는 경우, 인식된 사진과 연계된 동영상을 검색할 때, 부가된 ID 정보와 관련된 사진 및 동영상만을 대상으로 검색을 수행할 수 있다. 이를 통해, 원격 서버(200)는, 검색 작업의 부하를 경감시킬 수 있다. The present photographing device 100 adds the user's ID information to the data linking the photographed photo and the photographed or acquired video, and transmits it to the remote server 200. At this time, the remote server 200 In the case of recognizing a picture output through the terminal 400, when searching for a video associated with the recognized picture, a search may be performed on only pictures and videos related to the added ID information. Through this, the remote server 200 may reduce the load of the search operation.

프린터(300)는 촬영 장치(100)를 통해 촬영된 사진을 현장에서 출력할 수 있다. The printer 300 may output a picture taken through the photographing device 100 in the field.

모바일 단말(400)은, 스마트폰 또는 테블릿 PC과 같은 장치로 구현되며, 설치된 애플리케이션을 통해 출력된 사진을 인식하면, 인식된 사진과 연계된 동영상을 원격 서버(200)로부터 제공받아 상영할 수 있다.The mobile terminal 400 is implemented as a device such as a smartphone or a tablet PC, and when recognizing a photo output through an installed application, a video associated with the recognized photo may be provided from the remote server 200 and displayed. have.

예를 들면, 모바일 단말(400)은, 인식된 사진과 연계된 동영상을 상영하는 경우, 사진이 출력되는 화면의 면적에 따라 화면을 점유하고 있는 영역만 동영상으로 전환시켜 줌으로써, AR 타입으로 동영상을 상영할 수 있다. For example, when a video associated with a recognized photo is displayed, the mobile terminal 400 converts only the area occupying the screen to a video according to the area of the screen on which the photo is output, thereby displaying the video in AR type. Can be screened.

2. 동영상이 연계된 AR 사진 제작 및 상영 방법2. How to create and screen AR photos linked with video

도 3은 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법의 설명에 제공된 도면이고, 도 4는 본 발명의 일 실시예에 따른 AR 사진의 제작 및 상영을 위한 사진 및 동영상 촬영, 선택, 출력, 그리고 애플리케이션 다운로드 과정의 설명에 제공된 도면이다. 도 4에서는 촬영된 동영상을 페이스북, 인스타그램과 같은 SNS에 올려 공유하는 부분도 포함되어 있다. 3 is a diagram provided for explaining a method of producing and screening an AR photo linked to a video according to an embodiment of the present invention, and FIG. 4 is a photo and video for producing and screening an AR photo according to an embodiment of the present invention. It is a diagram provided for the description of the process of shooting, selection, printing, and application download. In FIG. 4, a portion of uploading the captured video to social media such as Facebook and Instagram is also included.

본 발명의 일 실시예에 따른 AR 사진의 제작 및 상영 방법은, 사진을 촬영하는 단계(S310), 촬영된 사진과 동영상과 연계시켜, 원격 서버(200)에 전송하고 저장하는 단계(S320), 촬영된 사진을 출력하는 단계(S330), 모바일 단말(400)의 애플리케이션을 통해서 출력된 사진을 인식하는 단계(S340), 인식된 사진과 연계된 동영상을 상영하는 단계(S350)를 포함할 수 있다. A method for producing and screening an AR photo according to an embodiment of the present invention includes the step of taking a photo (S310), linking with the captured photo and video, and transmitting and storing it to the remote server 200 (S320), It may include the step of outputting the taken photo (S330), the step of recognizing the photo output through the application of the mobile terminal 400 (S340), and the step of screening a video associated with the recognized photo (S350). .

사진을 촬영하는 단계(S310)에 대하여 설명하면 다음과 같다. The step of taking a picture (S310) will be described as follows.

사진을 촬영하고 그것과 연결된 동영상을 촬영하고 연결시키는 방법은 다양하다. There are many ways to take a picture and shoot and connect a video linked to it.

예를 들면, 사진과 동영상을 하나의 기기에서 촬영하고 연결할 수도 있고 별도의 기기에서 촬영하고 연결할 수도 있다. For example, photos and videos can be captured and connected on a single device, or can be captured and connected on a separate device.

이 작업은 도 1에 도시된 바와 같이 카메라(110), 터치형 디스플레이(130) 및 정보처리 단말(120)이 구비되는 촬영 장치(100)와 프린터(300)가 서로 연결되어 있으면 쉽게 할 수 있다. This can be done easily if the camera 110, the touch display 130, and the information processing terminal 120 are provided with the photographing device 100 and the printer 300 connected to each other, as shown in FIG. 1. .

구체적으로, 사용자는 카메라(110)를 통해서 사진과 동영상을 촬영한다. 이 작업을 사용자가 직접할 수 있도록 터치형 디스플레이(130)를 통해서 사용 방법을 안내할 수도 있다. 사용 방법은 다양하겠지만 어떤 사용 방법일지라도 동영상과 사진 촬영 단계, 촬영된 동영상이나 사진 선택 단계, 이메일과 같은 ID 입력 단계, 출력 단계, 그리고 애플리케이션을 내려 받는 단계를 포함하게 된다.Specifically, the user takes pictures and videos through the camera 110. A method of use may be guided through the touch-type display 130 so that the user can perform this operation directly. There will be many ways to use it, but any way to use it will include the steps of taking videos and photos, selecting a captured video or photo, entering an ID such as an email, outputting, and downloading an application.

또한, 촬영되는 사진과 동영상을 터치형 디스플레이(130)를 통해서 보여지도록 함으로써 사용자가 더 쉽게 촬영할 수도 있다. 사진 촬영을 별도로 하지 않고 촬영된 동영상에서 몇 개의 사진을 추출하여 사용자가 선택하게 할 수도 있다. In addition, a user may take a picture more easily by allowing the photographed picture and video to be viewed through the touch-type display 130. It is also possible to extract several photos from the captured video and allow the user to select them without taking a separate photo.

사진과 동영상을 촬영할 때는 특정 장소를 방문한 것을 기념하기 위해 AR 컨텐츠를 입혀서 촬영할 수도 있다. 선택된 사진과 동영상은 관리와 후속 서비스의 용이성을 위해 사용자의 이메일, SNS 계정, 혹은 별도의 계정을 통해 ID를 부여하고 원격에 있는 서버에 전송할 수 있다. When taking photos and videos, you can also shoot with AR content to commemorate your visit to a specific place. Selected photos and videos can be sent to a remote server after an ID is assigned through the user's e-mail, SNS account, or a separate account for ease of management and follow-up services.

촬영된 사진과 동영상을 연계시켜 원격 서버(200)에 전송하고 저장하는 단계(S320)는, 전 단계(S310)에서 촬영된 사진과 동영상은 원격에 있는 원격 서버(200)에 전송된다. In the step (S320) of linking the captured photo and the video to the remote server 200 and storing it, the photo and the video taken in the previous step (S310) are transmitted to the remote server 200 at a remote location.

동영상과 사진을 전송 받은 원격 서버(200)는 영구 저장 장치인 동영상-사진 연계 DB(210)에 전송받은 사진을 저장할 수 있다. 동영상-사진 연계 DB(210)에 전송되는 내용은 사진과 동영상 그리고 해당 동영상을 전송한 사용자의 ID 정보를 포함한다.The remote server 200 receiving the video and photo may store the received photo in the video-photo linking DB 210, which is a permanent storage device. The content transmitted to the video-photo linking DB 210 includes a photo, a video, and ID information of the user who transmitted the video.

이 ID 정보는 후속 단계인 모바일 단말(400)의 애플리케이션을 통해 촬영된 사진을 인식하고 연관된 동영상을 검색할 때 큰 도움이 된다. 이는 ID 정보가 주어지면 동영상 검색시 해당 ID에 속하는 사진과 동영상만을 검색하면 되기 때문이다. This ID information is of great help when recognizing a picture taken through an application of the mobile terminal 400, which is a subsequent step, and searching for a related video. This is because when ID information is given, only photos and videos belonging to the ID need to be searched when searching for a video.

또한, 촬영된 사진과 동영상이 급격히 많아지면 하나의 원격 서버(200)에서 관리하기 어려울 수도 있다. 그때는 복수개의 원격 서버(200)를 두어 효율적으로 관리할 수도 있다. In addition, when the number of photographed photos and videos rapidly increases, it may be difficult to manage in one remote server 200. In that case, a plurality of remote servers 200 may be placed and managed efficiently.

촬영된 사진을 출력하는 단계(S330)에 대하여 설명하면, 동영상이 연계된 AR 사진이 가져다 주는 효과를 증대시키는 방법 중 하나는 촬영된 곳에서 곧바로 사진을 출력시켜주고 모바일 단말(400)과 같은 휴대기기를 통해서 사진이 동영상으로 전환시켜 상영하는 것이다. The step of outputting the captured photo (S330) will be described. One of the methods of increasing the effect of the AR photo linked to the video is to output the photo directly from the captured location and carry the same as the mobile terminal 400. Photos are converted into videos and screened through the device.

그러기 위해서는 사용자에 의해 선택된 사진을 연결된 프린터(300)를 통해서 즉각적으로 출력해 주는 것이 필요하다. 프린트 작업은 상용 프린터를 사용하여 할 수 있다. To do this, it is necessary to immediately output the picture selected by the user through the connected printer 300. Printing can be done using a commercial printer.

이때, 주의할 것은 출력되는 사진은 원격 서버(200)에 전송된 사진과 동일한 것을 출력해야 한다는 점이다. At this time, it is important to note that the output photo must be the same as the photo transmitted to the remote server 200.

원격 서버(200)는 모바일 단말(400)의 애플리케이션이 수집하는 사진과 동일한 것을 검색하고 그 사진과 연결된 동영상을 모바일 단말(400)의 애플리케이션에 전송하기 때문이다. This is because the remote server 200 searches for the same photos as the photos collected by the application of the mobile terminal 400 and transmits a video connected with the photos to the application of the mobile terminal 400.

이 일련의 작업을 용이하게 하려면 카메라(110), 터치형 디스플레이(130) 및 정보처리 단말(120)이 구비되는 촬영 장치(100)와 프린터(300)를 일체형의 기기로 만들 수도 있다. In order to facilitate this series of operations, the camera 110, the touch-type display 130, and the information processing terminal 120 may be provided with the photographing apparatus 100 and the printer 300 as an integrated device.

출력된 사진을 인식하고 동영상을 상영하는 단계(S340)는, 출력된 사진이 AR 형태의 동영상으로 전환되는 서비스를 제공하기 위해서는 모바일 단말(400)의 애플리케이션에서 사진을 인식하고, 인식한 사진과 동일한 사진을 원격 서버의 동영상-사진 연계 DB(210)에서 찾아야 한다. In the step of recognizing the output photo and screening the video (S340), in order to provide a service in which the output photo is converted into an AR-type video, the application of the mobile terminal 400 recognizes the photo and the same as the recognized photo. Photos must be found in the video-photo linking DB 210 of the remote server.

사진이 검색되면 해당 사진과 연결된 동영상을 모바일 단말(400)의 애플리케이션에서 내려 받아 해당 사진 부분을 동영상으로 상영한다. 사진이 화면의 일부를 점유하고 있으면 사진이 점유하고 있는 부분만을 동영상으로 전환시켜 줌으로써 AR 형태로 동영상을 상영한다. 전체 화면을 해당 동영상으로 상영하고 싶은 경우에는 화면 터치와 같은 추가적인 입력을 받아서 전환할 수도 있다. When a picture is searched, a video associated with the picture is downloaded from an application of the mobile terminal 400 and the picture portion is displayed as a video. If a photo occupies part of the screen, only the part occupied by the photo is converted into a video, and the video is displayed in AR form. If you want to show the entire screen as a corresponding video, you can switch it by receiving an additional input such as a screen touch.

3. 응용 서비스의 실시예3. Example of application service

본 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 시스템 및 방법을 이용하면, 동영상이 연계된 AR 명함, AR 청첩장, AR 앨범, AR 책자 및 AR 사진 등을 제작하고 상영할 수 있다.Using the AR photo production and screening system and method linked with video according to the present embodiment, it is possible to produce and screen AR business cards, AR wedding invitations, AR albums, AR booklets, AR photos, etc. linked with video.

도 5는 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법을 이용하여 동영상이 연계된 AR 명함의 ID를 자동 생성하는 과정의 설명에 제공된 도면이고, 도 6는 본 발명의 일 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 방법을 이용하여 동영상이 연계된 AR 청첩장의 ID를 자동 생성하는 과정의 설명에 제공된 도면이다. FIG. 5 is a view provided for explaining a process of automatically generating an ID of an AR business card linked to a video using a method for producing and screening an AR photo linked to a video according to an embodiment of the present invention, and FIG. 6 is a diagram of the present invention. A diagram provided for explaining a process of automatically generating an ID of an AR wedding invitation linked with a video using a method for producing and screening an AR photo linked with a video according to an exemplary embodiment.

구체적으로, 도 5는 명함에서 ID를 자동으로 추출하고 명함과 동영상을 연결시켜 원격 서버(200)에 저장되는 내용의 개념적 모습을 보여주고 있다. Specifically, FIG. 5 shows a conceptual view of contents stored in the remote server 200 by automatically extracting an ID from a business card and connecting a business card and a video.

도 5를 참조하면, AR 사진은 자신의 사진을 자신의 모바일 단말(400)의 애플리케이션을 통해서 인식하고 동영상으로 전환시키지만, 동영상과 연계된 AR 명함은 자신의 명함을 건네 받은 불특정 다수의 사람의 모바일 단말(400)의 애플리케이션이 해당 명함을 인식하고 연관된 동영상을 상영한다는 점에서 다르다. Referring to FIG. 5, AR photos recognize their photos through the application of their mobile terminal 400 and convert them into videos, but AR business cards linked to the video are mobile phones of a number of unspecified people who have handed their business cards. It is different in that the application of the terminal 400 recognizes the corresponding business card and displays a related video.

이를 위해 본 발명에서는 카메라(110)로 촬영된 명함의 ID를 이메일 주소나 전화번호, 이름과 같이 해당 명함을 특정할 수 있는 ID를 텍스트 인식을 통해서 자동으로 추출하고 명함과 촬영된 동영상을 연결하여 원격 서버(200)에 저장한다. 불특정 다수의 모바일 단말(400)의 애플리케이션에서는 마찬가지로 명함 사진에서 텍스트를 추출하고 ID를 파악하고 그것과 관련된 동영상을 상영할 수 있다. To this end, in the present invention, the ID of the business card photographed by the camera 110 is automatically extracted through text recognition, such as an email address, a phone number, and a name, which can identify the business card, and connects the business card and the photographed video. It is stored in the remote server 200. In the application of a number of unspecified mobile terminals 400, it is possible to extract text from a business card picture, identify an ID, and display a video related to it.

촬영 장치(100)는, 명함을 촬영하고, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 원격 서버(200)에 전송할 수 있다.The photographing device 100 may photograph a business card, and transmit a video to the remote server 200 by linking the captured or acquired video to the business card or an image included in the business card.

구체적으로, 촬영 장치(100)는, 명함을 촬영하는 경우, 사용자의 추가 조작 없이도, 명함에 기재된 문자를 인식하여, 이메일 주소, 이름, 전화번호가 포함된 ID 정보를 자동 생성하고, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시킨 데이터에 자동 생성된 ID 정보를 부가하여, 원격 서버(200)에 전송할 수 있다. Specifically, when photographing a business card, the photographing device 100 automatically generates ID information including an email address, name, and phone number by recognizing the characters written on the business card without additional manipulation of the user, and automatically generating the business card or business card. The automatically generated ID information may be added to the data associated with the captured or acquired video to the image included in the image and transmitted to the remote server 200.

모바일 단말(400)은, 원격 서버(200)에 저장된 명함 또는 명함에 포함된 이미지를 인식하면, 연계된 동영상을 제공받아 상영할 수 있다.When the mobile terminal 400 recognizes a business card stored in the remote server 200 or an image included in the business card, the mobile terminal 400 may receive and display a linked video.

구체적으로, 모바일 단말(400)은, 명함 인식 시, 명함에 기재된 문자를 인식하여, 인식 결과가 특정 ID 정보와 동일하면, 동일한 ID 정보가 부가되어 원격 서버(200)에 저장된 동영상을 제공받아 상영할 수 있다. Specifically, when recognizing a business card, the mobile terminal 400 recognizes a character written on the business card, and if the recognition result is the same as the specific ID information, the same ID information is added and the video stored in the remote server 200 is provided and screened. can do.

본 실시예에 따른 동영상이 연계된 AR 사진 제작 및 상영 시스템 및 방법은, 사진을 대체하여 명함을 촬영하는 단계를 추가할 수 있다. In the AR photo production and screening system and method in which a video is linked according to the present embodiment, a step of taking a business card by replacing the photo may be added.

기본적으로는 촬영 장치(100)가 명함을 인식하고, 텍스트를 추출할 수 있지만, 더 편리한 사용을 위하여 명함을 인식하고 텍스트를 추출하는 별도의 기기가 추가될 수도 있다. Basically, the photographing apparatus 100 may recognize a business card and extract text, but for more convenient use, a separate device for recognizing a business card and extracting text may be added.

단, 앞서 소개한 발명의 이메일 입력과 같은 ID 입력 단계에서 명함의 이메일 주소가 입력되는 경우에는 명함을 촬영하는 단계를 생략하는 것도 가능하다. However, when the email address of the business card is input in the ID input step such as the email input of the invention introduced above, it is possible to omit the step of photographing the business card.

이 경우에는 모바일 단말(400)의 애플리케이션에서 촬영된 명함에서 이메일을 추출하고 해당 이메일과 연결된 동영상을 상영하게 된다. In this case, an e-mail is extracted from a business card photographed by an application of the mobile terminal 400 and a video associated with the e-mail is displayed.

도 6은 청첩장에서 ID를 자동으로 추출하고 청첩장과 동영상을 연결시켜 원격 서버(200)에 저장되는 내용의 개념적 모습을 보여주고 있다.FIG. 6 shows a conceptual view of contents stored in the remote server 200 by automatically extracting an ID from a wedding invitation and linking the wedding invitation with a video.

도 6을 참조하면, 동영상과 연계된 청첩장도 본 발명과 유사하게 카메라(110)로 촬영된 청첩장에서 ID를 자동으로 추출하고 사진과 동영상을 연결시켜 원격 서버(200)에 저장함으로써, 모바일 단말(400)의 애플리케이션이 청첩장의 사진을 인식하면 해당 청첩장 사진과 연결되어 있는 동영상을 상영할 수 있다. Referring to FIG. 6, in a wedding invitation linked with a video, similar to the present invention, an ID is automatically extracted from a wedding invitation taken with a camera 110, and a photo and a video are linked and stored in the remote server 200, so that the mobile terminal ( If the application of 400) recognizes the photo of the wedding invitation, the video associated with the photo of the wedding invitation can be screened.

청첩장의 경우에는 전화번호나 이메일 주소가 생략되는 경우가 많다. 이 경우에는 신랑과 신부의 이름을 텍스트 인식을 통하여 자동으로 추출하고 ID로 사용하는 것이 효과적이다. In the case of wedding invitations, phone numbers or e-mail addresses are often omitted. In this case, it is effective to automatically extract the names of the bride and groom through text recognition and use them as IDs.

즉, 촬영 장치(100)는, 청첩장을 촬영하는 경우, 청첩장 또는 청첩장에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 연계 데이터를 생성하고, 청첩장에 기재된 문자를 인식하여, 신랑과 신부의 이름이 포함된 ID 정보를 자동 생성하며, 자동 생성된 ID 정보를 연계 데이터에 부가하여 원격 서버(200)에 전송할 수 있다.That is, when photographing a wedding invitation, the photographing device 100 generates linkage data by linking the video captured or acquired to the wedding invitation or the image included in the wedding invitation, and recognizes the characters written on the wedding invitation, and the names of the groom and the bride. The included ID information may be automatically generated, and the automatically generated ID information may be added to the associated data and transmitted to the remote server 200.

모바일 단말(400)은, 청첩장 인식 시, 청첩장에 기재된 문자를 인식하여, 인식 결과가 특정 ID 정보와 동일하면, 동일한 ID 정보가 부가되어 원격 서버(200)에 저장된 동영상을 제공받아 상영할 수 있다. When recognizing the wedding invitation, the mobile terminal 400 recognizes the characters written on the wedding invitation, and if the recognition result is the same as the specific ID information, the same ID information is added and the video stored in the remote server 200 may be provided and screened. .

다른 예를 들면, 본 동영상이 연계된 AR 사진 제작 및 상영 시스템 및 방법은, 기기가 출력하는 한 장의 AR 사진을 대상으로 사진과 동영상을 촬영하고 ID를 부가하여 원격 서버(200)에 저장하고 동영상을 상영할 수 있다. 이런 동영상이 연계된 AR 사진이 특정인의 ID로 누적되면 그러한 AR 사진을 모아서 앨범을 제작할 수 있다. For another example, the AR photo production and screening system and method in which the video is linked is to take a photo and video targeting a single AR photo output by the device, add an ID, and store the video in the remote server 200. Can be screened. When AR photos linked to these videos are accumulated with the ID of a specific person, such AR photos can be collected and an album can be produced.

이 경우에는 동일한 ID로 복수개의 사진이 존재하여 그러한 사진들을 사진 정보만을 가지고 구분하는 것이 필요하다. 문제는 앨범을 제작하는 과정에서 사진이 유사하여 구분이 되지 않은 경우가 발생할 수 있다. 이 경우에는 QR 코드 또는 마이크로 QR 코드와 같은 정보를 부가하여 유사한 사진이 구분될 수 있도록 함으로써, 사진의 식별력을 향상시킬 수 있다. In this case, there are a plurality of photos with the same ID, so it is necessary to classify those photos with only photo information. The problem is that in the process of producing an album, there may be cases where pictures are similar and thus cannot be distinguished. In this case, by adding information such as a QR code or a micro QR code so that similar photos can be distinguished, it is possible to improve the identification of the photos.

더불어, AR 사진들은, QR 코드 또는 마이크로 QR 코드의 위치가 테두리의 네 모서리 중 어느 하나에 배치되어, 사진의 미관을 저하시키는 문제를 예방할 수 있다. In addition, for AR photos, the location of the QR code or the micro QR code is disposed at any one of the four corners of the border, thereby preventing a problem that deteriorates the aesthetics of the photo.

또 다른 예를 들면, 촬영 장치(100)는, 책자를 촬영하는 경우, 책자에 포함되는 복수의 사진과 촬영되거나 획득된 동영상을 연계시키고 ID 정보를 부가하여, 원격 서버(200)에 전송할 수 있다. For another example, when photographing a book, the photographing device 100 may associate a plurality of pictures included in the book with a photographed or acquired video, add ID information, and transmit it to the remote server 200. .

즉, 사진을 포함하고 있는 책자의 경우에는 책자에 포함된 사진과 연계되는 동영상을 미리 설정하고, 동영상과 연계된 책자 제작 및 상영 시스템을 만들 수 있다. 이 경우에는 책자를 ID로 하여 탐색해야 하는 사진과 동영상을 특정 책자에 제한을 둠으로써 사진과 동영상의 탐색 공간을 줄일 수 있다. That is, in the case of a book including a picture, a video related to a picture included in the book may be set in advance, and a booklet production and screening system related to the video may be created. In this case, the search space for photos and videos can be reduced by limiting the photos and videos to be searched for in a specific book using the book as an ID.

또 다른 예를 들면, 촬영 장치(100)는, 사진 촬영 시, 촬영된 원본 사진에 AR 컨텐츠를 입힌 AR 사진을 생성하고, 원본 사진과 AR 사진 중 적어도 하나를 동영상에 연계시켜 원격 서버(200)에 전송할 수 있다. For another example, when taking a photo, the photographing device 100 generates an AR photo with AR content coated on the captured original photo, and associates at least one of the original photo and the AR photo with the video to the remote server 200 Can be transferred to.

이때, AR 사진은, 원본 사진에 담긴 사람과 원본 사진 속 현장에 없는 사람이 함께 자세를 취하는 모습이 담긴 사진 또는 원본 사진 속 현장과 다른 배경에서의 원본 사진에 담긴 사람의 모습이 담긴 사진일 수 있다. In this case, the AR photo may be a photo of a person in the original photo and a person who is not at the scene in the original photo posing together, or a photo of a person in the original photo in a different background from the site in the original photo. have.

사용자들은, 스티커 사진과 같이 오락적인 요소가 부가된 AR 사진을 생성하기 위해, 모바일 단말(400)의 애플리케이션을 통해, AR 컨텐츠를 생성하거나, 다운로드 받을 수 있다. Users may generate or download AR content through an application of the mobile terminal 400 in order to create an AR photo to which an entertainment element is added, such as a sticker photo.

구체적으로, 사용자들은, AR 사진에 포함되는 AR 컨텐츠를 원본 사진과 분리하고, ID 정보만을 부가하여 별도로 저장하거나, 다른 사용자들과 AR 컨텐츠를 공유할 수 있다. Specifically, users may separate AR content included in the AR photo from the original photo, add only ID information and store it separately, or share AR content with other users.

그리고 자신이 생성한 AR 컨텐츠를 다른 사용자들이 이용하는 경우, 이에 대한 비용을 지불하거나, 포인트가 적립되도록 하여, 사용자들의 AR 컨텐츠 생성을 활발하게 유도할 수 있다. In addition, when other users use AR content that they have created, they may pay a fee or accumulate points to induce users to actively generate AR content.

도 7은 본 발명의 다른 실시예에 따른 AR 사진 제작 및 상영 시스템의 설명에 제공된 도면이다. 구체적으로, 도 7은 원격에 위치한 원격 카메라(500)에서 촬영된 사진과 동영상을 사용자가 선택하여 출력하고 모바일 단말(400)의 애플리케이션을 통해서 사진을 인식하고 동영상을 상영하는 시스템이 도시된 도면이다. 7 is a diagram provided to explain an AR photo production and screening system according to another embodiment of the present invention. Specifically, FIG. 7 is a diagram illustrating a system in which a user selects and outputs a picture and a video taken by a remote camera 500 located remotely, recognizes a picture through an application of the mobile terminal 400, and displays a video. .

도 7을 참조하면, 본 실시예에 따른 AR 사진 제작 및 상영 시스템은, 촬영 장치(100) 내에 카메라(110)가 구비되지 않고, 통신부(150)를 통해 원격으로 설치된 원격 카메라(500)와 유선 또는 무선 네트워크로 연결되어, 원격으로 설치된 원격 카메라(500)를 통해 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버(200)에 전송할 수 있다. Referring to FIG. 7, in the AR photo production and screening system according to the present embodiment, a camera 110 is not provided in the photographing device 100, and a remote camera 500 and a wired remote camera 500 installed remotely through the communication unit 150 Alternatively, it is possible to link a video captured or acquired to a picture taken through a remote camera 500 that is connected to a wireless network and installed remotely, and transmits the video to the remote server 200.

예를 들면 놀이동산에서 놀이기구를 탈 때 촬영한 사진과 동영상을 다른 곳에 설치된 기기에서 출력하여 제공할 수 있다. For example, pictures and videos taken when riding on a playground equipment in an amusement park can be output and provided by a device installed in another place.

이 경우에도 사진과 동영상이 수집될 수 있다면, 사용자가 별도로 자신의 사진과 동영상을 찾고 ID를 할당하여, 촬영된 사진과 동영상을 사용자가 선택하여 출력하고, 원격 서버(200)에 전송하여 저장하도록 할 수 있다. Even in this case, if the photos and videos can be collected, the user separately finds their own photos and videos, assigns an ID, the user selects and outputs the captured photos and videos, and transmits them to the remote server 200 for storage. can do.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be understood individually from the technical spirit or prospect of the present invention.

100 : 촬영 장치
110 : 카메라
120 : 정보처리 단말
130 : 터치형 디스플레이
140 : 사진 출력구
150 : 통신부
200 : 원격 서버
210 : 동영상사진 연계 DB
300 : 프린터
400 : 모바일 단말
500 : 원격 카메라
100: photographing device
110: camera
120: information processing terminal
130: touch type display
140: photo output port
150: communication department
200: remote server
210: Video photo linkage DB
300: printer
400: mobile terminal
500: remote camera

Claims (15)

사진을 촬영하는 카메라; 및
카메라와 연결되어, 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버에 전송하는 정보처리 단말;을 포함하고,
정보처리 단말은,
촬영된 사진과 촬영되거나 획득된 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여, 원격 서버에 전송하며,
원격 서버에 저장된 데이터는,
별도로 마련되는 모바일 단말에 설치된 애플리케이션을 통해 사진이 인식되면, 인식된 사진과 연계된 동영상이 검색되어, 모바일 단말로 제공되고,
원격 서버는,
검색 작업의 부하가 경감되도록, 모바일 단말에 의해 사진이 인식되는 경우, 인식된 사진과 연계된 동영상이 검색되는 과정에서, 부가된 ID 정보와 관련된 사진 및 동영상만을 대상으로 검색을 수행하며,
정보처리 단말은,
사진 촬영 시, 촬영된 원본 사진에 AR 컨텐츠를 입힌 AR 사진을 생성하고, 원본 사진과 AR 사진 중 적어도 하나를 동영상에 연계시켜 원격 서버에 전송하고,
AR 사진은,
원본 사진에 담긴 사람과 원본 사진 속 현장에 없는 사람이 함께 자세를 취하는 모습이 담긴 사진 또는 원본 사진 속 현장과 다른 배경에서의 원본 사진에 담긴 사람의 모습이 담긴 사진이며,
사진의 식별력을 향상시키되, 사진의 미관을 저하시키는 문제를 예방하기 위해, QR 코드 또는 마이크로 QR 코드의 위치가 테두리의 네 모서리 중 어느 하나에 배치되고,
모바일 단말은,
AR 타입으로 동영상이 상영되도록, 인식된 사진과 연계된 동영상을 상영하는 경우, 사진이 출력되는 화면의 면적에 따라 화면을 점유하고 있는 영역만 동영상으로 전환되도록 하고,
촬영 장치는,
사진과 동영상 연계 시, 사진 또는 동영상을 선택하기 위한 UI/UX로 이용 가능하도록 마련되는 터치형 디스플레이;를 더 포함하며,
정보처리 단말은,
명함이 촬영되면, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 원격 서버에 전송하고,
정보처리 단말은,
명함이 촬영되는 경우, 사용자의 추가 조작 없이도, 명함에 기재된 문자를 인식하여, 이메일 주소, 이름, 전화번호가 포함된 ID 정보를 자동 생성하고, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시킨 데이터에 자동 생성된 ID 정보를 부가하여, 원격 서버에 전송하고,
정보처리 단말은,
청첩장이 촬영되는 경우, 청첩장 또는 청첩장에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 연계 데이터를 생성하고, 청첩장에 기재된 문자를 인식하여, 신랑과 신부의 이름이 포함된 ID 정보를 자동 생성하며, 자동 생성된 ID 정보를 연계 데이터에 부가하여 원격 서버에 전송하며,
정보처리 단말은,
책자가 촬영되는 경우, 책자에 포함되는 복수의 사진과 촬영되거나 획득된 동영상을 연계시키고 ID 정보를 부가하여, 원격 서버에 전송하고,
모바일 단말은,
AR 컨텐츠 생성 시, AR 사진에 포함되는 AR 컨텐츠를 원본 사진과 분리하고, ID 정보만을 부가하여 별도로 저장하고,
생성되어 별도로 저장되는 AR 컨텐츠는, 다른 사용자들의 모바일 단말에 공유 가능하고,
모바일 단말은,
생성되어 별도로 저장되는 AR 컨텐츠가 다른 사용자들의 모바일 단말을 통해 이용되는 경우, 포인트가 적립되도록 하는 것을 특징으로 하는 촬영 장치.
A camera for taking pictures; And
Including; an information processing terminal connected to the camera, linking the captured or acquired video to the captured picture, and transmitting it to a remote server,
The information processing terminal,
Adds the user's ID information to the data linking the captured photo and the captured or acquired video, and transmits it to a remote server,
Data stored on the remote server,
When a photo is recognized through an application installed on a separate mobile terminal, a video associated with the recognized photo is searched and provided to the mobile terminal,
The remote server,
In order to reduce the load of the search operation, when a photo is recognized by a mobile terminal, a search is performed only for photos and videos related to the added ID information in the process of searching for a video associated with the recognized photo,
The information processing terminal,
When taking a photo, an AR photo is created with AR content coated on the original photo taken, and at least one of the original photo and AR photo is linked to the video and transmitted to a remote server,
AR photo,
It is a photo of a person in the original photo and a person who is not at the site in the original photo posing together, or a photo of a person in the original photo in a background different from the site in the original photo.
In order to improve the identification of the photo, but prevent the problem of deteriorating the aesthetics of the photo, the location of the QR code or micro QR code is placed at any one of the four corners of the border,
The mobile terminal,
In the case of screening a video linked to a recognized photo so that the video is displayed in AR type, only the area occupying the screen is converted into a video according to the area of the screen on which the photo is displayed.
The photographing device,
A touch-type display provided to be used as a UI/UX for selecting a photo or a video when linking a photo and a video; further includes,
The information processing terminal,
When a business card is photographed, it is transmitted to a remote server by linking the captured or acquired video to the business card or the image included in the business card,
The information processing terminal,
When a business card is photographed, ID information including an e-mail address, name, and phone number is automatically generated by recognizing characters written on the business card without any additional manipulation by the user, and a video recorded or acquired on the business card or the image included in the business card The automatically generated ID information is added to the data linked to and transmitted to the remote server,
The information processing terminal,
When a wedding invitation is photographed, linked data is created by linking the video captured or acquired to the wedding invitation or the image included in the wedding invitation, and ID information including the names of the groom and the bride is automatically generated by recognizing the characters written on the wedding invitation. , Adds automatically generated ID information to the linked data and transmits it to the remote server,
The information processing terminal,
When a booklet is photographed, a plurality of pictures included in the booklet are linked with a captured or acquired video, ID information is added, and transmitted to a remote server,
The mobile terminal,
When creating AR content, the AR content included in the AR photo is separated from the original photo, and only ID information is added and stored separately,
AR content that is created and stored separately can be shared on mobile terminals of other users,
The mobile terminal,
When the generated and separately stored AR content is used through the mobile terminals of other users, the photographing device, characterized in that to accumulate points.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
촬영 장치는,
프린터와 일체형 기기로 구현되는 것을 특징으로 하는 촬영 장치.
The method according to claim 1,
The photographing device,
A photographing apparatus, characterized in that implemented as an integrated device with a printer.
청구항 1에 있어서,
촬영 장치는,
원격으로 설치된 카메라와 유선 또는 무선 네트워크로 연결되어, 원격으로 설치된 카메라를 통해 촬영된 사진에 촬영되거나 획득된 동영상을 연계시키고, 원격 서버에 전송하는 것을 특징으로 하는 촬영 장치.
The method according to claim 1,
The photographing device,
A photographing apparatus, characterized in that it is connected to a remotely installed camera through a wired or wireless network, links a video captured or acquired to a picture taken through a remotely installed camera, and transmits the video to a remote server.
촬영 장치가, 사진을 촬영하는 단계; 및
촬영 장치가, 촬영된 사진과 촬영 또는 획득된 동영상을 연계시켜 원격 서버에 전송하고 저장하는 단계;를 포함하고,
전송하고 저장하는 단계는,
촬영된 사진과 촬영되거나 획득된 동영상을 연계시킨 데이터에 사용자의 ID 정보를 부가하여, 원격 서버에 전송하며,
원격 서버에 저장된 데이터는,
별도로 마련되는 모바일 단말에 설치된 애플리케이션을 통해 사진이 인식되면, 인식된 사진과 연계된 동영상이 검색되어, 모바일 단말로 제공되고,
원격 서버는,
검색 작업의 부하가 경감되도록, 모바일 단말에 의해 사진이 인식되는 경우, 인식된 사진과 연계된 동영상이 검색되는 과정에서, 부가된 ID 정보와 관련된 사진 및 동영상만을 대상으로 검색을 수행하며,
전송하고 저장하는 단계는,
사진 촬영 시, 촬영된 원본 사진에 AR 컨텐츠를 입힌 AR 사진을 생성하고, 원본 사진과 AR 사진 중 적어도 하나를 동영상에 연계시켜 원격 서버에 전송하고,
AR 사진은,
원본 사진에 담긴 사람과 원본 사진 속 현장에 없는 사람이 함께 자세를 취하는 모습이 담긴 사진 또는 원본 사진 속 현장과 다른 배경에서의 원본 사진에 담긴 사람의 모습이 담긴 사진이며,
사진의 식별력을 향상시키되, 사진의 미관을 저하시키는 문제를 예방하기 위해, QR 코드 또는 마이크로 QR 코드의 위치가 테두리의 네 모서리 중 어느 하나에 배치되고,
모바일 단말은,
AR 타입으로 동영상이 상영되도록, 인식된 사진과 연계된 동영상을 상영하는 경우, 사진이 출력되는 화면의 면적에 따라 화면을 점유하고 있는 영역만 동영상으로 전환되도록 하고,
전송하고 저장하는 단계는,
사진 또는 동영상을 선택하기 위한 UI/UX로 이용 가능하도록, 촬영 장치에 마련되는 터치형 디스플레이를 이용하여 사진과 동영상을 연계 시키고,
전송하고 저장하는 단계는,
명함이 촬영되면, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 원격 서버에 전송하고,
전송하고 저장하는 단계는,
명함이 촬영되는 경우, 사용자의 추가 조작 없이도, 명함에 기재된 문자를 인식하여, 이메일 주소, 이름, 전화번호가 포함된 ID 정보를 자동 생성하고, 명함 또는 명함에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시킨 데이터에 자동 생성된 ID 정보를 부가하여, 원격 서버에 전송하고,
전송하고 저장하는 단계는,
청첩장이 촬영되는 경우, 청첩장 또는 청첩장에 포함된 이미지에 촬영되거나 획득된 동영상을 연계시켜 연계 데이터를 생성하고, 청첩장에 기재된 문자를 인식하여, 신랑과 신부의 이름이 포함된 ID 정보를 자동 생성하며, 자동 생성된 ID 정보를 연계 데이터에 부가하여 원격 서버에 전송하며,
전송하고 저장하는 단계는,
책자가 촬영되는 경우, 책자에 포함되는 복수의 사진과 촬영되거나 획득된 동영상을 연계시키고 ID 정보를 부가하여, 원격 서버에 전송하고,
모바일 단말은,
AR 컨텐츠 생성 시, AR 사진에 포함되는 AR 컨텐츠를 원본 사진과 분리하고, ID 정보만을 부가하여 별도로 저장하고,
생성되어 별도로 저장되는 AR 컨텐츠는, 다른 사용자들의 모바일 단말에 공유 가능하고,
모바일 단말은,
생성되어 별도로 저장되는 AR 컨텐츠가 다른 사용자들의 모바일 단말을 통해 이용되는 경우, 포인트가 적립되도록 하는 것을 특징으로 하는 동영상이 연계된 AR 사진 제작 및 상영 방법.
A step of taking, by a photographing device, a picture; And
Including, by the photographing device, transmitting and storing the photographed photo and the photographed or acquired video in association with the remote server
The steps to transfer and save are:
Adds the user's ID information to the data linking the captured photo and the captured or acquired video, and transmits it to a remote server,
Data stored on the remote server,
When a photo is recognized through an application installed on a separate mobile terminal, a video associated with the recognized photo is searched and provided to the mobile terminal,
The remote server,
In order to reduce the load of the search operation, when a photo is recognized by a mobile terminal, a search is performed only for photos and videos related to the added ID information in the process of searching for a video associated with the recognized photo,
The steps to transfer and save are:
When taking a photo, an AR photo is created with AR content coated on the original photo taken, and at least one of the original photo and AR photo is linked to the video and transmitted to a remote server,
AR photo,
It is a photo of a person in the original photo and a person who is not at the site in the original photo posing together, or a photo of a person in the original photo in a background different from the site in the original photo.
In order to improve the identification of the photo, but prevent the problem of deteriorating the aesthetics of the photo, the location of the QR code or micro QR code is placed at any one of the four corners of the border,
The mobile terminal,
In the case of screening a video linked to a recognized photo so that the video is displayed in AR type, only the area occupying the screen is converted into a video according to the area of the screen on which the photo is displayed.
The steps to transfer and save are:
In order to be used as a UI/UX for selecting a photo or video, a photo and a video are linked using a touch-type display provided in the photographing device,
The steps to transfer and save are:
When a business card is photographed, it is transmitted to a remote server by linking the captured or acquired video to the business card or the image included in the business card,
The steps to transfer and save are:
When a business card is photographed, ID information including an e-mail address, name, and phone number is automatically generated by recognizing characters written on the business card without any additional manipulation by the user, and a video recorded or acquired on the business card or the image included in the business card The automatically generated ID information is added to the data linked to and transmitted to the remote server,
The steps to transfer and save are:
When a wedding invitation is photographed, linked data is created by linking the video captured or acquired to the wedding invitation or the image included in the wedding invitation, and ID information including the names of the groom and the bride is automatically generated by recognizing the characters written on the wedding invitation. , Adds automatically generated ID information to the linked data and transmits it to the remote server,
The steps to transfer and save are:
When a booklet is photographed, a plurality of pictures included in the booklet are linked with a captured or acquired video, and ID information is added, and then transmitted to a remote server,
The mobile terminal,
When creating AR content, the AR content included in the AR photo is separated from the original photo, and only ID information is added and stored separately,
AR content that is created and stored separately can be shared on mobile terminals of other users,
The mobile terminal,
AR photo production and screening method associated with a video, characterized in that when the generated and separately stored AR content is used through a mobile terminal of other users, points are accumulated.
KR1020190149619A 2019-11-20 2019-11-20 System for making and showing of augmented reality photos connected with video clips KR102237940B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190149619A KR102237940B1 (en) 2019-11-20 2019-11-20 System for making and showing of augmented reality photos connected with video clips

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190149619A KR102237940B1 (en) 2019-11-20 2019-11-20 System for making and showing of augmented reality photos connected with video clips

Publications (1)

Publication Number Publication Date
KR102237940B1 true KR102237940B1 (en) 2021-04-08

Family

ID=75480541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190149619A KR102237940B1 (en) 2019-11-20 2019-11-20 System for making and showing of augmented reality photos connected with video clips

Country Status (1)

Country Link
KR (1) KR102237940B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525409B1 (en) * 2014-02-19 2015-06-09 동명대학교산학협력단 Augmented method of contents using image-cognition modules
KR20150094849A (en) * 2014-02-11 2015-08-20 전주대학교 산학협력단 Method, mobile device and computer-readable medium for generating video-based customized contents
KR20150141283A (en) * 2014-06-09 2015-12-18 한상선 Goods augmented reality system
KR101613438B1 (en) * 2015-04-21 2016-04-19 정지연 System for augmented reality contents and method of the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150094849A (en) * 2014-02-11 2015-08-20 전주대학교 산학협력단 Method, mobile device and computer-readable medium for generating video-based customized contents
KR101525409B1 (en) * 2014-02-19 2015-06-09 동명대학교산학협력단 Augmented method of contents using image-cognition modules
KR20150141283A (en) * 2014-06-09 2015-12-18 한상선 Goods augmented reality system
KR101613438B1 (en) * 2015-04-21 2016-04-19 정지연 System for augmented reality contents and method of the same

Similar Documents

Publication Publication Date Title
US9538019B2 (en) Proactive creation of photo products
US8811775B1 (en) Visualizing digital images on a map
JP4924721B2 (en) Mobile terminal and material bank management system
US10459968B2 (en) Image processing system and image processing method
JP5667069B2 (en) Content management apparatus, content management method, content management program, and integrated circuit
EP2549390A1 (en) Data processing device and data processing method
JP2003298991A (en) Image arranging method and apparatus, and program
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
JP4706844B2 (en) Album creating system, server, album creating method and program
KR20130108535A (en) Image imformation processing server
WO2017168978A1 (en) Content management apparatus and content request program
JP2013097579A (en) Information providing system, information providing method and program
CN113014832B (en) Image editing system and image editing method
US20120290907A1 (en) Method and system for associating synchronized media by creating a datapod
KR102237940B1 (en) System for making and showing of augmented reality photos connected with video clips
JP2020184165A (en) Imaged data provision system
KR101231156B1 (en) System for managing picture folder using quick response code and method thereof
CN105119954A (en) File transmission method, apparatus and system
KR101837030B1 (en) Guest book service system using interactive display device
JP7263791B2 (en) Display system and captured image display method
JP6518280B2 (en) IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM
JP2005243018A (en) Information storage system
KR100589079B1 (en) Multi media memory card transfer and printing system
JP6936471B2 (en) Community maintenance and activation system
US20140279273A1 (en) Method and System for Multimedia Distribution

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant