KR20230056093A - A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis - Google Patents

A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis Download PDF

Info

Publication number
KR20230056093A
KR20230056093A KR1020210139128A KR20210139128A KR20230056093A KR 20230056093 A KR20230056093 A KR 20230056093A KR 1020210139128 A KR1020210139128 A KR 1020210139128A KR 20210139128 A KR20210139128 A KR 20210139128A KR 20230056093 A KR20230056093 A KR 20230056093A
Authority
KR
South Korea
Prior art keywords
image
ghost
sequence
user terminal
ghost image
Prior art date
Application number
KR1020210139128A
Other languages
Korean (ko)
Inventor
원용광
이재영
Original Assignee
(주)브레인키즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)브레인키즈 filed Critical (주)브레인키즈
Priority to KR1020210139128A priority Critical patent/KR20230056093A/en
Publication of KR20230056093A publication Critical patent/KR20230056093A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a technological idea for generating a ghost image generated by extracting only the motion of an object from a reference image for image comparison analysis. An image generating method according to an embodiment comprises the steps of: uploading, by a user terminal, the file or link information of a reference image including the continuous motion of an object to a server; generating, by the server, a ghost image, which is at least one image generated by extracting, from the background, only the pose of the object identified for each sequence in the reference image collected from the file or the link information; and providing, by the server, the generated ghost image to the user terminal. Therefore, the comparing efficiency of images can be increased.

Description

영상비교분석을 위해, 시퀀스별로 구분되는 적어도 하나 이상의 정지영상을 포함하는 고스트영상을 생성하는 시스템 및 방법{A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis}A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis}

본 발명은 영상비교분석을 위해 참조영상으로부터 오브젝트의 움직임만을 추출한 고스트영상을 생성하는 전체 시스템 및 동작 방법에 관한 것이다.The present invention relates to an overall system and operation method for generating a ghost image obtained by extracting only motion of an object from a reference image for image comparative analysis.

프로운동선수들은 전문적인 영상장비들을 이용하여 운동영상을 촬영하고, 촬영한 자신의 운동영상을 리뷰하는 과정을 반복한다.Professional athletes use professional imaging equipment to film exercise videos and repeat the process of reviewing their own motion pictures.

이러한 리뷰과정에서, 참조가 되는 영상들과 시퀀스별 구분 동작으로 비교하고 부족한 움직임들을 보완해 나가기도 한다.In this review process, comparisons are made between reference images and sequence-by-sequence motions, and insufficient motions are supplemented.

한편 동호회 수준의 일반인들 역시 프로운동선수들과 유사하게, 휴대폰 등의 장비를 통해 자신의 운동영상을 촬영한 후 리뷰하는 과정을 반복할 수 있다.Meanwhile, similar to professional athletes, ordinary people at the level of clubs can also repeat the process of reviewing after filming their own exercise videos through equipment such as mobile phones.

마찬가지로 이러한 과정에서, 참조가 되는 영상들과 대비하면서 시퀀스별로 자신의 동작과 참고가 되는 영상 내의 동작을 비교하면서 올바르게 고쳐나가는 리뷰 과정을 반복한다.Similarly, in this process, the review process of correcting correctly is repeated while comparing its motion with the motion in the reference video for each sequence while contrasting with the reference images.

이러한 과정에서 프로운동선수들뿐만 아니라 일반인들은 자신의 영상과, 참조영상을 나란히 플레이 하거나, 서로 다른 시간에 재생하여 비교하는 식으로 리뷰 과정을 진행하고 있다.In this process, not only professional athletes but also the general public proceed with the review process by playing their own videos and reference videos side by side or playing them back at different times for comparison.

도 1은 골프 스윙에 대한 리뷰를 위해, 두 영상을 나란히 비교하는 종래의 방법을 설명하는 도면이다.1 is a diagram illustrating a conventional method of comparing two images side by side for review of a golf swing.

도면부호 110은 자신(제1 오브젝트, 111)의 스윙이 촬영된 원본영상이고, 도면부호 120는 참조가 될 수 있는 프로선수(제2 오브젝트)의 스윙이 촬영된 참조영상에 해당한다.Reference numeral 110 denotes an original image in which the swing of oneself (the first object, 111) is photographed, and reference numeral 120 corresponds to a reference image in which the swing of a professional player (the second object) is photographed.

사용자단말기에 재생명령을 입력하면, 원본영상(110)과 참조영상(120)은 동시에 플레이되고, 사용자는 제1 오브젝트(111)의 스윙과 제2 오브젝트(121)의 스윙을 비교하면서 리뷰하는 방식으로 진행하였다.When a playback command is input to the user terminal, the original video 110 and the reference video 120 are simultaneously played, and the user compares and reviews the swing of the first object 111 and the swing of the second object 121. proceeded to

이러한 리뷰 방식은 서로 다른 프레임으로 재생되는 영상을 번갈아가며 확인해야 하므로 영상비교가 매우 비효율적인 단점이 있다. 또한, 서로 다른 영상을 각자의 프레임으로 재생해야 하는 점에서 시스템 자원이 낭비되는 문제도 존재한다.This review method has a disadvantage in that image comparison is very inefficient because it is necessary to alternately check images reproduced in different frames. In addition, there is a problem in that system resources are wasted in that different images must be reproduced in their respective frames.

한국공개특허 제10-2008-0045359호 "체격 조건과 스윙 아크 및 스피드의 실시간 분석을 통한쌍방향 온라인 골프 게임 서비스 방법 및 그 기록매체"Korean Patent Publication No. 10-2008-0045359 "Interactive online golf game service method and recording medium through real-time analysis of physical condition, swing arc and speed" 한국등록특허 제10-2010236호 "동영상 비교 방법 및 이를 이용한 동영상 비교 시스템"Korean Registered Patent No. 10-2010236 "Video   comparison   method and video   comparison   system using the same"

본 발명은 하나의 영상 내에서 관심있는 두 개 이상의 오브젝트에 대한 움직임을 시퀀스별로 비교함으로써, 영상의 비교 효율을 높이는 것을 목적으로 한다.An object of the present invention is to increase image comparison efficiency by comparing the motions of two or more objects of interest in one image by sequence.

본 발명은 단일 프레임만을 재생함으로써 시스템 자원의 낭비를 예방하는 것을 목적으로 한다.An object of the present invention is to prevent waste of system resources by reproducing only a single frame.

일실시예에 따른 영상생성방법은 사용자단말기에서, 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일 또는 링크정보를 서버로 업로드 하는 단계, 상기 서버에서, 상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하는 단계, 상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계를 포함할 수 있다.An image generating method according to an embodiment includes the steps of uploading, in a user terminal, a file or link information for a reference image including continuous motion of an object to a server, a reference image collected from the file or link information in the server. generating a ghost image in which only the poses of the objects classified by sequence are at least one or more images extracted from the background, and providing the created ghost image to the user terminal by the server. .

일실시예에 따른 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계는, 상기 생성된 고스트영상이 저장된 링크정보를 푸쉬 알림 방식으로 상기 사용자단말기로 제공하는 단계를 포함할 수 있다.The providing of the generated ghost image to the user terminal may include providing link information in which the generated ghost image is stored to the user terminal in a push notification method.

일실시예에 따른 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계는, 상기 생성된 고스트영상의 파일을 푸쉬 알림 방식으로 상기 사용자단말기로 전송하는 단계를 포함할 수 있다.Providing the generated ghost image to the user terminal may include transmitting a file of the generated ghost image to the user terminal using a push notification method.

일실시예에 따른 영상생성방법은 상기 사용자단말기에서, 제2 오브젝트의 연속된 움직임이 포함된 원본영상을 저장하는 단계, 상기 서버로부터 제1 오브젝트에 대한 고스트영상을 수신하는 단계, 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계를 더 포함할 수 있다.An image generating method according to an embodiment includes storing an original image including a continuous motion of a second object in the user terminal, receiving a ghost image of a first object from the server, and adding the original image to the original image. The method may further include displaying a comparison image overlapping at least a portion of the ghost image.

일실시예에 따른 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는, 상기 원본영상에 대비하여 상기 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계, 및 상기 투명도 또는 색온도가 조절된 고스트영상을 상기 원본영상에 오버랩하여 표시하는 단계를 포함할 수 있다.The displaying of a comparison image by overlapping at least a portion of the ghost image with the original image may include adjusting at least one of transparency or color temperature of the ghost image differently from that of the original image. and displaying the ghost image, the transparency or color temperature of which is adjusted, by overlapping the original image.

일실시예에 따른 상기 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계는, 사용자로부터 수신된 제어정보에 기초하여 상기 원본영상 대비 상기 고스트영상에 대한 투명도 또는 색온도를 조절하는 단계를 포함할 수 있다.Adjusting at least one of transparency or color temperature of the ghost image differently according to an embodiment includes adjusting transparency or color temperature of the ghost image compared to the original image based on control information received from a user. can do.

일실시예에 따른 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계는, 인공지능 알고리즘을 이용하여 상기 원본영상 대비 상기 고스트영상에 대한 투명도 또는 색온도를 자동 조절하는 단계를 포함할 수 있다.Adjusting at least one of transparency or color temperature of the ghost image differently according to an embodiment may include automatically adjusting transparency or color temperature of the ghost image compared to the original image using an artificial intelligence algorithm. .

일실시예에 따른 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는, 상기 고스트영상의 시퀀스에 매칭되는 적어도 하나 이상의 썸네일 아이콘을 상기 비교영상에 추가하고, 상기 적어도 하나 이상의 썸네일 아이콘 중에서 특정 썸네일 아이콘이 선택되는 경우, 상기 선택된 특정 썸네일 아이콘에 매칭되는 시퀀스에 해당하는 비교영상이 표시되도록 처리하는 단계를 포함할 수 있다.The displaying of a comparison image in which at least a portion of the ghost image overlaps with the original image may include adding at least one thumbnail icon matching a sequence of the ghost image to the comparison image, and When a specific thumbnail icon is selected from among at least one or more thumbnail icons, a step of displaying a comparison image corresponding to a sequence matching the selected specific thumbnail icon may be included.

일실시예에 따른 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는, 상기 제1 오브젝트의 연속된 움직임에 대한 시퀀스와, 상기 제2 오브젝트의 시퀀스를 매칭시켜 동기화를 처리하는 단계, 및 상기 시퀀스가 매칭된 상기 제1 오브젝트 및 상기 제2 오브젝트를 오버랩한 비교영상을 표시하도록 처리하는 단계를 포함할 수 있다.In the processing to display a comparison image in which at least a portion of the ghost image overlaps with the original image, a sequence of continuous motion of the first object is matched with a sequence of the second object. It may include processing synchronization, and displaying a comparison image in which the first object and the second object in which the sequence is matched overlap each other.

일실시예에 따른 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는, 상기 제1 오브젝트의 연속된 움직임에 대한 시퀀스별 시간간격을 추출하는 단계, 상기 제2 오브젝트의 시퀀스별 시간간격을 추출하는 단계, 상기 제2 오브젝트의 시퀀스별 시간간격을 기준으로 상기 제1 오브젝트의 시퀀스별 시간간격의 차이값을 상기 비교영상 내에서 표시하도록 처리하는 단계를 포함할 수 있다.The processing to display a comparison image in which at least a portion of the ghost image overlaps with the original image may include extracting a time interval for each sequence of the continuous movement of the first object, and the second object. Extracting time intervals for each sequence of objects, and displaying a difference value of time intervals for each sequence of the first object based on the time interval for each sequence of the second object in the comparison image. there is.

일실시예에 따른 영상생성시스템은 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일을 업로드 하거나, 상기 참조영상에 대한 링크정보를 전송하는 사용자단말기, 및 상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하고, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 서버를 포함할 수 있다.An image generation system according to an embodiment includes a user terminal for uploading a file for a reference image including continuous motion of an object or transmitting link information for the reference image, and a reference image collected from the file or link information. may include a server that generates a ghost image, which is at least one image extracted from a background of only the poses of the objects classified by sequence, and provides the generated ghost image to the user terminal.

일실시예에 따른 서버는 상기 생성된 고스트영상이 저장된 링크정보 또는 상기 생성된 고스트영상의 파일을 푸쉬 알림 방식으로 상기 사용자단말기로 제공할 수 있다.According to an embodiment, the server may provide link information in which the generated ghost image is stored or a file of the generated ghost image to the user terminal using a push notification method.

일실시예에 따른 사용자단말기는 제2 오브젝트의 연속된 움직임이 포함된 원본영상을 저장하고, 상기 서버로부터 제1 오브젝트에 대한 고스트영상을 수신하며, 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리할 수 있다.A user terminal according to an embodiment stores an original image including continuous motion of a second object, receives a ghost image of a first object from the server, and overlaps at least a portion of the ghost image with the original image. It can be processed to display a comparison image.

일실시예에 따른 영상생성 프로그램은 기록매체에 저장되는 영상생성 프로그램으로서, 상기 영상생성 프로그램은 컴퓨팅 시스템에서 실행되고, 사용자단말기에서, 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일 또는 링크정보를 서버로 업로드 하는 명령어세트, 상기 서버에서, 상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하는 명령어세트, 및 상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 명령어세트를 포함할 수 있다.An image generating program according to an embodiment is an image generating program stored in a recording medium, and the image generating program is executed in a computing system and, in a user terminal, file or link information for a reference image including continuous movement of an object. A command set for uploading to a server, a command set for generating a ghost image, which is at least one image extracted from a background of only the pose of the object identified by sequence in the reference image collected from the file or link information in the server. , and a command set for providing the generated ghost image to the user terminal in the server.

일실시예에 따르면, 하나의 영상 내에서 관심있는 두 개 이상의 오브젝트에 대한 움직임을 시퀀스별로 비교함으로써, 영상의 비교 효율을 높일 수 있다.According to an embodiment, by comparing motions of two or more objects of interest in one image for each sequence, image comparison efficiency may be increased.

일실시예에 따르면, 단일 프레임만을 재생함으로써 시스템 자원의 낭비를 예방할 수 있다.According to one embodiment, it is possible to prevent waste of system resources by reproducing only a single frame.

도 1a는 골프 스윙에 대한 리뷰를 위해, 두 영상을 나란히 비교하는 종래의 방법을 설명하는 도면이다.
도 1b는 본 발명의 일실시예에 따른 원본영상에 고스트영상을 오버랩한 비교영상을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상생성시스템을 설명하는 도면이다.
도 3a 및 3b는 일실시예에 따른 영상생성시스템에서 생성되는 고스트영상을 설명하는 도면이다.
도 4는 시퀀스별로 구분되는 서로 다른 포즈로 생성된 고스트영상을 설명하는 도면이다.
도 5는 일실시예에 따른 영상생성시스템에서 원본영상에 고스트영상을 오버랩하여 비교영상을 생성하는 실시예를 설명하는 도면이다.
도 6은 일실시예에 따른 영상생성시스템에서 원본영상에 고스트영상을 그대로 오버랩하여 비교영상을 생성하는 실시예를 설명하는 도면이다.
도 7은 서로 다른 투명도의 고스트영상이 오버랩된 비교영상들을 설명하는 도면이다.
도 8은 서로 다른 색온도의 고스트영상이 오버랩된 비교영상들을 설명하는 도면이다.
도 9는 비교영상 내에 고스트영상의 썸네일이 포함된 실시예를 설명하는 도면이다.
도 10은 본 발명의 일실시예에 따른 영상생성방법을 설명하는 도면이다.
1A is a diagram illustrating a conventional method of comparing two images side by side for review of a golf swing.
1B is a diagram showing a comparison image obtained by overlapping a ghost image with an original image according to an embodiment of the present invention.
2 is a diagram illustrating an image generating system according to an embodiment of the present invention.
3A and 3B are diagrams illustrating a ghost image generated by an image generating system according to an exemplary embodiment.
4 is a diagram illustrating ghost images generated in different poses classified by sequence.
5 is a diagram for explaining an embodiment in which a comparison image is generated by overlapping a ghost image with an original image in an image generating system according to an embodiment.
6 is a diagram for explaining an embodiment in which a comparison image is generated by overlapping a ghost image as it is with an original image in an image generating system according to an embodiment.
7 is a diagram illustrating comparison images in which ghost images of different transparency overlap each other.
8 is a diagram illustrating comparison images in which ghost images of different color temperatures overlap each other.
9 is a diagram for explaining an embodiment in which a thumbnail of a ghost image is included in a comparison image.
10 is a diagram explaining an image generating method according to an embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only illustrated for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention These may be embodied in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosures, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Expressions describing the relationship between components, such as "between" and "directly between" or "directly adjacent to" should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these examples. Like reference numerals in each figure indicate like elements.

본 발명은 자세를 비교하기 위한 리뷰에 사용될 수 있고, 테니스, 골프, 축구, 스포츠댄스 등의 다양한 분야에서 활용될 수 있다.The present invention can be used for review to compare postures, and can be utilized in various fields such as tennis, golf, soccer, and sports dance.

이하에서는, 골프에 사용되는 실시예들을 통해 본 발명의 특징적 구성들을 설명한다.Hereinafter, the characteristic configurations of the present invention will be described through embodiments used in golf.

도 1b는 본 발명의 일실시예에 따른 원본영상(110)에 고스트영상(121)을 오버랩한 비교영상(110)을 도시한 도면이다.1B is a diagram showing a comparison image 110 in which a ghost image 121 overlaps an original image 110 according to an embodiment of the present invention.

원본영상(110)은 제1 오브젝트(111)를 포함하고, 고스트영상은 참조영상(120)에서 제2 오브젝트만을 추출한 영상으로 해석될 수 있다.The original image 110 includes the first object 111, and the ghost image may be interpreted as an image obtained by extracting only the second object from the reference image 120.

본 명세서 상에서 제1 오브젝트는 원본영상에서 일련의 움직임을 나타내는 대상체를 의미하고, 구체적인 예로는 프로선수들의 동작에 대비하여 교정해 보려는 일반인을 의미한다. 또한, 제2 오브젝트는 참조영상에 포함된 대상체를 의미하고 구체적으로는 일반인에 대비되는 프로선수를 의미할 수 있다.In this specification, the first object means an object that represents a series of movements in an original image, and as a specific example, it means an ordinary person trying to correct the motions of professional players. In addition, the second object means an object included in the reference image, and may specifically mean a professional player compared to a normal person.

본 발명에 따른 비교영상(110)은 원본영상(110)의 프레임을 기본으로 하고, 따라서 원본영상(110)에 포함된 배경 등을 그대로 포함할 수 있다.The comparison image 110 according to the present invention is based on the frame of the original image 110, and thus may include the background included in the original image 110 as it is.

원본영상(110)의 제1 오브젝트(111)는 서로 구분되는 연속된 동작을 수행할 수 있고, 각각의 동작들 중에서 유의미한 동작이 시퀀스로 구분될 수 있다.The first object 111 of the original image 110 may perform distinct and continuous motions, and among the respective motions, significant motions may be classified as sequences.

예를 들어, 원본영상(110)에서 제1 오브젝트(111)의 움직임에 따라 어드레스, 테이크백, 하프스윙, 테이크백, 임팩트, 팔로우스루 등의 시점을 각각의 시퀀스로 지정할 수 있다.For example, according to the movement of the first object 111 in the original video 110, viewpoints such as address, takeback, half swing, takeback, impact, and follow-through may be designated as respective sequences.

한편, 고스트영상(121)은 참조영상(120)의 여러 시퀀스들에서 저장된 정지영상으로 해석될 수 있다. 예를 들어, 참조영상(120)도 원본영상(110)과 마찬가지로 제2 오브젝트(121)의 움직임에 따라 어드레스, 테이크백, 하프스윙, 테이크백, 임팩트, 팔로우스루 등의 시점을 각각의 시퀀스로 지정할 수 있다. 또한, 지정된 어드레스, 테이크백, 하프스윙, 테이크백, 임팩트, 팔로우스루 등의 시퀀스에서 캡쳐된 정지영상에서 제2 오브젝트의 이미지(121)만을 추출하여 고스트영상을 생성할 수 있다.Meanwhile, the ghost image 121 may be interpreted as a still image stored in several sequences of the reference image 120 . For example, the reference image 120, like the original image 110, may display viewpoints such as address, takeback, half swing, takeback, impact, and follow-through as sequences according to the movement of the second object 121. can be specified. In addition, a ghost image may be generated by extracting only the image 121 of the second object from a still image captured in a sequence such as a designated address, takeback, half swing, takeback, impact, and follow-through.

고스트영상을 생성하기 위한 특정 시퀀스들은 사용자가 직접 입력할 수도 있고, 빅데이터 분석을 통한 기계학습 알고리즘을 통해 설정할 수도 있다.Specific sequences for generating ghost images may be directly input by the user or set through a machine learning algorithm through big data analysis.

도 1a에서는 도면부호 121이 제2 오브젝트를 의미 하나, 도 1b에서는 제2 오브젝트만을 추출하여 생성한 이미지인 고스트영상을 식별한다.In FIG. 1A, reference numeral 121 denotes a second object, but in FIG. 1B, a ghost image, which is an image created by extracting only the second object, is identified.

도면부호 110은 시퀀스를 고려하여 원본영상(110)에 고스트영상(121)을 오버랩하여 표시한 비교영상(110)을 나타낸 것으로서, 임팩스 시퀀스에서의 제1 오브젝트(111)의 움직임과, 고스트영상(121)으로 확인되는 제2 오브젝트의 움직임이 서로 오버랩의 형태로 표시될 수 있다.Reference numeral 110 denotes a comparison image 110 in which the original image 110 and the ghost image 121 are overlapped and displayed in consideration of the sequence. The movement of the first object 111 in the impact sequence and the ghost image Movements of the second object identified as 121 may be displayed in an overlapping manner.

도 2는 본 발명의 일실시예에 따른 영상생성시스템(200)을 설명하는 도면이다.2 is a diagram illustrating an image generating system 200 according to an embodiment of the present invention.

일실시예에 따른 영상생성시스템(200)은 사용자단말기와 서버를 포함할 수 있다.An image generating system 200 according to an embodiment may include a user terminal and a server.

먼저, 사용자단말기는 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일을 업로드 하거나, 상기 참조영상에 대한 링크정보를 서버로 전송할 수 있다.First, the user terminal may upload a file for a reference image including continuous movement of an object or transmit link information for the reference image to the server.

이에 서버는, 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하고, 상기 생성된 고스트영상을 상기 사용자단말기로 제공할 수 있다.Accordingly, the server generates a ghost image, in which only the pose of an object classified by sequence is at least one image extracted from a background in a reference image collected from a file or link information, and provides the generated ghost image to the user terminal. can do.

도 2에서 도면부호 201, 202, 207, 208은 사용자단말기측에서의 동작을 나타내고, 나머지 도면부호들은 서버측에서의 동작, 서버측에서 생성되는 정보, 서버와 관련된 명령어로 해석될 수 있다.In FIG. 2 , reference numerals 201 , 202 , 207 , and 208 denote operations on the user terminal side, and the remaining reference numerals may be interpreted as operations on the server side, information generated on the server side, and commands related to the server.

먼저, 사용자단말기는 오브젝트의 연속된 움직임이 포함된 참조영상을 선택하고(201), 선택된 참조영상에 대한 파일 또는 링크정보를 서버로 제공할 수 있다(202)First, the user terminal may select a reference image including the continuous motion of the object (201), and provide a file or link information for the selected reference image to the server (202).

다음으로, 서버에서는 사용자단말기로부터 제공된 파일 또는 링크정보를 이용하여 참조영상을 수집할 수 있다. 만약에 사용자단말기가 파일을 전송하였다면, 해당 파일에 참조영상이 포함될 수 있다.Next, the server may collect the reference image using the file or link information provided from the user terminal. If the user terminal transmits a file, a reference image may be included in the corresponding file.

또한, 사용자단말기가 참조영상에 접근할 수 있는 링크정보를 전송하였다면, 서버는 해당 링크정보에 접속하여 참조영상을 다운로드할 수 있다.In addition, if the user terminal transmits link information for accessing the reference image, the server can download the reference image by accessing the corresponding link information.

서버에서는 각 참조영상들별로 도면부호 204와 같이 고스트영상에 대한 요청현황, 요청날짜, 요청한 ID, 국가, 앱, 요청유형, 파일명 등에 대한 정보를 생성하여 기록할 수 있다.The server may generate and record information about the request status, request date, requested ID, country, app, request type, file name, etc. for each reference image as shown by reference numeral 204 .

또한, 생성된 고스트영상(205)은 원본 이미지로부터 배경이 제거된 이미지로 해석될 수 있으며, 요청한 단말에 통지알람 형태로 전송될 수 있다(206).In addition, the generated ghost image 205 can be interpreted as an image from which the background has been removed from the original image, and can be transmitted to the requesting terminal in the form of a notification alarm (206).

예를 들어, 서버는 데이터베이스에 생성한 고스트영상을 업로드하고, 업로드한 고스트영상에 접근할 수 있는 링크정보를 통지알람의 형태로 제공할 수 있다.For example, the server may upload the generated ghost image to the database and provide link information for accessing the uploaded ghost image in the form of a notification alarm.

도면부호 207은 사용자단말기에 기록된 영상들을 나타내며, 원본영상, 원본영상에 고스트영상이 오버랩된 비교영상, 고스트영상을 추출한 참조영상 등이 기록될 수 있다.Reference numeral 207 denotes images recorded in the user terminal, and an original image, a comparison image obtained by overlapping the original image with a ghost image, and a reference image obtained by extracting the ghost image may be recorded.

이 때, 영상들은 일반화질, 고스트 시퀀스, 고화질 등의 다양한 화질로 기록될 수 있다.In this case, the images may be recorded in various image quality such as normal quality, ghost sequence, and high quality.

다음으로, 사용자단말기는 고스트영상을 다운로드 하여, 원본영상에 오버랩하여 비교영상의 형태로서 표시할 수 있다(208).Next, the user terminal may download the ghost image, overlap the original image, and display it in the form of a comparison image (208).

일실시예에 따른 영상생성방법은 참조영상에서 고스트영상을 생성할 시퀀스를 사용자단말기에서 직접 선택할 수 있다.In an image generating method according to an embodiment, a sequence for generating a ghost image may be directly selected from a reference image in a user terminal.

사용자단말기는 사용자의 입력에 따라 참조영상에서 고스트영상을 생성할 시퀀스들을 입력할 수 있다.The user terminal may input sequences to generate a ghost image from a reference image according to a user's input.

이에, 사용자단말기는 생성된 시퀀스들에서 참조영상으로부터 캡쳐된 정지영상들을 서버로 전송하여 고스트영상을 생성하도록 요청할 수 있다.Accordingly, the user terminal may transmit the still images captured from the reference images in the generated sequences to the server and request generation of a ghost image.

다른 실시예로, 사용자단말기는 참조영상을 서버로 전송하되, 참조영상과 생성된 시퀀스들에 대한 정보를 서버로 함께 전송할 수도 있다.In another embodiment, the user terminal transmits the reference video to the server, but may also transmit the reference video and information on generated sequences to the server together.

이 경우, 서버에서는 생성된 시퀀스에서 참조영상으로부터 정지영상을 캡쳐하고, 캡쳐한 정지영상으로부터 배경을 제거하고 오브젝트만을 추출하여 고스트영상을 생성할 수 있다.In this case, the server may generate a ghost image by capturing a still image from a reference image in the generated sequence, removing a background from the captured still image, and extracting only an object.

다른 일실시예에 따른 사용자단말기는 참조영상에서 고스트영상을 생성할 시퀀스를 직접 선택하지 않고, 인공지능 알고리즘을 활용하여 선택할 수 있다.A user terminal according to another embodiment may select a sequence to generate a ghost image from a reference image by using an artificial intelligence algorithm instead of directly selecting a sequence.

이때 인공지능 알고리즘은 서버에서 구동될 수도 있고, 사용자단말기에서 구동될 수도 있다.At this time, the artificial intelligence algorithm may be driven in the server or in the user terminal.

예를 들어, 인공지능 알고리즘은 골프영상들을 학습한 인공지능을 통해, 어드레스, 테이크백, 하프스윙, 백스윙탑, 임팩트, 팔로우스루에 해당하는 시퀀스들을 참조영상으로부터 식별하고, 식별된 해당 시퀀스에서의 정지영상을 캡쳐할 수 있다.For example, an artificial intelligence algorithm identifies sequences corresponding to address, takeback, half swing, back swing top, impact, and follow-through from a reference image through artificial intelligence that has learned golf images, and in the identified sequence You can capture still images.

또한, 서버는 시퀀스별로 캡쳐된 정지영상에서 배경이 삭제되고 오브젝트만이 추출된 고스트영상을 생성할 수 있다.In addition, the server may generate a ghost image in which the background is deleted from the still image captured for each sequence and only the object is extracted.

도 3a 및 3b는 참조영상(310)으로부터 생성되는 고스트영상(320)을 설명하는 도면이다.3A and 3B are diagrams illustrating a ghost image 320 generated from a reference image 310 .

먼저 도 3a에서는 제2 오브젝트(301)가 어드레스를 취하고 있는 시퀀스에서의 참조영상(310)을 나타내고, 어드레스 동작을 취하고 있는 시퀀스에서 배경부분을 삭제하고 제2 오브젝트(301)만을 추출한 고스트영상(320)을 나타낸다.3A shows a reference image 310 in a sequence in which the second object 301 takes an address, and a ghost image 320 in which only the second object 301 is extracted by deleting the background part in the sequence in which the address operation is taken. ).

다음으로, 도 3b에서는 제2 오브젝트(301)가 팔로우스루 동작을 취하고 있는 시퀀스에서의 참조영상(330)을 나타내고, 팔로우스루 동작을 취하고 있는 시퀀스에서 배경부분을 삭제하고 제2 오브젝트(301)만을 추출한 고스트영상(340)을 나타낸다.Next, in FIG. 3B, the reference image 330 in the sequence in which the second object 301 is performing the follow-through operation is shown, and the background part is deleted from the sequence in which the follow-through operation is being performed, and only the second object 301 is displayed. The extracted ghost image 340 is shown.

고스트영상(320)과 고스트영상(340)은 동일한 제2 오브젝트의 연속된 동작 중 일부가 캡쳐된 영상에 해당하며, 서로 다른 시퀀스에 생성된 영상일 수 있다. The ghost image 320 and the ghost image 340 correspond to images in which part of the continuous motion of the same second object is captured, and may be images generated in different sequences.

또한, 골프스윙의 메카니즘에 따라서 고스트영상(320)이 고스트영상(340) 보다 시간적으로 앞선 시퀀스를 갖는다.Also, according to the golf swing mechanism, the ghost image 320 has a sequence ahead of the ghost image 340 in time.

도 4는 시퀀스별로 구분되는 서로 다른 포즈로 생성된 고스트영상(400)을 설명하는 도면이다.4 is a diagram illustrating ghost images 400 generated in different poses classified by sequence.

도 4에서 보는 바와 같이, 고스트영상(400)은 어드레스 시퀀스(401), 백스윙탑 시퀀스(402), 임팩트 시퀀스(403), 팔로우스루 시퀀스(404)에서 참조영상으로부터 캡쳐된 정지영상의 집합일 수 있다.As shown in FIG. 4, the ghost image 400 may be a set of still images captured from reference images in the address sequence 401, the backswing top sequence 402, the impact sequence 403, and the follow-through sequence 404. there is.

본 발명에 따른 고스트영상(400)은 각각의 시퀀스에서 캡쳐된 정지영상과 함께, 이전 시퀀스에서 현재 시퀀스까지 경과한 시간간격의 정보를 더 포함할 수도 있다.The ghost image 400 according to the present invention may further include information on time intervals that have elapsed from the previous sequence to the current sequence, along with the still images captured in each sequence.

예를 들어, 제1 고스트영상이 참조영상의 시작 이후 1초에서 생성되었고, 제2 고스트영상이 3초에서 생성되었다면, 제2 고스트영상에는 제1 고스트영상이 생성된 1초에서 제2 고스트영상이 생성된 3초까지의 시간간격인 2초가 포함될 수 있다.For example, if the first ghost image is generated 1 second after the start of the reference image and the second ghost image is generated 3 seconds, the second ghost image includes a second ghost image 1 second after the first ghost image was generated. This may include a time interval of 2 seconds up to 3 seconds.

시간간격에 대한 정보는 원본영상과 고스트영상이 오버랩되는 비교영상에 추가로 표시될 수 있다.Information on the time interval may be additionally displayed in a comparison image in which the original image and the ghost image overlap.

예를 들어, 골프 스윙의 동작 중에 어드레스에서부터 백스윙탑까지의 시간간격에 대해 일반인의 시간과, 프로선수의 시간을 비교해 볼 수 있다.For example, with respect to the time interval from address to the top of the backswing during the operation of the golf swing, a general person's time and a professional player's time can be compared.

이를 위해, 원본영상의 제1 오브젝트가 어드레스에서부터 백스윙탑까지의 시간간격과, 어드레스에서부터 백스윙 탑까지 고스트영상의 시간간격이 서로 비교될 수 있다.To this end, a time interval of the first object from the address to the backswing top of the original image and a time interval of the ghost image from the address to the backswing top may be compared with each other.

만약, 제1 오브젝트의 시간간격이 2초이고, 제2 오브젝트에 의한 고스트영상의 시간간격이 1초라면, 비교영상을 모니터링한 사용자는 어드레스로부터 백스윙탑까지의 시간을 줄이고자 코어운동, 스윙궤도점검 등을 고려해 볼 수 있다.If the time interval of the first object is 2 seconds and the time interval of the ghost image by the second object is 1 second, the user who monitored the comparison video will perform core exercise and swing trajectory to reduce the time from address to back swing top. You may want to consider checking.

일실시예에 따른 영상처리부는 상기 제2 오브젝트의 시퀀스별 시간간격을 기준으로 제1 오브젝트의 시퀀스별 시간간격의 차이값을 상기 비교영상 내에서 표시할 수도 있다.The image processor according to an embodiment may display a difference value of a time interval of each sequence of the first object based on a time interval of each sequence of the second object in the comparison image.

도 5는 사용자단말기에서 원본영상에 고스트영상을 오버랩하여 비교영상을 생성하는 실시예를 설명하는 도면이다.5 is a diagram for explaining an embodiment in which a comparison image is generated by overlapping a ghost image with an original image in a user terminal.

앞서 설명한 내용들을 종합하면, 원본영상(510)에 고스트영상(520)을 오버랩하여 비교영상(530)을 생성할 수 있다.Combining the foregoing descriptions, the comparison image 530 can be generated by overlapping the original image 510 with the ghost image 520 .

고스트영상(520)은 제2 오브젝트의 움직임이 포함된 전체영상인 참조영상으로부터 특정 시퀀스별로 캡쳐하여 배경을 제거하고 제2 오브젝트만을 추출하여 생성될 수 있다.The ghost image 520 may be generated by capturing the entire reference image including the movement of the second object for each specific sequence, removing the background, and extracting only the second object.

비교영상(530)은 원본영상(510)과 고스트영상(520)의 시퀀스를 서로 동기화하여 생성될 수 있고, 도 5에서는 제1 오브젝트와 제2 오브젝트의 임팩트 시퀀스에 해당하는 부분이 오버랩된 형태를 나타낸다.The comparison image 530 may be generated by synchronizing the sequences of the original image 510 and the ghost image 520 with each other, and in FIG. 5, the portion corresponding to the impact sequence of the first object and the second object overlaps. indicate

도 6은 사용자단말기에서 원본영상의 제1 오브젝트(601)에 고스트영상(602)을 그대로 오버랩하여 비교영상을 생성하는 실시예를 설명하는 도면이다.6 is a diagram for explaining an embodiment in which a comparison image is generated by overlapping a ghost image 602 on a first object 601 of an original image in a user terminal as it is.

고스트영상(602)은 원본영상 내에서 제1 오브젝트(601)와 인접한 위치에서 자유롭게 배치될 수 있다. 예를 들어, 제1 오브젝트(601)와 적어도 일부분만이 오버랩되거나, 오버랩되지 않을 수도 있으며 제1 오브젝트(601)의 상하좌우 어느 곳에도 자유롭게 배치될 수 있다.The ghost image 602 may be freely arranged at a position adjacent to the first object 601 in the original image. For example, at least a portion of the first object 601 may overlap or may not overlap, and may be freely disposed anywhere on the top, bottom, left, and right sides of the first object 601 .

제1 오브젝트(601)와 고스트영상(602)은 오버랩이 많이 될수록 사용자의 시선 이동거리가 짧아 두 영상에 대한 빠른 비교가 가능하므로, 비교의 효율이 높아질 수 있다.The greater the overlap between the first object 601 and the ghost image 602, the shorter the movement distance of the user's gaze, enabling quick comparison between the two images, thereby increasing the efficiency of comparison.

다만, 제1 오브젝트(601)와 고스트영상(602)이 오버랩되는 경우에, 두 영상들에 대한 구분이 어려울 수 있다. 즉, 어느 영상이 고스트영상인지 원본영상의 제1 오브젝트인지 구분이 어려울 수 있다.However, when the first object 601 and the ghost image 602 overlap, it may be difficult to distinguish the two images. That is, it may be difficult to distinguish which image is a ghost image and which is the first object of the original image.

이를 위해, 도 7 및 도 8에서는 두 영상에 대한 구분을 위해 고스트영상을 가공하는 실시예에 대해서 설명한다.To this end, FIGS. 7 and 8 describe an embodiment of processing a ghost image to distinguish between two images.

도 7은 서로 다른 투명도의 고스트영상이 오버랩된 비교영상들을 설명하는 도면(700)이다.7 is a diagram 700 illustrating comparison images in which ghost images of different transparency overlap each other.

먼저, 원본영상(710)에서 도면부호 720 내지 740의 순서로 고스트영상의 투명도가 다르게 오버랩될 수 있다.First, in the original image 710, the transparency of the ghost image may be differently overlapped in the order of reference numerals 720 to 740.

비교영상(720)에 포함된 고스트영상은 비교영상(740)에 포함된 고스트영상에 비해 더 투명하다.The ghost image included in the comparison image 720 is more transparent than the ghost image included in the comparison image 740 .

또한, 비교영상(730)에 포함된 고스트영상은 비교영상(720)에 포함된 고스트영상 보다 불투명하고, 비교영상(740)에 포함된 고스트영상 보다는 투명한 정도의 투명도로 표시될 수 있다.In addition, the ghost image included in the comparison image 730 is more opaque than the ghost image included in the comparison image 720 and can be displayed with a degree of transparency that is more transparent than the ghost image included in the comparison image 740 .

일실시예에 따른 사용자단말기는 원본영상에 대비하여 고스트영상에 대한 투명도를 다르게 조절할 수 있다. 또한, 일실시예에 따른 사용자단말기는 투명도가 조절된 고스트영상을 원본영상에 오버랩하여 표시할 수 있다.The user terminal according to an embodiment may differently adjust the transparency of the ghost image compared to the original image. In addition, the user terminal according to an embodiment may display the ghost image whose transparency is adjusted by overlapping the original image.

일실시예에 따른 사용자단말기는 사용자로부터 수신된 제어정보에 기초하여 원본영상 대비 상기 고스트영상에 대한 투명도를 조절할 수도 있고, 인공지능 알고리즘을 이용하여 원본영상 대비 상기 고스트영상에 대한 투명도를 자동 조절할 수도 있다.The user terminal according to an embodiment may adjust the transparency of the ghost image compared to the original image based on control information received from the user, or may automatically adjust the transparency of the ghost image compared to the original image using an artificial intelligence algorithm. there is.

도 8은 서로 다른 색온도의 고스트영상이 오버랩된 비교영상들을 설명하는 도면(800)이다.8 is a diagram 800 illustrating comparison images in which ghost images of different color temperatures overlap each other.

도면부호 810 및 820의 비교영상들은, 참조영상으로부터 추출된 서로 다른 두 개의 고스트영상을 오버랩한 영상이다.Comparison images denoted by reference numerals 810 and 820 are images obtained by overlapping two different ghost images extracted from a reference image.

도면부호 810은 동일한 색온도를 갖는 고스트영상을 오버랩한 것으로서, 어드레스 시퀀스에서 생성된 고스트영상과, 임팩트 시퀀스에서 생성된 고스트영상을 같은 색온도로 오버랩한 것이다.Reference numeral 810 indicates that ghost images having the same color temperature are overlapped, and a ghost image generated from an address sequence and a ghost image generated from an impact sequence are overlapped with the same color temperature.

이렇게 동일한 색온도로 오버랩하는 경우 미세한 신체부위에서 어느 고스트영상의 것인지가 모호할 수 있다.In this case of overlapping at the same color temperature, it may be ambiguous which ghost image belongs to a minute body part.

이를 구분하기 위해, 도면부호 820에서는 어드레스 시퀀스에서 생성된 고스트영상과, 임팩트 시퀀스에서 생성된 고스트영상을 서로 다른 색온도로 오버랩하여 구분하였다.In order to distinguish them, at reference numeral 820, the ghost image generated from the address sequence and the ghost image generated from the impact sequence are overlapped with different color temperatures to distinguish them.

색온도에 따라 비교 효율이 높아지는 점을 참고하여, 일실시예에 따른 사용자단말기는 원본영상에 대비하여 고스트영상에 대한 색온도를 다르게 조절하고, 색온도가 조절된 고스트영상을 원본영상에 오버랩하여 표시할 수 있다.Referring to the fact that the comparison efficiency increases according to the color temperature, the user terminal according to an embodiment may adjust the color temperature of the ghost image differently compared to the original image and display the ghost image with the adjusted color temperature overlapped with the original image. there is.

일례로, 일실시예에 따른 사용자단말기는 사용자로부터 수신된 제어정보에 기초하여 원본영상 대비 고스트영상에 대한 색온도를 조절할 수 있다.For example, a user terminal according to an embodiment may adjust a color temperature of a ghost image compared to an original image based on control information received from a user.

또한, 일실시예에 따른 사용자단말기는 인공지능 알고리즘을 이용하여 원본영상 대비 고스트영상에 대한 색온도를 자동 조절할 수 있다.In addition, the user terminal according to an embodiment may automatically adjust the color temperature of the ghost image compared to the original image using an artificial intelligence algorithm.

도 9는 비교영상 내에 고스트영상의 썸네일이 포함된 실시예를 설명하는 도면이다.9 is a diagram for explaining an embodiment in which a thumbnail of a ghost image is included in a comparison image.

일실시예에 따른 사용자단말기는 고스트영상의 시퀀스에 매칭되는 적어도 하나 이상의 썸네일 아이콘(911)을 비교영상(910)에 추가할 수 있다.The user terminal according to an embodiment may add at least one thumbnail icon 911 matching the sequence of the ghost image to the comparison image 910 .

또한, 일실시예에 따른 사용자단말기는 적어도 하나 이상의 썸네일 아이콘(911) 중에서 특정 썸네일 아이콘이 선택되는 경우, 선택된 특정 썸네일 아이콘에 매칭되는 시퀀스에 해당하는 비교영상이 표시되도록 처리할 수 있다.In addition, when a specific thumbnail icon is selected from among at least one or more thumbnail icons 911, the user terminal according to an embodiment may display a comparison image corresponding to a sequence matching the selected specific thumbnail icon.

비교영상(910)에서 백스윙탑 시퀀스에 해당하는 썸네일 아이콘이 선택되면, 일실시예에 따른 사용자단말기는 원본영상 및 고스트영상에서 백스윙탑에 해당하는 장면이 표시되도록 해당 영상으로 분기하도록 제어할 수 있다.When a thumbnail icon corresponding to the backswing top sequence is selected in the comparison image 910, the user terminal according to an embodiment controls to branch to the corresponding image so that a scene corresponding to the backswing top is displayed in the original image and the ghost image. .

한편, 일실시예에 따른 사용자단말기는 적어도 하나 이상의 썸네일 아이콘(921) 중에서 특정 썸네일 아이콘이 선택되는 경우, 선택된 특정 썸네일 아이콘에 매칭되는 시퀀스에 해당하는 비교영상이 표시되도록 처리할 수 있다.Meanwhile, when a specific thumbnail icon is selected from among at least one thumbnail icon 921, the user terminal according to an embodiment may display a comparison image corresponding to a sequence matching the selected specific thumbnail icon.

즉, 비교영상(920)에서 임팩트 시퀀스에 해당하는 썸네일 아이콘이 선택되면, 일실시예에 따른 사용자단말기는 원본영상 및 고스트영상에서 임팩트에 해당하는 장면이 표시되도록 해당 영상으로 분기하도록 제어할 수 있다.That is, when a thumbnail icon corresponding to an impact sequence is selected in the comparison image 920, the user terminal according to an embodiment controls the source image and the ghost image to branch to the corresponding image so that a scene corresponding to the impact is displayed. .

도 10은 본 발명의 일실시예에 따른 영상생성방법을 설명하는 도면이다.10 is a diagram explaining an image generating method according to an embodiment of the present invention.

본 발명의 일실시예에 따른 영상생성방법은 사용자단말기에서, 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일 또는 링크정보를 서버로 업로드할 수 있다(단계 1001).In the image generating method according to an embodiment of the present invention, a user terminal may upload a file or link information for a reference image including continuous motion of an object to a server (step 1001).

서버에서는 파일 또는 링크정보로부터 수집된 참조영상으로부터 고스트영상을 생성할 수 있다(단계 1002). 앞선 설명에서와 같이, 고스트영상은 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지를 포함할 수 있다.The server may generate a ghost image from a reference image collected from file or link information (step 1002). As described above, the ghost image may include at least one image extracted from the background of only the pose of the object identified for each sequence in the collected reference image.

본 발명의 일실시예에 따른 영상생성방법은 서버에서, 생성된 고스트영상을 상기 사용자단말기로 제공할 수 있다(단계 1003).In an image generating method according to an embodiment of the present invention, a server may provide a generated ghost image to the user terminal (step 1003).

일례로, 서버에서는 생성된 고스트영상이 저장된 링크정보를 푸쉬 알림 방식으로 상기 사용자단말기로 제공할 수 있다. 뿐만 아니라, 서버에서는 생성된 고스트영상의 파일을 푸쉬 알림 방식으로 상기 사용자단말기로 직접 전송할 수도 있다.For example, the server may provide link information in which the created ghost image is stored to the user terminal in a push notification method. In addition, the server may directly transmit the created ghost image file to the user terminal in a push notification method.

본 발명의 일실시예에 따른 영상생성방법은 사용자단말기에서, 투명도 또는 색온도가 조절된 고스트영상을 원본영상에 오버랩하여 표시할 수 있다(단계 1004).In an image generating method according to an embodiment of the present invention, a ghost image having adjusted transparency or color temperature may be displayed overlapping an original image in a user terminal (step 1004).

사용자단말기에서는, 제2 오브젝트의 연속된 움직임이 포함된 원본영상을 저장할 수 있다. 또한, 서버로부터 제1 오브젝트에 대한 고스트영상을 수신하고, 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리할 수 있다.The user terminal may store the original image including the continuous movement of the second object. Also, a ghost image of the first object may be received from the server, and a comparison image obtained by overlapping at least a portion of the ghost image with the original image may be displayed.

본 발명의 일실시예에 따른 영상생성방법은 비교영상을 표시하도록 처리하는데 있어, 원본영상에 대비하여 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절할 수 있다. 또한, 투명도 또는 색온도가 조절된 고스트영상을 원본영상에 오버랩하여 표시할 수도 있다.In the image generation method according to an embodiment of the present invention, in displaying a comparison image, at least one of transparency or color temperature of the ghost image may be differently adjusted compared to the original image. In addition, a ghost image whose transparency or color temperature is adjusted may be overlapped with the original image and displayed.

본 발명의 일실시예에 따른 영상생성방법은 사용자로부터 수신된 제어정보에 기초하여 상기 원본영상 대비 상기 고스트영상에 대한 투명도 또는 색온도를 조절하거나, 인공지능 알고리즘을 이용하여 원본영상 대비 고스트영상에 대한 투명도 또는 색온도를 자동 조절할 수 있다.An image generating method according to an embodiment of the present invention adjusts the transparency or color temperature of the ghost image compared to the original image based on control information received from a user, or controls the ghost image compared to the original image using an artificial intelligence algorithm. Transparency or color temperature can be adjusted automatically.

한편, 일실시예에 따른 영상생성방법은 비교영상을 표시하도록 처리하기 위해, 고스트영상의 시퀀스에 매칭되는 적어도 하나 이상의 썸네일 아이콘을 상기 비교영상에 추가할 수 있다. 또한, 적어도 하나 이상의 썸네일 아이콘 중에서 특정 썸네일 아이콘이 선택되는 경우, 선택된 특정 썸네일 아이콘에 매칭되는 시퀀스에 해당하는 비교영상이 표시되도록 처리할 수 있다.Meanwhile, in the image generating method according to an embodiment, at least one thumbnail icon matching a sequence of ghost images may be added to the comparison image in order to display the comparison image. In addition, when a specific thumbnail icon is selected from among at least one or more thumbnail icons, a comparison image corresponding to a sequence matching the selected specific thumbnail icon may be displayed.

또한, 일실시예에 따른 영상생성방법은 비교영상을 표시하도록 처리하기 위해, 제1 오브젝트의 연속된 움직임에 대한 시퀀스와, 제2 오브젝트의 시퀀스를 매칭시켜 동기화를 처리할 수 있다.In addition, the image generation method according to an embodiment may perform synchronization by matching a sequence of continuous motion of the first object with a sequence of the second object in order to display a comparison image.

또한, 일실시예에 따른 영상생성방법은 비교영상을 표시하도록 처리하기 위해, 제1 오브젝트의 연속된 움직임에 대한 시퀀스별 시간간격을 추출하고, 제2 오브젝트의 시퀀스별 시간간격을 추출할 수 있다.In addition, the image generating method according to an embodiment may extract a time interval for each sequence of a continuous movement of a first object and extract a time interval for each sequence of a second object in order to display a comparison image. .

이 경우, 제2 오브젝트의 시퀀스별 시간간격을 기준으로 제1 오브젝트의 시퀀스별 시간간격의 차이값을 비교영상 내에서 표시하도록 처리할 수도 있다.In this case, the difference value of the time interval of each sequence of the first object based on the time interval of each sequence of the second object may be processed to be displayed in the comparison image.

결국, 본 발명을 이용하면, 일실시예에 따르면, 하나의 영상 내에서 관심있는 두 개 이상의 오브젝트에 대한 움직임을 시퀀스별로 비교함으로써, 영상의 비교 효율을 높일 수 있다. 또한, 단일 프레임만을 재생함으로써 시스템 자원의 낭비를 예방할 수 있다.After all, according to an embodiment of the present invention, comparison efficiency of images can be increased by comparing motions of two or more objects of interest within one image for each sequence. Also, waste of system resources can be prevented by reproducing only a single frame.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (14)

사용자단말기에서, 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일 또는 링크정보를 서버로 업로드 하는 단계;
상기 서버에서, 상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하는 단계; 및
상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계
를 포함하는 영상생성방법.
Uploading, in a user terminal, a file or link information for a reference image including continuous movement of an object to a server;
generating, in the server, a ghost image in which only the pose of the object classified by sequence is at least one image extracted from a background in the reference image collected from the file or link information; and
Providing, by the server, the generated ghost image to the user terminal
An image generating method comprising a.
제1항에 있어서,
상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계는,
상기 생성된 고스트영상이 저장된 링크정보를 푸쉬 알림 방식으로 상기 사용자단말기로 제공하는 단계
를 포함하는 영상생성방법.
According to claim 1,
In the server, the step of providing the generated ghost image to the user terminal,
Providing link information in which the generated ghost image is stored to the user terminal in a push notification method
An image generating method comprising a.
제1항에 있어서,
상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 단계는,
상기 생성된 고스트영상의 파일을 푸쉬 알림 방식으로 상기 사용자단말기로 전송하는 단계
를 포함하는 영상생성방법.
According to claim 1,
In the server, the step of providing the generated ghost image to the user terminal,
Transmitting the created ghost image file to the user terminal in a push notification method
An image generating method comprising a.
제1항에 있어서,
상기 사용자단말기에서,
제2 오브젝트의 연속된 움직임이 포함된 원본영상을 저장하는 단계;
상기 서버로부터 제1 오브젝트에 대한 고스트영상을 수신하는 단계;
상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계
를 더 포함하는 것을 특징으로 하는 영상생성방법.
According to claim 1,
In the user terminal,
Storing the original image including the continuous movement of the second object;
receiving a ghost image of a first object from the server;
processing to display a comparison image overlapping at least a portion of the ghost image with the original image;
Image generating method characterized in that it further comprises.
제4항에 있어서,
상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는,
상기 원본영상에 대비하여 상기 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계; 및
상기 투명도 또는 색온도가 조절된 고스트영상을 상기 원본영상에 오버랩하여 표시하는 단계
를 포함하는 영상생성방법.
According to claim 4,
The step of displaying a comparison image overlapping at least a portion of the ghost image with the original image,
adjusting at least one of transparency and color temperature of the ghost image to be different from that of the original image; and
Displaying the ghost image whose transparency or color temperature is adjusted by overlapping the original image
An image generating method comprising a.
제5항에 있어서,
상기 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계는,
사용자로부터 수신된 제어정보에 기초하여 상기 원본영상 대비 상기 고스트영상에 대한 투명도 또는 색온도를 조절하는 단계
를 포함하는 영상생성방법.
According to claim 5,
The step of differently adjusting at least one of transparency or color temperature of the ghost image,
Adjusting transparency or color temperature of the ghost image compared to the original image based on control information received from a user
An image generating method comprising a.
제5항에 있어서,
상기 고스트영상에 대한 투명도 또는 색온도 중에서 적어도 하나를 다르게 조절하는 단계는,
인공지능 알고리즘을 이용하여 상기 원본영상 대비 상기 고스트영상에 대한 투명도 또는 색온도를 자동 조절하는 단계
를 포함하는 영상생성방법.
According to claim 5,
The step of differently adjusting at least one of transparency or color temperature of the ghost image,
Automatically adjusting the transparency or color temperature of the ghost image compared to the original image using an artificial intelligence algorithm
An image generating method comprising a.
제4항에 있어서,
상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는,
상기 고스트영상의 시퀀스에 매칭되는 적어도 하나 이상의 썸네일 아이콘을 상기 비교영상에 추가하고,
상기 적어도 하나 이상의 썸네일 아이콘 중에서 특정 썸네일 아이콘이 선택되는 경우,
상기 선택된 특정 썸네일 아이콘에 매칭되는 시퀀스에 해당하는 비교영상이 표시되도록 처리하는 단계
를 포함하는 것을 특징으로 하는 영상생성방법.
According to claim 4,
The step of displaying a comparison image overlapping at least a portion of the ghost image with the original image,
Adding at least one thumbnail icon matching the sequence of the ghost image to the comparison image;
When a specific thumbnail icon is selected from among the at least one thumbnail icon,
Processing a comparison image corresponding to a sequence matching the selected specific thumbnail icon to be displayed
Image generating method characterized in that it comprises a.
제4항에 있어서,
상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는,
상기 제1 오브젝트의 연속된 움직임에 대한 시퀀스와, 상기 제2 오브젝트의 시퀀스를 매칭시켜 동기화를 처리하는 단계; 및
상기 시퀀스가 매칭된 상기 제1 오브젝트 및 상기 제2 오브젝트를 오버랩한 비교영상을 표시하도록 처리하는 단계
를 포함하는 것을 특징으로 하는 영상생성방법.
According to claim 4,
The step of displaying a comparison image overlapping at least a portion of the ghost image with the original image,
processing synchronization by matching a sequence of continuous motions of the first object with a sequence of the second object; and
Processing to display a comparison image overlapping the first object and the second object in which the sequence is matched
Image generating method characterized in that it comprises a.
제4항에 있어서,
상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 단계는,
상기 제1 오브젝트의 연속된 움직임에 대한 시퀀스별 시간간격을 추출하는 단계;
상기 제2 오브젝트의 시퀀스별 시간간격을 추출하는 단계;
상기 제2 오브젝트의 시퀀스별 시간간격을 기준으로 상기 제1 오브젝트의 시퀀스별 시간간격의 차이값을 상기 비교영상 내에서 표시하도록 처리하는 단계
를 포함하는 것을 특징으로 하는 영상생성방법.
According to claim 4,
The step of displaying a comparison image overlapping at least a portion of the ghost image with the original image,
extracting time intervals for each sequence of the continuous movement of the first object;
extracting a time interval for each sequence of the second object;
Displaying a difference value of a time interval of each sequence of the first object based on a time interval of each sequence of the second object in the comparison image.
Image generating method characterized in that it comprises a.
오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일을 업로드 하거나, 상기 참조영상에 대한 링크정보를 전송하는 사용자단말기; 및
상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하고, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 서버
를 포함하는 영상생성시스템.
A user terminal for uploading a file for a reference image including continuous movement of an object or transmitting link information for the reference image; and
A server generating a ghost image, wherein only the pose of the object classified by sequence in the reference image collected from the file or link information is at least one image extracted from a background, and providing the generated ghost image to the user terminal.
An image generating system comprising a.
제11항에 있어서,
상기 서버는 상기 생성된 고스트영상이 저장된 링크정보 또는 상기 생성된 고스트영상의 파일을 푸쉬 알림 방식으로 상기 사용자단말기로 제공하는 것을 특징으로 하는 영상생성시스템.
According to claim 11,
The image generating system, characterized in that the server provides the link information in which the generated ghost image is stored or the file of the generated ghost image to the user terminal in a push notification method.
제11항에 있어서,
상기 사용자단말기는 제2 오브젝트의 연속된 움직임이 포함된 원본영상을 저장하고, 상기 서버로부터 제1 오브젝트에 대한 고스트영상을 수신하며, 상기 원본영상에 상기 고스트영상의 적어도 일부분을 오버랩한 비교영상을 표시하도록 처리하는 것을 특징으로 하는 영상생성시스템.
According to claim 11,
The user terminal stores an original image including the continuous movement of the second object, receives a ghost image of the first object from the server, and produces a comparison image obtained by overlapping at least a portion of the ghost image with the original image. An image generating system characterized by processing to display.
기록매체에 저장되는 영상생성 프로그램으로서, 상기 영상생성 프로그램은 컴퓨팅 시스템에서 실행되는:
사용자단말기에서, 오브젝트의 연속된 움직임이 포함된 참조영상에 대한 파일 또는 링크정보를 서버로 업로드 하는 명령어세트;
상기 서버에서, 상기 파일 또는 링크정보로부터 수집된 참조영상에서 시퀀스별로 구분되는 상기 오브젝트의 포즈만이 배경으로부터 추출된 적어도 하나 이상의 이미지인, 고스트영상을 생성하는 명령어세트; 및
상기 서버에서, 상기 생성된 고스트영상을 상기 사용자단말기로 제공하는 명령어세트
를 포함하는 영상생성 프로그램.
An image generating program stored on a recording medium, wherein the image generating program is executed in a computing system:
In a user terminal, a command set for uploading a file or link information for a reference image including continuous motion of an object to a server;
In the server, a command set for generating a ghost image, wherein only the pose of the object classified by sequence in the reference image collected from the file or link information is at least one image extracted from a background; and
In the server, a command set for providing the generated ghost image to the user terminal
An image generating program that includes.
KR1020210139128A 2021-10-19 2021-10-19 A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis KR20230056093A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210139128A KR20230056093A (en) 2021-10-19 2021-10-19 A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210139128A KR20230056093A (en) 2021-10-19 2021-10-19 A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis

Publications (1)

Publication Number Publication Date
KR20230056093A true KR20230056093A (en) 2023-04-27

Family

ID=86100465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210139128A KR20230056093A (en) 2021-10-19 2021-10-19 A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis

Country Status (1)

Country Link
KR (1) KR20230056093A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080045359A (en) 2006-11-20 2008-05-23 이종원 Interactive online golf service method real time analysis of physical condition, swing arc, and swing speed and recordable media thereof
KR102010236B1 (en) 2017-11-28 2019-08-14 주식회사 트라이웍스 Video comparison method and video comparison system having the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080045359A (en) 2006-11-20 2008-05-23 이종원 Interactive online golf service method real time analysis of physical condition, swing arc, and swing speed and recordable media thereof
KR102010236B1 (en) 2017-11-28 2019-08-14 주식회사 트라이웍스 Video comparison method and video comparison system having the method

Similar Documents

Publication Publication Date Title
US11810321B2 (en) Methods and systems for multiplayer tagging using artificial intelligence
Su et al. Pano2vid: Automatic cinematography for watching 360 videos
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
US10070046B2 (en) Information processing device, recording medium, and information processing method
US20160314620A1 (en) Virtual reality sports training systems and methods
US9934820B2 (en) Mobile device video personalization
JP2019159950A (en) Information processing device and information processing method
BR122021013788B1 (en) METHOD FOR IDENTIFYING AN INDIVIDUAL IN A CONTINUOUS FLOW OF MEDIA CONTENT, AND, SYSTEM FOR IDENTIFYING AN INDIVIDUAL IN A CONTINUOUS FLOW OF MEDIA CONTENT
WO2020108573A1 (en) Blocking method for video image, device, apparatus, and storage medium
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
US20240153270A1 (en) System and method for merging asynchronous data sources
WO2021017496A1 (en) Directing method and apparatus and computer-readable storage medium
US20180369678A1 (en) System and Apparatus for Sports Training
CN110891168A (en) Information processing apparatus, information processing method, and storage medium
US20200346093A1 (en) Reducing human interactions in game annotation
JP7423974B2 (en) Information processing system, information processing method and program
KR20230056093A (en) A system and method for generating a ghost image including at least one image identified for each sequence for video comparison analysis
KR20230082702A (en) Apparatus and method for comparing an original image including continuous motion with a ghost image including at least one still image identified for each sequence
KR102357117B1 (en) Method and apparatus for multi-playing videos
CN114691923A (en) System and method for computer learning
JP6371020B1 (en) Information processing device
JP6679951B2 (en) Teaching Assist System and Teaching Assist Program
US11983924B2 (en) Automated tolerance-based matching of video streaming events with replays in a video
JP2020107991A (en) Moving image tagging device and moving image tagging method
JP5276609B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right