KR102616384B1 - Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk - Google Patents
Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk Download PDFInfo
- Publication number
- KR102616384B1 KR102616384B1 KR1020220049451A KR20220049451A KR102616384B1 KR 102616384 B1 KR102616384 B1 KR 102616384B1 KR 1020220049451 A KR1020220049451 A KR 1020220049451A KR 20220049451 A KR20220049451 A KR 20220049451A KR 102616384 B1 KR102616384 B1 KR 102616384B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- photo frame
- photo
- kiosk
- shooting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000000694 effects Effects 0.000 claims description 42
- 238000003860 storage Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 abstract description 11
- 238000003786 synthesis reaction Methods 0.000 abstract description 11
- 230000006854 communication Effects 0.000 description 88
- 238000004891 communication Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 28
- 238000013507 mapping Methods 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 18
- 230000004044 response Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006757 chemical reactions by type Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G06T5/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Studio Devices (AREA)
Abstract
다양한 실시 예에 따르면, 촬영룸 키오스크 및 사용자 단말과 연동된 포토 스튜디오 운영 시스템은 사용자의 입력을 수신하고, 내장된 카메라를 이용하여 촬영된 이미지를 디스플레이를 통해 사용자에게 표시하도록 상기 포토 스튜디오에 구비된 촬영룸 키오스크; 상기 촬영룸 키오스크에 기기 제어 신호를 전송하며, 상기 촬영룸 키오스크의 카메라를 통해 획득된 촬영된 상기 이미지를 획득하는 운영 서버; 및 상기 운영 서버와 작동적으로(operatively) 연결되며, 촬영된 상기 이미지를 상기 운영 서버를 통해 획득하는 사용자 단말을 포함할 수 있다. 상기 운영 서버는, 상기 사용자 단말로부터 촬영 컨셉 데이터를 제공받아 촬영 컨셉을 제어하는 촬영 컨셉 제어부; 제1 촬영룸 키오스크를 통해 촬영된 이미지를 공유 이미지로 설정하고, 설정된 공유 이미지를 제2 사용자 단말 또는 제2 촬영룸 키오스크에 공유하는 공유 서비스 제공부; 및 상기 제1 촬영룸 키오스크의 카메라를 통해 실시간으로 획득된 제1 영상과 제2 촬영룸 키오스크의 카메라를 통해 실시간으로 획득된 제2 영상을 합성하는 영상 합성부를 포함할 수 있다.According to various embodiments, a photo studio operating system linked to a shooting room kiosk and a user terminal is provided in the photo studio to receive user input and display images captured using a built-in camera to the user through a display. Filming room kiosk; an operation server that transmits a device control signal to the shooting room kiosk and acquires the captured image obtained through a camera of the shooting room kiosk; And it may include a user terminal that is operatively connected to the operation server and acquires the captured image through the operation server. The operation server includes a shooting concept control unit that receives shooting concept data from the user terminal and controls the shooting concept; a sharing service provider that sets an image captured through a first shooting room kiosk as a shared image and shares the set shared image with a second user terminal or a second shooting room kiosk; And it may include an image synthesis unit that combines a first image acquired in real time through the camera of the first shooting room kiosk and a second image acquired in real time through the camera of the second shooting room kiosk.
Description
본 발명은 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 복수의 사용자가 동일 시간, 동일 장소의 제약 없이 촬영하는 방법 및 촬영된 이미지들을 제어하여 사진 프레임을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for generating a photo frame based on images taken through a shooting room kiosk, and more specifically, to a method and a device for multiple users to take photos at the same time and in the same place without restrictions and the captured images. It relates to a method and device for controlling photo frames.
기존의 포토 스튜디오의 경우 사진사가 사진을 직접 촬영하고, 촬영된 사진을 출력하여 사진 프레임을 제공하여 왔다. 다시 말해서, 과거 기념 사진 앨범의 제작은 포토 스튜디오에서 촬영하여 자체적으로 완료되어 사용자에게 제공하는 방식으로 이뤄졌다.In the case of existing photo studios, photographers take photos themselves, print out the photos, and provide photo frames. In other words, in the past, the production of commemorative photo albums was done by taking photos in a photo studio, completing them in-house, and providing them to the user.
그러나, 인터넷의 보급과 디지털 기술의 발전에 의해 포토 스튜디오에서 사용자가 직접 사진을 촬영하고 앨범 제작을 의뢰하면, 포토 스튜디오의 웹 사이트 혹은 웹 하드를 이용해서 앨범에 사용될 사진 파일을 열람하도록 하고, 또한 그 디지털 파일을 다운로드 받을 수 있도록 서비스가 개선되었다. 즉, 사용자들의 수요에 따라 무인 포토 스튜디오가 생겨나고 있으며, 이에 따라 사용자들은 편하게 방문하여 자신이 원하는 촬영 컨셉을 골라서 촬영을 하고 직접 사진을 출력할 수 있게 되었다.However, with the spread of the Internet and the development of digital technology, when a user takes photos directly in a photo studio and requests an album to be created, the photo files to be used in the album can be viewed using the photo studio's website or web hard drive. The service has been improved to allow downloading of the digital files. In other words, unmanned photo studios are being created in response to user demand, and users can now conveniently visit, select the shooting concept they want, take photos, and print the photos directly.
위와 같이, 근래에는 사용자의 촬영 접근성을 향상시키고, 사용자들에게 간편하게 서비스를 제공하기 위하여 스튜디오 환경에 대한 연구가 지속적으로 이루어지고 있는 추세이다.As above, in recent years, research on studio environments has been continuously conducted to improve users' accessibility to photography and provide convenient services to users.
스튜디오 환경에 대한 연구에 따라 사용자들의 수요는 더욱 증가하고 있고, 사용자 자신의 단독 사진뿐만 아니라, 자신이 원하는 촬영 컨셉에서 자신의 소중한 사람들과 함께 촬영하는 추세가 생기고 있다. 그러나, 최근 현대인의 바쁜 생활이나 바이러스와 같은 이슈 때문에 소중한 사람들과 직접 만나서 사진 촬영하는 것이 어려운 경우가 발생할 수 있다. 예를 들어, 사용자들끼리 시간 약속을 잡기 힘들거나, 사용자들간 거리가 멀어서 함께 스튜디오 촬영을 진행할 수 없는 경우가 발생할 수 있다.According to research on studio environments, user demand is increasing, and there is a trend to take not only individual photos of users, but also photos with their loved ones in the shooting concept they want. However, due to modern people's busy lives or issues such as viruses, it may be difficult to meet and take pictures with loved ones in person. For example, there may be cases where it is difficult for users to make an appointment with each other or when studio photography cannot be performed together due to the distance between users.
또한, 사진 촬영은 사용자가 원하는 자연스러운 모습을 촬영하기 어려운 경우가 많은 반면, 동영상 촬영을 하는 경우 수많은 이미지 프레임이 획득되기 때문에, 동영상 속 원하는 이미지가 담겨 있을 확률이 높다. 다만, 현재 스튜디오에서의 촬영은 사진 촬영 기능만을 제공하고 동영상 촬영 기능을 제공하지는 않는 불편함이 있다. 따라서, 무인 포토 스튜디오에서 단순히 사진 촬영을 하여 사진 프레임을 구성하는 것뿐 아니라, 사용자의 니즈를 충족시켜주기 위한 다양한 방안들이 요구되고 있다.Additionally, while photography often makes it difficult to capture the natural look that the user wants, when shooting video, numerous image frames are obtained, so there is a high probability that the video contains the desired image. However, there is an inconvenience in that current studio shooting only provides a photo shooting function and does not provide a video shooting function. Therefore, in addition to simply taking photos and constructing photo frames in an unmanned photo studio, there is a need for various methods to meet the needs of users.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로써, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.The matters described in this background art section are written to improve understanding of the background of the invention, and may include matters that are not prior art already known to those skilled in the art in the field to which this technology belongs.
아래의 실시 예들은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 사용자들이 동일 시간이 아니거나 동일 장소가 아닌 경우에도, 함께 촬영하는 효과를 제공하기 위하여 촬영룸 키오스크를 연동시키며, 촬영룸 키오스크를 통해 사진이 아닌 동영상을 획득하는 경우에도 사용자 단말을 통해 사진 프레임을 구성할 수 있도록 하는 것을 목적으로 한다.The following embodiments were designed to solve the above-mentioned problems, and link the shooting room kiosks to provide the effect of taking pictures together even when users are not at the same time or in the same place, and through the shooting room kiosk The purpose is to be able to construct a photo frame through the user terminal even when acquiring a video rather than a photo.
일 실시예가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by one embodiment are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 촬영룸 키오스크 및 사용자 단말과 연동된 포토 스튜디오 운영 시스템을 제공한다.One aspect of the present invention for achieving the above object provides a photo studio operating system linked to a shooting room kiosk and a user terminal.
상기 포토 스튜디오 운영 시스템은, 사용자 단말의 사용자로부터 입력을 수신하고, 내장된 카메라를 이용하여 촬영된 이미지를 디스플레이를 통해 사용자에게 표시하도록 촬영룸에 구비된 촬영룸 키오스크; 상기 촬영룸 키오스크에 상기 촬영룸의 조명, 음악 및 상기 카메라를 제어하기 위한 기기 제어 신호를 전송하며, 상기 촬영룸 키오스크로부터 상기 카메라를 통해 촬영된 상기 이미지를 획득하는 운영 서버; 및 상기 운영 서버와 통신하여 상기 이미지를 획득하는 상기 사용자 단말을 포함한다.The photo studio operating system includes a shooting room kiosk provided in the shooting room to receive input from the user of the user terminal and display images captured using a built-in camera to the user through a display; an operation server that transmits a device control signal for controlling lighting, music, and the camera of the shooting room to the shooting room kiosk, and obtains the image captured through the camera from the shooting room kiosk; And it includes the user terminal that acquires the image by communicating with the operation server.
상기 운영 서버는, 상기 촬영룸 키오스크로부터 상기 사용자가 선택한 촬영 컨셉에 기초하여 상기 기기 제어 신호를 생성하는 촬영 컨셉 제어부; 촬영된 상기 이미지를 공유 이미지로 설정하고, 설정된 공유 이미지를 상기 사용자 단말 또는 상기 촬영룸 키오스크에 공유하는 공유 서비스 제공부; 및 서로 다른 제1 촬영룸 키오스크와 제2 촬영룸 키오스크 각각의 카메라를 통해 실시간으로 획득된 제1 영상과 제2 영상을 합성하는 영상 합성부를 포함한다.The operation server includes a shooting concept control unit that generates the device control signal based on the shooting concept selected by the user from the shooting room kiosk; a sharing service provider that sets the captured image as a shared image and shares the set shared image with the user terminal or the shooting room kiosk; and an image synthesis unit that synthesizes the first and second images obtained in real time through the cameras of each of the different first and second shooting room kiosks.
상기 사용자 단말은, 획득된 상기 이미지에 기초하여 사진 프레임을 구성하며, 상기 사진 프레임의 두께, 컬러 및 상기 사진 프레임에 배치될 수 있는 사진의 개수를 결정한다.The user terminal constructs a photo frame based on the acquired image, and determines the thickness and color of the photo frame and the number of photos that can be placed in the photo frame.
상기 촬영룸 키오스크는 동영상을 촬영하고, 상기 사용자 단말은 촬영된 상기 동영상을 운영 서버를 통해 획득하고, 획득된 동영상을 구성하는 복수의 이미지 프레임들 중 적어도 하나의 이미지 프레임에 기초하여 상기 사진 프레임을 구성하는 사진을 결정한다.The shooting room kiosk captures a video, and the user terminal acquires the captured video through an operation server, and selects the photo frame based on at least one image frame among a plurality of image frames constituting the acquired video. Decide which photos to compose.
상기 영상 합성부는, 상기 제1 영상과 상기 제2 영상을 이용하여 제3 영상을 생성하고, 생성된 상기 제3 영상을 상기 제1 촬영룸 키오스크의 디스플레이 및 상기 제2 촬영룸 키오스크의 디스플레이에 표시하고, 상기 제3 영상이 표시된 상태에서, 촬영 입력을 획득하는 것에 응답하여 상기 촬영 입력을 획득하는 시점에 대응되는 상기 제3 영상의 이미지 프레임을 획득한다.The image synthesis unit generates a third image using the first image and the second image, and displays the generated third image on the display of the first shooting room kiosk and the display of the second shooting room kiosk. And, in a state where the third image is displayed, in response to obtaining the capturing input, an image frame of the third image corresponding to the point in time when the capturing input is obtained is acquired.
상기 사용자 단말은, 내부 저장소에서 필터 효과가 적용된 소스 이미지를 획득하고, 상기 소스 이미지로부터 상기 필터 효과가 없는 원본 이미지를 추정하고, 상기 소스 이미지와 상기 원본 이미지를 비교하여 상기 필터 효과를 추출하고, 상기 추출된 필터 효과를 상기 획득된 이미지에 적용한다.The user terminal acquires a source image to which a filter effect is applied from internal storage, estimates an original image without the filter effect from the source image, and extracts the filter effect by comparing the source image and the original image, The extracted filter effect is applied to the acquired image.
상기 사용자 단말은, 상기 소스 이미지에서 인식된 객체들 중 상기 소스 이미지에서 차지하는 면적이 가장 큰 제1 객체를 결정하고, 상기 소스 이미지에서 상기 제1 객체에 대응되는 픽셀들의 컬러 값과 상기 원본 이미지에서 상기 제1 객체에 대응되는 픽셀들의 컬러 값을 비교하고, 상기 비교에 기초하여 상기 제1 객체에 대응되는 픽셀들 각각의 R(red), G(green), B(blue)의 변화 값을 계산하고, 상기 제1 객체에 대응되는 영역에서 R(red) 변화 값의 평균, G(green) 변화 값의 평균, B(blue) 변화 값의 평균에 대응되는 컬러 값을 추출하고, 추출된 상기 컬러 값을 상기 필터 효과로 저장하고, 저장된 상기 필터 효과를 상기 획득된 이미지에 적용한다.The user terminal determines a first object that occupies the largest area in the source image among the objects recognized in the source image, and determines the color values of pixels corresponding to the first object in the source image and the original image. Compare the color values of pixels corresponding to the first object, and calculate change values of R (red), G (green), and B (blue) of each pixel corresponding to the first object based on the comparison. and extract color values corresponding to the average of the R (red) change value, the average of the G (green) change value, and the average of the B (blue) change value in the area corresponding to the first object, and the extracted color The value is saved as the filter effect, and the saved filter effect is applied to the acquired image.
상기 사용자 단말은, 상기 운영 서버를 통해 획득된 동영상을 선택하는 사용자의 입력에 응답하여, 상기 동영상에 기초한 사진 프레임을 생성하고, 생성된 상기 사진 프레임을 조절할 수 있는 인터페이스를 디스플레이를 통해 제공하고, 상기 인터페이스 내에서 획득되는 사용자의 드래그 입력에 따라 상기 사진 프레임의 모양, 상기 사진 프레임을 구성하는 사진 및 상기 사진의 개수를 결정한다.The user terminal, in response to a user's input of selecting a video obtained through the operation server, generates a photo frame based on the video, and provides an interface through a display for adjusting the generated photo frame, The shape of the photo frame, the photos constituting the photo frame, and the number of photos are determined according to the user's drag input obtained within the interface.
상기 사용자 단말은, 상기 사진 프레임의 크기를 조절하는 상기 사용자의 드래그 입력이 제1 시간 동안 획득되지 않는 경우, 상기 드래그 입력이 획득되지 않는 시점의 크기를 상기 사진 프레임의 크기로 결정하고, 상기 드래그 입력에 따라 결정된 상기 사진 프레임의 모양 및 크기에 대응되도록 상기 사진 프레임에 포함되는 사진들을 a x b로 구성한다.If the user's drag input for adjusting the size of the photo frame is not obtained for a first time, the user terminal determines the size at the time when the drag input is not obtained as the size of the photo frame, and the drag input is determined as the size of the photo frame. The photos included in the photo frame are configured as a x b to correspond to the shape and size of the photo frame determined according to the input.
상기 사용자 단말은, 상기 동영상의 처음 제2 시간 및 마지막 제3 시간을 제외하고, 상기 제2 시간 및 상기 제3 시간이 제외된 동영상을 실질 동영상으로 결정하고, 결정된 상기 실질 동영상의 길이 내에서 상기 사진 프레임을 구성할 사진을 결정하고, 상기 결정된 사진의 개수가 M 개인 경우, 상기 실질 동영상의 길이를 (M-1) 등분하고, 상기 실질 동영상의 첫번째 이미지 프레임을 제1 사진, 상기 실질 동영상 길이의 N-1/(M-1) 부분에 대응되는 이미지 프레임을 제N 사진으로 결정하며, 상기 N의 최대 값은 상기 M과 동일하다.The user terminal, excluding the first second time and the last third time of the video, determines the video excluding the second time and the third time as the actual video, and determines the video within the determined length of the actual video. Determine photos to form a photo frame, and if the determined number of photos is M, divide the length of the real video into (M-1) equal parts, and divide the first image frame of the real video into the first photo and the length of the real video. The image frame corresponding to the N-1/(M-1) portion of is determined as the Nth photo, and the maximum value of N is equal to the M.
상기 사용자 단말은, 상기 동영상에서 사용자의 포즈를 감지하고, 제1 포즈를 포함하는 제1 이미지 프레임을 제1 사진으로 결정하고, 제2 포즈를 포함하는 제2 이미지 프레임을 제2 사진으로 결정하고, 제3 포즈를 포함하는 제3 이미지 프레임을 제3 사진으로 결정하고, 결정된 상기 사진의 개수보다 감지된 상기 포즈의 수가 적은 경우, 감지된 상기 포즈 중 가장 먼저 감지된 제1 포즈를 포함하는 이미지 프레임을 사진 프레임을 구성하는 나머지 사진으로 결정한다.The user terminal detects the user's pose in the video, determines the first image frame including the first pose as the first photo, and determines the second image frame including the second pose as the second photo, , the third image frame containing the third pose is determined as the third photo, and if the number of detected poses is less than the determined number of photos, the image containing the first pose detected first among the detected poses The frame is determined by the remaining photos that make up the photo frame.
상기 영상 합성부는, 제1 사용자 단말로부터 원격 실행 모드를 요청받은 것에 응답하여, 상기 제1 영상과 상기 제2 영상을 획득하고, 상기 제2 영상에서 제2 사용자를 검출하고, 상기 제1 영상을 구성하는 복수의 이미지 프레임들에 상기 제2 사용자에 대응되는 픽셀 영역을 합성하고, 상기 제1 영상의 제1 사용자에 대응되는 픽셀 영역과 상기 제2 사용자에 대응되는 픽셀 영역이 중첩되는 경우, 중첩되는 부분의 상기 제1 사용자의 깊이 값과 상기 제2 사용자의 깊이 값을 비교하고, 깊이 값이 높은 사용자의 픽셀 영역은 삭제하고, 상기 깊이 값이 낮은 사용자의 픽셀 영역은 유지하여 상기 제3 영상을 생성한다.The image synthesis unit, in response to receiving a request for a remote execution mode from a first user terminal, obtains the first image and the second image, detects a second user in the second image, and generates the first image. A pixel area corresponding to the second user is synthesized into a plurality of image frames, and when the pixel area corresponding to the first user of the first image overlaps with the pixel area corresponding to the second user, the overlap The depth value of the first user and the depth value of the second user are compared, the pixel area of the user with the high depth value is deleted, and the pixel area of the user with the low depth value is maintained to create the third image. creates .
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 촬영룸 키오스크 및 사용자 단말과 연동된 운영 서버의 동작 방법을 제공한다.Another aspect of the present invention for achieving the above object provides a method of operating an operation server linked to a shooting room kiosk and a user terminal.
상기 동작 방법은, 상기 촬영룸 키오스크로부터 상기 사용자 단말의 사용자가 선택한 촬영 컨셉에 기초하여 기기 제어 신호를 생성하는 동작(operation); 상기 기기 제어 신호에 따라 상기 촬영룸 키오스크를 이용하여 촬영된 이미지를 공유 이미지로 설정하고, 설정된 공유 이미지를 상기 사용자 단말 또는 상기 촬영룸 키오스크에 공유하는 동작; 및 서로 다른 제1 촬영룸 키오스크와 제2 촬영룸 키오스크 각각의 카메라를 통해 실시간으로 획득된 제1 영상과 제2 영상을 합성하는 동작을 포함한다. The operation method includes generating a device control signal based on a shooting concept selected by the user of the user terminal from the shooting room kiosk; Setting an image captured using the shooting room kiosk as a shared image according to the device control signal and sharing the set shared image with the user terminal or the shooting room kiosk; and an operation of synthesizing the first image and the second image acquired in real time through the cameras of each of the different first and second shooting room kiosks.
상기 촬영룸 키오스크는, 상기 사용자 단말의 상기 사용자로부터 입력을 수신하고, 내장된 카메라를 이용하여 촬영된 상기 이미지를 디스플레이를 통해 상기 사용자에게 표시하도록 촬영룸에 구비된다.The shooting room kiosk is provided in the shooting room to receive input from the user of the user terminal and display the image captured using a built-in camera to the user through a display.
상기 사용자 단말은, 상기 운영 서버와 통신하여 상기 이미지를 획득한다.The user terminal acquires the image by communicating with the operation server.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 상기 동작 방법을 실행시키기 위한 프로그램이 기록되고, 컴퓨터에 의해 읽혀질 수 있는, 비일시적 기록매체을 제공한다.Another aspect of the present invention for achieving the above object is to provide a non-transitory recording medium on which a program for executing the above operation method is recorded and can be read by a computer.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 운영 서버에서, 상기 동작 방법을 실행시키기 위하여 비일시적 기록매체에 기록된 컴퓨터 프로그램을 제공한다.Another aspect of the present invention for achieving the above object is to provide a computer program recorded on a non-transitory recording medium to execute the operation method in an operating server.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 촬영룸 키오스크 및 사용자 단말과 연동된 운영 서버를 제공한다.Another aspect of the present invention for achieving the above object provides an operation server linked to a shooting room kiosk and a user terminal.
상기 운영 서버는, 상기 촬영룸 키오스크로부터 상기 사용자 단말의 사용자가 선택한 촬영 컨셉에 기초하여 기기 제어 신호를 생성하는 촬영 컨셉 제어부; 상기 기기 제어 신호에 따라 상기 촬영룸 키오스크를 이용하여 촬영된 이미지를 공유 이미지로 설정하고, 설정된 공유 이미지를 상기 사용자 단말 또는 상기 촬영룸 키오스크에 공유하는 공유 서비스 제공부; 및 서로 다른 제1 촬영룸 키오스크와 제2 촬영룸 키오스크 각각의 카메라를 통해 실시간으로 획득된 제1 영상과 제2 영상을 합성하는 영상 합성부를 포함한다.The operation server includes a shooting concept control unit that generates a device control signal based on a shooting concept selected by the user of the user terminal from the shooting room kiosk; a sharing service provider that sets an image captured using the shooting room kiosk as a shared image according to the device control signal and shares the set shared image with the user terminal or the shooting room kiosk; and an image synthesis unit that synthesizes the first and second images obtained in real time through the cameras of each of the different first and second shooting room kiosks.
상기 촬영룸 키오스크는, 상기 사용자 단말의 상기 사용자로부터 입력을 수신하고, 내장된 카메라를 이용하여 촬영된 상기 이미지를 디스플레이를 통해 상기 사용자에게 표시하도록 촬영룸에 구비된다.The shooting room kiosk is provided in the shooting room to receive input from the user of the user terminal and display the image captured using a built-in camera to the user through a display.
상기 사용자 단말은, 상기 운영 서버와 통신하여 상기 이미지를 획득한다.The user terminal acquires the image by communicating with the operation server.
본 문서에 개시되는 다양한 실시 예들에 따르면, 사진을 여러 번 촬영할 필요 없이, 촬영된 동영상에 기초하여 사진 프레임을 구성할 수 있어서 사용자에게 편의성을 제공할 수 있다.According to various embodiments disclosed in this document, it is possible to construct a photo frame based on a captured video without having to take the photo multiple times, thereby providing convenience to the user.
또한, 다양한 실시 예들에 따르면, 사용자들간 시간이 맞지 않거나 거리가 멀어서 함께 촬영하기 힘든 경우에도 함께 촬영한 효과를 제공할 수 있다.Additionally, according to various embodiments, the effect of taking pictures together can be provided even when it is difficult for users to take pictures together because the time is not right or the distance between them is long.
또한, 다양한 실시 예들에 따르면, 사용자가 원하는 필터 효과를 다른 이미지에서 추출해서 촬영된 이미지에 적용할 수 있다.Additionally, according to various embodiments, a user's desired filter effect can be extracted from another image and applied to the captured image.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects that can be directly or indirectly identified through this document may be provided.
도 1은 일 실시 예에 따른 포토 스튜디오 운영 시스템을 도시한 도면이다.
도 2는 일 실시예에 따른 운영 서버의 구성을 도시한 도면이다.
도 3은 일 실시예에 따른 촬영 컨셉 제어부의 구성을 도시한 도면이다.
도 4는 일 실시예에 따른 컨셉 매핑 테이블의 일례를 도시한 도면이다.
도 5는 일 실시예에 따른 촬영 컨셉 제어 방법의 흐름도이다.
도 6은 일 실시예에 따른 촬영룸 서버의 구성을 도시한 도면이다.
도 7은 일 실시예에 따른 촬영룸 키오스크를 도시한 도면이다.
도 8은 일 실시예에 따른 사진 컨셉 데이터의 일례를 도시한 도면이다.
도 9는 사용자가 원하는 필터 효과가 적용된 소스 이미지로부터 필터 효과를 추출하고, 추출된 필터 효과를 운영 서버를 통해 획득된 이미지에 적용하는 과정을 나타낸 흐름도이다.
도 10은 둘 이상의 사용자들이 서로 시간이 맞지 않거나 서로 거리가 멀어 하나의 촬영룸 키오스크에서 함께 촬영이 불가능한 경우, 적어도 하나의 사용자가 촬영한 이미지를 배경 이미지로 활용하는 일 예시를 설명하기 위한 도면이다.
도 11은 둘 이상의 사용자가 시간이 맞지 않거나 서로 거리가 멀어 하나의 촬영룸 키오스크에서 함께 촬영이 불가능한 경우, 적어도 하나의 사용자가 촬영한 이미지를 배경 이미지로 활용하는 일 예시를 설명하기 위한 도면이다.
도 12는 제1 촬영룸 키오스크 및 제2 촬영룸 키오스크를 연동하여 원격으로 제1 사용자와 제2 사용자가 함께 촬영하는 것을 나타낸 도면이다.
도 13은 운영 서버를 통해 획득된 동영상에 기초하여 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.
도 14는 획득된 동영상에 기초하여 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.
도 15는 획득된 동영상에 대해 사용자의 드래그 입력에 기초하여 다양한 형태로 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 사용자 단말(300)의 구성을 도시한 도면이다.1 is a diagram illustrating a photo studio operating system according to an embodiment.
Figure 2 is a diagram illustrating the configuration of an operation server according to an embodiment.
Figure 3 is a diagram illustrating the configuration of a shooting concept control unit according to an embodiment.
Figure 4 is a diagram illustrating an example of a concept mapping table according to an embodiment.
Figure 5 is a flowchart of a shooting concept control method according to an embodiment.
Figure 6 is a diagram illustrating the configuration of a filming room server according to an embodiment.
Figure 7 is a diagram illustrating a filming room kiosk according to an embodiment.
Figure 8 is a diagram illustrating an example of photo concept data according to an embodiment.
Figure 9 is a flowchart showing the process of extracting a filter effect from a source image to which a user's desired filter effect is applied and applying the extracted filter effect to an image acquired through an operation server.
Figure 10 is a diagram illustrating an example of using an image taken by at least one user as a background image when two or more users cannot take pictures together in one shooting room kiosk due to the time difference or the distance from each other. .
FIG. 11 is a diagram illustrating an example of using an image taken by at least one user as a background image when two or more users cannot take pictures together in one shooting room kiosk because the time is not right or they are far away from each other.
Figure 12 is a diagram showing a first user and a second user taking pictures together remotely by linking the first shooting room kiosk and the second shooting room kiosk.
Figure 13 is a diagram to explain configuring a photo frame based on a video acquired through an operation server.
Figure 14 is a diagram for configuring a photo frame based on an acquired video.
Figure 15 is a diagram to explain configuring photo frames in various forms based on a user's drag input for an acquired video.
FIG. 16 is a diagram illustrating the configuration of a user terminal 300 according to an embodiment.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1은 일 실시 예에 따른 포토 스튜디오 운영 시스템(10)을 도시한 도면이다.FIG. 1 is a diagram illustrating a photo studio operating system 10 according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 포토 스튜디오 운영 시스템(10)은 운영 서버(100), 촬영룸 서버(200), 카메라(예: 도 6의 카메라(610))(210), 스피커(220), 조명(230), 센서(240), 디스플레이(예: 도 7의 디스플레이(620, 630))(250), 사용자 단말(300) 및 크리에이터 단말(400)을 포함할 수 있다.Referring to FIG. 1, the photo studio operating system 10 according to one embodiment includes an operation server 100, a shooting room server 200, a camera (e.g., camera 610 in FIG. 6) 210, and a speaker ( 220), lighting 230, sensor 240, display (e.g., displays 620 and 630 in FIG. 7) 250, user terminal 300, and creator terminal 400.
포토 스튜디오 운영 시스템(10) 내에 포함된 다양한 개체들(entities) 간의 통신은 유/무선 네트워크를 통해 수행될 수 있다. 유/무선 네트워크는 표준 통신 기술 및/또는 프로토콜들이 사용될 수 있다.Communication between various entities included in the photo studio operating system 10 may be performed through wired/wireless networks. Wired/wireless networks may use standard communication technologies and/or protocols.
포토 스튜디오 운영 시스템(10) 내 운영 서버(100), 촬영룸 서버(200), 사용자 단말(300) 및 크리에이터 단말(400)은 예를 들어, 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), PMP(portable multimedia player) 같은 전자 장치 중 하나로서, 일 실시예와 관련된 어플리케이션의 설치 및 실행이 가능한 모든 전자 장치를 포함할 수 있다. 전자 장치는 어플리케이션의 제어 하에 예를 들어, 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등과 같은 서비스 전반의 동작을 수행할 수 있다.The operating server 100, shooting room server 200, user terminal 300, and creator terminal 400 in the photo studio operating system 10 are, for example, computers, UMPCs (Ultra Mobile PCs), workstations, and netbooks. (net-book), PDA (Personal Digital Assistants), portable computer, web tablet, wireless phone, mobile phone, smart phone, PMP (portable) multimedia player), and may include any electronic device capable of installing and executing an application related to an embodiment. The electronic device can perform overall service operations, such as configuring a service screen, inputting data, transmitting and receiving data, and storing data, under the control of an application.
포토 스튜디오 운영 시스템(10) 내 촬영룸 서버(200), 카메라(210) 및 디스플레이(250)는 촬영룸 키오스크(600)로 구성될 수 있다. 촬영룸 키오스크(600)에 대해서는 이하 도 6에서 자세히 설명하도록 한다.The shooting room server 200, camera 210, and display 250 in the photo studio operating system 10 may be configured as a shooting room kiosk 600. The filming room kiosk 600 will be described in detail in FIG. 6 below.
운영 서버(100)는 포토 스튜디오 운영과 관련된 다양한 기능을 제공하는 서버이다.The operation server 100 is a server that provides various functions related to photo studio operation.
운영 서버(100)는 사용자가 선택한 촬영 컨셉에 따라, 촬영룸의 조명, 음악 및 카메라를 제어할 수 있다.The operation server 100 can control lighting, music, and cameras in the shooting room according to the shooting concept selected by the user.
운영 서버(100)는 사용자로부터 사진 컨셉 데이터을 수신하여, 사진 컨셉 데이터에 따라 촬영룸의 조명, 음악 및 카메라를 제어하고, 출력되는 사진의 사진 프레임을 변경할 수 있다.The operation server 100 may receive photo concept data from the user, control lighting, music, and cameras in the shooting room according to the photo concept data, and change the photo frame of the output photo.
운영 서버(100)는 디스플레이를 구비한 촬영룸 키오스크(600)에 광고를 제공하여 사용자에게 광고를 제공할 수 있다. 촬영룸 키오스크(600)는 광고에 반응한 사용자의 식별 정보, 광고 식별 정보 및 사용자 반응 유형을 포함하는 광고 반응 데이터를 생성하여 운영 서버(100)에 전송할 수 있다.The operation server 100 may provide advertisements to users by providing advertisements to the photography room kiosk 600 equipped with a display. The shooting room kiosk 600 may generate advertisement response data including identification information of a user who responded to the advertisement, advertisement identification information, and user reaction type and transmit it to the operation server 100.
운영 서버(100)는 촬영룸 서버(200)에 기기 제어 신호를 전송하여, 촬영룸에 구비된 다양한 기기들을 제어할 수 있다.The operation server 100 can control various devices installed in the filming room by transmitting a device control signal to the filming room server 200.
운영 서버(100)는 카메라(210)에서 촬영된 사진 및/또는 동영상을 사용자 단말(300)에 전송할 수 있으며, 사용자 단말(300)로부터 사진 켄셉을 수신할 수 있다.The operation server 100 may transmit photos and/or videos captured by the camera 210 to the user terminal 300 and may receive photo concepts from the user terminal 300.
운영 서버(100)는 크리에이터 단말(400)에서 미리 제작된 사진 프레임의 디자인을 제공받아 저장할 수 있다. 운영 서버(100)는 제공 받은 사진 프레임의 디자인을 촬영룸 서버(200) 및/또는 사용자 단말(300)에 제공할 수 있다. 사진 프레임의 디자인은 사진 프레임의 컬러, 사진 프레임의 무늬 등을 포함할 수 있다.The operation server 100 may receive the design of a photo frame prepared in advance from the creator terminal 400 and store it. The operation server 100 may provide the design of the provided photo frame to the shooting room server 200 and/or the user terminal 300. The design of the photo frame may include the color of the photo frame, the pattern of the photo frame, etc.
운영 서버(100)의 구체적인 구성 및 기능에 대해서는 이하 도 2에서 자세히 설명하도록 한다.The specific configuration and functions of the operation server 100 will be described in detail in FIG. 2 below.
촬영룸 서버(200)는 촬영룸에 구비되어, 사용자에게 사진 촬영에 필요한 다양한 기능들을 제공하는 서버이다. 촬영룸 서버(200)는 촬영된 사진 및/또는 촬영된 동영상을 운영 서버(100)에 제공할 수 있다.The shooting room server 200 is a server provided in the shooting room and provides various functions necessary for taking photos to users. The shooting room server 200 may provide captured photos and/or captured videos to the operation server 100.
촬영룸 서버(200)는 운영 서버(100)으로부터 수신된 기기 제어 신호를 이용하여, 촬영룸에 구비된 카메라(210), 스피커(220), 조명(230) 및 센서(240)를 제어할 수 있다.The shooting room server 200 can control the camera 210, speaker 220, lighting 230, and sensor 240 provided in the shooting room using the device control signal received from the operation server 100. there is.
촬영룸 서버(200)는 센서(240)로부터 센서 값을 수신하여, 수신된 센서 값을 운영 서버(100)에 전송할 수 있다.The shooting room server 200 may receive sensor values from the sensor 240 and transmit the received sensor values to the operation server 100.
촬영룸 서버(200)는 터치 스크린, 키보드, 마우스 및 마이크로폰과 같은 입력 수단을 구비할 수 있으며, 촬영룸 서버(200)는 입력 수단을 통해 사용자로부터 촬영 설정 정보, 기기 제어 정보, 사진 프레임 정보를 입력 받을 수 있다.The shooting room server 200 may be equipped with input means such as a touch screen, keyboard, mouse, and microphone. The shooting room server 200 receives shooting setting information, device control information, and photo frame information from the user through the input means. You can receive input.
일 실시예의 촬영 설정 정보는 촬영 컨셉, 사진 크기, 촬영 수 등을 포함할 수 있으며, 기기 제어 정보는 카메라 파라미터, 조명 조도, 조명 색상, 촬영 음악, 스피커 음량 등을 포함할 수 있으며, 사진 프레임 정보는 출력되는 사진의 프레임 디자인 정보를 포함할 수 있다.Shooting setting information in one embodiment may include shooting concept, photo size, number of shots, etc., and device control information may include camera parameters, lighting illuminance, lighting color, shooting music, speaker volume, etc., and photo frame information. may include frame design information of the output photo.
촬영룸 서버(200)는 디스플레이 기기, 스피커와 같은 출력 수단을 구비할 수 있으며, 촬영룸 서버(200)는 출력 수단을 통해 사용자에게 사진 촬영에 필요한 다양한 정보를 출력할 수 있다. 일례로, 촬영룸 서버(200)는 사용자가 선택 가능한 촬영 컨셉 및 사용자가 촬영한 사진을 출력할 수 있다.The shooting room server 200 may be equipped with an output means such as a display device and a speaker, and the shooting room server 200 may output various information necessary for taking photos to the user through the output means. For example, the shooting room server 200 may output a shooting concept selectable by the user and a photo taken by the user.
촬영룸 서버(200)는 운영 서버(100)로부터 광고를 수신하여, 출력 수단을 통해 사용자에게 광고를 출력할 수 있다. 사용자가 광고에 반응하는 경우, 촬영룸 서버(200)는 사용자 반응 정보를 생성하여, 운영 서버(100)에 전송할 수 있다.The shooting room server 200 may receive an advertisement from the operation server 100 and output the advertisement to the user through an output means. When the user responds to the advertisement, the shooting room server 200 may generate user reaction information and transmit it to the operation server 100.
촬영룸 서버(200)는 사용자에게 사진 촬영에 필요한 결제 기능을 제공할 수 있다.The shooting room server 200 may provide users with payment functions necessary for taking photos.
촬영룸 서버(200)는 사용자가 촬영한 사진을 출력하는 사진 인화 기능을 제공할 수 있다.The shooting room server 200 may provide a photo printing function to output photos taken by the user.
촬영룸 서버(200)는 운영 서버(100)로부터 특정 광고를 제공받을 수 있고, 디스플레이(250)를 통해 사용자에게 광고를 제공할 수 있다. 촬영룸 서버(200)는 광고에 반응한 사용자의 식별 정보, 광고 식별 정보 및 사용자 반응 유형을 포함하는 광고 반응 데이터를 생성하여 운영 서버(100)에 전송할 수 있다.The shooting room server 200 can receive a specific advertisement from the operation server 100 and provide the advertisement to the user through the display 250. The shooting room server 200 may generate advertisement response data including identification information of a user who responded to the advertisement, advertisement identification information, and user reaction type and transmit it to the operation server 100 .
카메라(210)는 촬영룸에 구비되며, 사용자가 카메라(210)를 이용하여 직접 사진을 촬영할 수 있다.The camera 210 is provided in the recording room, and the user can directly take pictures using the camera 210.
카메라(210)는 촬영룸 서버(200)를 통해 사용자가 입력한 카메라 파라미터를 적용하여, 사진을 촬영할 수 있다.The camera 210 can take a photo by applying camera parameters input by the user through the shooting room server 200.
카메라(210)는 사진 촬영 뿐 아니라, 동영상을 촬영할 수 있다. 동영상 촬영 기능은 촬영룸 키오스크(600) 및/또는 사용자 단말(300)을 통해서 제어될 수 있다.The camera 210 can take not only photos but also videos. The video recording function can be controlled through the recording room kiosk 600 and/or the user terminal 300.
일 실시예의 카메라 파라미터는 이미지의 화질, 크기, 카메라의 감도(ISO), 필터, 조리개, 셔터 스피드 등의 값을 포함할 수 있다.Camera parameters in one embodiment may include values such as image quality, size, camera sensitivity (ISO), filter, aperture, and shutter speed.
전술한 바와 같이, 촬영룸 서버(200), 카메라(210), 스피커(220) 및 디스플레이(250)는 촬영룸 키오스크(600)로 구성될 수 있다. 즉, 촬영룸 서버(200)와 카메라(210), 스피커(220) 및 디스플레이(250)가 통합되어, 하나의 촬영룸 키오스크(600)로 구성될 수 있다.As described above, the shooting room server 200, camera 210, speaker 220, and display 250 may be configured as a shooting room kiosk 600. That is, the shooting room server 200, camera 210, speaker 220, and display 250 can be integrated to form one shooting room kiosk 600.
본 명세서에서는 촬영룸 서버(200)와 촬영룸 키오스크(600)는 동일한 구성으로 설명하도록 한다. 즉 촬영룸 서버(200)에서 구현되는 모든 기능은 촬영룸 키오스크(600)로 동일하게 구현가능하다 하겠다.In this specification, the shooting room server 200 and the shooting room kiosk 600 will be described as having the same configuration. In other words, all functions implemented in the shooting room server 200 can be equally implemented by the shooting room kiosk 600.
스피커(220)는 촬영룸에 구비되며, 촬영 음악을 재생할 수 있다.The speaker 220 is provided in the shooting room and can play shooting music.
조명(230)은 촬영룸에 구비된 다수의 조명 기기를 포함할 수 있으며, 기기 제어 신호에 따라 빛을 출력할 수 있다.Lighting 230 may include a number of lighting devices installed in the filming room and may output light according to device control signals.
센서(240)는 촬영룸에 구비된 움직임 센서(241), 음성 센서(242) 및 조도 센서(243)를 포함할 수 있다.The sensor 240 may include a motion sensor 241, a voice sensor 242, and an illumination sensor 243 provided in the recording room.
움직임 센서(241)는 사용자의 움직임에 따라 발생되는 움직임 신호를 감지할 수 있다. 음성 센서(242)는 사용자의 움직임에 따라 발생되는 음향 신호 및 사용자의 특정 상황에 따라 발할 수 있는 음성 명령 신호를 감지할 수 있다. 조도 센서(243)는 사용자 위치에서의 조도 값을 인식할 수 있다.The motion sensor 241 can detect a motion signal generated according to the user's movement. The voice sensor 242 can detect an acoustic signal generated according to the user's movement and a voice command signal that can be issued according to the user's specific situation. The illuminance sensor 243 can recognize the illuminance value at the user's location.
사용자 단말(300)은 운영 서버(100)로부터 획득된 이미지 및/또는 동영상을 사용자에게 표시할 수 있다. 사용자 단말(300)은 운영 서버(100)로부터 획득된 이미지 및/또는 동영상을 편집할 수 있다. 사용자 단말(300)은 운영 서버(100)로부터 획득된 이미지 및/또는 동영상에 기초하여 사진 프레임을 생성할 수 있다. The user terminal 300 may display images and/or videos obtained from the operation server 100 to the user. The user terminal 300 may edit images and/or videos obtained from the operation server 100. The user terminal 300 may generate a photo frame based on images and/or videos obtained from the operation server 100.
사용자 단말(300)은 사용자가 생성한 사진 컨셉 데이터를 운영 서버(100)에 전송할 수 있다.The user terminal 300 may transmit photo concept data created by the user to the operation server 100.
사용자 단말(300)의 구체적인 구성 및 기능에 대해서는 이하 도 9 내지 도 15에서 자세히 설명하도록 한다.The specific configuration and functions of the user terminal 300 will be described in detail in FIGS. 9 to 15 below.
도 2는 일 실시예에 따른 운영 서버(100)의 구성을 도시한 도면이다.FIG. 2 is a diagram illustrating the configuration of the operation server 100 according to an embodiment.
도 2를 참조하면, 일 실시예에 따른 운영 서버(100)는 통신부(110), 입력부(120), 출력부(130), 메모리(140), 전원 공급부(150) 및 제어부(160)를 포함할 수 있다. 제어부(160)는 촬영 컨셉 제어부(161), 공유 서비스 제공부(162) 및 영상 합성부(163)를 포함하여 구성될 수 있다.Referring to FIG. 2, the operation server 100 according to one embodiment includes a communication unit 110, an input unit 120, an output unit 130, a memory 140, a power supply unit 150, and a control unit 160. can do. The control unit 160 may include a shooting concept control unit 161, a sharing service providing unit 162, and an image synthesis unit 163.
도 2에 도시된 구성들은 본 발명의 실시 예들을 구현하기 위한 예시도이며, 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 운영 서버(100)에 추가로 포함될 수 있다.The configurations shown in FIG. 2 are illustrative diagrams for implementing embodiments of the present invention, and appropriate hardware/software configurations that are obvious to those skilled in the art may be additionally included in the operating server 100.
통신부(110)는 다양한 통신 방식을 통해 외부의 장치와 통신을 수행할 수 있다. 일례로, 통신부(110)는 촬영룸 서버(200) 및 사용자 단말(300)과 통신을 수행하여 다양한 데이터를 송수신할 수 있다.The communication unit 110 can communicate with external devices through various communication methods. For example, the communication unit 110 may communicate with the shooting room server 200 and the user terminal 300 to transmit and receive various data.
입력부(120)는 운영 서버(100)의 사용자인 운영자의 다양한 입력을 수신하여 제어부(160)로 전달할 수 있다. 특히, 입력부(120)는 터치 센서, (디지털) 펜 센서, 압력 센서, 키 및 마이크로폰을 포함할 수 있다. 터치 센서는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. (디지털) 펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 마이크로폰은 운영자 음성을 수신하기 위한 구성으로, 운영 서버(100) 내부에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 운영 서버(100)의 외부에 구비되어 운영 서버(100)와 전기적으로 연결될 수 있다.The input unit 120 may receive various inputs from an operator who is a user of the operation server 100 and transmit them to the control unit 160. In particular, the input unit 120 may include a touch sensor, a (digital) pen sensor, a pressure sensor, a key, and a microphone. The touch sensor may use at least one of, for example, a capacitive type, a resistive type, an infrared type, or an ultrasonic type. The (digital) pen sensor may be, for example, part of a touch panel or may include a separate recognition sheet. Keys may include, for example, physical buttons, optical keys, or keypads. The microphone is configured to receive the operator's voice and may be installed inside the operation server 100, but this is only an example. It is provided outside the operation server 100 and is electrically connected to the operation server 100. You can.
출력부(130)는 다양한 화면을 제공할 수 있다. 일례로, 출력부(130)는 운영자에게 컨셉 매핑 테이블, 사진 컨셉 데이터를 출력할 수 있다.The output unit 130 can provide various screens. For example, the output unit 130 may output a concept mapping table and photo concept data to the operator.
메모리(140)는 운영 서버(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 특히, 메모리(140)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(140)는 제어부(160)에 의해 액세스되며, 제어부(160)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 발명에서 메모리라는 용어는 메모리(140), 제어부(160) 내 롬(미도시), 램(미도시) 또는 운영 서버(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(140)에는 출력부(130)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.The memory 140 may store commands or data related to at least one other component of the operating server 100. In particular, the memory 140 may be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SSD). The memory 140 is accessed by the control unit 160, and the control unit 160 can read/write/modify/delete/update data. In the present invention, the term memory refers to memory 140, ROM (not shown), RAM (not shown) in the control unit 160, or a memory card (not shown) mounted on the operating server 100 (e.g., micro SD). card, memory stick). Additionally, the memory 140 may store programs and data for configuring various screens to be displayed in the display area of the output unit 130.
전원 공급부(150)는 제어부(160)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 150 receives external power and internal power under the control of the control unit 160 and supplies power necessary for the operation of each component.
제어부(160)는 통신부(110), 입력부(120), 출력부(130), 메모리(140) 및 전원 공급부(150)와 전기적으로 연결되어, 운영 서버(100)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 제어부(160)는 메모리(140)에 저장된 다양한 모듈을 이용하여 후술하는 기능을 제공할 수 있다.The control unit 160 is electrically connected to the communication unit 110, the input unit 120, the output unit 130, the memory 140, and the power supply unit 150 to control the overall operation and functions of the operation server 100. You can. In particular, the control unit 160 can provide functions described later using various modules stored in the memory 140.
이하에서 설명되는 운영 서버(100) 상의 다양한 동작은 제어부(160)의 제어에 의해서 수행될 수 있음은 자명할 것이다.It will be apparent that various operations on the operation server 100 described below can be performed under the control of the control unit 160.
전술한 바와 같이, 제어부(160)는 촬영 컨셉 제어부(161), 공유 서비스 제공부(162) 및 영상 합성부(163)를 포함하여 구성될 수 있다.As described above, the control unit 160 may include a shooting concept control unit 161, a sharing service providing unit 162, and an image synthesis unit 163.
촬영 컨셉 제어부(161)는 사용자가 선택한 촬영 컨셉에 따라, 촬영룸의 조명, 음악 및 카메라를 제어할 수 있다.The shooting concept control unit 161 can control lighting, music, and cameras in the shooting room according to the shooting concept selected by the user.
촬영 컨셉 제어부(161)는 촬영룸 서버(200)로부터 수신된 촬영 컨셉을 이용하여, 촬영룸의 조명, 스피커 및 카메라의 제어 신호를 생성할 수 있다. 촬영 컨셉 제어부(161)는 컨셉 매핑 테이블을 이용하여, 촬영룸의 조명, 스피커 및 카메라의 제어 신호를 포함하는 기기 제어 신호를 생성할 수 있다. 여기서 카메라의 제어 신호는 전술한 카메라 파라미터와 동일한 신호이다. 촬영 컨셉은 사진 컨셉 및/또는 동영상 컨셉으로도 이해될 수 있다.The shooting concept control unit 161 may use the shooting concept received from the shooting room server 200 to generate control signals for lighting, speakers, and cameras in the shooting room. The shooting concept control unit 161 may use the concept mapping table to generate a device control signal including control signals for lighting, speakers, and cameras in the shooting room. Here, the camera control signal is the same signal as the camera parameter described above. The shooting concept can also be understood as a photography concept and/or a video concept.
촬영 컨셉 제어부(161)는 사용자로부터 사진 컨셉 데이터를 수신하여, 사진 컨셉 데이터에 따라 촬영룸의 조명, 음악 및 카메라를 제어하고, 출력되는 사진의 사진 프레임을 변경할 수 있다. 사진 프레임 정보는 출력되는 사진의 프레임 디자인 정보를 포함할 수 있다.The shooting concept control unit 161 may receive photo concept data from the user, control lighting, music, and cameras in the shooting room according to the photo concept data, and change the photo frame of the output photo. Photo frame information may include frame design information of the output photo.
촬영 컨셉 제어부(161)는 다른 사용자가 사진 컨셉 데이터를 이용하여, 촬영 컨셉을 촬영룸에 적용하거나 촬영된 사진을 출력하는 경우, 촬영 컨셉 제어부(161)는 창작자 정보 내 포함된 사진 컨셉 데이터의 사용 횟수를 증가시켜, 사진 컨셉 데이터를 업데이트할 수 있다.When another user applies a shooting concept to a shooting room or outputs a taken photo using photo concept data, the shooting concept control unit 161 uses the photo concept data included in the creator information. By increasing the number of times, the photo concept data can be updated.
일 실시예의 사진 컨셉 데이터는 컨셉 맵핑 테이블, 사진 프레임 정보 및 창작자 정보를 포함할 수 있다. 사용자는 촬영룸 키오스크(600) 또는 사용자 단말(300)을 통해, 사진 컨셉 데이터를 생성할 수 있으며, 촬영룸 키오스크(600) 또는 사용자 단말(300)은 생성된 사진 컨셉 데이터를 운영 서버(100)에 전송할 수 있다. 이를 위해, 촬영룸 키오스크(600) 또는 사용자 단말(300)은 사진 컨셉 데이터를 생성할 수 있는 인터페이스를 사용자에게 제공할 수 있다. 상기 창작자 정보는 사진 컨셉 데이터를 생성한 사용자의 식별 정보 및 사진 컨셉 데이터의 사용 횟수를 포함할 수 있다.Photo concept data in one embodiment may include a concept mapping table, photo frame information, and creator information. The user can create photo concept data through the shooting room kiosk 600 or the user terminal 300, and the shooting room kiosk 600 or the user terminal 300 sends the generated photo concept data to the operating server 100. can be transmitted to. To this end, the photography room kiosk 600 or the user terminal 300 may provide the user with an interface for generating photo concept data. The creator information may include identification information of the user who created the photo concept data and the number of times the photo concept data has been used.
촬영 컨셉 제어부(161)의 구체적인 구성 및 기능에 대해서는 이하 도 3에서 자세히 설명하도록 한다.The specific configuration and function of the shooting concept control unit 161 will be described in detail in FIG. 3 below.
촬영룸 키오스크(600)는 복수 개의 촬영룸 키오스크를 포함할 수 있고, 공유 서비스 제공부(162)는 제1 사용자가 촬영한 이미지를 제2 사용자가 이용하도록 하기 위한 공유 서비스를 제공할 수 있다. 공유 서비스 제공부(162)의 동작에 대해서는 이하 도 10 및 도 11에서 자세히 설명하도록 한다.The shooting room kiosk 600 may include a plurality of shooting room kiosks, and the sharing service provider 162 may provide a sharing service for allowing a second user to use an image captured by a first user. The operation of the shared service provider 162 will be described in detail in FIGS. 10 and 11 below.
영상 합성부(163)는 복수 개의 촬영룸 키오스크 각각의 카메라를 통해 획득된 영상을 합성하여 복수 개의 촬영룸 키오스크에 합성된 영상을 제공할 수 있다. 영상 합성부(163)의 동작에 대해서는 이하 도 12에서 자세히 설명하도록 한다.The image synthesis unit 163 may synthesize images acquired through cameras of each of the plurality of shooting room kiosks and provide the synthesized images to the plurality of shooting room kiosks. The operation of the image synthesis unit 163 will be described in detail in FIG. 12 below.
제어부(160)는 통신부(110)를 제어하여, 촬영룸 서버(200)에 기기 제어 신호를 전송하여, 촬영룸에 구비된 다양한 기기들을 제어할 수 있다.The control unit 160 can control the communication unit 110 and transmit a device control signal to the filming room server 200 to control various devices installed in the filming room.
일 실시예의 기기 제어 신호는 촬영 컨셉 제어부(161)에서 생성된 조명, 스피커 및 카메라 제어 신호(카메라 파라미터), 공유 서비스 제공부(162)에서 생성된 조명 제어 신호, 영상 합성부(163)에서 생성된 카메라 파라미터를 포함할 수 있다.Device control signals in one embodiment include lighting, speaker, and camera control signals (camera parameters) generated by the shooting concept control unit 161, lighting control signals generated by the sharing service provider 162, and image synthesis units 163. may include camera parameters.
제어부(160)는 통신부(110)를 제어하여, 카메라(210)에서 촬영된 사진을 사용자 단말(300)에 전송할 수 있다.The control unit 160 may control the communication unit 110 to transmit a photo taken by the camera 210 to the user terminal 300.
제어부(160)는 입력부(120)를 통해, 운영자로부터 촬영 컨셉 매핑 테이블 관련 데이터를 입력받을 수 있다.The control unit 160 may receive data related to the shooting concept mapping table from the operator through the input unit 120.
도 3은 일 실시예에 따른 촬영 컨셉 제어부(161)의 구성을 도시한 도면이다.FIG. 3 is a diagram illustrating the configuration of the shooting concept control unit 161 according to an embodiment.
도 3을 참조하면, 일 실시예에 따른 촬영 컨셉 제어부(161)는 컨셉 매핑 테이블 생성부(171), 컨셉 매핑 테이블 DB(172) 및 기기 제어 신호 생성부(173)를 포함할 수 있다.Referring to FIG. 3, the photography concept control unit 161 according to one embodiment may include a concept mapping table generator 171, a concept mapping table DB 172, and a device control signal generator 173.
컨셉 매핑 테이블 생성부(171)는 운영자로부터 데이터를 입력받아 촬영 컨셉 매핑 테이블(174)을 생성하고, 생성된 컨셉 매핑 테이블(174)을 컨셉 매핑 DB(172)에 저장할 수 있다. 기기 제어 신호 생성부(173)는 컨셉 매핑 테이블(174)을 이용하여, 사용자가 선택한 촬영 컨셉에 대한 기기 제어 신호를 생성할 수 있다.The concept mapping table generator 171 may receive data from an operator, create a photography concept mapping table 174, and store the generated concept mapping table 174 in the concept mapping DB 172. The device control signal generator 173 may use the concept mapping table 174 to generate a device control signal for the shooting concept selected by the user.
도 4는 일 실시예에 따른 컨셉 매핑 테이블(174)의 일례를 도시한 도면이다.FIG. 4 is a diagram illustrating an example of a concept mapping table 174 according to an embodiment.
도 4를 참조하면, 일 실시예의 컨셉 매핑 테이블(174)은 촬영 컨셉 명, 촬영 컨셉 이미지, 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 데이터 구조이다.Referring to FIG. 4, the concept mapping table 174 of one embodiment is a data structure including the shooting concept name, shooting concept image, music, background image, light color and illuminance information of lighting equipment provided in the shooting room, and camera parameters. am.
촬영 컨셉 제어부(161)는 생성된 컨셉 매핑 테이블(174)을 촬영룸 서버(200)에 전송하고, 촬영룸 서버(200)는 사용자에게 선택 가능한 촬영 컨셉을 출력 및 선택 입력받을 수 있다.The shooting concept control unit 161 transmits the generated concept mapping table 174 to the shooting room server 200, and the shooting room server 200 can output and receive a selection input of shooting concepts that can be selected by the user.
촬영 컨셉 제어부(161)는 촬영룸 서버(200)로부터 사용자가 선택한 촬영 컨셉을 전송받을 수 있다.The shooting concept control unit 161 may receive the shooting concept selected by the user from the shooting room server 200.
촬영 컨셉 제어부(161)는 컨셉 매핑 테이블(174)을 이용하여, 사용자가 선택한 촬영 컨셉에 대한 기기 제어 신호를 생성할 수 있다.The shooting concept control unit 161 may use the concept mapping table 174 to generate a device control signal for the shooting concept selected by the user.
촬영 컨셉 제어부(161)는 컨셉 매핑 테이블(174)을 이용하여, 사용자가 선택한 촬영 컨셉에 해당하는 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 컨셉 데이터를 추출할 수 있다.The shooting concept control unit 161 uses the concept mapping table 174 to include music corresponding to the shooting concept selected by the user, a background image, light color and illuminance information of the lighting equipment installed in the shooting room, and camera parameters. Data can be extracted.
촬영 컨셉 제어부(161)는 추출된 컨셉 데이터를 이용하여, 조명(230), 스피커(220), 카메라(210)의 제어 신호를 생성할 수 있다. 전술한 바와 같이, 여기서 카메라의 제어 신호는 전술한 카메라 파라미터와 동일한 신호이다.The shooting concept control unit 161 may generate control signals for the lighting 230, the speaker 220, and the camera 210 using the extracted concept data. As described above, the control signal of the camera here is the same signal as the camera parameter described above.
일례로, 사용자가 ‘컨셉 A’의 촬영 컨셉을 선택한 경우, 촬영 컨셉 제어부(161)는 컨셉 매핑 테이블(174)에서‘컨셉 A’에 해당하는 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 기기 제어 신호를 생성할 수 있다.For example, when the user selects the shooting concept of 'Concept A', the shooting concept control unit 161 selects the music, background image, and lighting equipment provided in the shooting room corresponding to 'Concept A' in the concept mapping table 174. It can generate device control signals that include light color and illuminance information and camera parameters.
도 5는 일 실시예에 따른 촬영 컨셉 제어 방법의 흐름도이다.Figure 5 is a flowchart of a shooting concept control method according to an embodiment.
도 5를 참조하면, 일 실시예에 따른 촬영 컨셉 제어 방법은 촬영 컨셉 수신 단계(S100), 컨셉 데이터 추출 단계(S110) 및 기기 제어 신호 생성 단계(S120)를 포함할 수 있다.Referring to FIG. 5 , the shooting concept control method according to an embodiment may include a shooting concept receiving step (S100), a concept data extracting step (S110), and a device control signal generating step (S120).
상기 촬영 컨셉 제어 방법은, 촬영 컨셉 제어부(161)에 의해 수행될 수 있다.The shooting concept control method may be performed by the shooting concept control unit 161.
우선, 촬영 컨셉 수신 단계(S100)로, 촬영 컨셉 제어부(161)는 촬영룸 서버(200)로부터 사용자가 선택한 촬영 컨셉을 전송받을 수 있다.First, in the shooting concept reception step (S100), the shooting concept control unit 161 may receive the shooting concept selected by the user from the shooting room server 200.
그리고, 컨셉 데이터 추출 단계(S110)로, 촬영 컨셉 제어부(161)는 컨셉 매핑 테이블(174)을 이용하여, 사용자가 선택한 촬영 컨셉에 해당하는 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 컨셉 데이터를 추출할 수 있다.Then, in the concept data extraction step (S110), the shooting concept control unit 161 uses the concept mapping table 174 to include music, background images, and light from lighting equipment provided in the shooting room corresponding to the shooting concept selected by the user. Concept data including color and illuminance information and camera parameters can be extracted.
그리고, 기기 제어 신호 생성 단계(S120)로, 촬영 컨셉 제어부(161)는 추출된 컨셉 데이터를 이용하여, 조명(230), 스피커(220), 카메라(210)의 제어 신호를 생성할 수 있다.Then, in the device control signal generation step (S120), the shooting concept control unit 161 can generate control signals for the lighting 230, the speaker 220, and the camera 210 using the extracted concept data.
이로써, 촬영 컨셉 제어부(161)는 사용자가 선택한 촬영 컨셉에 따라 촬영룸의 조명, 음악 및 카메라를 제어하여, 사용자가 원하는 컨셉에 따라 사진을 촬영할 수 있는 환경을 제공할 수 있다.Accordingly, the shooting concept control unit 161 can control the lighting, music, and camera of the shooting room according to the shooting concept selected by the user, thereby providing an environment in which the user can take photos according to the desired concept.
도 6은 일 실시예에 따른 촬영룸 서버의 구성을 도시한 도면이다.Figure 6 is a diagram illustrating the configuration of a filming room server according to an embodiment.
도 6를 참조하면, 일 실시예에 따른 촬영룸 서버(200)는 키오스크 통신부(201), 키오스크 입력부(202), 키오스크 출력부(203), 키오스크 메모리(204), 키오스크 전원 공급부(205), 키오스크 제어부(206) 및 카메라(210)를 포함할 수 있다.Referring to FIG. 6, the filming room server 200 according to one embodiment includes a kiosk communication unit 201, a kiosk input unit 202, a kiosk output unit 203, a kiosk memory 204, a kiosk power supply unit 205, It may include a kiosk control unit 206 and a camera 210.
도 6에 도시된 구성들은 본 발명의 실시 예들을 구현하기 위한 예시도이며, 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 촬영룸 키오스크(600)에 추가로 포함될 수 있다.The configurations shown in FIG. 6 are illustrative diagrams for implementing embodiments of the present invention, and appropriate hardware/software configurations that are obvious to those skilled in the art may be additionally included in the photography room kiosk 600.
키오스크 통신부(201)는 다양한 통신 방식을 통해 외부의 장치와 통신을 수행할 수 있다. 일례로, 키오스크 통신부(201)는 운영 서버(100) 및 사용자 단말(300)과 통신을 수행하여 다양한 데이터를 송수신할 수 있다.The kiosk communication unit 201 can communicate with external devices through various communication methods. For example, the kiosk communication unit 201 may communicate with the operation server 100 and the user terminal 300 to transmit and receive various data.
키오스크 입력부(202)는 사용자의 다양한 입력을 수신하여 키오스크 제어부(206)로 전달할 수 있다. 특히, 키오스크 입력부(202)는 터치 센서, (디지털) 펜 센서, 압력 센서, 키 및 마이크로폰을 포함할 수 있다. 터치 센서는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 마이크로폰은 사용자 음성을 수신하기 위한 구성으로, 촬영룸 키오스크(600) 내부에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 촬영룸 키오스크(600)의 외부에 구비되어 촬영룸 키오스크(600)와 전기적으로 연결될 수 있다.The kiosk input unit 202 can receive various inputs from the user and transmit them to the kiosk control unit 206. In particular, the kiosk input unit 202 may include a touch sensor, a (digital) pen sensor, a pressure sensor, a key, and a microphone. The touch sensor may use at least one of, for example, a capacitive type, a resistive type, an infrared type, or an ultrasonic type. The microphone is configured to receive the user's voice and may be installed inside the shooting room kiosk 600, but this is only an example. It is provided outside the shooting room kiosk 600 and is used in conjunction with the shooting room kiosk 600. Can be electrically connected.
키오스크 출력부(203)는 다양한 화면을 제공할 수 있다. 일례로, 키오스크 출력부(203)는 사용자에게 카메라(210)의 영상, 촬영된 사진, 촬영 컨셉, 사진 프레임, 결제 정보, 광고 등을 출력할 수 있다.The kiosk output unit 203 can provide various screens. For example, the kiosk output unit 203 may output a video of the camera 210, a captured photo, a shooting concept, a photo frame, payment information, advertisements, etc. to the user.
키오스크 메모리(204)는 촬영룸 키오스크(600)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 특히, 키오스크 메모리(204)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 키오스크 메모리(204)는 키오스크 제어부(206)에 의해 액세스되며, 키오스크 제어부(206)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 키오스크 메모리(204)에는 키오스크 출력부(203)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.The kiosk memory 204 may store commands or data related to at least one other component of the shooting room kiosk 600. In particular, the kiosk memory 204 may be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SSD). The kiosk memory 204 is accessed by the kiosk control unit 206, and reading/recording/editing/deleting/updating of data by the kiosk control unit 206 can be performed. Additionally, the kiosk memory 204 may store programs and data for configuring various screens to be displayed in the display area of the kiosk output unit 203.
키오스크 전원 공급부(205)는 키오스크 제어부(206)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The kiosk power supply unit 205 receives external power and internal power under the control of the kiosk control unit 206 and supplies power necessary for the operation of each component.
키오스크 제어부(206)는 키오스크 통신부(201), 키오스크 입력부(202), 키오스크 출력부(203), 키오스크 메모리(204), 키오스크 전원 공급부(205), 키오스크 제어부(206) 및 카메라(210)와 전기적으로 연결되어, 촬영룸 키오스크(600)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 키오스크 제어부(206)는 키오스크 메모리(204)에 저장된 다양한 모듈을 이용하여 후술하는 기능을 제공할 수 있다.The kiosk control unit 206 is electrically connected to the kiosk communication unit 201, kiosk input unit 202, kiosk output unit 203, kiosk memory 204, kiosk power supply unit 205, kiosk control unit 206, and camera 210. connected, the overall operation and functions of the filming room kiosk 600 can be controlled. In particular, the kiosk control unit 206 can provide functions described later using various modules stored in the kiosk memory 204.
한편, 전술한 촬영룸 서버(200)의 구성요소들은 후술하는 촬영룸 키오스크(600)의 일부로서(즉, 하드웨어 일부로서) 일체로 구성될 수 있다. 즉, 후술하는 촬영룸 키오스크(600)는 촬영룸 서버(200)의 구성요소들을 모두 포함하고, 촬영룸 서버(200)의 동작을 모두 수행할 수 있는 구성으로 해석될 수 있다.Meanwhile, the components of the filming room server 200 described above may be integrated as part of the filming room kiosk 600 (that is, as part of the hardware), which will be described later. In other words, the shooting room kiosk 600, which will be described later, can be interpreted as a configuration that includes all the components of the shooting room server 200 and can perform all of the operations of the shooting room server 200.
도 7은 일 실시예에 따른 촬영룸 키오스크(600)를 도시한 도면이다.FIG. 7 is a diagram illustrating a filming room kiosk 600 according to an embodiment.
도 7을 참조하면, 일 실시예에 따른 촬영룸 키오스크(600)는 키오스크 입력부(602)와 키오스크 출력부(603) 기능을 수행하는 디스플레이(620, 630)와 적어도 2개의 카메라(210-1, 601-2)를 포함하는 함체(Housing)로 구성될 수 있다.Referring to FIG. 7, the shooting room kiosk 600 according to one embodiment includes displays 620 and 630 that perform the functions of the kiosk input unit 602 and the kiosk output unit 603, and at least two cameras 210-1, It may be composed of a housing containing 601-2).
디스플레이(620, 630)는 촬영룸 키오스크(600)에서 처리되는 정보를 표시 출력한다. 예를 들어, 촬영룸 키오스크(600)가 촬영 모드인 경우, 사진 촬영과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 그리고, 촬영룸 키오스크(600)가 사진 출력 모드 또는 결제 모드인 경우, 촬영된 사진 또는/및 사진 프레임 관련 UI, GUI를 표시할 수 있다. 디스플레이(620, 630)는 터치 패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성될 수 있으며, 디스플레이(620, 630)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(620, 630)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 촬영룸 키오스크(600)의 구현 형태에 따라, 디스플레이(620, 630)는 2개 이상 존재할 수도 있다.The displays 620 and 630 display and output information processed in the shooting room kiosk 600. For example, when the photography room kiosk 600 is in a photographing mode, it may display a user interface (UI) or graphic user interface (GUI) related to photographing. Additionally, when the shooting room kiosk 600 is in photo output mode or payment mode, it can display UI and GUI related to the captured photo or/and photo frame. The displays 620 and 630 may be configured as a touch screen by forming a layered structure of touch pads, and the displays 620 and 630 may be used as input devices in addition to output devices. The displays 620 and 630 include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may include at least one of (3D display). And, depending on the implementation type of the shooting room kiosk 600, there may be two or more displays 620 and 630.
촬영룸 키오스크(600) 내 적어도 2개의 카메라(210-1, 210-2)는 디스플레이(620, 630)의 상하 양측에 구비될 수 있으며, 제 1 카메라(210-1)는 전신 촬영 카메라로, 제 2 카메라(210-2)는 반신 촬영 카메라로 사용될 수 있으며, 반대로 적용될 수 있다. 다른 실시 예에서, 적어도 2개의 카메라(210-1, 210-2)는 상하가 아닌 좌우로 배치될 수 있다. 적어도 2개의 카메라(210-1, 210-2)는 동등한 사양(예: 화소)을 가지는 동종의 카메라일 수 있으나, 제1 카메라(210-1)와 제2 카메라(210-2)는 다른 사양의 카메라로 구현될 수 있다. 촬영룸 키오스크(600)는 2개의 카메라(210-1, 210-2)를 통해 듀얼 카메라와 관련된 기능(예: 3D 촬영, 자동 초점(auto focus) 등)을 지원할 수 있다. 적어도 2개의 카메라 중 하나는 고속 촬영을 수행하고, 다른 하나는 저속 촬영을 수행할 수 있다.At least two cameras (210-1, 210-2) in the shooting room kiosk (600) may be installed on both the top and bottom sides of the displays (620, 630), and the first camera (210-1) is a full-body shooting camera, The second camera 210-2 can be used as a half-body camera, and vice versa. In another embodiment, at least two cameras 210-1 and 210-2 may be arranged left and right instead of up and down. At least two cameras 210-1 and 210-2 may be cameras of the same type with identical specifications (e.g., pixels), but the first camera 210-1 and the second camera 210-2 have different specifications. It can be implemented with a camera. The shooting room kiosk 600 can support dual camera-related functions (e.g., 3D shooting, auto focus, etc.) through two cameras 210-1 and 210-2. One of the at least two cameras may perform high-speed photography and the other may perform time-lapse photography.
도면에서 보는 바와 같이, 촬영룸 키오스크(600)는 사용자가 결제를 위해 카드를 투입할 수 있도록 구성된 카드 투입구와 출력된 사진이 배출되도록 구성된 사진 출력구를 포함하여 구성될 수 있다.As shown in the drawing, the shooting room kiosk 600 may be configured to include a card input port through which a user can insert a card for payment and a photo output port through which printed pictures are discharged.
촬영룸 키오스크(600)는 사용자에게 사진 컨셉 데이터를 입력할 수 있는 인터페이스를 제공할 수 있다. 사용자는 인터페이스를 통해, 사진 컨셉 데이터를 촬영룸 키오스크(600)에 입력할 수 있으며, 촬영룸 키오스크(600)는 입력된 사진 컨셉 데이터를 저장 및 운영 서버(100)에 전송할 수 있다.The photography room kiosk 600 may provide the user with an interface through which photo concept data can be input. The user can input photo concept data into the photography room kiosk 600 through the interface, and the photography room kiosk 600 can store and transmit the input photo concept data to the operation server 100.
전술한 바와 같이, 일 실시예의 사진 컨셉 데이터는 컨셉 맵핑 테이블, 사진 프레임 정보 및 창작자 정보를 포함할 수 있다. 사용자는 촬영룸 키오스크(600) 또는 사용자 단말(300)을 통해, 사진 컨셉 데이터를 생성할 수 있으며, 촬영룸 키오스크(600) 또는 사용자 단말(300)은 생성된 사진 컨셉 데이터를 운영 서버(100)에 전송할 수 있다. 이를 위해, 촬영룸 키오스크(600) 또는 사용자 단말(300)은 사진 컨셉 데이터를 생성할 수 있는 인터페이스를 사용자에게 제공할 수 있다.As described above, photo concept data in one embodiment may include a concept mapping table, photo frame information, and creator information. The user can create photo concept data through the shooting room kiosk 600 or the user terminal 300, and the shooting room kiosk 600 or the user terminal 300 sends the generated photo concept data to the operating server 100. can be transmitted to. To this end, the photography room kiosk 600 or the user terminal 300 may provide the user with an interface for generating photo concept data.
도 8은 일 실시예에 따른 사진 컨셉 데이터(175)의 일례를 도시한 도면이다.FIG. 8 is a diagram illustrating an example of photo concept data 175 according to an embodiment.
도 8을 참조하면, 일 실시예의 사진 컨셉 데이터(175)는 촬영 컨셉 명, 촬영 컨셉 이미지, 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 컨셉 맵핑 테이블(174), 사진 프레임 정보(176) 및 창작자 정보(177)를 포함하는 데이터 구조이다.Referring to FIG. 8, photo concept data 175 of one embodiment is concept mapping including a photo concept name, photo concept image, music, background image, light color and illuminance information of lighting equipment provided in the photo shoot room, and camera parameters. It is a data structure that includes a table (174), photo frame information (176), and creator information (177).
일 실시예의 사진 프레임 정보는 사진 프레임의 디자인 정보를 포함할 수 있다. 촬영룸 키오스크(600)는 사용자가 선택한 사진 프레임의 디자인 정보에 따라, 사진 프레임을 출력할 수 있다. 촬영룸 키오스크(600)는 사용자로부터 입력된 사진 컨셉 데이터(175)를 운영 서버(100)에 전송할 수 있다.Photo frame information in one embodiment may include design information of the photo frame. The shooting room kiosk 600 can output a photo frame according to the design information of the photo frame selected by the user. The photography room kiosk 600 may transmit photo concept data 175 input by the user to the operation server 100.
일 실시예의 창작자 정보(177)는 사진 컨셉 데이터를 생성한 사용자의 식별 정보 및 사진 컨셉 데이터의 사용 횟수를 포함할 수 있다.Creator information 177 in one embodiment may include identification information of the user who created the photo concept data and the number of times the photo concept data has been used.
사진 컨셉 데이터(175)는 촬영룸 키오스크(600)를 통해 입력받은 사용자의 입력에 기초하여 촬영룸 키오스크(600)에서 생성되거나, 사용자 단말(300)로부터 전송받을 수도 있다.The photo concept data 175 may be generated in the photography room kiosk 600 based on the user's input received through the photography room kiosk 600, or may be transmitted from the user terminal 300.
촬영룸 키오스크(600)는 사진 컨셉 데이터(175)를 저장할 수 있으며, 촬영룸 키오스크(600)는 사용자에게 선택 가능한 촬영 컨셉 및 사진 프레임을 사용자에게 표시하고, 이에 따른 선택 입력을 받을 수 있다.The shooting room kiosk 600 can store photo concept data 175, and the shooting room kiosk 600 can display selectable shooting concepts and photo frames to the user and receive selection input accordingly.
운영 서버(100)의 촬영 컨셉 제어부(161)는 촬영룸 키오스크(600)로부터 사진 컨셉 데이터(175)를 수신할 수 있다.The photography concept control unit 161 of the operation server 100 may receive photo concept data 175 from the photography room kiosk 600.
촬영 컨셉 제어부(161)는 사진 컨셉 데이터(175)를 이용하여, 사용자가 선택한 사진 컨셉에 대한 기기 제어 신호를 생성할 수 있다. 기기 제어 신호는 촬영룸 서버(200)로(또는 촬영룸 키오스크(600)로) 전송되어 기기를 제어하기 위한 참조 신호로서 사용될 수 있다.The photography concept control unit 161 may use the photo concept data 175 to generate a device control signal for the photo concept selected by the user. The device control signal may be transmitted to the shooting room server 200 (or the shooting room kiosk 600) and used as a reference signal to control the device.
촬영 컨셉 제어부(161)는 사진 컨셉 데이터(175)를 이용하여, 사용자가 선택한 사진 컨셉에 해당하는 음악, 배경 이미지, 촬영룸에 구비된 조명 기기의 빛 색상 및 조도 정보, 카메라 파라미터를 포함하는 컨셉 데이터를 추출할 수 있다.The shooting concept control unit 161 uses the photo concept data 175 to include music corresponding to the photo concept selected by the user, a background image, light color and illuminance information of the lighting equipment provided in the shooting room, and camera parameters. Data can be extracted.
촬영 컨셉 제어부(161)는 추출된 컨셉 데이터를 이용하여, 조명(230), 스피커(220), 카메라(210)의 제어 신호를 생성할 수 있다. 전술한 바와 같이, 여기서 카메라의 제어 신호는 전술한 카메라 파라미터와 동일한 신호이다.The shooting concept control unit 161 may generate control signals for the lighting 230, the speaker 220, and the camera 210 using the extracted concept data. As described above, the control signal of the camera here is the same signal as the camera parameter described above.
촬영룸 키오스크(600)는 사용자가 선택한 사진 컨셉에 해당하는 사진 프레임 정보(176)를 이용하여, 촬영 사진을 출력할 수 있다.The shooting room kiosk 600 can output the captured photo using photo frame information 176 corresponding to the photo concept selected by the user.
도 9는 사용자가 원하는 필터 효과가 적용된 소스 이미지로부터 필터 효과를 추출하고, 추출된 필터 효과를 운영 서버(100)를 통해 획득된 이미지에 적용하는 과정을 나타낸 흐름도이다. Figure 9 is a flowchart showing the process of extracting a filter effect from a source image to which a user's desired filter effect is applied and applying the extracted filter effect to an image acquired through the operation server 100.
일 실시 예에서, 사용자 단말(300)은 운영 서버(100)를 통해 획득된 이미지에 사용자 단말(300)에 저장되어 있는 필터 효과를 적용할 수 있다. 또한, 사용자 단말(300)은 사용자 단말(300)의 앨범에 저장되어 있는 이미지 중 필터 효과가 미리 적용된 이미지로부터 필터 효과를 추출하고, 추출된 필터 효과를 운영 서버(100)를 통해 획득된 이미지에 적용할 수 있다. 다른 실시 예에서, 사용자 단말(300)에 저장되어 있는 필터 효과 및/또는 사용자 단말(300)에서 추출된 필터 효과를 운영 서버(100)에 제공하여 촬영룸 키오스크(600)에 촬영되는 이미지 및 동영상에 적용할 수 있다. 이하, S910 내지 S940을 통해 상기 필터 효과를 추출하는 것을 설명할 것이다.In one embodiment, the user terminal 300 may apply a filter effect stored in the user terminal 300 to an image acquired through the operation server 100. In addition, the user terminal 300 extracts a filter effect from an image to which a filter effect has been previously applied among images stored in an album of the user terminal 300, and stores the extracted filter effect in the image acquired through the operation server 100. It can be applied. In another embodiment, the filter effects stored in the user terminal 300 and/or the filter effects extracted from the user terminal 300 are provided to the operation server 100 to capture images and videos in the shooting room kiosk 600. Can be applied to. Hereinafter, extracting the filter effect through S910 to S940 will be described.
사용자 단말(300)은 사용자로부터 소스 이미지(source image)를 선택하는 입력을 획득할 수 있다(S910). 소스 이미지는 사용자 단말(300)의 카메라를 통해 촬영된 이미지일 수 있고, 외부 서버로부터 획득된 이미지일 수 있다. 소스 이미지는 필터 효과가 적용된 이미지일 수 있다. 예를 들어, 소스 이미지는 흑백 효과를 주는 필터, 빛바랜 느낌을 주는 필터 또는 파스텔 색감을 주는 필터, 윤곽선이 강조된 필터 중 적어도 하나의 필터 효과가 적용된 이미지일 수 있다. 상기 필터는 상기 제시된 필터 외에도 다양한 필터가 존재할 수 있다. 소스 이미지는 필터 효과를 추출할 이미지일 수 있다.The user terminal 300 may obtain an input for selecting a source image from the user (S910). The source image may be an image captured through a camera of the user terminal 300 or may be an image acquired from an external server. The source image may be an image to which a filter effect has been applied. For example, the source image may be an image to which at least one filter effect has been applied: a black-and-white effect, a faded effect, a pastel-colored filter, or an outline-emphasized filter. The filter may include various filters in addition to the filters presented above. The source image may be an image from which to extract the filter effect.
일 실시 예에서, 사용자 단말(300)은 소스 이미지로부터 원본 이미지를 결정할 수 있다(S920). 구체적으로 사용자 단말(300)은 필터 효과가 적용된 소스 이미지로부터 필터 효과가 적용되지 않은 원본 이미지를 추정할 수 있다. 사용자 단말(300)은 상기 소스 이미지 내의 객체들의 평균적인 특성에 기초하여 원본 이미지를 추정할 수 있다.In one embodiment, the user terminal 300 may determine the original image from the source image (S920). Specifically, the user terminal 300 may estimate the original image to which no filter effect has been applied from the source image to which the filter effect has been applied. The user terminal 300 may estimate the original image based on the average characteristics of objects in the source image.
사용자 단말(300)은 소스 이미지에 포함되어 있는 객체들을 인식할 수 있고, 인식된 객체가 가지는 평균적인 색감을 추정하여 원본 이미지를 추정할 수 있다. 다시 말해서, 사용자 단말(300)은 소스 이미지에서 인식된 객체들을 제외한 영역을 고려하지 않고, 인식된 객체들에 대응되는 픽셀의 컬러 값에 기초하여 원본 이미지를 추정할 수 있다. 예를 들어, 사용자 단말(300)은 소스 이미지에 포함되어 있는 객체(ex. 풀 또는 바다)를 인식할 수 있고, 소스 이미지에 흑백 필터가 적용되어 풀 또는 바다가 회색 색감을 가지는 것을 인식할 수 있다. 소스 이미지에 흑백 필터가 적용되어 풀 또는 바다가 회색 색감을 가지는 경우, 풀은 평균적으로 녹색 색감을 포함할 수 있고, 바다는 평균적으로 파란색 색감을 포함할 수 있으므로, 원본 이미지에서 풀은 녹색, 바다는 파란색 색감을 가질 수 있다. 즉, 사용자 단말(300)은 상기 소스 이미지에 포함된 객체(ex. 바다)의 색감(ex. 회색)과 상기 객체(ex. 바다)에 대해 미리 정의된 기준 색감(ex. 파란색)을 비교하여 원본 이미지를 추정할 수 있다.The user terminal 300 can recognize objects included in the source image and estimate the original image by estimating the average color of the recognized objects. In other words, the user terminal 300 may estimate the original image based on the color values of pixels corresponding to the recognized objects without considering areas excluding the recognized objects in the source image. For example, the user terminal 300 can recognize an object (ex. pool or sea) included in the source image, and can recognize that the pool or sea has a gray color by applying a black and white filter to the source image. there is. If a black-and-white filter is applied to the source image and the grass or the sea has a gray color, the grass may contain a green color on average, and the sea may contain a blue color on average, so in the original image, the grass may have a green color, and the sea may have a blue color on average. may have a blue color. That is, the user terminal 300 compares the color (ex. gray) of an object (ex. sea) included in the source image with a predefined reference color (ex. blue) for the object (ex. sea). The original image can be estimated.
한편, 필터 효과는 이미지 전체에 적용되는 것이 일반적이지만, 특정 객체(예를 들어, 주된 인물이나 사물)에만 한정적으로 필터 효과가 적용되거나, 필터 효과가 이미지 내의 객체마다 다르게 적용되는 경우도 존재할 수 있다.Meanwhile, filter effects are generally applied to the entire image, but there may also be cases where the filter effect is applied only to specific objects (e.g., main people or objects), or the filter effect is applied differently to each object in the image. .
이러한 경우를 고려하여, 일 실시예에 따른 사용자 단말(300)은 원본 이미지를 추정할 때 정확성을 높이기 위하여, 소스 이미지에서 인식된 객체들이 소스 이미지에서 차지하는 객체의 면적에 따라 가중치를 다르게 부여할 수 있다. 예를 들어, 사용자 단말(300)은 소스 이미지에서 객체가 차지하는 면적이 클수록 해당 객체로부터 필터 효과를 추정하는 추정 가중치를 높게 부여할 수 있다. Considering this case, the user terminal 300 according to one embodiment may assign different weights to objects recognized in the source image according to the area of the object occupied in the source image in order to increase accuracy when estimating the original image. there is. For example, the user terminal 300 may assign a higher estimation weight for estimating the filter effect from the object as the area occupied by the object in the source image becomes larger.
상기 추정 방식은 머신 러닝, 빅데이터 기술, AI(artificial intelligence)가 적용되어 수행될 수 있고, 상기 추정을 통해 학습된 데이터는 머신 러닝, 빅데이터 기술 또는 AI(artificial intelligence) 중 적어도 하나에 의해 메모리에 저장될 수 있다.The estimation method may be performed by applying machine learning, big data technology, or artificial intelligence (AI), and the data learned through the estimation may be stored in memory by at least one of machine learning, big data technology, or artificial intelligence (AI). It can be saved in .
일 실시 예에서, 사용자 단말(300)은 소스 이미지와 원본 이미지를 비교하여 소스 이미지에 적용되어 있는 필터 효과를 추출할 수 있다(S930). 사용자 단말(300)은 소스 이미지에서 인식된 객체들 중 소스 이미지에서 차지하는 면적이 가장 큰 제1 객체를 결정할 수 있다. 사용자 단말(300)은 상기 소스 이미지에서 제1 객체에 대응되는 픽셀들의 컬러 값과 상기 추정된 원본 이미지에서 제1 객체에 대응되는 픽셀들의 컬러 값을 비교하여 필터 효과를 추출할 수 있다. 제1 객체에 대응되는 픽셀들은 각각 R(red), G(green), B(blue)의 색 요소를 포함할 수 있고, 사용자 단말(300)은 상기 제1 객체에 대응되는 픽셀들 각각의 R, G, B의 변화 값을 계산할 수 있다. 사용자 단말(300)은 상기 제1 객체에 대응되는 영역에서 R 변화 값의 평균, G 변화 값의 평균, B 변화 값의 평균을 계산하고, 계산된 R 변화 값의 평균, G 변화 값의 평균, B 변화 값의 평균에 대응되는 컬러 값을 추출할 수 있다.In one embodiment, the user terminal 300 may compare the source image and the original image to extract the filter effect applied to the source image (S930). The user terminal 300 may determine the first object that occupies the largest area in the source image among the objects recognized in the source image. The user terminal 300 may extract a filter effect by comparing the color values of pixels corresponding to the first object in the source image with the color values of pixels corresponding to the first object in the estimated original image. The pixels corresponding to the first object may include color elements of R (red), G (green), and B (blue), respectively, and the user terminal 300 may select R for each of the pixels corresponding to the first object. , G, and B change values can be calculated. The user terminal 300 calculates the average of R change values, the average of G change values, and the average of B change values in the area corresponding to the first object, and calculates the average of R change values, the average of G change values, The color value corresponding to the average of the B change values can be extracted.
사용자 단말(300)은 추출된 컬러 값을 필터 효과로 저장하고, 저장된 필터 효과를 운영 서버(100)로부터 획득된 이미지에 적용할 수 있다.The user terminal 300 may store the extracted color value as a filter effect and apply the stored filter effect to the image obtained from the operation server 100.
도 10은 둘 이상의 사용자들이 서로 시간이 맞지 않거나 서로 거리가 멀어 하나의 촬영룸 키오스크에서 함께 촬영이 불가능한 경우, 적어도 하나의 사용자가 촬영한 이미지를 배경 이미지로 활용하는 일 예시를 설명하기 위한 도면이다.Figure 10 is a diagram illustrating an example of using an image taken by at least one user as a background image when two or more users cannot take pictures together in one shooting room kiosk due to the time difference or the distance from each other. .
촬영룸 키오스크(600)는 제1 사용자의 입력에 따라 제1 이미지를 촬영하고, 운영 서버(100)는 제1 사용자의 결제에 따라 촬영된 제1 이미지를 촬영룸 키오스크(600)로부터 획득하고, 획득된 제1 이미지를 제1 사용자 단말(300-1)에 제공할 수 있다.The shooting room kiosk 600 captures the first image according to the first user's input, and the operation server 100 obtains the first image captured according to the first user's payment from the shooting room kiosk 600, The acquired first image may be provided to the first user terminal 300-1.
운영 서버(100)는 제1 이미지에 대한 공유 서비스를 제공할 수 있으며, 공유 서비스의 기간에 따라 제1 사용자 단말(300-1)에 공유 비용을 청구할 수 있다. 공유 서비스는 임시 저장 서비스를 포함할 수 있다. 제1 사용자 단말(300-1)은 제1 이미지를 공유 이미지로 결정하고, 결정된 공유 이미지에 공유 이미지에 대한 접근 정보를 설정할 수 있다. 접근 정보는 접근 비밀번호, 접근 가능 지인 범위 등을 포함할 수 있다. 제1 사용자 단말(300-1)은 운영 서버(100)에 접근 정보가 설정된 공유 이미지를 운영 서버(100)에 제공할 수 있다.The operation server 100 may provide a sharing service for the first image and charge a sharing fee to the first user terminal 300-1 according to the period of the sharing service. Shared services may include temporary storage services. The first user terminal 300-1 may determine the first image as a shared image and set access information for the shared image to the determined shared image. Access information may include access password, range of accessible acquaintances, etc. The first user terminal 300-1 may provide a shared image with access information set to the operation server 100 to the operation server 100.
운영 서버(100)는 제1 이미지가 촬영된 날로부터 일정 기간을 공유 이미지에 대한 공유 기간으로 설정할 수 있다. 운영 서버(100)는 상기 공유 기간이 지난 후에 공유 이미지를 삭제할 수 있다.The operation server 100 may set a certain period of time from the date the first image was captured as the sharing period for the shared image. The operation server 100 may delete the shared image after the sharing period has elapsed.
제2 사용자 단말(300-2)은 상기 공유 기간 내에 공유 이미지에 설정된 접근 정보에 기초하여 운영 서버(100)와 통신함으로써 공유 이미지에 대한 접근 인증을 허가받을 수 있다. 이때, 제2 사용자 단말(300-2)은, 공유 이미지를 제공받길 원하는 촬영룸 키오스크(600)의 고유 식별 기호를 운영 서버(100)에 제공할 수 있다.The second user terminal 300-2 may be permitted to authenticate access to the shared image by communicating with the operation server 100 based on access information set for the shared image within the sharing period. At this time, the second user terminal 300-2 may provide the operation server 100 with a unique identification symbol of the shooting room kiosk 600 for which a shared image is desired.
운영 서버(100)는, 제2 사용자 단말(300-2)의 접근 인증을 허가한 후, 제2 사용자 단말(300-2)로부터 제공받은 촬영룸 키오스크(600)의 고유 식별 기호와 대응하는 촬영룸 키오스크(600)에 공유 이미지를 배경 이미지로서 제공할 수 있다.After permitting access authentication of the second user terminal 300-2, the operation server 100 takes a photo corresponding to the unique identification symbol of the shooting room kiosk 600 provided from the second user terminal 300-2. A shared image can be provided as a background image to the room kiosk 600.
촬영룸 키오스크(600)는 제공받은 공유 이미지를 배경 이미지로 하여 제2 사용자 단말(300-2)의 사용자인 제2 사용자의 입력에 따라 사진을 촬영하여 제2 이미지를 생성할 수 있다. The photography room kiosk 600 may generate a second image by taking a photo according to the input of the second user, the user of the second user terminal 300-2, using the provided shared image as a background image.
촬영룸 키오스크(600)는 이렇게 촬영된 제2 이미지를 운영 서버(100)에 제공하고, 운영 서버(100)는, 제2 이미지를 제2 사용자 단말(300-2)에게 제공할 수 있다.The shooting room kiosk 600 may provide the second image captured in this way to the operation server 100, and the operation server 100 may provide the second image to the second user terminal 300-2.
한편, 운영 서버(100)는, 제2 사용자 단말(300-2)의 접근 인증을 허가한 후, 제2 사용자 단말(300-2)로부터 제공받은 촬영룸 키오스크(600)의 고유 식별 기호와 대응하는 공유 이미지에서 추출한 객체(예를 들어, 제1 사용자)를 촬영룸 키오스크(600)에 제공할 수도 있다.Meanwhile, the operation server 100, after permitting access authentication of the second user terminal 300-2, corresponds to the unique identification symbol of the shooting room kiosk 600 provided from the second user terminal 300-2. An object (eg, the first user) extracted from a shared image may be provided to the photography room kiosk 600.
이때, 객체를 추출하기 위하여 공지된 다양한 형태의 객체 인식(또는 추출) 알고리즘이 적용될 수 있는데, 예를 들면, CNN(convolutional neural network) 기반의 객체 인식 알고리즘들이 적용될 수 있다.At this time, various types of known object recognition (or extraction) algorithms may be applied to extract the object. For example, CNN (convolutional neural network)-based object recognition algorithms may be applied.
촬영룸 키오스크(600)는, 제공받은 객체를 미리 저장된 배경 이미지들과 함께 제2 사용자에게 표시할 수 있고, 제2 사용자 단말(300-2)의 사용자인 제2 사용자는, 미리 저장된 배경 이미지들 중 원하는 배경 이미지를 선택하고, 선택한 배경 이미지에서 객체의 위치를 선택하면, 선택된 객체의 위치에 객체를 포함하는 배경 이미지를 촬영룸 키오스크(600)를 통해 제2 사용자에게 표시할 수 있다. 이후, 제2 사용자는, 표시된 화면을 보면서 촬영룸 키오스크(600)를 이용하여 사진을 촬영하여 제2 이미지를 생성할 수 있다.The shooting room kiosk 600 can display the provided object to the second user along with pre-stored background images, and the second user, who is a user of the second user terminal 300-2, can display the provided object along with pre-stored background images. When a desired background image is selected and a location of an object is selected from the selected background image, a background image including the object at the location of the selected object can be displayed to the second user through the photography room kiosk 600. Thereafter, the second user can generate a second image by taking a picture using the photography room kiosk 600 while looking at the displayed screen.
촬영룸 키오스크(600)는 이렇게 촬영된 제2 이미지를 운영 서버(100)에 제공하고, 운영 서버(100)는, 제2 이미지를 제2 사용자 단말(300-2)에게 제공할 수 있다.The shooting room kiosk 600 may provide the second image captured in this way to the operation server 100, and the operation server 100 may provide the second image to the second user terminal 300-2.
운영 서버(100)는 공유 기간이 지난 후에는 제1 사용자 단말(300-1)에 제1 이미지에 대한 삭제 및 공유 연장 여부를 묻는 메세지를 제공할 수 있다. 운영 서버(100)는 제1 사용자 단말(300-1)로부터 제1 이미지의 공유 서비스를 연장하는 입력을 획득한 경우, 제1 사용자 단말(300-1)에 추가 비용을 청구할 수 있다.After the sharing period has elapsed, the operation server 100 may provide a message to the first user terminal 300-1 asking whether to delete the first image and extend sharing. When the operation server 100 obtains an input extending the sharing service of the first image from the first user terminal 300-1, it may charge an additional fee to the first user terminal 300-1.
도 11은 둘 이상의 사용자가 시간이 맞지 않거나 서로 거리가 멀어 하나의 촬영룸 키오스크에서 함께 촬영이 불가능한 경우, 적어도 하나의 사용자가 촬영한 이미지를 배경 이미지로 활용하는 일 예시를 설명하기 위한 도면이다.FIG. 11 is a diagram illustrating an example of using an image taken by at least one user as a background image when two or more users cannot take pictures together in one shooting room kiosk because the time is not right or they are far away from each other.
촬영룸 키오스크(600)는 제1 사용자의 입력에 따라 제1 이미지를 촬영할 수 있다. 운영 서버(100)는 촬영된 이미지에 대한 공유 서비스를 제공할 수 있으며, 공유 서비스의 기간에 따라 제1 사용자 단말(300-1)에 공유 비용을 청구할 수 있다. 공유 서비스는 임시 저장 서비스를 포함할 수 있다. 운영 서버(100)는 촬영룸 키오스크(600)를 통해 제1 사용자의 결제를 승인할 수 있고, 상기 승인에 따라 촬영된 제1 이미지를 운영 서버(100) 및 촬영룸 키오스크(600) 내에 임시 저장할 수 있다.The shooting room kiosk 600 may capture the first image according to the input of the first user. The operation server 100 may provide a sharing service for captured images and charge a sharing fee to the first user terminal 300-1 according to the period of the sharing service. Shared services may include temporary storage services. The operation server 100 may approve the payment of the first user through the shooting room kiosk 600, and temporarily store the first image taken according to the approval within the operation server 100 and the shooting room kiosk 600. You can.
일 실시 예에서, 운영 서버(100)는 저장된 제1 이미지에 제1 이미지에 대한 접근 정보를 설정할 수 있다. 운영 서버(100)는 상기 공유 서비스의 기간 내에 상기 접근 정보에 대한 접근 허가가 확인되는 경우, 촬영룸 키오스크(600)에 제1 이미지를 배경 이미지로 제공할 수 있다.In one embodiment, the operation server 100 may set access information for the first image to the stored first image. When permission to access the access information is confirmed within the sharing service period, the operation server 100 may provide the first image as a background image to the shooting room kiosk 600.
따라서, 본 발명의 경우, 제1 사용자와 제2 사용자가 동일 시간에 방문하여 함께 촬영하기 어려운 상황이 있는 경우, 제1 사용자가 먼저 와서 촬영룸 키오스크(600)를 통해 촬영을 진행하고, 여기서 촬영된 제1 이미지에 대한 접근 정보를 설정하여 운영 서버(100)에 제공할 수 있고, 제2 사용자가 접근 정보를 기초로 제1 이미지를 운영 서버(100)를 통해 배경 이미지로서 촬영룸 키오스크(600)에 제공받아 제1 이미지를 배경으로 하는 사진 촬영을 할 수 있다.Therefore, in the case of the present invention, if there is a situation where it is difficult for the first user and the second user to visit at the same time and take pictures together, the first user comes first and takes pictures through the photography room kiosk 600, and takes pictures there. Access information for the first image can be set and provided to the operation server 100, and the second user can use the first image as a background image through the operation server 100 based on the access information to the shooting room kiosk 600. ), you can take a photo with the first image as the background.
도 12는 제1 촬영룸 키오스크 및 제2 촬영룸 키오스크를 연동하여 원격으로 제1 사용자와 제2 사용자가 함께 촬영하는 것을 나타낸 도면이다.FIG. 12 is a diagram showing a first user and a second user taking photos together remotely by linking the first shooting room kiosk and the second shooting room kiosk.
일 실시 예에서, 제1 사용자는 제1 촬영룸 키오스크(600-1)를 통해 촬영하고, 제2 사용자는 제2 촬영룸 키오스크(600-2)를 통해 촬영을 할 수 있다. 제1 사용자 단말(300-1)은 제1 촬영룸 키오스크(600-1)와 연동될 수 있고, 제2 사용자 단말(300-2)은 제2 촬영룸 키오스크(600-2)와 연동될 수 있다.In one embodiment, the first user may take photos through the first shooting room kiosk 600-1, and the second user may take photos through the second shooting room kiosk 600-2. The first user terminal 300-1 may be linked to the first filming room kiosk 600-1, and the second user terminal 300-2 may be linked to the second filming room kiosk 600-2. there is.
제1 사용자 단말(300-1)은 호스트로서 운영 서버(100)에 제2 사용자 단말(300-2)과의 원격 실행 모드를 요청할 수 있다. 운영 서버(100)는 원격 실행 모드를 요청받은 것에 응답하여, 제1 촬영룸 키오스크(600-1)의 카메라를 통해 획득된 제1 영상(일종의 동영상)과 제2 촬영룸 키오스크(600-2)의 카메라를 통해 획득된 제2 영상(일종의 동영상)을 획득할 수 있다. 운영 서버(100)는 제1 영상과 제2 영상에 기초하여 제3 영상을 생성하고, 생성된 제3 영상을 제1 촬영룸 키오스크(600-1)의 디스플레이 및 제2 촬영룸 키오스크(600-2)의 디스플레이를 통해 표시할 수 있다. The first user terminal 300-1 may request a remote execution mode with the second user terminal 300-2 from the operating server 100 as a host. In response to receiving a remote execution mode request, the operation server 100 displays the first image (a type of video) acquired through the camera of the first shooting room kiosk 600-1 and the second shooting room kiosk 600-2. A second image (a type of video) acquired through a camera can be obtained. The operation server 100 generates a third image based on the first image and the second image, and displays the generated third image on the first shooting room kiosk 600-1 and the second shooting room kiosk 600-1. It can be displayed through the display in 2).
제1 촬영룸 키오스크(600-1)는 제1 촬영룸 키오스크(600-1)의 카메라를 통해 실시간으로 획득되고 있는 제1 영상을 운영 서버(100)로 전송할 수 있다. 제2 촬영룸 키오스크(600-2)는 제2 촬영룸 키오스크(600-2)의 카메라를 통해 실시간으로 획득되고 있는 제2 영상을 운영 서버(100)로 전송할 수 있다. 실시관으로 획득되고 있는 영상은 복수의 이미지 프레임들을 포함할 수 있다.The first shooting room kiosk 600-1 may transmit the first image acquired in real time through the camera of the first shooting room kiosk 600-1 to the operation server 100. The second shooting room kiosk 600-2 may transmit the second image acquired in real time through the camera of the second shooting room kiosk 600-2 to the operation server 100. The image being acquired with the live tube may include a plurality of image frames.
운영 서버(100)는 제2 촬영룸 키오스크(600-2)로부터 획득한 제2 영상에서 제2 사용자를 검출할 수 있다. 운영 서버(100)는 제1 영상의 복수의 이미지 프레임에 제2 사용자에 대응되는 픽셀 영역을 합성하고, 상기 합성에 기초하여 제3 영상을 생성할 수 있다. 운영 서버(100)는 제3 영상을 생성하는 과정에서, 제1 사용자에 대응되는 픽셀 영역과 제2 사용자에 대응되는 픽셀 영역이 중첩되는 경우, 중첩되는 부분의 제1 사용자의 깊이값과 제2 사용자의 깊이 값을 비교하여 깊이 값이 높은 사용자의 픽셀 영역은 삭제하고, 깊이 값이 낮은 사용자의 픽셀 영역을 유지할 수 있다. 이를 위해 촬영룸 키오스크(600)는 촬영된 영상의 각 화소와 대응하는 깊이 값(depth value)을 획득하는 뎁스 카메라(depth camera)를 더 포함될 수 있다.The operation server 100 may detect the second user in the second image obtained from the second shooting room kiosk 600-2. The operation server 100 may synthesize a pixel area corresponding to a second user to a plurality of image frames of the first image and generate a third image based on the synthesis. In the process of generating the third image, when the pixel area corresponding to the first user overlaps with the pixel area corresponding to the second user, the operation server 100 uses the depth value of the first user and the second user in the overlapping area. By comparing the depth values of users, the pixel areas of users with high depth values can be deleted and the pixel areas of users with low depth values can be maintained. To this end, the shooting room kiosk 600 may further include a depth camera that acquires a depth value corresponding to each pixel of the captured image.
운영 서버(100)는 생성된 제3 영상을 제1 촬영룸 키오스크(600-1) 및 제2 촬영룸 키오스크(600-2)에 제공할 수 있다. 운영 서버(100)는 제1 촬영룸 키오스크(600-1)와 제2 촬영룸 키오스크(600-2)를 통해서 제1 사용자 및 제2 사용자에게 제3 영상을 표시할 수 있다.The operation server 100 may provide the generated third image to the first shooting room kiosk 600-1 and the second shooting room kiosk 600-2. The operation server 100 may display the third image to the first user and the second user through the first shooting room kiosk 600-1 and the second shooting room kiosk 600-2.
운영 서버(100)는 호스트인 제1 사용자의 촬영 입력을 제1 촬영룸 키오스크(600-1)를 통해 획득하고, 획득된 촬영 입력에 응답하여, 제3 영상을 구성하는 복수의 이미지 프레임들 중에서, 제1 촬영룸 키오스크(600-1)의 카메라 및 제2 촬영룸 키오스크(600-2)의 카메라를 통해 촬영 입력을 획득한 시점에 대응되는 제3 영상의 이미지 프레임을 획득할 수 있다.The operation server 100 acquires the shooting input of the first user, which is the host, through the first shooting room kiosk 600-1, and selects among a plurality of image frames constituting the third image in response to the obtained shooting input. , the image frame of the third image corresponding to the point in time when the shooting input is obtained can be obtained through the camera of the first shooting room kiosk 600-1 and the camera of the second shooting room kiosk 600-2.
이때, 운영 서버(100)는 원거리에 있는 제1 사용자와 제2 사용자가 원활하게 촬영할 수 있도록, 촬영룸 키오스크(600)에는 마이크를 더 포함할 수 있고, 제1 촬영룸 키오스크(600-1)와 제2 촬영룸 키오스크(600-2)의 오디오 시스템(스피커(220)와 마이크로 구성될 수 있음)을 연결할 수 있다.At this time, the operation server 100 may further include a microphone in the shooting room kiosk 600 so that the first user and the second user at a distance can smoothly shoot, and the first shooting room kiosk 600-1 The audio system (which may consist of a speaker 220 and a microphone) of the second filming room kiosk 600-2 can be connected.
도 13은 운영 서버(100)를 통해 획득된 동영상에 기초하여 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.FIG. 13 is a diagram illustrating configuring a photo frame based on a video acquired through the operation server 100.
일 실시 예에서, 촬영룸 키오스크(600)는 카메라(610)를 통해 사진뿐 아니라, 동영상을 촬영할 수 있다. 운영 서버(100)는 촬영룸 키오스크(600)를 통해 촬영된 사진 및/또는 동영상을 획득하고, 획득된 사진 및/또는 동영상을 사용자 단말(300)에 제공할 수 있다.In one embodiment, the shooting room kiosk 600 can capture not only photos but also videos through the camera 610. The operation server 100 may obtain photos and/or videos taken through the shooting room kiosk 600 and provide the acquired photos and/or videos to the user terminal 300.
사용자 단말(300)은 디스플레이의 일 부분에 운영 서버(100)로부터 획득된 복수 개의 동영상들(예: video 1, video 2, ...)을 표시할 수 있다. 사용자 단말(300)은 동영상을 구성하는 복수의 이미지 프레임들 중 하나를 대표 사진으로 결정하고, 대표 사진을 표시하는 동영상(1301)을 디스플레이에 표시할 수 있다. 예를 들어, 사용자 단말(300)은 획득된 동영상을 구성하는 첫번째 이미지 프레임에 대응되는 사진을 대표 사진으로 결정하고, 결정된 대표 사진이 표시되는 동영상을 디스플레이에 표시할 수 있다.The user terminal 300 may display a plurality of videos (eg, video 1, video 2, ...) obtained from the operation server 100 on a portion of the display. The user terminal 300 may determine one of the plurality of image frames constituting the video as a representative photo and display a video 1301 displaying the representative photo on the display. For example, the user terminal 300 may determine a photo corresponding to the first image frame constituting the acquired video as a representative photo, and display a video showing the determined representative photo on the display.
일 실시 예에서, 사용자 단말(300)은 사용자에 의하여 선택된 동영상에 기초하여 사진 프레임을 생성할 수 있다. 사용자 단말(300)은 사용자에게 사진 프레임의 모양, 사진 프레임을 구성하는 사진의 개수 및/또는 사진 프레임을 구성하는 사진을 결정할 수 있는 옵션을 제공할 수 있다. 예를 들어, 사용자 단말(300)은 사용자에게 사진 프레임의 격자 형태(1x3 형태, 1x4 형태, 2x2 형태, 4x1 형태 등)와 같은 다양한 모양을 선택할 수 있도록 하는 옵션을 제공할 수 있다. 사용자 단말(300)은 사용자의 입력에 따라 사진 개수를 결정하거나, 사진 프레임의 모양을 결정하거나, 사진 프레임을 구성하는 사진을 결정할 수 있다. 또한, 사용자 단말(300)은 크리에이터 단말(400)에서 생성된 사진 프레임의 디자인을 운영 서버(100)를 통해 획득하고, 사진 프레임의 디자인을 선택할 수 있도록 하는 옵션을 제공할 수 있다.In one embodiment, the user terminal 300 may generate a photo frame based on a video selected by the user. The user terminal 300 may provide the user with an option to determine the shape of the photo frame, the number of photos constituting the photo frame, and/or the photos constituting the photo frame. For example, the user terminal 300 may provide the user with an option to select various shapes, such as a grid shape (1x3 shape, 1x4 shape, 2x2 shape, 4x1 shape, etc.) of a photo frame. The user terminal 300 may determine the number of photos, the shape of the photo frame, or the photos constituting the photo frame according to the user's input. Additionally, the user terminal 300 may obtain the design of the photo frame created in the creator terminal 400 through the operation server 100 and provide an option to select the design of the photo frame.
일 실시 예에서, 사용자 단말(300)은 사용자에 의하여 선택된 동영상에 대한 사용자의 드래그 입력에 기초하여, 사진 프레임의 모양, 사진 프레임을 구성하는 사진의 개수, 사진 프레임을 구성하는 사진을 결정할 수 있다. 이에 대한 자세한 설명은 이하 도 14 및 도 15를 통해서 설명하도록 한다.In one embodiment, the user terminal 300 may determine the shape of the photo frame, the number of photos constituting the photo frame, and the photos constituting the photo frame, based on the user's drag input for the video selected by the user. . A detailed description of this will be provided through FIGS. 14 and 15 below.
도 14는 획득된 동영상에 기초하여 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.Figure 14 is a diagram for configuring a photo frame based on an acquired video.
사용자 단말(300)은 도 13의 하나의 동영상(예: video1 1)을 선택하는 입력에 응답하여, 상기 하나의 동영상에 기초한 사진 프레임(1420)을 생성할 수 있다. 사용자 단말(300)은 생성된 사진 프레임(1420)의 구성을 조절할 수 있는 인터페이스(1410)를 디스플레이의 일 영역을 통해 제공할 수 있다. 상기 하나의 동영상을 선택하는 입력에 응답하여 생성된 사진 프레임(1420)은 초기에 한 장의 사진으로 구성될 수 있다.In response to an input for selecting one video (eg, video1 1) of FIG. 13, the user terminal 300 may generate a photo frame 1420 based on the one video. The user terminal 300 may provide an interface 1410 that can adjust the configuration of the generated photo frame 1420 through one area of the display. The photo frame 1420 generated in response to the input for selecting one video may initially consist of one photo.
사용자 단말(300)은 상기 인터페이스 내에서 획득되는 사용자의 드래그 입력 및/또는 터치 입력에 따라 사진 프레임(1420)의 구성을 변경할 수 있다. 예를 들어, 사용자 단말(300)은, 드래그 입력에 따라 사진 프레임의 모양, 사진 프레임을 구성하는 사진의 종류 및 사진의 개수 등을 결정할 수 있다.The user terminal 300 may change the configuration of the photo frame 1420 according to the user's drag input and/or touch input obtained within the interface. For example, the user terminal 300 may determine the shape of the photo frame, the type of photo constituting the photo frame, and the number of photos according to the drag input.
도 15는 획득된 동영상에 대해 사용자의 드래그 입력에 기초하여 다양한 형태로 사진 프레임을 구성하는 것을 설명하기 위한 도면이다.Figure 15 is a diagram to explain configuring photo frames in various forms based on a user's drag input for an acquired video.
사용자 단말(300)은 드래그 입력에 따라 사진 프레임의 크기를 조절할 수 있다. 사용자 단말(300)은 사진 프레임의 모서리 일 부분을 터치하고 드래그하는 사용자의 입력을 획득할 수 있다.The user terminal 300 can adjust the size of the photo frame according to a drag input. The user terminal 300 may obtain an input from a user touching and dragging a corner of a photo frame.
사용자 단말(300)은 사진 프레임의 크기를 조절하는 사용자의 드래그 입력이 제1 시간 동안 획득되지 않는 경우, 사진 프레임의 크기를 결정할 수 있다. 예를 들어, 사용자 단말(300)은 사용자의 드래그 입력에 응답하여 사진 프레임의 크기를 실시간으로 조절하다가 제1 시간동안 사용자의 드래그 입력이 획득되지 않는 경우, 사용자의 드래그 입력이 획득되지 않는 시점의 크기를 사진 프레임의 크기로 결정할 수 있다.If the user's drag input for adjusting the size of the photo frame is not obtained during the first time, the user terminal 300 may determine the size of the photo frame. For example, the user terminal 300 adjusts the size of the photo frame in real time in response to the user's drag input, and when the user's drag input is not obtained during the first time, the user terminal 300 adjusts the size of the photo frame in real time in response to the user's drag input. The size can be determined by the size of the photo frame.
사용자 단말(300)은 상기 드래그 입력에 따라 사진 프레임의 크기, 모양 및 사진 프레임을 구성하는 사진의 개수를 결정할 수 있다. 사용자 단말(300)은 상기 드래그 입력에 따라 변화되는 사진 프레임의 크기에 기초하여 사진 프레임에 포함되는 사진의 개수를 결정할 수 있다. 예를 들어, 사용자 단말(300)은 사진 프레임의 크기가 제1 크기인 경우 사진 프레임을 구성하는 사진의 개수를 1개로 결정하고, 사진 프레임의 크기가 제1 크기보다 큰 제2 크기인 경우 사진 프레임을 구성하는 사진의 개수를 1개 이상으로 결정할 수 있다.The user terminal 300 may determine the size and shape of the photo frame and the number of photos constituting the photo frame according to the drag input. The user terminal 300 may determine the number of photos included in the photo frame based on the size of the photo frame that changes according to the drag input. For example, if the size of the photo frame is the first size, the user terminal 300 determines the number of photos constituting the photo frame as 1, and if the size of the photo frame is a second size larger than the first size, the photo frame 300 determines the number of photos constituting the photo frame as 1. The number of photos constituting the frame can be determined to be one or more.
예를 들어, 사용자 단말(300)은 사진 프레임을 제1 방향(예: 가로 방향)으로 드래그하는 사용자의 드래그 입력(1521)에 따라 제1 방향(예: 가로 방향)으로 사진 프레임을 확대할 수 있다. 사용자 단말(300)은 제1 방향(예: 가로 방향)으로 드래그 하는 사용자의 드래그 입력에 따라 사진 프레임을 1 x A개의 사진들로 구성된 격자로 구성할 수 있다.For example, the user terminal 300 may enlarge the photo frame in a first direction (e.g., horizontal direction) according to the drag input 1521 of the user dragging the photo frame in the first direction (e.g., horizontal direction). there is. The user terminal 300 may configure the photo frame into a grid of 1 x A photos according to the user's drag input in the first direction (eg, horizontal direction).
다른 예를 들어, 사용자 단말(300)은 제2 방향(예: 세로 방향)으로 드래그하는 사용자의 드래그 입력(1522)에 따라 제2 방향(예: 세로 방향)으로 사진 프레임을 확대할 수 있다. 사용자 단말(300)은 제2 방향(예: 세로 방향)으로 드래그 하는 사용자의 드래그 입력에 따라 사진 프레임을 A x 1개의 사진들로 구성된 격자로 구성할 수 있다.For another example, the user terminal 300 may enlarge the photo frame in a second direction (eg, vertical direction) according to the user's drag input 1522 of dragging in the second direction (eg, vertical direction). The user terminal 300 may configure the photo frame into a grid of A x 1 photos according to the user's drag input in the second direction (eg, vertical direction).
다른 예를 들어, 사용자 단말(300)은 제3 방향(예: 대각 방향)으로 드래그하는 사용자의 드래그 입력(1523)에 따라 제3 방향(예: 대각 방향)으로 사진 프레임을 확대할 수 있다. 사용자 단말(300)은 제3 방향(예: 대각 방향)으로 드래그 하는 사용자의 드래그 입력에 따라 사진 프레임을 A x B개의 사진들로 구성된 격자로 구성할 수 있다. A는 B와 동일할 수 있다.For another example, the user terminal 300 may enlarge the photo frame in a third direction (eg, diagonal direction) according to the user's drag input 1523 of dragging in the third direction (eg, diagonal direction). The user terminal 300 may configure a photo frame into a grid of A x B photos according to the user's drag input in a third direction (eg, diagonal direction). A may be the same as B.
사용자 단말(300)은 상기 드래그 입력에 따라 변화되는 사진 프레임의 크기에 기초하여 사진 프레임에 포함되는 사진의 개수 뿐만 아니라, 사진 프레임을 구성하는 사진을 결정할 수 있다. 사용자 단말(300)은 상기 드래그 입력에 따라 사진 프레임을 구성하는 사진들을 실시간으로 변경할 수 있다. 다시 말해서, 사용자 단말(300)은 결정된 상기 사진의 개수에 따라, 상기 선택된 동영상을 구성하는 이미지 프레임들 중 적어도 하나의 이미지 프레임을 사진 프레임을 구성하는 사진으로 결정할 수 있다.The user terminal 300 may determine the photos constituting the photo frame as well as the number of photos included in the photo frame based on the size of the photo frame that changes according to the drag input. The user terminal 300 can change the photos constituting the photo frame in real time according to the drag input. In other words, the user terminal 300 may determine at least one image frame among the image frames constituting the selected video as a photo constituting the photo frame, according to the determined number of photos.
일 실시 예에서, 사용자 단말(300)은 선택된 동영상을 구성하는 이미지 프레임들 중 일정한 시간 간격마다 선택된 복수개의 이미지 프레임들을, 사진 프레임을 구성하는 사진들로 결정할 수 있다. 예를 들어, 사용자 단말(300)은 10초의 동영상에서, 2초에 대응되는 제1 이미지 프레임을 제1 사진으로 결정하고, 4초에 대응되는 제2 이미지 프레임을 제2 사진으로, 6초에 대응되는 제3 이미지 프레임을 제3 사진으로 결정할 수 있다. 상기 일정한 시간 간격은 사진 프레임을 구성하는 사진의 개수에 따라 결정될 수 있다. 다시 말해서, 사용자 단말(300)은 사진 프레임을 구성하는 사진의 개수가 많아질수록 상기 일정한 시간 간격을 좁히고, 사진 프레임을 구성하는 사진의 개수가 적을수록 상기 일정한 시간 간격을 넓힐 수 있다.In one embodiment, the user terminal 300 may determine a plurality of image frames selected at regular time intervals among the image frames constituting the selected video as photos constituting a photo frame. For example, in a video of 10 seconds, the user terminal 300 determines the first image frame corresponding to 2 seconds as the first photo, the second image frame corresponding to 4 seconds as the second photo, and the second image frame corresponding to 4 seconds as the second photo. The corresponding third image frame may be determined as the third photo. The constant time interval may be determined depending on the number of photos constituting the photo frame. In other words, the user terminal 300 narrows the constant time interval as the number of photos constituting the photo frame increases, and widens the constant time interval as the number of photos constituting the photo frame decreases.
동영상 촬영 시에 촬영 버튼을 누르고 특정 시간 동안 사용자가 포즈를 잡는 과정이 있고, 촬영 종료 버튼을 누르기 전에 특정 시간 동안 사용자가 포즈를 해제하는 과정이 있다. 따라서, 불필요한 포즈을 포함하는 이미지 프레임을 사진 프레임을 구성하는 사진으로 결정하지 않기 위하여, 사용자 단말(300)은 선택된 동영상의 처음 시점과 마지막 시점 각각에서 미리 설정된 시간 간격을 제외하고, 나머지 시간들로 구성된 실질 동영상의 길이 내에서 사진 프레임을 구성할 사진을 결정할 수 있다.When shooting a video, there is a process in which the user presses the capture button and poses for a certain period of time, and there is a process in which the user releases the pose for a specific period of time before pressing the end recording button. Therefore, in order to not determine an image frame containing an unnecessary pose as a photo constituting a photo frame, the user terminal 300 excludes a preset time interval from each of the first and last views of the selected video and consists of the remaining times. Within the length of the actual video, you can decide which photos will make up the photo frame.
일 실시 예에서, 사용자 단말(300)은 사진 프레임의 크기가 변경됨에 따라 사진 프레임을 구성하는 사진 및 사진의 개수를 변경할 수 있다. 사용자 단말(300)은 결정된 사진의 개수가 M개 인 경우, 실질 동영상 길이를 (M-1) 등분할 수 있다.In one embodiment, the user terminal 300 may change the photo and the number of photos constituting the photo frame as the size of the photo frame changes. If the determined number of photos is M, the user terminal 300 may divide the actual video length into (M-1) equal parts.
사용자 단말(300)은 사용자의 드래그 입력에 따라 사진 프레임을 M개의 사진으로 구성하는 경우, 실질 동영상의 첫번째 이미지 프레임을 제1 사진, 실질 동영상 길이의 N-1/(M-1) 부분에 대응되는 이미지 프레임을 제N 사진으로 결정할 수 있다. N의 최대 값은 M과 동일할 수 있다. 다시 말해서, 사용자 단말(300)은 사용자의 드래그 입력에 따라 네 개의 사진을 구성하는 경우, 실질 동영상의 첫번째 이미지 프레임을 제1 사진, 실질 동영상 길이의 1/3 부분에 대응되는 이미지 프레임을 제2 사진, 실질 동영상 길이의 2/3 부분에 대응되는 이미지 프레임을 제3 사진 및 실질 동영상 길이의 3/3 부분에 대응되는 이미지 프레임을 제4 사진으로 결정할 수 있다.When the user terminal 300 configures a photo frame with M photos according to the user's drag input, the first image frame of the actual video corresponds to the first photo and the N-1/(M-1) portion of the actual video length. The image frame can be determined as the Nth photo. The maximum value of N may be equal to M. In other words, when the user terminal 300 configures four photos according to the user's drag input, the first image frame of the actual video is used as the first photo, and the image frame corresponding to 1/3 of the length of the actual video is used as the second photo. The image frame corresponding to 2/3 of the length of the photo or actual video may be determined as the third photo, and the image frame corresponding to 3/3 of the length of the actual video may be determined as the fourth photo.
또한, 사용자 단말(300)은 사진 프레임을 구성하는 사진을 결정할 때, 비슷한 사진들을 결정하지 않기 위하여, 선택된 동영상에서 사용자의 포즈 및/또는 사용자의 표정에 기초하여 사진 프레임을 구성하는 사진을 결정할 수 있다. 예를 들어, 사용자 단말(300)은 10초의 동영상에서 사용자의 제1 포즈(예: 만세 포즈)를 포함하는 제1 이미지 프레임을 제1 사진으로 결정하고, 제2 포즈(예: 엄지척 포즈)를 포함하는 제2 이미지 프레임을 제2 사진으로 결정하고, 제3 포즈(예: 주먹을 쥔 포즈)를 포함하는 제3 이미지 프레임을 제3 사진으로 결정할 수 있다. Additionally, when determining the photos constituting the photo frame, the user terminal 300 may determine the photos constituting the photo frame based on the user's pose and/or the user's facial expression in the selected video in order to avoid determining similar photos. there is. For example, the user terminal 300 determines the first image frame including the user's first pose (e.g., hurrah pose) in a 10-second video as the first photo, and the second pose (e.g., thumbs up pose). A second image frame containing may be determined as the second photo, and a third image frame containing a third pose (e.g., a clenched fist pose) may be determined as the third photo.
사용자 단말(300)은 결정된 사진의 개수보다 감지된 포즈의 수 및 감지된 표정의 수가 적은 경우, 감지된 포즈 및/또는 표정 중 가장 먼저 감지된 포즈 및/또는 표정을 포함하는 이미지 프레임을 사진 프레임을 구성하는 나머지 사진으로 결정할 수 있다. 예를 들어, 선택된 사진의 개수가 4개이고, 감지된 포즈 및/또는 표정이 3개인 경우, 제1 포즈(예: 만세 포즈)를 포함하는 제4 이미지 프레임을 제4 사진으로 결정할 수 있다. 제4 이미지 프레임은 제1 이미지 프레임과 상이할 수 있다. 상기 제1 포즈 내지 상기 제3 포즈는 시간 순서대로 감지된 포즈일 수 있다.If the number of detected poses and the number of detected expressions is less than the determined number of photos, the user terminal 300 selects the image frame containing the first detected pose and/or expression among the detected poses and/or expressions as a photo frame. It can be determined by the remaining photos that make up. For example, if the number of selected photos is 4 and the detected poses and/or expressions are 3, the fourth image frame including the first pose (e.g., hurray pose) may be determined as the fourth photo. The fourth image frame may be different from the first image frame. The first to third poses may be poses detected in chronological order.
사용자 단말(300)은 운영 서버(100) 또는 사용자 단말(300)에 미리 저장된 다수의 포즈 데이터 및/또는 다수의 표정 데이터에 기초하여 상기 포즈 및/또는 사용자의 표정을 감지할 수 있다. 사용자 단말(300)은 상기 미리 저장된 다수의 포즈 데이터 및/또는 다수의 표정 데이터와 선택된 동영상에서 검출되는 사용자의 포즈 및/또는 표정을 비교하고, 비교 결과, 동일하다고 판단된 포즈를 감지할 수 있다.The user terminal 300 may detect the pose and/or the user's facial expression based on a plurality of pose data and/or facial expression data previously stored in the operation server 100 or the user terminal 300. The user terminal 300 may compare the pre-stored pose data and/or facial expression data with the user's pose and/or facial expression detected in the selected video, and detect poses determined to be identical as a result of the comparison. .
도 16은 일 실시예에 따른 사용자 단말(300)의 구성을 도시한 도면이다. 이하, 도 16에 도시된 사용자 단말(300)을 구성하는 구성요소들에 대해 차례로 살펴본다.FIG. 16 is a diagram illustrating the configuration of the user terminal 300 according to one embodiment. Hereinafter, we will look at the components that make up the user terminal 300 shown in FIG. 16 in turn.
무선 통신부(310)는 사용자 단말(300)과 무선 통신 시스템 사이의 무선 통신 또는 사용자 단말(300)과 사용자 단말(300)이 위치한 네트워크 사이의 무선 통신을 수행하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 무선 통신부(310)는 방송 수신 모듈(311), 이동통신 모듈(312), 무선 인터넷 모듈(313), 근거리 통신 모듈(314) 및 위치정보 모듈(315) 등을 포함할 수 있다.The wireless communication unit 310 may include one or more components that perform wireless communication between the user terminal 300 and the wireless communication system or wireless communication between the user terminal 300 and the network in which the user terminal 300 is located. . For example, the wireless communication unit 310 may include a broadcast reception module 311, a mobile communication module 312, a wireless Internet module 313, a short-range communication module 314, and a location information module 315. .
방송 수신 모듈(311)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 여기에서, 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 한편, 방송 관련 정보는 이동통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 이동통신 모듈(312)에 의해 수신될 수 있다.The broadcast reception module 311 receives broadcast signals and/or broadcast-related information from an external broadcast management server through a broadcast channel. Here, broadcast channels may include satellite channels and terrestrial channels. Meanwhile, broadcast-related information can also be provided through a mobile communication network, and in this case, it can be received by the mobile communication module 312.
또한, 이동통신 모듈(312)은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.Additionally, the mobile communication module 312 transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to voice call signals, video call signals, or text/multimedia message transmission and reception.
무선 인터넷 모듈(313)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 사용자 단말(300)에 내장되거나 외장 될 수 있다.The wireless Internet module 313 refers to a module for wireless Internet access and may be built into or external to the user terminal 300.
근거리 통신 모듈(314)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short-range communication module 314 refers to a module for short-range communication. As short-range communication technologies, Bluetooth, RFID (Radio Frequency Identification), infrared data association (IrDA), UWB (Ultra Wideband), ZigBee, etc. can be used.
또한, 위치정보 모듈(115)은 사용자 단말(300)의 위치를 확인하거나 얻기 위한 모듈이다. 일례로 GPS(Global Position System) 모듈을 들 수 있다. GPS 모듈은 복수 개의 인공위성으로부터 위치 정보를 수신한다. 여기에서, 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다.Additionally, the location information module 115 is a module for confirming or obtaining the location of the user terminal 300. An example is a GPS (Global Position System) module. The GPS module receives location information from multiple satellites. Here, the location information may include coordinate information expressed in latitude and longitude.
한편, A/V(Audio/Video) 입력부(320)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(321)와 마이크(322) 등이 포함될 수 있다. 카메라(321)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(351)에 표시될 수 있다.Meanwhile, the A/V (Audio/Video) input unit 320 is for inputting audio or video signals, and may include a camera 321 and a microphone 322. The camera 321 processes image frames, such as still images or moving images, obtained by an image sensor in video call mode or shooting mode. And, the processed image frame can be displayed on the display unit 351.
카메라(321)에서 처리된 화상 프레임은 메모리(360)에 저장되거나 무선 통신부(310)를 통하여 외부로 전송될 수 있다. 카메라(321)는 사용자 단말(300)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 321 may be stored in the memory 360 or transmitted externally through the wireless communication unit 310. Two or more cameras 321 may be provided depending on the configuration of the user terminal 300.
마이크(322)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(312)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(322)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 구현할 수 있다.The microphone 322 receives external sound signals through a microphone in call mode, recording mode, voice recognition mode, etc., and processes them into electrical voice data. Additionally, the processed voice data can be converted into a form that can be transmitted to a mobile communication base station through the mobile communication module 312 and output when in call mode. The microphone 322 may implement various noise removal algorithms to remove noise generated in the process of receiving an external acoustic signal.
사용자 입력부(330)는 사용자로부터 입력 동작을 받아들여, 사용자 단말(300)의 동작 제어를 위한 입력 데이터를 발생시킨다.The user input unit 330 receives an input action from the user and generates input data for controlling the operation of the user terminal 300.
센싱부(340)는 사용자 단말(300)의 위치, 사용자 접촉 유무, 사용자 단말(300)의 방위, 사용자 단말(300)의 가속/감속 등과 같이, 사용자 단말(300)의 현 상태를 감지하여 사용자 단말(300)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.The sensing unit 340 detects the current state of the user terminal 300, such as the location of the user terminal 300, presence or absence of user contact, orientation of the user terminal 300, acceleration/deceleration of the user terminal 300, etc. Generates a sensing signal to control the operation of the terminal 300.
인터페이스부(370)는 사용자 단말(300)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다.The interface unit 370 serves as an interface with all external devices connected to the user terminal 300. For example, wired/wireless headset ports, external charger ports, wired/wireless data ports, memory card ports, ports for connecting devices equipped with identification modules, audio I/O (Input/Output) ports, A video I/O (Input/Output) port, an earphone port, etc. may be included.
출력부(350)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(351)와 음향 출력 모듈(352), 알람부(353) 등이 포함될 수 있다.The output unit 350 is for outputting an audio signal, a video signal, or an alarm signal, and may include a display unit 351, an audio output module 352, an alarm unit 353, etc.
디스플레이부(351)는 사용자 단말(300)에서 처리되는 정보를 표시 출력한다. 예를 들어, 단말기가 통화 모드인 경우, 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고, 사용자 단말(300)이 화상 통화 모드 또는 촬영 모드인 경우, 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.The display unit 351 displays and outputs information processed by the user terminal 300. For example, when the terminal is in call mode, it displays a user interface (UI) or graphic user interface (GUI) related to the call. And, when the user terminal 300 is in a video call mode or a shooting mode, the captured and/or received video, UI, or GUI is displayed.
한편, 전술한 바와 같이, 디스플레이부(351)와 터치 패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(351)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(351)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 사용자 단말(300)의 구현 형태에 따라, 디스플레이부(351)는 2개 이상 존재할 수도 있다. 예를 들어, 사용자 단말(300)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.Meanwhile, as described above, when the display unit 351 and the touch pad form a layered structure to form a touch screen, the display unit 351 can be used as an input device in addition to an output device. The display unit 351 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display ( 3D display). And, depending on the implementation type of the user terminal 300, there may be two or more display units 351. For example, the user terminal 300 may be equipped with an external display unit (not shown) and an internal display unit (not shown) at the same time.
음향 출력 모듈(352)은 호 신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서, 무선 통신부(310)로부터 수신되거나 메모리(360)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(352)은 사용자 단말(300)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(352)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 352 outputs audio data received from the wireless communication unit 310 or stored in the memory 360 in call signal reception, call mode or recording mode, voice recognition mode, broadcast reception mode, etc. Additionally, the sound output module 352 outputs sound signals related to functions performed in the user terminal 300 (eg, call signal reception sound, message reception sound, etc.). This sound output module 352 may include a speaker, buzzer, etc.
알람부(353)는 사용자 단말(300)의 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. The alarm unit 353 outputs a signal to notify the occurrence of an event in the user terminal 300. Examples of events that occur in the terminal include receiving a call signal, receiving a message, and inputting a key signal.
메모리(360)는 제어부(380)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.The memory 360 may store programs for processing and controlling the control unit 380 and has a function for temporarily storing input/output data (e.g., phone book, messages, still images, videos, etc.). It can also be done.
메모리(360)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 360 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) magnetic memory, magnetic disk, It may include at least one type of storage medium among optical disks.
제어부(380)는 통상적으로 단말기의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(380)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(381)은 제어부(380) 내에 구현될 수도 있고, 제어부(380)와 별도로 구현될 수도 있다.The control unit 380 typically controls the overall operation of the terminal. For example, it performs related control and processing for voice calls, data communications, video calls, etc. Additionally, the control unit 380 may be equipped with a multimedia module 181 for multimedia playback. The multimedia module 381 may be implemented within the control unit 380 or may be implemented separately from the control unit 380.
제어부(380)는 전술한 포토 스튜디오 운영 방법을 구현하기 위한 단말기의 다양한 동작을 제어한다.The control unit 380 controls various operations of the terminal to implement the photo studio operation method described above.
전원 공급부(290)는 제어부(280)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 290 receives external power and internal power under the control of the control unit 280 and supplies power necessary for the operation of each component.
한편, 상술한 운영 서버(100)의 동작 중 적어도 일부 또는 전부는 사용자 단말(300)에서 구현될 수도 있다. 이때, 사용자 단말(300)에는 운영 서버(100)와 통신하여 상술한 운영 서버(100)의 동작을 수행하기 위한 애플리케이션이 미리 설치될 수 있다.Meanwhile, at least some or all of the operations of the operation server 100 described above may be implemented in the user terminal 300. At this time, an application for communicating with the operation server 100 and performing the above-described operation of the operation server 100 may be installed in the user terminal 300 in advance.
도 17은 본 발명의 일 실시예에 따른 통신 과정에서 적용될 수 있는 무선 통신 시스템을 나타낸 도면이다. 도 18은 도 17에 따른 무선 통신 시스템에서 기지국을 나타낸 도면이다. 도 19은 도 17에 따른 무선 통신 시스템에서 단말을 나타낸 도면이다. 도 20은 도 17에 따른 무선 통신 시스템에서 통신 인터페이스를 나타낸 도면이다.Figure 17 is a diagram showing a wireless communication system that can be applied in a communication process according to an embodiment of the present invention. FIG. 18 is a diagram showing a base station in the wireless communication system according to FIG. 17. FIG. 19 is a diagram showing a terminal in the wireless communication system according to FIG. 17. FIG. 20 is a diagram showing a communication interface in the wireless communication system according to FIG. 17.
이하에서는 각종 서버들과 단말들 사이의 통신을 지원하는 무선 통신 네트워크 시스템의 일례를 구체적으로 예를 들어 설명한다. 다음 설명에서, 제1 노드(장치)는 앵커/도너 노드 또는 앵커/도너 노드의 CU(centralized unit) 일 수 있고, 제2 노드(장치)는 앵커/도너 노드 또는 릴레이 노드의 DU(distributed unit) 일 수 있다.Below, an example of a wireless communication network system that supports communication between various servers and terminals will be described in detail. In the following description, the first node (device) may be an anchor/donor node or a centralized unit (CU) of an anchor/donor node, and the second node (device) may be a distributed unit (DU) of an anchor/donor node or relay node. It can be.
무선 통신 시스템에서 무선 채널을 사용하는 노드의 일부로 기지국(base station, BS), 단말, 서버 등이 포함될 수 있다.In a wireless communication system, a base station (BS), terminal, server, etc. may be included as part of the nodes that use a wireless channel.
기지국은 단말 및 단말에 무선 액세스를 제공하는 네트워크 인프라이다. 기지국은 신호가 전송될 수 있는 거리에 따라 소정의 지리적 영역으로 정의된 커버리지를 갖는다.A base station is a network infrastructure that provides wireless access to terminals and terminals. A base station has a coverage area defined as a geographic area depending on the distance over which signals can be transmitted.
기지국은 "기지국"과 마찬가지로 "액세스 포인트(access point, AP)", "이노드비(enodeb, eNB)", "5 세대(5th generation, 5G) 노드", "무선 포인트(wireless point)", "송/수신 포인트(transmission/reception point, TRP)" 지칭될 수 있다.A base station, like a "base station", can be referred to as an "access point (AP)", "enodeb (eNB)", "5th generation (5G) node", "wireless point", " It may be referred to as a “transmission/reception point (TRP)”.
기지국, 단말 및 단말은 밀리미터 파(millimeter wave, mmWave) 대역(예: 28GHz, 30GHz, 38GHz, 60GHz)으로 무선 신호를 송수신할 수 있다. 이때, 채널 이득 향상을 위해 기지국, 단말 및 단말은 빔포밍을 수행할 수 있다. 빔포밍은 송신 빔포밍 및 수신 빔포밍을 포함할 수 있다. 즉, 기지국, 단말 및 단말은 송신 신호와 수신 신호에 지향성을 부여할 수 있다. 이를 위해 기지국, 단말 및 단말은 빔 탐색 절차 또는 빔 관리 절차를 통해 서빙 빔을 선택할 수 있다. 그 후, 통신은 서빙 빔을 운반하는 자원과 준 동일위치(quasi co-located) 관계에 있는 자원을 사용하여 수행될 수 있다.Base stations, terminals, and terminals can transmit and receive wireless signals in the millimeter wave (mmWave) band (e.g., 28 GHz, 30 GHz, 38 GHz, 60 GHz). At this time, the base station, terminal, and terminal may perform beamforming to improve channel gain. Beamforming may include transmit beamforming and receive beamforming. That is, the base station, terminal, and terminal can give directivity to the transmitted signal and the received signal. To this end, the base station, terminal, and terminal can select a serving beam through a beam search procedure or beam management procedure. Thereafter, communication may be performed using a resource that is in a quasi co-located relationship with the resource carrying the serving beam.
첫 번째 안테나 포트 및 두 번째 안테나 포트는 첫 번째 안테나 포트의 심볼이 전달되는 채널의 대규모 속성이 두 번째 안테나 포트의 심볼이 전달되는 채널에서 유추될 수 있는 경우 준 동일위치 위치에 있는 것으로 간주된다. 대규모 속성은 지연 확산, 도플러 확산, 도플러 시프트, 평균 이득, 평균 지연 및 공간 Rx 파라미터 중 하나 이상을 포함할 수 있다.A first antenna port and a second antenna port are considered to be quasi-colocated if the large-scale properties of the channel on which the symbols of the first antenna port are carried can be inferred from the channel on which the symbols of the second antenna port are carried. Large-scale properties may include one or more of delay spread, Doppler spread, Doppler shift, average gain, average delay, and spatial Rx parameters.
이하에서는 상술한 무선 통신 시스템에서 기지국을 예시한다. 이하에서 사용되는 "-모듈(module)", "-부(unit)"또는 "-er"라는 용어는 적어도 하나의 기능 또는 동작을 처리하는 유닛을 의미할 수 있으며, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.Below, a base station in the above-described wireless communication system is exemplified. As used hereinafter, the terms "-module", "-unit", or "-er" may mean a unit that processes at least one function or operation, and may mean hardware, software, or hardware and software. It can be implemented as a combination of.
기지국은 무선 통신 인터페이스, 백홀 통신 인터페이스, 저장부(storage unit 및 컨트롤러을 포함할 수 있다.The base station may include a wireless communication interface, a backhaul communication interface, a storage unit, and a controller.
무선 통신 인터페이스는 무선 채널을 통해 신호를 송수신하는 기능을 수행한다. 예를 들어, 무선 통신 인터페이스는 시스템의 물리 계층 표준에 따라 베이스 밴드 신호와 비트 스트림 간의 변환 기능을 수행할 수 있다. 예를 들어, 데이터 전송에서, 무선 통신 인터페이스은 전송 비트 스트림을 압축 및 변조하여 복합 심볼을 생성한다. 또한, 데이터 수신 시 무선 통신 인터페이스는 베이스 밴드 신호를 복조 및 디코딩하여 수신 비트 스트림을 재구성한다.The wireless communication interface performs the function of transmitting and receiving signals through a wireless channel. For example, a wireless communication interface may perform a conversion function between a baseband signal and a bit stream according to the system's physical layer standard. For example, in data transmission, a wireless communication interface compresses and modulates a transmitted bit stream to generate complex symbols. Additionally, when receiving data, the wireless communication interface demodulates and decodes the baseband signal to reconstruct the received bit stream.
무선 통신 인터페이스는 무선 채널을 통해 신호를 송수신하는 기능을 수행한다. 예를 들어, 무선 통신 인터페이스은 시스템의 물리 계층 표준에 따라 베이스 밴드 신호와 비트 스트림 간의 변환 기능을 수행할 수 있다. 예를 들어, 데이터 전송에서, 무선 통신 인터페이스은 전송 비트 스트림을 압축 및 변조하여 복합 심볼을 생성한다. 또한, 데이터 수신 시 무선 통신 인터페이스은 베이스 밴드 신호를 복조 및 디코딩하여 수신 비트 스트림을 재구성한다.The wireless communication interface performs the function of transmitting and receiving signals through a wireless channel. For example, a wireless communication interface may perform a conversion function between a baseband signal and a bit stream according to the system's physical layer standard. For example, in data transmission, a wireless communication interface compresses and modulates a transmitted bit stream to generate complex symbols. Additionally, upon receiving data, the wireless communication interface demodulates and decodes the baseband signal to reconstruct the received bit stream.
또한, 무선 통신 인터페이스는 베이스 대역 신호를 RF(Radio Frequency) 대역 신호로 상향 변환하고, 변환된 신호를 안테나를 통해 전송한 후 안테나를 통해 수신된 RF 대역 신호를 베이스 대역 신호로 하향 변환한다. 이를 위해, 무선 통신 인터페이스은 송신 필터(transmission filter), 수신 필터(reception filter), 증폭기(amplifier), 믹서(mixer), 발진기(oscillator), 디지털-아날로그 컨버터(digital-to-analog convertor, DAC), 아날로그-디지털 컨버터(analog-to-digital convertor, ADC) 등을 포함할 수 있다. 또한, 무선 통신 인터페이스는 복수의 송수신 경로를 포함할 수 있다. 또한, 무선 통신 인터페이스는 복수의 안테나 요소를 포함하는 적어도 하나의 안테나 어레이를 포함할 수 있다.Additionally, the wireless communication interface up-converts the base band signal into an RF (Radio Frequency) band signal, transmits the converted signal through an antenna, and then down-converts the RF band signal received through the antenna into a base band signal. For this purpose, the wireless communication interface includes a transmission filter, a reception filter, an amplifier, a mixer, an oscillator, a digital-to-analog convertor (DAC), It may include an analog-to-digital convertor (ADC), etc. Additionally, the wireless communication interface may include a plurality of transmission and reception paths. Additionally, the wireless communication interface may include at least one antenna array including a plurality of antenna elements.
하드웨어 측면에서 무선 통신 인터페이스는 디지털 유닛과 아날로그 유닛을 포함할 수 있고, 아날로그 유닛은 동작 전력, 동작 주파수 등에 따라 복수의 서브 유닛을 포함할 수 있다. 디지털 유닛은 적어도 하나의 프로세서(예를 들어, 디지털 신호 프로세서(digital signal processor, DSP))로 구현될 수 있다.In terms of hardware, a wireless communication interface may include a digital unit and an analog unit, and the analog unit may include a plurality of subunits depending on operating power, operating frequency, etc. The digital unit may be implemented with at least one processor (eg, digital signal processor (DSP)).
무선 통신 인터페이스는 전술한 바와 같이 신호를 송수신한다. 따라서, 무선 통신 인터페이스는 "송신기(transmitter)", "수신기(receiver)"또는 "트랜시버(transceiver)"로 지칭될 수 있다. 또한, 이하의 설명에서 무선 채널을 통해 수행되는 송수신은 전술한 바와 같이 무선 통신 인터페이스에서 수행되는 처리를 포함하는 의미로 사용될 수 있다.The wireless communication interface transmits and receives signals as described above. Accordingly, a wireless communication interface may be referred to as a “transmitter,” “receiver,” or “transceiver.” Additionally, in the following description, transmission and reception performed through a wireless channel may be used to include processing performed in a wireless communication interface as described above.
백홀 통신 인터페이스는 네트워크 내의 다른 노드와 통신을 수행하기위한 인터페이스를 제공한다. 즉, 백홀 통신 인터페이스는 다른 노드로 전송되는 비트 스트림을 변환하고, 예를 들어, 다른 액세스 노드, 다른 기지국, 상위 노드 또는 기지국으로부터의 코어 네트워크는 물리적 신호로, 다른 노드로부터 수신된 물리적 신호를 비트 스트림으로 변환한다.The backhaul communication interface provides an interface to communicate with other nodes within the network. That is, the backhaul communication interface converts the bit stream transmitted to other nodes, for example, other access nodes, other base stations, upper nodes or the core network from the base station into physical signals, and converts the physical signals received from other nodes into bits. Convert to stream.
저장부는 기본 프로그램, 어플리케이션, 기지국의 동작을 위한 설정 정보 등의 데이터를 저장한다. 저장부는 휘발성 메모리, 비 휘발성 메모리 또는 휘발성 메모리와 비 휘발성 메모리의 조합을 포함할 수 있다.The storage unit stores data such as basic programs, applications, and setting information for operation of the base station. The storage unit may include volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory.
컨트롤러는 기지국의 전반적인 동작을 제어한다. 예를 들어, 컨트롤러는 무선 통신 인터페이스 또는 백홀 통신 인터페이스를 통해 신호를 송수신한다. 또한 컨트롤러는 저장부에 데이터를 기록하고 기록된 데이터를 읽는다. 컨트롤러는 통신 규격에서 요구하는 프로토콜 스택의 기능을 수행할 수 있다. 다른 구현에 따르면, 프로토콜 스택은 무선 통신 인터페이스에 포함될 수 있다. 이를 위해 컨트롤러는 적어도 하나의 프로세서를 포함할 수 있다.The controller controls the overall operation of the base station. For example, the controller transmits and receives signals through a wireless communication interface or a backhaul communication interface. Additionally, the controller records data in the storage and reads the recorded data. The controller can perform the protocol stack functions required by communication standards. According to another implementation, the protocol stack may be included in the wireless communication interface. For this purpose, the controller may include at least one processor.
일 실시 예에 따르면 컨트롤러는 본 발명의 실시 예에 따른 동작을 수행하도록 기지국을 제어할 수 있다.According to one embodiment, the controller may control the base station to perform operations according to the embodiment of the present invention.
다양한 실시 예에 따르면, 무선 통신 시스템의 도너 노드는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 동작 가능하게 결합된 트랜시버를 포함하고, 상기 릴레이 노드에 액세스하는 단말에 대한 복수의 라디오 베어러에 관한 상기 도너 노드와 관련된 제1 정보를 포함하는 제1 메시지를 릴레이 노드로 전송하도록 구성되고; 상기 릴레이 노드로부터 상기 단말에 대한 복수의 라디오 베어러에 관한 상기 릴레이 노드와 관련된 제2 정보를 포함하는 제2 메시지를 수신하고; 단말에 대한 데이터를 릴레이 노드로 전송할 수 있다. 데이터는 제1 정보 및 제2 정보에 기초하여 복수의 라디오 베어러를 통해 단말로 전송될 수 있다.According to various embodiments, a donor node of a wireless communication system includes at least one processor, a transceiver operably coupled to the at least one processor, and a plurality of radio bearers for a terminal accessing the relay node. configured to transmit to a relay node a first message containing first information related to the donor node regarding; receive a second message from the relay node containing second information related to the relay node regarding a plurality of radio bearers for the terminal; Data about the terminal can be transmitted to the relay node. Data may be transmitted to the terminal through a plurality of radio bearers based on the first information and the second information.
다양한 실시 예에 따르면, 복수의 라디오 베어러 중 라디오 베어러는 복수의 라디오 베어러를 통합시킬 수 있다. 적어도 하나의 프로세서는 또한 릴레이 노드에 액세스하는 단말에 대한 라디오 베어러 및 라디오 베어러에 의해 통합된 다중 라디오 베어러를 결정하도록 구성되고; 또는 릴레이 노드에 액세스하는 단말에 대한 라디오 베어러를 결정할 수 있다.According to various embodiments, a radio bearer among a plurality of radio bearers may integrate a plurality of radio bearers. The at least one processor is further configured to determine a radio bearer for a terminal accessing the relay node and multiple radio bearers integrated by the radio bearer; Alternatively, a radio bearer for a terminal accessing the relay node can be determined.
다양한 실시 예에 따르면, 제1 메시지는 다음 중 하나 이상을 포함할 수 있다: 릴레이 노드에 액세스하는 터미널의 식별; 릴레이 노드에 접속하는 단말의 종류를 나타내는 표시 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러에 대한 정보; 릴레이 노드에 액세스하는 단말에 의해 전달된 라디오 베어러에 대한 정보; 도너 노드와 릴레이 노드 사이의 라디오 베어러에 대해 설정된 터널에 대한 정보; 통합된 다중 라디오 베어러에 대한 정보; 라디오 베어러 매핑 정보; 도너 노드 측면의 주소에 대한 정보; 릴레이 노드 측의 주소에 대한 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러에 대응하는 표시 정보; 릴레이 노드에 액세스하는 단말에 대해 새로운 주소를 라디오 베어러에 할당하도록 릴레이 노드를 나타내는 표시 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러의 데이터를 전송하는 릴레이 노드가 사용할 수 없는 주소 정보 목록; 및 보안 구성과 관련된 정보.According to various embodiments, the first message may include one or more of the following: identification of the terminal accessing the relay node; Display information indicating the type of terminal connecting to the relay node; Information about the radio bearer of the terminal connecting to the relay node; Information about the radio bearer carried by the terminal accessing the relay node; Information about the tunnel established for the radio bearer between the donor node and the relay node; Information on integrated multi-radio bearers; radio bearer mapping information; Information about the address on the donor node side; Information about the address on the relay node side; Indication information corresponding to the radio bearer of the terminal connecting to the relay node; Indication information indicating the relay node to allocate a new address to a radio bearer for a terminal accessing the relay node; A list of address information that cannot be used by the relay node transmitting data of the radio bearer of the terminal connecting to the relay node; and information related to security configuration.
다양한 실시 예에 따르면, 제2 메시지는 다음 중 하나 이상을 포함할 수 있다: 릴레이 노드에 액세스하는 터미널의 식별; 릴레이 노드에 의해 승인된 라디오 베어러에 대한 정보; 릴레이 노드에 의해 승인되지 않은 라디오 베어러에 대한 정보; 릴레이 노드에 의해 부분적으로 승인된 라디오 베어러에 대한 정보; 라디오 베어러 매핑 정보; 릴레이 노드가 생성한 릴레이 노드에 접속하는 단말의 구성 정보; 릴레이 노드 측의 주소에 대한 정보; 및 보안 구성과 관련된 정보.According to various embodiments, the second message may include one or more of the following: identification of the terminal accessing the relay node; Information about radio bearers approved by the relay node; Information about radio bearers not acknowledged by the relay node; Information about radio bearers partially accepted by the relay node; radio bearer mapping information; Configuration information of a terminal connecting to the relay node created by the relay node; Information about the address on the relay node side; and information related to security configuration.
다양한 실시 예에 따르면, 제2 메시지는 통합된 다중 라디오 베어러에 대한 정보를 더 포함할 수 있다.According to various embodiments, the second message may further include information about integrated multiple radio bearers.
다양한 실시 예에 따르면, 도너 노드는 도너 노드의 중앙 유닛을 포함하고, 릴레이 노드는 도너 노드의 분산 유닛을 포함할 수 있다.According to various embodiments, the donor node may include a central unit of the donor node, and the relay node may include a distributed unit of the donor node.
다양한 실시 예에 따르면, 무선 통신 시스템의 릴레이 노드는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 동작 가능하게 결합된 트랜시버를 포함하고, 도너 노드로부터, 릴레이 노드에 액세스하는 단말에 대한 복수의 라디오 베어러에 관한 도너 노드와 관련된 제1 정보를 포함하는 제1 메시지를 수신하도록 구성되고; 단말에 대한 복수의 라디오 베어러에 관한 릴레이 노드와 관련된 제2 정보를 포함하는 제2 메시지를 도너 노드로 전송하고; 도너 노드로부터 단말기에 대한 데이터를 수신할 수 있다. 데이터는 제1 정보 및 제2 정보에 기초하여 복수의 라디오 베어러를 통해 단말로 전송될 수 있다.According to various embodiments, a relay node in a wireless communication system includes at least one processor, includes a transceiver operably coupled to the at least one processor, and transmits, from a donor node, a plurality of terminals accessing the relay node. configured to receive a first message containing first information related to a donor node regarding a radio bearer of; transmitting a second message containing second information related to a relay node regarding a plurality of radio bearers for the terminal to the donor node; Data about the terminal can be received from the donor node. Data may be transmitted to the terminal through a plurality of radio bearers based on the first information and the second information.
다양한 실시 예에 따르면, 복수의 라디오 베어러 중 라디오 베어러는 복수의 라디오 베어러를 통합시킬 수 있다. 적어도 하나의 프로세서는 또한 릴레이 노드에 액세스하는 단말에 대한 라디오 베어러 및 라디오 베어러에 의해 통합된 다중 라디오 베어러를 결정하도록 구성되고; 또는 라디오 베어러에 의해 통합된 다중 라디오 베어러를 결정할 수 있다.According to various embodiments, a radio bearer among a plurality of radio bearers may integrate a plurality of radio bearers. The at least one processor is further configured to determine a radio bearer for a terminal accessing the relay node and multiple radio bearers integrated by the radio bearer; Alternatively, multiple radio bearers integrated by radio bearer may be determined.
다양한 실시 예에 따르면, 제1 메시지는 다음 중 하나 이상을 포함할 수 있다: 릴레이 노드에 액세스하는 터미널의 식별; 릴레이 노드에 접속하는 단말의 종류를 나타내는 표시 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러에 대한 정보; 릴레이 노드에 액세스하는 단말에 의해 전달된 라디오 베어러에 대한 정보; 도너 노드와 릴레이 노드 사이의 라디오 베어러에 대해 설정된 터널에 대한 정보; 통합된 다중 라디오 베어러에 대한 정보; 라디오 베어러 매핑 정보; 도너 노드 측면의 주소에 대한 정보; 릴레이 노드 측의 주소에 대한 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러에 대응하는 표시 정보; 릴레이 노드에 액세스하는 단말에 대해 새로운 주소를 라디오 베어러에 할당하도록 릴레이 노드를 나타내는 표시 정보; 릴레이 노드에 접속하는 단말의 라디오 베어러의 데이터를 전송하는 릴레이 노드가 사용할 수 없는 주소 정보 목록; 및 보안 구성과 관련된 정보.According to various embodiments, the first message may include one or more of the following: identification of the terminal accessing the relay node; Display information indicating the type of terminal connecting to the relay node; Information about the radio bearer of the terminal connecting to the relay node; Information about the radio bearer carried by the terminal accessing the relay node; Information about the tunnel established for the radio bearer between the donor node and the relay node; Information on integrated multi-radio bearers; radio bearer mapping information; Information about the address on the donor node side; Information about the address on the relay node side; Indication information corresponding to the radio bearer of the terminal connecting to the relay node; Indication information indicating the relay node to allocate a new address to a radio bearer for a terminal accessing the relay node; A list of address information that cannot be used by the relay node transmitting data of the radio bearer of the terminal connecting to the relay node; and information related to security configuration.
다양한 실시 예에 따르면, 제2 메시지는 다음 중 하나 이상을 포함할 수 있다: 릴레이 노드에 액세스하는 터미널의 식별; 릴레이 노드에 의해 승인된 라디오 베어러에 대한 정보; 릴레이 노드에 의해 승인되지 않은 라디오 베어러에 대한 정보; 릴레이 노드에 의해 부분적으로 승인된 라디오 베어러에 대한 정보; 라디오 베어러 매핑 정보; 릴레이 노드가 생성한 릴레이 노드에 접속하는 단말의 구성 정보; 릴레이 노드 측의 주소에 대한 정보; 및 보안 구성과 관련된 정보.According to various embodiments, the second message may include one or more of the following: identification of the terminal accessing the relay node; Information about radio bearers approved by the relay node; Information about radio bearers not acknowledged by the relay node; Information about radio bearers partially accepted by the relay node; radio bearer mapping information; Configuration information of a terminal connecting to the relay node created by the relay node; Information about the address on the relay node side; and information related to security configuration.
다양한 실시 예에 따르면, 제2 메시지는 통합된 다중 라디오 베어러에 대한 정보를 더 포함할 수 있다.According to various embodiments, the second message may further include information about integrated multiple radio bearers.
다양한 실시 예에 따르면, 도너 노드는 도너 노드의 중앙 유닛을 포함하고, 릴레이 노드는 도너 노드의 분산 유닛을 포함할 수 있다.According to various embodiments, the donor node may include a central unit of the donor node, and the relay node may include a distributed unit of the donor node.
이하에서는 상술한 무선 통신 시스템에서 단말의 구성요소를 도시한다. 이하에서는 설명하는 단말의 구성요소는 무선 통신 시스템에서 지원하는 범용적인 단말의 구성요소로서 전술한 내용들에 따른 단말의 구성요소와 병합되거나 통합될 수 있고, 일부 중첩되거나 상충되는 범위에서 앞서 도면을 참조하여 설명한 내용이 우선적용되는 것으로 해석될 수 있다. 이하에서 사용되는 "-모듈", "-유닛"또는 "-er"라는 용어는 적어도 하나의 기능을 처리하는 유닛을 의미할 수 있다.Below, the components of the terminal in the above-described wireless communication system are shown. The components of the terminal described below are components of a general-purpose terminal supported by a wireless communication system and may be merged or integrated with the components of the terminal according to the above-mentioned contents, and may be compared to the previous drawings to the extent of some overlap or conflict. The content explained with reference may be interpreted as having priority. The terms “-module”, “-unit”, or “-er” used below may refer to a unit that processes at least one function.
단말은 통신 인터페이스, 저장부 및 컨트롤러를 포함한다.The terminal includes a communication interface, a storage unit, and a controller.
통신 인터페이스는 무선 채널을 통해 신호를 송수신하는 기능을 수행한다. 예를 들어, 통신 인터페이스는 시스템의 물리 계층 표준에 따라 베이스 밴드 신호와 비트 스트림 간의 변환 기능을 수행한다. 예를 들어, 데이터 전송에서 통신 인터페이스는 전송 비트 스트림을 압축 및 변조하여 복합 심볼을 생성한다. 또한, 데이터 수신시 통신 인터페이스는 베이스 대역 신호를 복조 및 복호화하여 수신 비트 스트림을 재구성한다. 또한, 통신 인터페이스는 베이스 대역 신호를 RF 대역 신호로 상향 변환하고, 변환된 신호를 안테나를 통해 전송한 후 안테나를 통해 수신된 RF 대역 신호를 기저 대역 신호로 하향 변환한다. 예를 들어, 통신 인터페이스는 송신 필터(transmission filter), 수신 필터(reception filter), 증폭기(amplifier), 믹서(mixer), 발진기(oscillator), 디지털-아날로그 컨버터(digital-to-analog convertor, DAC), 아날로그-디지털 컨버터(analog-to-digital convertor, ADC) 등을 포함할 수 있다.The communication interface performs the function of transmitting and receiving signals through a wireless channel. For example, the communication interface performs conversion between baseband signals and bit streams according to the system's physical layer standards. For example, in data transmission, a communication interface compresses and modulates the transmitted bit stream to generate complex symbols. Additionally, when receiving data, the communication interface demodulates and decodes the base band signal to reconstruct the received bit stream. Additionally, the communication interface up-converts the base band signal into an RF band signal, transmits the converted signal through an antenna, and then down-converts the RF band signal received through the antenna into a base band signal. For example, the communication interface includes a transmission filter, reception filter, amplifier, mixer, oscillator, and digital-to-analog convertor (DAC). , analog-to-digital convertor (ADC), etc.
또한, 통신 인터페이스는 복수의 송수신 경로를 포함할 수 있다. 또한, 통신 인터페이스는 복수의 안테나 요소를 포함하는 적어도 하나의 안테나 어레이를 포함할 수 있다. 하드웨어 측에서 무선 통신 인터페이스는 디지털 회로 및 아날로그 회로(예를 들어, radio frequency integrated circuit, RFIC)를 포함할 수 있다. 디지털 회로는 적어도 하나의 프로세서(예: DSP)로 구현될 수 있다. 통신 인터페이스는 복수의 RF 체인을 포함할 수 있다. 통신 인터페이스는 빔포밍을 수행할 수 있다.Additionally, the communication interface may include multiple transmission and reception paths. Additionally, the communication interface may include at least one antenna array including a plurality of antenna elements. On the hardware side, the wireless communication interface may include digital circuits and analog circuits (eg, radio frequency integrated circuit, RFIC). A digital circuit may be implemented with at least one processor (e.g., DSP). The communication interface may include multiple RF chains. The communication interface may perform beamforming.
통신 인터페이스는 전술한 바와 같이 신호를 송수신한다. 따라서, 통신 인터페이스는 "송신기(transmitter)", "수신기(receiver)"또는 "트랜시버(transceiver)"로 지칭될 수 있다. 또한, 이하의 설명에서 무선 채널을 통해 수행되는 송수신은 전술한 바와 같이 통신 인터페이스에서 수행되는 처리를 포함하는 의미로 사용될 수 있다.The communication interface transmits and receives signals as described above. Accordingly, a communication interface may be referred to as a “transmitter,” “receiver,” or “transceiver.” Additionally, in the following description, transmission and reception performed through a wireless channel may be used to include processing performed in the communication interface as described above.
저장부는 단말기의 동작을 위한 기본 프로그램, 어플리케이션, 설정 정보 등의 데이터를 저장한다. 저장부는 휘발성 메모리, 비 휘발성 메모리 또는 휘발성 메모리와 비 휘발성 메모리의 조합을 포함할 수 있다. 또한, 저장부는 컨트롤러의 요청에 따라 저장된 데이터를 제공한다.The storage unit stores data such as basic programs, applications, and setting information for the operation of the terminal. The storage unit may include volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the storage unit provides stored data upon request from the controller.
컨트롤러는 단말의 전반적인 동작을 제어한다. 예를 들어, 컨트롤러는 통신 인터페이스를 통해 신호를 송수신한다. 또한 컨트롤러는 저장부에 데이터를 기록하고 기록된 데이터를 읽는다. 컨트롤러는 통신 규격에서 요구하는 프로토콜 스택의 기능을 수행할 수 있다. 다른 구현에 따르면, 프로토콜 스택은 통신 인터페이스에 포함될 수 있다. 이를 위해, 컨트롤러는 적어도 하나의 프로세서 또는 마이크로 프로세서를 포함하거나 프로세서의 일부를 재생할 수 있다. 또한, 통신 인터페이스 또는 컨트롤러의 일부를 통신 프로세서(communication processor, CP)라고 할 수 있다.The controller controls the overall operation of the terminal. For example, a controller sends and receives signals through a communication interface. Additionally, the controller records data in the storage and reads the recorded data. The controller can perform the protocol stack functions required by communication standards. According to another implementation, a protocol stack may be included in the communication interface. For this purpose, the controller may comprise at least one processor or microprocessor or may reproduce part of a processor. Additionally, a part of the communication interface or controller may be referred to as a communication processor (CP).
본 발명의 일 실시 예에 따르면, 컨트롤러는 본 발명의 실시 예에 따른 동작을 수행하도록 단말을 제어할 수 있다.According to an embodiment of the present invention, a controller can control a terminal to perform an operation according to an embodiment of the present invention.
이하에서는 무선 통신 시스템에서 통신 인터페이스를 예시한다. Below, a communication interface in a wireless communication system is illustrated.
통신 인터페이스는 압축 및 변조 회로, 디지털 빔포밍 회로, 복수의 전송 경로 및 아날로그 빔포밍 회로를 포함한다.The communication interface includes compression and modulation circuitry, digital beamforming circuitry, multiple transmission paths, and analog beamforming circuitry.
압축 및 변조 회로는 채널 압축을 수행한다. 채널 압축을 위해 low-density parity check(LDPC) 코드, 컨볼루션 코드 및 폴라 코드 중 적어도 하나가 사용될 수 있다. 압축 및 변조 회로는 성상 매핑(constellation mapping)을 수행함으로써 변조 심볼을 생성한다.Compression and modulation circuitry performs channel compression. At least one of a low-density parity check (LDPC) code, a convolutional code, and a polar code may be used for channel compression. The compression and modulation circuit generates modulation symbols by performing constellation mapping.
디지털 빔포밍 회로는 디지털 신호(예를 들어, 변조 심볼)에 대한 빔 형성을 수행한다. 이를 위해, 디지털 빔포밍 회로는 빔포밍 가중 값에 의해 변조 심볼을 다중화한다. 빔포밍 가중치는 신호의 크기 및 문구를 변경하는데 사용될 수 있으며, "프리코딩 매트릭스(precoding matrix)"또는 "프리코더(precoder)"라고 할 수 있다. 디지털 빔포밍 회로는 디지털 빔포밍된 변조 심볼을 복수의 전송 경로로 출력한다. 이때, 다중 안테나 기술(multiple input multiple output, MIMO) 전송 방식에 따라 변조 심볼이 다중화 되거나 동일한 변조 심볼이 복수의 전송 경로에 제공될 수 있다.A digital beamforming circuit performs beam forming on digital signals (eg, modulation symbols). For this purpose, the digital beamforming circuit multiplexes the modulation symbols by beamforming weight values. Beamforming weights can be used to change the size and wording of the signal and may be referred to as a “precoding matrix” or “precoder.” The digital beamforming circuit outputs digital beamformed modulation symbols through a plurality of transmission paths. At this time, depending on the multiple input multiple output (MIMO) transmission method, modulation symbols may be multiplexed or the same modulation symbol may be provided to multiple transmission paths.
복수의 전송 경로는 디지털 빔포밍된 디지털 신호를 아날로그 신호로 변환한다. 이를 위해, 복수의 전송 경로 각각은 인버스 고속 푸리에 변환(inverse fast fourier transform, IFFT) 계산 유닛, 순환 전치(cyclic prefix, CP) 삽입 유닛, DAC 및 상향 변환 유닛을 포함할 수 있다. CP 삽입 부는 직교 주파수 분할 다중화(orthogonal frequency division multiplexing, OFDM) 방식을 위한 것으로 다른 물리 계층 방식(예: 필터 뱅크 다중 반송파(a filter bank multi-carrier): FBMC) 적용시 생략될 수 있다. 즉, 복수의 전송 경로는 디지털 빔포밍을 통해 생성된 복수의 스트림에 대해 독립적인 신호 처리 프로세스를 제공한다. 그러나, 구현에 따라 복수의 전송 경로의 일부 요소는 공통적으로 사용될 수 있다.A plurality of transmission paths convert digital beamformed digital signals into analog signals. To this end, each of the plurality of transmission paths may include an inverse fast Fourier transform (IFFT) calculation unit, a cyclic prefix (CP) insertion unit, a DAC, and an upconversion unit. The CP insertion unit is for the orthogonal frequency division multiplexing (OFDM) method and can be omitted when applying another physical layer method (e.g., a filter bank multi-carrier (FBMC)). That is, multiple transmission paths provide independent signal processing processes for multiple streams generated through digital beamforming. However, depending on the implementation, some elements of multiple transmission paths may be commonly used.
아날로그 빔포밍 회로는 아날로그 신호에 대한 빔포밍을 수행한다. 이를 위해, 디지털 빔포밍 회로는 빔포밍 가중 값에 의해 아날로그 신호를 다중화한다. 빔포밍된 가중치는 신호의 크기와 문구를 변경하는데 사용된다. 보다 구체적으로, 복수의 전송 경로와 안테나 사이의 연결 구조에 따라, 아날로그 빔포밍 회로는 다양한 방식으로 구성될 수 있다. 예를 들어, 복수의 전송 경로 각각은 하나의 안테나 어레이에 연결될 수 있다. 다른 예에서, 복수의 전송 경로는 하나의 안테나 어레이에 연결될 수 있다. 또 다른 예에서, 복수의 전송 경로는 하나의 안테나 어레이에 적응적으로 연결될 수 있거나 2개 이상의 안테나 어레이에 연결될 수 있다.The analog beamforming circuit performs beamforming on analog signals. For this purpose, the digital beamforming circuit multiplexes the analog signal by beamforming weighting values. Beamformed weights are used to change the size and wording of the signal. More specifically, depending on the connection structure between a plurality of transmission paths and antennas, the analog beamforming circuit can be configured in various ways. For example, each of the plurality of transmission paths may be connected to one antenna array. In another example, multiple transmission paths may be connected to one antenna array. In another example, multiple transmission paths may be adaptively connected to one antenna array or may be connected to two or more antenna arrays.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
100: 운영 서버 200: 촬영룸 서버
300: 사용자 단말 400: 크리에이터 단말100: Operation server 200: Filming room server
300: User terminal 400: Creator terminal
Claims (9)
상기 촬영룸 키오스크는,
촬영룸에 구비된 카메라;
상기 촬영룸에 구비된 조명;
상기 촬영룸에 구비된 센서; 및
상기 카메라를 이용하여 촬영된 이미지를 사용자에게 표시하도록 하는 디스플레이;를 포함하며,
상기 촬영룸 키오스크의 카메라를 통해 촬영된 적어도 하나 이상의 이미지에 기초하여 사진 프레임을 구성하며,
상기 구성한 사진 프레임을 조절할 수 있는 인터페이스를 제공하고,
상기 인터페이스 내에서 획득되는 사용자의 드래그 입력에 따라 상기 사진 프레임의 모양 및 크기를 결정하고, 상기 사진 프레임의 두께 및 컬러를 결정하며, 상기 사진 프레임을 구성할 사진 및 사진의 개수를 결정하고,
상기 드래그 입력에 따라 결정된 상기 사진 프레임의 모양 및 크기에 대응되도록 상기 사진 프레임에 포함되는 사진들을 구성하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 장치.In a device that generates a photo frame based on images taken through a shooting room kiosk,
The filming room kiosk,
Cameras provided in the filming room;
Lighting provided in the filming room;
A sensor provided in the filming room; and
It includes a display that displays images captured using the camera to the user,
Constructing a photo frame based on at least one image captured through a camera of the shooting room kiosk,
Provides an interface for adjusting the configured photo frame,
Determining the shape and size of the photo frame according to the user's drag input obtained within the interface, determining the thickness and color of the photo frame, and determining the photo and number of photos to constitute the photo frame,
A device for generating a photo frame based on images taken through a shooting room kiosk, characterized in that the photos included in the photo frame are configured to correspond to the shape and size of the photo frame determined according to the drag input.
상기 장치는,
상기 사진 프레임의 크기를 조절하는 상기 사용자의 드래그 입력이 제1 시간 동안 획득되지 않는 경우, 상기 드래그 입력이 획득되지 않는 시점의 크기를 상기 사진 프레임의 크기로 결정하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 장치.In claim 1,
The device is,
When the user's drag input for adjusting the size of the photo frame is not obtained for a first time, a shooting room kiosk is characterized in that the size at the time when the drag input is not obtained is determined by the size of the photo frame. A device that creates photo frames based on images taken through a device.
상기 촬영룸 키오스크의 카메라는,
동영상을 촬영하고,
상기 장치는,
상기 촬영한 동영상을 구성하는 복수의 이미지 프레임들 중 적어도 하나의 이미지 프레임에 기초하여 상기 사진 프레임을 구성하는 사진을 결정하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 장치.In claim 1,
The camera of the shooting room kiosk is,
Take a video,
The device is,
A photo frame is created based on images captured through a shooting room kiosk, characterized in that a photo constituting the photo frame is determined based on at least one image frame among a plurality of image frames constituting the captured video. device that generates
상기 장치는,
상기 동영상의 처음 및 마지막 시간을 제외한 동영상을 실질 동영상으로 결정하고, 상기 결정된 실질 동영상의 길이 내에서 상기 사진 프레임을 구성할 사진을 결정하고,
상기 동영상에서 사용자의 포즈를 감지하고, 상기 감지한 포즈를 포함하는 이미지 프레임을 사진으로 결정하고, 상기 결정된 사진의 개수보다 상기 감지된 포즈의 수가 적은 경우, 상기 감지된 포즈 중 가장 먼저 감지된 포즈를 포함하는 이미지 프레임을 사진 프레임을 구성하는 나머지 사진으로 결정하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 장치.In claim 3,
The device is,
Determining a video excluding the first and last times of the video as the actual video, and determining a photo to form the photo frame within the length of the determined actual video,
Detect the user's pose in the video, determine an image frame containing the detected pose as a photo, and if the number of detected poses is less than the number of photos determined, the pose detected first among the detected poses A device for generating a photo frame based on images taken through a shooting room kiosk, characterized in that the image frame including the remaining photos constituting the photo frame is determined.
상기 장치는,
내부 저장소에서 필터 효과가 적용된 소스 이미지를 획득하고,
상기 소스 이미지로부터 상기 필터 효과가 없는 원본 이미지를 추정하고,
상기 소스 이미지와 상기 원본 이미지를 비교하여 상기 필터 효과를 추출하고,
상기 추출된 필터 효과를 상기 획득된 이미지에 적용하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 장치.In claim 1,
The device is,
Acquire the source image with the filter effect applied from the internal storage,
Estimate the original image without the filter effect from the source image,
Extracting the filter effect by comparing the source image and the original image,
A device for generating a photo frame based on images taken through a shooting room kiosk, characterized in that the extracted filter effect is applied to the acquired image.
상기 촬영룸 키오스크의 카메라를 통해 촬영된 적어도 하나 이상의 이미지에 기초하여 사진 프레임을 구성하는 단계;를 포함하며,
상기 구성한 사진 프레임을 조절할 수 있는 인터페이스를 제공하고, 상기 인터페이스 내에서 획득되는 사용자의 드래그 입력에 따라 상기 사진 프레임의 모양 및 크기를 결정하고, 상기 사진 프레임의 두께 및 컬러를 결정하며, 상기 사진 프레임을 구성할 사진 및 사진의 개수를 결정하는 단계;를 포함하며,
상기 드래그 입력에 따라 결정된 상기 사진 프레임의 모양 및 크기에 대응되도록 상기 사진 프레임에 포함되는 사진들을 구성하며,
상기 촬영룸 키오스크는,
촬영룸에 구비된 카메라;
상기 촬영룸에 구비된 조명;
상기 촬영룸에 구비된 센서; 및
상기 카메라를 이용하여 촬영된 이미지를 사용자에게 표시하도록 하는 디스플레이;를 포함하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 방법.In a device that generates a photo frame based on images taken through a shooting room kiosk, the method of generating the photo frame includes:
Constructing a photo frame based on at least one image captured through a camera of the shooting room kiosk,
Provides an interface that can adjust the configured photo frame, determines the shape and size of the photo frame according to the user's drag input obtained within the interface, determines the thickness and color of the photo frame, and determines the photo frame. It includes; determining the number of photos and photos to constitute,
Configure photos included in the photo frame to correspond to the shape and size of the photo frame determined according to the drag input,
The filming room kiosk,
Cameras provided in the filming room;
Lighting provided in the filming room;
A sensor provided in the filming room; and
A display for displaying images captured using the camera to a user. A method of generating a photo frame based on images captured through a shooting room kiosk.
상기 방법은,
상기 사진 프레임의 크기를 조절하는 상기 사용자의 드래그 입력이 제1 시간 동안 획득되지 않는 경우, 상기 드래그 입력이 획득되지 않는 시점의 크기를 상기 사진 프레임의 크기로 결정하는 것을 포함하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 방법.In claim 6,
The above method is,
When the user's drag input for adjusting the size of the photo frame is not obtained for a first time, capturing the size at the time when the drag input is not obtained is determined as the size of the photo frame. A method of creating a photo frame based on images taken through a room kiosk.
상기 촬영룸 키오스크의 카메라는,
동영상을 촬영하고,
상기 방법은,
상기 촬영한 동영상을 구성하는 복수의 이미지 프레임들 중 적어도 하나의 이미지 프레임에 기초하여 상기 사진 프레임을 구성하는 사진을 결정하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 방법.In claim 6,
The camera of the shooting room kiosk is,
Take a video,
The above method is,
A photo frame is created based on images captured through a shooting room kiosk, characterized in that a photo constituting the photo frame is determined based on at least one image frame among a plurality of image frames constituting the captured video. How to create it.
상기 방법은,
상기 동영상의 처음 및 마지막 시간을 제외한 동영상을 실질 동영상으로 결정하고, 상기 결정된 실질 동영상의 길이 내에서 상기 사진 프레임을 구성할 사진을 결정하고,
상기 동영상에서 사용자의 포즈를 감지하고, 상기 감지한 포즈를 포함하는 이미지 프레임을 사진으로 결정하고, 상기 결정된 사진의 개수보다 상기 감지된 포즈의 수가 적은 경우, 상기 감지된 포즈 중 가장 먼저 감지된 포즈를 포함하는 이미지 프레임을 사진 프레임을 구성하는 나머지 사진으로 결정하는 것을 특징으로 하는 촬영룸 키오스크를 통해 촬영된 이미지들에 기초하여 사진 프레임을 생성하는 방법.In claim 8,
The above method is,
Determining a video excluding the first and last times of the video as the actual video, and determining a photo to form the photo frame within the length of the determined actual video,
Detect the user's pose in the video, determine an image frame containing the detected pose as a photo, and if the number of detected poses is less than the number of photos determined, the pose detected first among the detected poses A method of generating a photo frame based on images taken through a shooting room kiosk, characterized in that determining the image frame containing the remaining photos constituting the photo frame.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210096604 | 2021-07-22 | ||
KR20210096604 | 2021-07-22 | ||
KR20210097050 | 2021-07-23 | ||
KR1020210097050 | 2021-07-23 | ||
KR1020210097696A KR102390838B1 (en) | 2021-07-22 | 2021-07-26 | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210097696A Division KR102390838B1 (en) | 2021-07-22 | 2021-07-26 | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230015269A KR20230015269A (en) | 2023-01-31 |
KR102616384B1 true KR102616384B1 (en) | 2023-12-21 |
Family
ID=81448047
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210097696A KR102390838B1 (en) | 2021-07-22 | 2021-07-26 | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk |
KR1020220049446A KR20230015268A (en) | 2021-07-22 | 2022-04-21 | Method and apparatus for creating a user's preferences photo through collaboration between an image stored in a user terminal and an image captured through a shooting room kiosk |
KR1020220049451A KR102616384B1 (en) | 2021-07-22 | 2022-04-21 | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210097696A KR102390838B1 (en) | 2021-07-22 | 2021-07-26 | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk |
KR1020220049446A KR20230015268A (en) | 2021-07-22 | 2022-04-21 | Method and apparatus for creating a user's preferences photo through collaboration between an image stored in a user terminal and an image captured through a shooting room kiosk |
Country Status (1)
Country | Link |
---|---|
KR (3) | KR102390838B1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102583128B1 (en) * | 2022-05-17 | 2023-09-26 | 주식회사 딥브레인에이아이 | Video recording system and method for compositing |
KR102456273B1 (en) * | 2022-07-14 | 2022-10-20 | 주식회사 그랜드엔터프라이즈 | Method and apparatus of providing advertisement |
KR20240080157A (en) | 2022-11-28 | 2024-06-05 | 주식회사 미러로이드 | Method and APPRATUS for TAKING PICTURES OF A PERSON AND PRINTING THEM OUT IN A PHOTO ZONE SERVICE |
KR102539413B1 (en) * | 2023-03-03 | 2023-06-02 | 주식회사 웜브로 | Photo kiosk and operating method of the same |
CN116744124B (en) * | 2023-08-16 | 2023-11-10 | 广州方图科技有限公司 | Shooting method and equipment of self-service shooting equipment, electronic equipment and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004537098A (en) | 2001-04-21 | 2004-12-09 | ヒョン ソー,ヨン | Star sticker vending machine and its latest information provision method |
KR100785929B1 (en) | 2006-07-18 | 2007-12-17 | 서울산업대학교 산학협력단 | Contents recording system for linking online with offline and method thereof |
KR101729206B1 (en) | 2015-11-17 | 2017-05-25 | 위올커뮤니케이션(주) | System and method for image sharing |
WO2018021617A2 (en) | 2016-07-27 | 2018-02-01 | 주식회사 아이오로라 | Method for generating photo ticket and photo ticket generation device for operating same |
US20190102924A1 (en) * | 2017-09-29 | 2019-04-04 | Apple Inc. | Generating Synthetic Group Selfies |
WO2021040138A1 (en) | 2019-08-29 | 2021-03-04 | (주)해시스냅 | System for providing photo printing service based on hashtags |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040027179A (en) * | 2002-09-27 | 2004-04-01 | 조영일 | Photo-sticker vending machine and method for creating photo-sticker |
KR20090001664A (en) * | 2007-05-09 | 2009-01-09 | 박경열 | Service system for print a photograph in a sticker photograph vending machine using a wire and wireless network |
KR101394363B1 (en) * | 2012-09-17 | 2014-05-14 | 중앙대학교 산학협력단 | Apparatus and method for transferring a color of image |
KR20140083311A (en) * | 2012-12-26 | 2014-07-04 | 주식회사 스피어그램 | Online photo printing system and method |
KR20180001440A (en) * | 2016-06-25 | 2018-01-04 | 김정태 | Touch free photo booth for high throughput direct photo delivery |
KR20180017446A (en) * | 2016-08-09 | 2018-02-21 | 세창인스트루먼트(주) | Apparatus for producing a virtual synthesized image and method for the same |
KR102299418B1 (en) * | 2019-08-14 | 2021-09-08 | 주식회사 백그라운드 | Service system for providing rental studio for personal broadcasting |
KR20210054907A (en) * | 2019-11-06 | 2021-05-14 | 엘지전자 주식회사 | Method and apparatus for editing image |
KR102612553B1 (en) * | 2021-07-26 | 2023-12-12 | (주)브이아이소프트 | Photo booth system |
-
2021
- 2021-07-26 KR KR1020210097696A patent/KR102390838B1/en active IP Right Grant
-
2022
- 2022-04-21 KR KR1020220049446A patent/KR20230015268A/en unknown
- 2022-04-21 KR KR1020220049451A patent/KR102616384B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004537098A (en) | 2001-04-21 | 2004-12-09 | ヒョン ソー,ヨン | Star sticker vending machine and its latest information provision method |
KR100785929B1 (en) | 2006-07-18 | 2007-12-17 | 서울산업대학교 산학협력단 | Contents recording system for linking online with offline and method thereof |
KR101729206B1 (en) | 2015-11-17 | 2017-05-25 | 위올커뮤니케이션(주) | System and method for image sharing |
WO2018021617A2 (en) | 2016-07-27 | 2018-02-01 | 주식회사 아이오로라 | Method for generating photo ticket and photo ticket generation device for operating same |
US20190102924A1 (en) * | 2017-09-29 | 2019-04-04 | Apple Inc. | Generating Synthetic Group Selfies |
WO2021040138A1 (en) | 2019-08-29 | 2021-03-04 | (주)해시스냅 | System for providing photo printing service based on hashtags |
Also Published As
Publication number | Publication date |
---|---|
KR20230015268A (en) | 2023-01-31 |
KR20230015269A (en) | 2023-01-31 |
KR102390838B1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102616384B1 (en) | Apparatus and method for generating a picture frame based on images taken through a shooting room kiosk | |
KR20180092621A (en) | Terminal and method for controlling the same | |
CN113794796B (en) | Screen projection method and electronic equipment | |
WO2022135527A1 (en) | Video recording method and electronic device | |
CN112714327A (en) | Interaction method, device and equipment based on live application program and storage medium | |
WO2022062796A1 (en) | Network control method, apparatus, and electronic device | |
CN104426588A (en) | Method and device for mobile terminal synergistic shooting | |
CN109804346A (en) | Wireless device and wireless system | |
KR102569419B1 (en) | Augmented reality-based performance content providing device that supports a technology for correcting a visual difference according to a user's viewing position and performing method thereof | |
CN115359105A (en) | Depth-of-field extended image generation method, depth-of-field extended image generation device, and storage medium | |
WO2022095712A1 (en) | Data sharing method, apparatus and system, and electronic device | |
US20230154500A1 (en) | Electronic device, and method of synchronizing video data and audio data by using same | |
US11677836B2 (en) | Server apparatus, communication system and communication method | |
CN114327317B (en) | Mirror image screen projection method, device and system | |
CN114071652B (en) | Binding relation establishing method and related equipment | |
CN114466131A (en) | Cross-device shooting method and related device | |
KR102572083B1 (en) | The method and system for operating photo studio supporting camera parameter prediction model based on artificial neural network | |
KR102681401B1 (en) | The method and system for operating photo studio using token mining kiosk | |
WO2022228214A1 (en) | Device discovery method and system and electronic device | |
WO2024022307A1 (en) | Screen mirroring method and electronic device | |
WO2023160238A1 (en) | Image display method and related electronic device | |
WO2022188812A1 (en) | Method for synchronizing software features between devices, and electronic device | |
WO2023045966A1 (en) | Capability sharing method, electronic devices and computer-readable storage medium | |
KR20220169385A (en) | The method and system for operating photo studio | |
JP6451509B2 (en) | Information terminal, photographing control program, display system, and photographing control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |