KR20190122082A - Method for interactive picture service - Google Patents

Method for interactive picture service Download PDF

Info

Publication number
KR20190122082A
KR20190122082A KR1020180045770A KR20180045770A KR20190122082A KR 20190122082 A KR20190122082 A KR 20190122082A KR 1020180045770 A KR1020180045770 A KR 1020180045770A KR 20180045770 A KR20180045770 A KR 20180045770A KR 20190122082 A KR20190122082 A KR 20190122082A
Authority
KR
South Korea
Prior art keywords
user
interactive
interaction
signal
picture
Prior art date
Application number
KR1020180045770A
Other languages
Korean (ko)
Other versions
KR102457953B1 (en
Inventor
김주섭
하승완
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020180045770A priority Critical patent/KR102457953B1/en
Publication of KR20190122082A publication Critical patent/KR20190122082A/en
Application granted granted Critical
Publication of KR102457953B1 publication Critical patent/KR102457953B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card

Abstract

An interactive picture service method is provided. The method relates to an interactive picture service method processed by an interactive picture system operated by at least one processor. The method includes: a step of detecting user interaction with respect to a picture output on the screen of a user terminal; a step of extracting a video matched with the user interaction from a plurality of videos set in the picture, and a step of streaming the extracted video to the user terminal. The screen of the user terminal is switched to the playback screen of the streamed video from the picture. It is possible to perform interaction with an object in the picture.

Description

인터랙티브 사진 서비스 방법{METHOD FOR INTERACTIVE PICTURE SERVICE}INTERACTIVE PHOTO SERVICE HOWTO {METHOD FOR INTERACTIVE PICTURE SERVICE}

본 발명은 인터랙티브 사진 서비스 방법에 관한 것이다.The present invention relates to an interactive photo service method.

기술의 발전으로, 커뮤니케이션 방식 또한 지속적으로 변화하고 있다. 특히, 모바일은 스마트폰 대중화로 인해 데스크탑을 앞서면서 대표적인 커뮤니케이션 수단이 되었다. 스마트폰의 가장 큰 특성인 이동성으로 인해 언제 어디서나 사진 및 영상 촬영을 통해 기억의 저장이 가능해짐에 따라 사진 및 영상의 양이 기하급수적으로 많아지고 있다. 이에 따라, 스마트폰 사용자들은 증가한 사진과 영상을 저장하거나 공유하는 필요성을 제기하였고, 이런 사용자들의 요구에 따라 다양한 미디어가 생겨났다.As technology advances, the way we communicate is constantly changing. In particular, mobile has become a representative means of communication by leading the desktop due to the popularization of smartphones. Due to the mobility of smartphones, the amount of photos and videos is growing exponentially as the storage of memories is possible through taking pictures and videos anytime and anywhere. Accordingly, smart phone users have raised the need to store or share increased photos and videos, and various media have been created according to the needs of these users.

특히, 사회적 관계를 만들고 지속하는데 도움을 주는 사진과 영상을 공유할 수 있는 다양한 소셜 네트워크 서비스(Social Network Service, SNS)의 사용자 수는 나날이 증가하고 있으며, 이러한 사용자들의 요구를 반영하고 있다.In particular, the number of users of various social network services (SNS) that can share photos and videos to help create and sustain social relationships is increasing day by day, reflecting the needs of these users.

그러나, 현재 소셜 네트워크 서비스(SNS)는 사용자의 사진 및 영상을 경험하는 방법이 직접 저장하거나 타인이 공유한 사진 및 비디오를 보는 행위에만 국한되어 있고, 사진 또는 영상 속에 있는 대상과 상호작용하는 경험까지는 확장되지 못하고 있다.However, the current social network service (SNS) is limited to the way of experiencing the user's photos and videos are stored directly or to see the photos and videos shared by others, and even to the experience of interacting with objects in the photos or videos. It is not expanding.

한편, 모바일 앱과 웹 등의 인터랙티브 미디어(interactive media)는 우리 일상에서 게임, 광고, 드라마 등에서 매우 다양한 용도로 사용되고 있다. 인터랙티브 미디어는 상호작용(interaction)을 포함하는 미디어로 그 형태가 다양하다. 인터랙티브 미디어는 교육, 쇼핑, 광고, 게임의 분야에서 활발한 연구가 이루어지고 있지만, 최근 증가하고 있는 기억의 매체로서의 사진과 영상에 관련한 인터랙티브 미디어에 대한 연구는 미미한 실정이다.On the other hand, interactive media such as mobile apps and the web have been used for a variety of purposes in games, advertisements, dramas, etc. in our daily lives. Interactive media are media that contain interactions and come in various forms. Interactive media has been actively researched in the fields of education, shopping, advertising, and games, but research on interactive media related to photography and video as a medium of memory is increasing.

모바일의 일부 앱에서 기억 및 사진과 관련하여 인터랙티브 어플리케이션을 제공하고 있지만 인터랙션의 기능이 매우 제한적으로 사용되고 있다. 즉, 인터랙션이 사진 속 대상에 직접적으로 변화를 줄 수 없다. 예를들면, 스와이프(Swipe) 인터랙션이 발생하면, 다른 사진이나 비디오로 전환한다거나 비디오의 재생 시간을 앞뒤로 움직이는 등이다. 이처럼, 종래의 인터랙티브 어플리케이션 기능은 상호작용의 개념이 아니라, 사용자 입력에 따라 정의된 기능, 즉, 단순히 화면 제어 또는 어플리케이션 동작 제어로 국한되며 사용자 인터랙션은 사진 속 대상의 변화와는 무관하다.Some apps on mobile offer interactive applications for storage and photography, but the functionality of interaction is very limited. That is, the interaction cannot directly change the object in the picture. For example, when a Swipe interaction occurs, it can switch to another photo or video, or move the video's duration back and forth. As such, the conventional interactive application function is not a concept of interaction, but is limited to a function defined according to a user input, that is, simply a screen control or an application motion control, and the user interaction is not related to the change of the object in the picture.

본 발명이 해결하고자 하는 과제는 사진에 있는 대상과 상호작용이 가능한 인터랙티브 사진 서비스 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide an interactive picture service method that can interact with the object in the picture.

본 발명의 하나의 특징에 따르면, 인터랙티브 사진 서비스 방법은 적어도 하나의 프로세서에 의해 동작하는 인터랙티브 사진 시스템에서 처리하는 인터랙티브 사진 서비스 방법으로서, 사용자 단말의 화면에 출력된 사진에 대한 사용자 인터랙션을 감지하는 단계, 상기 사진에 설정된 복수의 동영상 중에서 상기 사용자 인터랙션에 매칭된 동영상을 추출하는 단계, 그리고 추출한 동영상을 상기 사용자 단말로 스트리밍 전송하는 단계를 포함하고, 상기 사용자 단말의 화면은, 상기 사진에서 상기 스트리밍 전송되는 동영상의 재생 화면으로 전환된다.According to one aspect of the present invention, an interactive photo service method is an interactive photo service method processed by an interactive photo system operated by at least one processor, the method comprising: detecting a user interaction with respect to a photo output on a screen of a user terminal; And extracting a video matched with the user interaction from the plurality of videos set in the picture, and streaming the extracted video to the user terminal, wherein the screen of the user terminal transmits the streaming in the picture. The playback screen for the video is displayed.

상기 감지하는 단계 이전에, 복수의 사용자 단말이 요청한 메인 사진, 상기 메인 사진에 대응되고 사용자 인터랙션이 설정된 적어도 하나의 서브 동영상을 인터랙티브 사진으로 등록하는 단계를 더 포함하고, The method may further include registering a main picture requested by a plurality of user terminals and at least one sub video corresponding to the main picture and set up with a user interaction as an interactive picture, before the sensing step.

상기 감지하는 단계는, 로그인 인증에 성공하여 접속한 사용자 단말에게 서로 다른 복수의 사용자가 등록한 복수의 인터랙티브 사진의 각각의 메인 사진 썸네일이 나열된 사용자 피드를 전송하는 단계, 그리고 상기 각각의 메인 사진 썸네일 중에서 하나의 메인 사진 썸네일에 대한 사용자 인터랙션을 감지하는 단계를 포함할 수 있다.The detecting may include transmitting a user feed in which main picture thumbnails of a plurality of interactive pictures registered by a plurality of different users are registered to a user terminal which has successfully logged in, and among the main picture thumbnails. And detecting user interaction with one main picture thumbnail.

상기 감지하는 단계는, 상기 접속한 사용자 단말로부터 상기 사용자 단말이 감지한 사용자 인터랙션을 수신할 수 있다.The detecting may include receiving a user interaction detected by the user terminal from the accessed user terminal.

상기 감지하는 단계는, 상기 접속한 사용자 단말로부터 영상 신호, 터치 신호, 모션 신호 및 음성 신호 중 적어도 하나의 사용자 입력 신호를 수신하는 단계, 그리고 상기 적어도 하나의 사용자 입력 신호를 분석하여, 상기 사용자 인터랙션을 감지하는 단계를 포함할 수 있다.The detecting may include receiving at least one user input signal among an image signal, a touch signal, a motion signal, and an audio signal from the connected user terminal, and analyzing the at least one user input signal to analyze the user interaction. It may include detecting the.

상기 사용자 인터랙션은, 사용자의 얼굴 영상으로부터 인식된 사용자의 감정을 나타내는 감정 인터랙션, 사용자의 모션 영상으로부터 인식된 사용자의 모션 또는 상기 사용자 단말의 모션값을 측정하여 인식된 단말 모션을 나타내는 제스처 인터랙션, 사용자의 터치 입력 신호로부터 인식된 터치 인터랙션, 그리고 사용자의 음성을 인식하여 도출된 음성 인터랙션 중 적어도 하나의 인터랙션을 포함하고,The user interaction may include an emotion interaction indicating a user's emotion recognized from a face image of a user, a gesture interaction indicating a user's motion recognized from a user's motion image or a terminal motion recognized by measuring a motion value of the user terminal. At least one of a touch interaction recognized from a touch input signal of and a voice interaction derived by recognizing a user's voice,

상기 감지하는 단계는, 사용자의 영상 신호로부터 검출된 얼굴 영상으로부터 감정을 인식하고, 감정 인식 결과를 기초로 기 등록된 매칭 테이블을 검색하여, 매칭되는 감정이 검색되면 상기 매칭되는 감정을 감정 인터랙션으로 추출하는 단계, 상기 영상 신호로부터 사용자의 제스처를 인식하고, 제스처 인식 결과를 기초로 상기 매칭 테이블을 검색하여, 매칭되는 제스처가 검색되면 상기 매칭되는 제스처를 사용자의 모션으로 추출하는 단계, 사용자의 터치 신호로부터 이동 변위를 계산하고, 상기 이동 변위를 기초로 상기 매칭 테이블을 검색하여, 상기 이동 변위에 매칭되는 터치 동작이 검색되면, 검색된 터치 동작을 터치 인터랙션으로 추출하는 단계, 그리고 사용자의 음성 신호를 인식하고, 음성 인식 결과를 기초로 상기 매칭 테이블을 검색하여, 매칭되는 음성 명령어가 존재하면 상기 매칭되는 음성 명령어를 음성 인터랙션으로 추출하는 단계 중에서 적어도 하나의 단계를 포함할 수 있다.The detecting may include recognizing an emotion from a face image detected from a user's video signal, searching for a pre-registered matching table based on an emotion recognition result, and when the matching emotion is found, converting the matched emotion into an emotion interaction. Extracting, recognizing a user's gesture from the image signal, searching the matching table based on a gesture recognition result, and extracting the matching gesture as a user's motion when a matching gesture is found; Calculating a displacement from the signal, searching the matching table based on the displacement, and if a touch gesture matching the movement displacement is found, extracting the retrieved touch gesture as a touch interaction, and extracting a voice signal of the user. And search the matching table based on the speech recognition result. If there is a matching voice command, the method may include at least one step of extracting the matching voice command as a voice interaction.

본 발명의 다른 특징에 따르면, 인터랙티브 사진 서비스 방법은 적어도 하나의 프로세서에 의해 동작하는 모바일 단말에서 처리되는 인터랙티브 사진 서비스 방법으로서, 인터랙티브 사진 시스템에 접속하여, 서로 다른 사용자가 등록한 복수의 인터랙티브 사진이 나열된 서비스 화면을 수신하여 출력하는 단계, 사용자 입력에 따라 상기 복수의 인터랙티브 사진 중 하나의 인터랙티브 사진을 전체 화면으로 출력하는 단계, 상기 전체 화면에 출력된 인터랙티브 사진에 대한 사용자 인터랙션이 발생하면, 상기 인터랙티브 사진 시스템으로부터 상기 사용자 인터랙션에 매칭되는 서브 동영상을 수신하는 단계, 그리고 상기 전체 화면을 상기 수신되는 서브 동영상의 재생 화면으로 전환하는 단계를 포함한다.According to another aspect of the present invention, the interactive picture service method is an interactive picture service method processed by a mobile terminal operated by at least one processor, and accesses an interactive picture system, and lists a plurality of interactive pictures registered by different users. Receiving and outputting a service screen; outputting an interactive picture of one of the plurality of interactive pictures on a full screen according to a user input; when a user interaction with the interactive picture output on the full screen occurs, the interactive picture Receiving a sub video matching the user interaction from a system, and converting the entire screen into a playback screen of the received sub video.

상기 출력하는 단계 이전에, 상기 인터랙티브 사진 시스템과 연동하여 동작하는 전용 어플리케이션을 실행하는 단계를 더 포함할 수 있다.Before the outputting, the method may further include executing a dedicated application that operates in conjunction with the interactive photo system.

상기 출력하는 단계 이전에, 웹 브라우저 모듈을 구동하여 상기 인터랙티브 사진 시스템에 접속하는 단계를 더 포함하고, 상기 웹 브라우저 모듈은, 상기 인터랙티브 사진 시스템의 제어하에 인터랙티브 사진 서비스를 제공할 수 있다.Prior to the outputting, the method may further include driving a web browser module to access the interactive photo system, wherein the web browser module may provide an interactive photo service under the control of the interactive photo system.

상기 수신하는 단계는, 상기 모바일 단말에서 촬영된 영상 신호, 상기 모바일 단말의 터치 센서가 감지한 터치 신호, 상기 모바일 단말에 가해진 움직임을 나타내는 모션 신호 및 상기 모바일 단말의 마이크가 감지한 음성 신호 중 적어도 하나의 사용자 입력 신호를 상기 인터랙티브 사진 시스템으로 전송하는 단계, 그리고 상기 적어도 하나의 사용자 입력 신호로부터 감지된 사용자 인터랙션에 매칭되는 서브 동영상을 상기 인터랙티브 사진 시스템으로부터 수신하는 단계를 포함할 수 있다.The receiving may include at least one of a video signal photographed by the mobile terminal, a touch signal sensed by a touch sensor of the mobile terminal, a motion signal indicating movement applied to the mobile terminal, and a voice signal sensed by a microphone of the mobile terminal. The method may include transmitting one user input signal to the interactive photo system, and receiving, from the interactive photo system, a sub video matching the user interaction sensed from the at least one user input signal.

상기 수신하는 단계는, 상기 모바일 단말에서 촬영된 영상 신호, 상기 모바일 단말의 터치 센서가 감지한 터치 신호, 상기 모바일 단말에 가해진 움직임을 나타내는 모션 신호 및 상기 모바일 단말의 마이크가 감지한 음성 신호 중 적어도 하나의 사용자 입력 신호를 분석하여, 사용자 인터랙션을 추출하는 단계, 추출한 사용자 인터랙션을 상기 인터랙티브 사진 시스템으로 전송하는 단계, 그리고 상기 사용자 인터랙션에 매칭되는 서브 동영상을 상기 인터랙티브 사진 시스템으로부터 수신하는 단계를 포함할 수 있다.The receiving may include at least one of a video signal photographed by the mobile terminal, a touch signal sensed by a touch sensor of the mobile terminal, a motion signal indicating movement applied to the mobile terminal, and a voice signal sensed by a microphone of the mobile terminal. Analyzing a user input signal, extracting a user interaction, transmitting the extracted user interaction to the interactive photo system, and receiving a sub-video matching the user interaction from the interactive photo system; Can be.

상기 추출하는 단계는, 얼굴 영상으로부터 사용자의 감정을 인식하여, 감정 인식 결과가 기 정의된 감정이면 인식된 감정을 추출하는 단계, 상기 사용자 입력 신호를 분석하는 단계, 그리고 분석 결과를 기초로 기 정의된 매핑 테이블을 검색하여, 상기 분석 결과에 매칭되는 사용자 인터랙션을 추출하는 단계를 포함하고,The extracting may include: recognizing a user's emotion from a face image, extracting a recognized emotion when the emotion recognition result is a predefined emotion, analyzing the user input signal, and based on the analysis result Searching for the mapped mapping table and extracting user interaction matching the analysis result;

상기 기 정의된 매핑 테이블은, 연속 영상의 프레임 변화 정보 별로 매칭되는 복수의 제스처 인터랙션, 터치 신호의 이동 변위 별로 매칭되는 복수의 터치 인터랙션, 모션 신호의 센싱값 별로 매칭되는 복수의 모션 인터랙션, 그리고 음성 인식을 통한 음성 명령어가 매칭되는 음성 인터랙션 중 적어도 하나를 포함할 수 있다.The predefined mapping table may include a plurality of gesture interactions matched by frame change information of consecutive images, a plurality of touch interactions matched by movement displacements of a touch signal, a plurality of motion interactions matched by sensing values of a motion signal, and voice. The voice command through the recognition may include at least one of matching voice interactions.

본 발명의 실시예에 따르면, 메인 사진에 대한 사용자의 실시간 인터랙션을 검출하고, 검출된 인터랙션에 대응하는 미리 촬영된 매우 짧은 동영상을 재생하여 사용자에게 마치 사진 속 대상이 실시간으로 반응하고 있는 것 같은 경험을 제공한다. 이처럼, 인터랙티브 사진을 통해 현실세계에서 현재 물리적으로 만날 수 없는 사용자와의 심리적 거리감을 줄이며 정서적 유대감을 높여줄 수 있다.According to an embodiment of the present invention, the user's real-time interaction with the main picture is detected, and a pre-recorded very short video corresponding to the detected interaction is played to the user as if the subject in the picture is reacting in real time. To provide. Like this, interactive photos can reduce the psychological distance from the user who cannot physically meet in the real world and increase the emotional bond.

도 1은 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템과 그 주변 환경의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 인터랙티브 사진의 개념도이다.
도 3a, 3b, 3c는 본 발명의 한 실시예에 따른 인터랙티브 사진의 예시이다.
도 4는 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템의 동작을 나타낸 순서도이다.
도 5는 본 발명의 한 실시예에 따른 인터랙티브 사진 서비스의 초기 접속 절차를 나타낸 흐름도이다.
도 6은 본 발명의 한 실시예에 따른 인터랙티브 사진 서비스 페이지를 나타낸다.
도 7은 본 발명의 한 실시예에 따른 인터랙티브 사진 등록 절차를 나타낸 흐름도이다.
도 8은 본 발명의 한 실시예에 따른 인터랙티브 사진 제공 절차를 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 인터랙티브 사진 제공 절차를 나타낸 흐름도이다.
도 10은 본 발명의 한 실시예에 따른 모바일 단말의 하드웨어 구성을 나타낸 블록도이다.
도 11은 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템의 하드웨어 구성을 나타낸 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 모바일 단말의 하드웨어 구성을 나타낸 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 인터랙티브 사진 시스템의 하드웨어 구성을 나타낸 블록도이다.1 is a schematic block diagram of an interactive photographic system and its surroundings in accordance with an embodiment of the present invention.
2 is a conceptual diagram of an interactive photograph according to an embodiment of the present invention.
3A, 3B, and 3C are examples of interactive photographs according to one embodiment of the present invention.
4 is a flowchart illustrating the operation of an interactive photo system according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating an initial access procedure of an interactive photo service according to an embodiment of the present invention.
6 illustrates an interactive photo service page according to an embodiment of the present invention.
7 is a flowchart illustrating an interactive photo registration procedure according to an embodiment of the present invention.
8 is a flowchart illustrating an interactive photo providing procedure according to an embodiment of the present invention.
9 is a flowchart illustrating an interactive photo providing procedure according to another embodiment of the present invention.
10 is a block diagram showing a hardware configuration of a mobile terminal according to an embodiment of the present invention.
11 is a block diagram illustrating a hardware configuration of an interactive photo system according to an embodiment of the present invention.
12 is a block diagram showing a hardware configuration of a mobile terminal according to another embodiment of the present invention.
13 is a block diagram illustrating a hardware configuration of an interactive photography system according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless otherwise stated.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.The expressions used in the singular herein may be interpreted in the singular or the plural, unless an explicit expression such as “one” or “single” is used.

본 명세서에서 사용자 인터랙션은 어떤 특정 결과를 유발하는 사용자 입력 동작을 지칭하는 용어로 정의한다.In this specification, user interaction is defined as a term referring to a user input operation that causes a certain result.

도 1은 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템과 그 주변 환경의 개략적인 블록도이고, 도 2는 본 발명의 실시예에 따른 인터랙티브 사진의 개념도이며, 도 3a, 3b, 3c는 본 발명의 한 실시예에 따른 인터랙티브 사진의 예시이고, 도 4는 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템의 동작을 나타낸 순서도이다.1 is a schematic block diagram of an interactive photograph system and its surroundings according to an embodiment of the present invention, FIG. 2 is a conceptual diagram of an interactive photograph according to an embodiment of the present invention, and FIGS. 3A, 3B, and 3C are views of the present invention. 4 is an illustration of an interactive picture according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating an operation of the interactive picture system according to an embodiment of the present invention.

먼저, 도 1을 참조하면, 인터랙티브 사진 시스템(100)은 네트워크(200)를 통해 등록자 단말(300) 및 이용자 단말(400)과 연결되어 있다. First, referring to FIG. 1, the interactive photo system 100 is connected to a registrant terminal 300 and a user terminal 400 through a network 200.

인터랙티브 사진 시스템(100)은 사용자에게 마치 사진 속 대상이 실시간으로 반응하는 경험을 주는 인터랙티브 사진 서비스를 제공한다.The interactive photo system 100 provides an interactive photo service that gives a user an experience in which a subject in a photo reacts in real time.

네트워크(200)는 LTE(Long term evolution)망, WCDMA(wideband code division multiple access)망과 같은 이동통신망, Wi-Fi 망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 구성될 수 있다.The network 200 may include a long term evolution (LTE) network, a mobile communication network such as a wideband code division multiple access (WCDMA) network, various types of wireless networks such as a Wi-Fi network, and a combination thereof.

등록자 단말(300) 및 이용자 단말(400)은 네트워크(200)를 통하여 인터랙티브 사진 시스템(100)에 접속한다. 등록자 단말(300) 및 이용자 단말(400)은 모바일 단말로서, 예를들면, 휴대폰, PDA(Personal Digital Assistant), 스마트폰, 태블릿, 스마트 워치, 웨어러블 기기 등을 포함한다. 그러나, 이에 국한되는 것은 아니고, 사용자 인터랙션 수집 및 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. The registrant terminal 300 and the user terminal 400 connect to the interactive photographic system 100 via the network 200. The registrant terminal 300 and the user terminal 400 are mobile terminals, and include, for example, a mobile phone, a personal digital assistant (PDA), a smartphone, a tablet, a smart watch, a wearable device, and the like. However, the present invention is not limited thereto, and may be implemented as various types of devices having user interaction collection and display functions.

도 2를 참조하면, 인터랙티브 사진은 메인 사진과, 적어도 하나의 서브 동영상으로 구성된다. 이때, 적어도 하나의 서브 동영상은 서로 다른 사용자 인터랙션이 매핑되어 있다. 서브 동영상은 비교적 짧은 동영상으로서, 예를들면, 10초 이내의 동영상일 수 있다. Referring to FIG. 2, the interactive picture includes a main picture and at least one sub video. In this case, different user interactions are mapped to at least one sub video. The sub video is a relatively short video and may be, for example, a video within 10 seconds.

인터랙티브 사진 시스템(100)은 등록자 단말(300)의 요청에 따른 인터랙티브 사진을 생성하여 저장한다. 인터랙티브 사진 시스템(100)은 이용자 단말(400)의 요청에 따라 메인 사진을 제공하고, 이용자 단말(400)로부터 사용자 인터랙션이 감지되면, 감지된 사용자 인터랙션에 매핑되는 서브 동영상을 이용자 단말(400)에게 제공한다. The interactive photo system 100 generates and stores an interactive photo at the request of the registrant terminal 300. The interactive picture system 100 provides a main picture according to a request of the user terminal 400, and when a user interaction is detected from the user terminal 400, the interactive picture system 100 transmits a sub-video mapped to the detected user interaction to the user terminal 400. to provide.

도 3a를 참조하면, 인터랙티브 사진 시스템(100)은 메인 사진을 이용자 단말(400)에게 출력한 상태에서, 도 3b와 같이 이용자가 메인 사진 속 인물을 터치하는 사용자 인터랙션이 이용자 단말(400)로부터 감지되면, 상응하는 서브 동영상을 도 3c와 같이 이용자 단말(400)에게 스트리밍 전송한다. 예를들면, 도 3a, 도 3b의 메인 사진 속 인물이 도 3c와 같이 손가락으로 하트를 그리며 웃을 수 있다. 이와 같이, 이용자는 메인 사진 속 인물이 자신의 인터랙션에 반응하는 경험을 할 수 있다.Referring to FIG. 3A, while the interactive photo system 100 outputs a main picture to the user terminal 400, a user interaction in which the user touches a person in the main picture is detected from the user terminal 400 as shown in FIG. 3B. If the corresponding sub video is streamed to the user terminal 400 as shown in FIG. 3C. For example, the person in the main picture of FIGS. 3A and 3B may smile while drawing a heart with a finger as shown in FIG. 3C. In this way, the user can experience the person in the main picture responding to his interaction.

도 4를 참조하면, 인터랙티브 사진 시스템(100)이 이용자 단말(400)에게 메인 사진을 출력한다(S101). 인터랙티브 사진 시스템(100)은 이용자 단말(400)로부터 사용자 인터랙션을 감지한다(S103). 본 발명의 실시예에서, 사용자 인터랙션은 얼굴 표정 인터랙션, 터치 인터랙션, 제스처 인터랙션 및 음성 인터랙션을 포함할 수 있다. Referring to FIG. 4, the interactive photo system 100 outputs a main photo to the user terminal 400 (S101). The interactive photo system 100 detects user interaction from the user terminal 400 (S103). In an embodiment of the present invention, user interaction may include facial expression interaction, touch interaction, gesture interaction, and voice interaction.

인터랙티브 사진 시스템(100)은 감지(S103)한 사용자 인터랙션이 얼굴 표정 인터랙션인지 판단한다(S105). 얼굴 표정 인터랙션으로 판단되면, 인터랙티브 사진 시스템(100)은 얼굴 표정 인터랙션에 매칭되는 서브 동영상을 추출한다(S107). 인터랙티브 사진 시스템(100)은 메인 사진과 매핑된 적어도 하나의 동영상 중에서 얼굴 표정 인터랙션에 매핑되는 서브 동영상을 추출한다(S107).The interactive photography system 100 determines whether the detected user interaction is a facial expression interaction (S105). If it is determined that the facial expression interaction, the interactive photo system 100 extracts a sub video matching the facial expression interaction (S107). The interactive photo system 100 extracts a sub video mapped to the facial expression interaction from the at least one video mapped with the main picture (S107).

여기서, 얼굴 표정 인터랙션은 사용자의 기본 7가지 감정, 즉, 기쁨, 슬픔, 놀람, 화남, 경멸, 혐오, 두려움 중에서 하나의 감정으로 인식된다. 이러한 감정 인식은 이용자의 촬영 영상으로부터 검출된 얼굴 영상에 대해 딥러닝 기술을 이용할 수 있다. 딥러닝 기술은 신경망 모델, 특히 합성곱 신경망(Convolutional Neural Network, CNN) 모델이 사용될 수 있으나, 이에 국한되는 것은 아니다. 한 실시예에 따르면, 감정 인식은 어펙티바(Affectiva)의 Emotion SDK가 사용될 수 있다. Here, the facial expression interaction is recognized as one of seven basic emotions of the user, that is, joy, sadness, surprise, anger, contempt, disgust, and fear. Such emotion recognition may use a deep learning technique on the face image detected from the captured image of the user. Deep learning technology may be used as a neural network model, in particular, a convolutional neural network (CNN) model, but is not limited thereto. According to an embodiment, emotion recognition may use the Emotion SDK of Affectiva.

S105 단계에서 얼굴 영상이 아니라고 판단되면, 인터랙티브 사진 시스템(100)은 터치 인터랙션인지 판단한다(S109). 터치 인터랙션으로 판단되면, 터치 인터랙션에 매칭되는 서브 동영상을 추출한다(S111). 인터랙티브 사진 시스템(100)은 메인 사진과 매핑된 적어도 하나의 동영상 중에서 터치 인터랙션에 매핑되는 서브 동영상을 추출한다(S111). 여기서, 터치 인터랙션은 탭(Tap), 스와이프(Swipe) 등의 기 정의된 터치 동작을 포함할 수 있다.If it is determined in step S105 that it is not a face image, the interactive photography system 100 determines whether it is a touch interaction (S109). If it is determined that the touch interaction is performed, a sub video matching the touch interaction is extracted (S111). The interactive photo system 100 extracts a sub video mapped to the touch interaction from at least one video mapped with the main picture (S111). Here, the touch interaction may include a predefined touch operation such as a tap and a swipe.

S109 단계에서 터치 신호 입력이 아니라고 판단되면, 인터랙티브 사진 시스템(100)은 제스처(Gesture) 인터랙션인지 판단한다(S113). 제스처 인터랙션이라고 판단되면, 인터랙티브 사진 시스템(100)은 제스처 인터랙션에 매칭되는 서브 동영상을 추출한다(S115). 인터랙티브 사진 시스템(100)은 메인 사진과 매핑된 적어도 하나의 동영상 중에서 제스처 인터랙션에 매핑되는 서브 동영상을 추출한다(S115). 여기서, 터치 인터랙션은 탭(Tap), 스와이프(Swipe) 등의 기 정의된 터치 동작을 포함할 수 있다.If it is determined in step S109 that the touch signal is not input, the interactive photography system 100 determines whether it is a gesture interaction (S113). If it is determined that the gesture interaction, the interactive picture system 100 extracts a sub video matching the gesture interaction (S115). The interactive photo system 100 extracts a sub video mapped to the gesture interaction from the at least one video mapped with the main picture (S115). Here, the touch interaction may include a predefined touch operation such as a tap and a swipe.

S109 단계에서 터치 신호 입력이 아니라고 판단되면, 인터랙티브 사진 시스템(100)은 제스처(Gesture) 인터랙션인지 판단한다(S113). 제스처 인터랙션이라고 판단되면, 인터랙티브 사진 시스템(100)은 제스처 인터랙션에 매칭되는 서브 동영상을 추출한다(S115). 인터랙티브 사진 시스템(100)은 메인 사진과 매핑된 적어도 하나의 동영상 중에서 제스처 인터랙션에 매핑되는 서브 동영상을 추출한다(S115).If it is determined in step S109 that the touch signal is not input, the interactive photography system 100 determines whether it is a gesture interaction (S113). If it is determined that the gesture interaction, the interactive picture system 100 extracts a sub video matching the gesture interaction (S115). The interactive photo system 100 extracts a sub video mapped to the gesture interaction from the at least one video mapped with the main picture (S115).

S113 단계에서 제스처 인터랙션이 아니라고 판단되면, 인터랙티브 사진 시스템(100)은 음성 인터랙션인지를 판단한다(S117). If it is determined in step S113 that the gesture interaction is not, the interactive picture system 100 determines whether the voice interaction (S117).

이때, 음성 인터랙션이 아니라고 판단되면, 감지(S103)된 사용자 인터랙션이 기 정의된 사용자 인터랙션에 모두 해당되지 않는 것으로 간주(S119)하여 S103 단계로 회귀한다.At this time, if it is determined that the voice interaction is not, it is regarded that the detected user interaction does not correspond to all the predefined user interactions (S119) and the process returns to step S103.

반면, S117 단계에서 음성 인터랙션으로 판단되면, 인터랙티브 사진 시스템(100)은 음성 인터랙션에 매칭되는 서브 동영상을 추출한다(S121). 인터랙티브 사진 시스템(100)은 메인 사진과 매핑된 적어도 하나의 동영상 중에서 음성 인터랙션에 매핑되는 서브 동영상을 추출한다(S121). 인터랙티브 사진 시스템(100)은 음성 인식을 통해 도출한 사용자 명령, 예를들면, '안녕'과 같은 음성 인식 결과에 매칭되는 서브 동영상을 추출할 수 있다. On the other hand, if it is determined in step S117 that the voice interaction, the interactive picture system 100 extracts a sub video matching the voice interaction (S121). The interactive photo system 100 extracts a sub video mapped to the voice interaction from the at least one video mapped with the main picture (S121). The interactive photo system 100 may extract a sub-video matching a user command derived through voice recognition, for example, a voice recognition result such as "hello".

인터랙티브 사진 시스템(100)은 S107 단계, S111 단계, S115 단계, S121 단계에서 추출된 서브 동영상을 이용자 단말(400)에게 스트리밍 전송한다(S123). 이때, 서브 동영상이 스트리밍 전송되면, 이용자 단말(400)에 출력되어 있던 메인 사진은 서브 동영상의 재생 화면으로 전환된다. 즉, 전체 화면에서 메인 사진이 사라지고, 서브 동영상이 재생되는 것이다.The interactive photo system 100 transmits the sub video extracted in steps S107, S111, S115, and S121 to the user terminal 400 in operation S123. At this time, when the sub video is streamed and transmitted, the main picture output to the user terminal 400 is switched to the reproduction screen of the sub video. That is, the main picture disappears from the full screen and the sub video is played.

이때, S105 단계, S109 단계, S113 단계, S117 단계의 순서는 서로 바뀔 수 있다.In this case, the order of steps S105, S109, S113, and S117 may be interchanged.

또한, 감정 인식, 터치 인식, 제스처 인식 및 음성 인식에 대해서는 이미 잘 알려져 있으므로 본 발명의 실시예에서 특정 알고리즘 등으로 한정하지 않으며, 그 기술의 구체적인 설명은 생략한다.In addition, since emotion recognition, touch recognition, gesture recognition, and voice recognition are well known, embodiments of the present invention are not limited to specific algorithms, and detailed descriptions thereof will be omitted.

그러면, 이제 인터랙티브 사진 서비스 과정을 실시예 별로 설명하기로 한다.Next, the interactive photo service process will be described according to embodiments.

먼저, 도 5는 본 발명의 한 실시예에 따른 인터랙티브 사진 서비스의 초기 접속 절차를 나타낸 흐름도로서, 등록자 단말(300) 및 이용자 단말(400)이 인터랙티브 사진 시스템(100)에 접속하는 일련의 과정을 나타낸다. 등록자 단말(300) 및 이용자 단말(400)은 모바일 단말(300, 400)로 통칭하여 기재한다.First, FIG. 5 is a flowchart illustrating an initial access procedure of an interactive photo service according to an exemplary embodiment of the present invention. FIG. 5 illustrates a series of processes in which the registrant terminal 300 and the user terminal 400 access the interactive photo system 100. Indicates. The registrant terminal 300 and the user terminal 400 are collectively described as mobile terminals 300 and 400.

도 5를 참조하면, 모바일 단말(300, 400)이 인터랙티브 사진 시스템(100)에 접속 요청을 전송한다(S201). 인터랙티브 사진 시스템(100)은 로그인 페이지를 모바일 단말(300, 400)로 전송한다(S203).Referring to FIG. 5, the mobile terminals 300 and 400 transmit an access request to the interactive photo system 100 (S201). The interactive photo system 100 transmits the login page to the mobile terminals 300 and 400 (S203).

모바일 단말(300, 400)은 사용자가 로그인 페이지에서 회원 가입 정보를 입력(S205)하면, 입력한 회원 가입 정보를 인터랙티브 사진 시스템(100)으로 전송한다(S207).When the user inputs member registration information in the login page (S205), the mobile terminals 300 and 400 transmit the input member registration information to the interactive photo system 100 (S207).

인터랙티브 사진 시스템(100)은 수신(S207)한 회원 가입 정보로부터 확인된 로그인 정보와 사용자 정보를 등록한다(S209). 그리고 인터랙티브 사진 시스템(100)은 회원 가입 처리 결과와 등록(S209)한 로그인 정보로 로그인을 요청하는 로그인 페이지를 모바일 단말(300, 400)로 전송한다(S211). The interactive photo system 100 registers the login information and the user information confirmed from the received member registration information (S207) (S209). In addition, the interactive photo system 100 transmits a login page requesting a login to the mobile terminals 300 and 400 with the result of the member registration processing and the registered login information (S209) (S211).

모바일 단말(300, 400)은 S203 단계에서 수신된 로그인 페이지에서 입력(S205)되거나 또는 S211 단계에서 수신한 로그인 페이지에서 입력된 로그인 정보를 인터랙티브 사진 시스템(100)으로 전송한다(S213).The mobile terminals 300 and 400 may input the login information input from the login page received in operation S203 (S205) or the input login information input from the login page received in operation S211 (S213).

인터랙티브 사진 시스템(100)은 수신(S213)한 로그인 정보를 토대로 사용자를 식별한다(S215). 인터랙티브 사진 시스템(100)은 식별(S215)한 사용자에 매칭되는 사용자 피드를 생성한다(S217). The interactive photo system 100 identifies a user based on the received login information (S213) (S215). The interactive photo system 100 generates a user feed that matches the identified user (S215) (S217).

인터랙티브 사진 시스템(100)은 생성(S217)한 사용자 피드가 포함된 서비스 페이지를 모바일 단말(300, 400)로 전송한다(S219). 모바일 단말(300, 400)은 수신(S219)한 서비스 페이지를 화면에 출력한다. 여기서, 서비스 페이지는 도 6과 같이 구성될 수 있다.The interactive photo system 100 transmits the service page including the generated user feed to the mobile terminals 300 and 400 (S219). The mobile terminals 300 and 400 output the received service page on the screen (S219). Here, the service page may be configured as shown in FIG.

도 6은 본 발명의 한 실시예에 따른 인터랙티브 사진 서비스 페이지를 나타낸다.6 illustrates an interactive photo service page according to an embodiment of the present invention.

도 6을 참조하면, 서비스 페이지(500)는 사용자 피드(501), 인터랙티브 사진(503), My Page(505), Searching(507), 촬영(509)을 포함한다.Referring to FIG. 6, the service page 500 includes a user feed 501, an interactive photo 503, a My Page 505, a searching 507, and a photographing 509.

사용자 피드(501)는 사용자가 접속시 가장 처음에 보게되는 화면이다. 사용자 피드(501)는 스트리밍 형태로 제공되고, 스크롤해서 볼 수 있도록 구성된다. 사용자 피드(501)는 사용자가 등록하거나 또는 사용자와 관계가 있는 다른 사용자가 등록한 인터랙티브 사진(503)을 나열한다. The user feed 501 is the screen that the user first sees when connecting. The user feed 501 is provided in streaming form and is configured to scroll and view. The user feed 501 lists interactive photos 503 registered by the user or by other users with whom the user is associated.

사용자 피드(501)는 인터랙티브 사진(503) 별로 공유하거나 댓글을 입력할 수 있도록 구현될 수 있다. The user feed 501 may be implemented to share or input comments for each interactive picture 503.

이때, 사용자 피드(501)에 표시되는 인터랙티브 사진(503)은 메인 사진(도 2)의 썸네일(Thumbnail)이다. 썸네일이 선택되면, 해당 메인 사진이 전체 화면으로 활성화되고, 사용자 인터랙션이 감지되면 사용자 인터랙션에 상응하는 서브 동영상으로 전환된다. In this case, the interactive picture 503 displayed in the user feed 501 is a thumbnail of the main picture (FIG. 2). When a thumbnail is selected, the corresponding main picture is activated in full screen, and when a user interaction is detected, the main picture is converted into a sub video corresponding to the user interaction.

My Page(505)는 사용자가 등록한 인터랙티브 사진(503)을 모아서 볼 수 있는 기능으로서, My Page(505)로 이동하면 지금까지 등록이 누적된 모든 인터랙티브 사진(503)의 각각의 썸네일 리스트가 출력된다. 그리고 사용자는 새로운 인터랙티브 사진(503)을 추가할 수도 있다.My Page 505 is a function for collecting and viewing the interactive pictures 503 registered by the user. When the user moves to My Page 505, thumbnail lists of all the interactive pictures 503 accumulated so far are output. . The user may also add a new interactive picture 503.

Searching(507)은 사용자가 다른 사용자를 검색하거나 또는 다른 사용자가 등록한 인터랙티브 사진(503)을 검색할 수 있는 기능이다. Searching(507)은 사용자가 다른 사용자의 인터랙티브 사진(503)을 열람할 수 있을 뿐만 아니라 댓글을 달 수 있도록 한다. Searching 507 is a function that allows a user to search for another user or an interactive picture 503 registered by another user. Searching 507 allows a user to view, as well as comment on, an interactive picture 503 of another user.

촬영(509)은 사용자가 새로운 인터랙티브 사진(503)을 추가하기 위한 기능이다. 촬영(509)이 클릭되면, 카메라가 활성화되거나 또는 사진 갤러리가 활성화될 수 있다. 사용자는 활성화된 카메라로 촬영한 사진 또는 동영상을 인터랙티브 사진으로 등록하거나 또는 사진 갤러리에 저장된 사진 또는 동영상을 인터랙티브 사진으로 등록할 수 있다.Shooting 509 is a function for the user to add a new interactive picture 503. When shooting 509 is clicked, the camera may be activated or the photo gallery may be activated. The user may register a photo or video taken by an activated camera as an interactive picture or register a photo or video stored in a photo gallery as an interactive picture.

도 7은 본 발명의 한 실시예에 따른 인터랙티브 사진 등록 절차를 나타낸 흐름도이다.7 is a flowchart illustrating an interactive photo registration procedure according to an embodiment of the present invention.

도 7을 참조하면, 등록자 단말(300)은 인터랙티브 사진 시스템(100)으로부터 제공받은 서비스 페이지(도 6의 500)에서 사용자가 촬영(509) 버튼을 클릭(S301)하면, 카메라를 활성화하는 촬영 모드 및 등록자 단말(300)의 사진 갤러리를 활성화하는 갤러리 모드 중에서 하나의 모드를 선택하도록 요구하는 화면을 출력한다. Referring to FIG. 7, the registrant terminal 300 activates the camera when the user clicks the shooting 509 button on the service page 500 (FIG. 6) provided from the interactive photo system 100 (S301). And a screen requesting to select one of the gallery modes for activating the photo gallery of the registrant terminal 300.

등록자 단말(300)은 사용자가 선택한 촬영 모드에서 촬영된 사진 또는 갤러리 모드에서 선택된 기 저장된 사진을 메인 사진으로 설정한다(S303). The registrant terminal 300 sets the photograph taken in the photographing mode selected by the user or the pre-stored photograph selected in the gallery mode as the main photograph (S303).

메인 사진이 설정되면, 등록자 단말(300)은 사용자 인터랙션 설정 인터페이스를 출력하여, 사용자 입력 또는 사용자 선택에 따른 사용자 인터랙션을 설정한다(S305). 이때, 사용자 인터랙션 설정 인터페이스는 다양한 사용자 인터랙션이 아이콘 형태로 포함될 수 있다. 예를들면, 얼굴 표정 인터랙션은 각 감정 별로 그에 상응하는 표정이 나타난 이모티콘 들로 표현될 수 있다. 음성 인터랙션은 마이크 아이콘으로 표현될 수 있다. 터치 인터랙션은 터치 동작을 설명하는 텍스트 아이콘 또는 이미지 아이콘으로 표현될 수 있다. 제스처 인터랙션은 제스처를 설명하는 이미지 아이콘으로 표현될 수 있다.When the main picture is set, the registrant terminal 300 outputs a user interaction setting interface and sets a user interaction according to a user input or a user selection (S305). In this case, the user interaction setting interface may include various user interactions in the form of icons. For example, facial expression interaction may be expressed as emoticons in which a corresponding expression is expressed for each emotion. Voice interaction may be represented by a microphone icon. The touch interaction may be represented by a text icon or an image icon describing the touch gesture. The gesture interaction may be represented by an image icon describing the gesture.

등록자 단말(300)은 사용자 인터랙션이 설정(S305)되면, 사용자 인터랙션에 매칭시킬 서브 동영상을 설정한다(S307). 이때, 등록자 단말(300)은 카메라를 활성화하는 촬영 모드 및 등록자 단말(300)의 사진 갤러리를 활성화하는 갤러리 모드 중에서 하나의 모드를 선택하도록 요구하는 화면을 출력한다. 그리고 선택된 촬영 모드에서 촬영된 동영상 또는 갤러리 모드에서 선택된 동영상을 사용자 인터랙션과 매칭시켜 서브 동영상으로 설정한다. If the user interaction is set (S305), the registrant terminal 300 sets a sub video to be matched with the user interaction (S307). In this case, the registrant terminal 300 outputs a screen requesting to select one of a shooting mode for activating a camera and a gallery mode for activating a photo gallery of the registrant terminal 300. The video captured in the selected shooting mode or the selected video in the gallery mode is matched with a user interaction and set as a sub video.

이때, 등록자 단말(300)은 메인 사진 설정(S303), 서브 동영상 설정(S307)시 필터(Filter) 기능 등의 보정 기능을 제공할 수 있다.In this case, the registrant terminal 300 may provide a correction function such as a filter function in the main picture setting (S303) and the sub video setting (S307).

등록자 단말(300)은 계속 진행 여부를 판단(S309)하여, 계속 진행으로 판단되면, S305 단계로 회귀한다. 계속 진행 여부는 계속 진행 여부를 묻는 화면을 출력하고 사용자 입력에 따라 결정된다.The registrant terminal 300 determines whether to proceed (S309), and if it is determined to proceed, the process returns to step S305. Whether to continue or not is displayed based on the user input.

등록자 단말(300)은 계속 진행이 아니라고 판단되면, S303 단계 ~ S307 단계에서 설정된 메인 사진, 사용자 인터랙션 및 서브 동영상을 인터랙티브 사진으로 생성한다(S311). If it is determined that the registrant terminal 300 is not continuously proceeding, the registrant terminal 300 generates the main picture, the user interaction, and the sub video set in the steps S303 to S307 as the interactive picture (S311).

등록자 단말(300)은 생성(S311)한 인터랙티브 사진을 인터랙티브 사진 시스템(100)으로 전송하여 등록을 요청한다(S313).The registrant terminal 300 transmits the generated interactive picture to the interactive picture system 100 and requests registration (S313).

인터랙티브 사진 시스템(100)은 수신된 인터랙티브 사진을 등록자 단말(300)의 사용자 정보에 등록한다(S315).The interactive picture system 100 registers the received interactive picture in the user information of the registrant terminal 300 (S315).

인터랙티브 사진 시스템(100)은 등록(S315)한 인터랙티브 사진의 썸네일을 등록자 단말(300)의 사용자 피드 및 등록자 단말(300)과 사회적 관계가 설정된 다른 사용자 피드에 출력한다(S317). 여기서, 사회적 관계는 SNS에서의 친구 관계를 의미할 수 있다.The interactive photo system 100 outputs a thumbnail of the registered interactive photo to the user feed of the registrant terminal 300 and another user feed in which a social relationship is established with the registrant terminal 300 (S317). Here, the social relationship may mean a friend relationship in SNS.

도 8은 본 발명의 한 실시예에 따른 인터랙티브 사진 제공 절차를 나타낸 흐름도로서, 사용자 인터랙션 감지를 이용자 단말(400)에서 하는 경우의 예시이다.8 is a flowchart illustrating an interactive photo providing procedure according to an embodiment of the present invention, which illustrates an example of detecting user interaction in the user terminal 400.

도 8을 참조하면, 이용자 단말(400)은 사용자 피드에서 인터랙티브 사진의 썸네임일 클릭(S401)되면, 클릭 신호를 인터랙티브 사진 시스템(100)으로 전송한다(S403). Referring to FIG. 8, when the thumbnail click of the interactive picture in the user feed is clicked (S401), the user terminal 400 transmits a click signal to the interactive picture system 100 (S403).

인터랙티브 사진 시스템(100)은 클릭된 인터랙티브 사진 정보를 추출한다(S405). 즉, 메인 사진과, 메인 사진의 적어도 하나의 서브 동영상, 그리고 각 서브 동영상에 매칭되는 사용자 인터랙션들을 추출한다(S405).The interactive photo system 100 extracts clicked interactive photo information (S405). That is, a main picture, at least one sub video of the main picture, and user interactions matching each sub video are extracted (S405).

인터랙티브 사진 시스템(100)은 추출(S405)한 메인 사진을 이용자 단말(400)로 전송한다(S407). 이용자 단말(400)은 수신한 메인 사진을 전체 화면에 출력한다(S409). 이때, 메인 사진은 썸네일 사진과 동일하므로, 사용자 입장에서 S409 단계는 썸네일 사진이 전체 화면으로 확대된다. The interactive photographic system 100 transmits the extracted main photograph to the user terminal 400 (S407). The user terminal 400 outputs the received main picture on the full screen (S409). In this case, since the main picture is the same as the thumbnail picture, in step S409, the thumbnail picture is enlarged to the full screen from the user's point of view.

이용자 단말(400)은 메인 사진이 출력(S409)된 상태에서 사용자 입력 신호가 발생(S411)하면, 사용자 입력 신호를 해석하여 사용자 인터랙션을 감지한다(S413). When the user input signal is generated in step S411 while the main picture is output (S409), the user terminal 400 interprets the user input signal to detect a user interaction (S413).

여기서, 사용자 입력 신호는 영상 신호, 모션 센싱 신호, 음성 신호, 터치 신호 등을 포함할 수 있다.Here, the user input signal may include an image signal, a motion sensing signal, an audio signal, a touch signal, and the like.

이용자 단말(400)은 감지(S413)한 사용자 인터랙션을 인터랙티브 사진 시스템(100)으로 전송한다(S415). 이때, 전송되는 사용자 인터랙션은 이용자 단말(400)에서 판단한 사용자 인터랙션으로서, 예를들면, 웃는 감정, 손을 흔드는 모션, '보고 싶어', 탭 터치 등으로 구체화된다.The user terminal 400 transmits the detected user interaction to the interactive photo system 100 (S415). In this case, the transmitted user interaction is a user interaction determined by the user terminal 400. For example, the user interaction is embodied as a smiley emotion, a waving motion, a 'want to see', a tap touch, or the like.

인터랙티브 사진 시스템(100)은 수신(S415)된 사용자 인터랙션에 대응하는 서브 동영상을 추출한다(S417). 즉, 전송(S407)한 메인 사진에 등록된 동영상들 중에서 수신(S413)된 사용자 인터랙션에 매칭된 동영상을 추출한다(S417). The interactive photo system 100 extracts a sub video corresponding to the received user interaction (S415) (S417). That is, a video matching the received user interaction is extracted from the videos registered in the transmitted main picture (S407) (S417).

인터랙티브 사진 시스템(100)은 추출(S417)한 서브 동영상을 이용자 단말(400)로 스트리밍 전송한다(S419). 이용자 단말(400)은 수신(S419)되는 서브 동영상을 재생한다(S421). The interactive photo system 100 streams and extracts the extracted sub video to the user terminal 400 (S419). The user terminal 400 plays the received sub video (S421) (S421).

도 9는 본 발명의 다른 실시예에 따른 인터랙티브 사진 제공 절차를 나타낸 흐름도로서, 사용자 인터랙션 감지를 인터랙티브 감지 시스템(100)에서 하는 경우의 예시이다.9 is a flowchart illustrating an interactive photo providing procedure according to another embodiment of the present invention, which is an example of a user interaction detection performed in the interactive detection system 100.

도 9를 참조하면, 이용자 단말(400)은 사용자 피드에서 인터랙티브 사진의 썸네임일 클릭(S501)되면, 클릭 신호를 인터랙티브 사진 시스템(100)으로 전송한다(S503). Referring to FIG. 9, when a thumbnail click of an interactive picture in a user feed is clicked (S501), the user terminal 400 transmits a click signal to the interactive picture system 100 (S503).

인터랙티브 사진 시스템(100)은 클릭된 인터랙티브 사진 정보를 추출한다(S505). 즉, 메인 사진과, 메인 사진의 적어도 하나의 서브 동영상, 그리고 각 서브 동영상에 매칭되는 사용자 인터랙션들을 추출한다(S505).The interactive photo system 100 extracts clicked interactive photo information (S505). That is, a main picture, at least one sub video of the main picture, and user interactions matching each sub video are extracted (S505).

인터랙티브 사진 시스템(100)은 추출(S505)한 메인 사진을 이용자 단말(400)로 전송한다(S507). 이용자 단말(400)은 수신한 메인 사진을 전체 화면에 출력한다(S509). 이때, 메인 사진은 썸네일 사진과 동일하므로, 사용자 입장에서 S409 단계는 썸네일 사진이 전체 화면으로 확대된다. The interactive photo system 100 transmits the extracted main photo to the user terminal 400 (S507). The user terminal 400 outputs the received main picture on the full screen (S509). In this case, since the main picture is the same as the thumbnail picture, in step S409, the thumbnail picture is enlarged to the full screen from the user's point of view.

이용자 단말(400)은 메인 사진이 출력(S509)된 상태에서 사용자 입력 신호가 발생(S511)하면, 사용자 입력 신호를 인터랙티브 사진 시스템(100)으로 전송한다(S513). 즉, 영상 신호, 모션 센싱 신호, 음성 신호, 터치 신호 자체를 인터랙티브 사진 시스템(100)으로 전송한다.When the user input signal is generated in operation S511 in the state where the main picture is output (S509), the user terminal 400 transmits the user input signal to the interactive photo system 100 (S513). That is, the image signal, the motion sensing signal, the audio signal, and the touch signal itself are transmitted to the interactive photo system 100.

인터랙티브 사진 시스템(100)은 수신(S513)한 사용자 입력 신호를 해석하여 사용자 인터랙션을 감지한다(S515). The interactive photo system 100 detects a user interaction by interpreting the received user input signal (S513) (S515).

인터랙티브 사진 시스템(100)은 감지(S515)한 사용자 인터랙션에 대응하는 서브 동영상을 추출한다(S517). The interactive photo system 100 extracts a sub video corresponding to the detected user interaction (S515) (S517).

인터랙티브 사진 시스템(100)은 추출(S517)한 서브 동영상을 이용자 단말(400)로 스트리밍 전송한다(S519). 이용자 단말(400)은 수신(S419)되는 서브 동영상을 재생한다(S521). The interactive photo system 100 streams and extracts the extracted sub video to the user terminal 400 (S519). The user terminal 400 reproduces the received sub video (S419) (S521).

본 발명의 한 실시예에 따르면, 이상 설명한, 등록자 단말(300) 및 이용자 단말(400)의 각각의 동작은 인터랙티브 사진 시스템(100)과 연동하는 어플리케이션에 의해 수행될 수 있다. According to an embodiment of the present invention, each operation of the registrant terminal 300 and the user terminal 400 described above may be performed by an application interoperating with the interactive photo system 100.

본 발명의 다른 실시예에 따르면, 등록자 단말(300) 및 이용자 단말(400)의 각각의 동작은 인터랙티브 사진 시스템(100)과 접속된 상태에서 인터랙티브 사진 시스템(100)의 제어하에 웹 브라우저 모듈에 의해 수행될 수 있다. According to another embodiment of the present invention, each operation of the registrant terminal 300 and the user terminal 400 is controlled by the web browser module under the control of the interactive photo system 100 while connected to the interactive photo system 100. Can be performed.

이제, 모바일 단말(300, 400) 및 인터랙티브 사진 시스템(100) 각각의 하드웨어 구성을 두가지 실시예로 나누어 설명한다. Now, a hardware configuration of each of the mobile terminals 300 and 400 and the interactive photo system 100 will be described in two embodiments.

본 발명의 한 실시예에 따르면, 사용자 인터랙션 처리를 모바일 단말(300, 400)에서 하며, 이러한 실시예에 대응하는 구성은 도 10 및 도 11과 같다.According to an embodiment of the present invention, the user interaction processing is performed in the mobile terminals 300 and 400, and the configuration corresponding to this embodiment is the same as in FIGS. 10 and 11.

도 10는 본 발명의 한 실시예에 따른 모바일 단말의 하드웨어 구성을 나타낸 블록도이다.10 is a block diagram showing a hardware configuration of a mobile terminal according to an embodiment of the present invention.

도 10을 참조하면, 모바일 단말(600)은 카메라(601), 터치 센서(603), 모션 센서(605), 마이크(607), 통신부(609), 디스플레이부(611), 스피커(613), 입력부(615), 메모리(617), 사용자 인터랙션 처리부(619) 및 서비스 제어부(621)를 포함한다. Referring to FIG. 10, the mobile terminal 600 includes a camera 601, a touch sensor 603, a motion sensor 605, a microphone 607, a communication unit 609, a display unit 611, a speaker 613, An input unit 615, a memory 617, a user interaction processor 619, and a service controller 621 are included.

여기서, 카메라(601), 터치 센서(603), 모션 센서(605), 마이크(607), 통신부(609), 디스플레이부(611), 스피커(613), 입력부(615), 메모리(617)의 구성은 통상의 기술자에게 널리 알려져 있으므로 그 구동 원리 등 자세한 설명은 생략하고, 기능 위주로 간략하게 설명한다.Here, the camera 601, the touch sensor 603, the motion sensor 605, the microphone 607, the communication unit 609, the display unit 611, the speaker 613, the input unit 615, the memory 617 Since the configuration is widely known to those skilled in the art, detailed descriptions such as the driving principle thereof will be omitted, and the description will be briefly focused on functions.

카메라(601)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬영하고, 촬영 영상에 대응되는 영상 신호를 사용자 인터랙션 처리부(619)로 출력한다. The camera 601 captures a still image or a moving image under the control of the user, and outputs an image signal corresponding to the captured image to the user interaction processor 619.

터치 센서(603)는 물리적 접촉이 감지되면, 터치 감지 신호를 생성하여 사용자 인터랙션 처리부(619)로 출력한다. 물리적 접촉은 터치 펜 또는 사용자의 손가락 등으로 터치 센서(603)에 접촉하는 행위를 말한다.When a physical contact is detected, the touch sensor 603 generates a touch detection signal and outputs the touch detection signal to the user interaction processor 619. Physical contact refers to the act of contacting the touch sensor 603 with a touch pen or a user's finger.

모션 센서(605)는 모바일 단말(600)의 움직임을 측정하여 모션 감지 신호를 생성하고, 모션 감지 신호를 사용자 인터랙션 처리부(619)로 출력한다. 모션 감지 신호는 모션 센서(605)의 이동 방향 및 가속도 등의 정보를 포함할 수 있다. 이러한 모션 센서(605)는 가속도 센서(Accelerometer sensor)나 자이로스코프(Gyroscope), 중력 센서(Gravity Sensor)등과 같은 다양한 형태의 동작을 감지하는 센서에 의해 구현될 수 있다.The motion sensor 605 measures the movement of the mobile terminal 600 to generate a motion detection signal, and outputs the motion detection signal to the user interaction processor 619. The motion detection signal may include information such as a movement direction and acceleration of the motion sensor 605. The motion sensor 605 may be implemented by a sensor that detects various types of motion such as an accelerometer sensor, a gyroscope, a gravity sensor, and the like.

마이크(607)는 사용자 음성이나 주변 소리를 입력받아 오디오 신호로 변환하여, 사용자 인터랙션 처리부(619)로 출력한다.The microphone 607 receives a user voice or ambient sound, converts it into an audio signal, and outputs the audio signal to the user interaction processor 619.

통신부(609)는 다양한 유형의 통신 방식에 따라 네트워크(200)에 접속되어 인터랙티브 사진 시스템(100)과 통신한다. 통신부(609)는 와이파이(WiFi)칩, 무선 통신 칩 등 다양한 통신칩을 포함한다. 무선 통신 칩은 IEEE, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 포함할 수 있다.The communication unit 609 is connected to the network 200 and communicates with the interactive photographic system 100 according to various types of communication schemes. The communication unit 609 includes various communication chips such as a Wi-Fi chip and a wireless communication chip. The wireless communication chip may include a chip that performs communication according to various communication standards such as IEEE, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.

디스플레이부(611)는 서비스 제어부(621)의 제어에 의해 다양한 화면을 디스플레이하며, LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. The display unit 611 displays various screens under the control of the service controller 621, and may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, but is not limited thereto.

스피커(613)는 각종 오디오 데이터 뿐만 아니라 각종 알림음이나 음성 메시지 등을 출력하는 구성요소이다.The speaker 613 is a component that outputs not only various audio data but also various notification sounds and voice messages.

입력부(615)는 사용자 입력 또는 사용자 선택을 위한 입력 수단으로서, 키패드, 터치 패드, 광 조이스틱 등이 될 수 있다.The input unit 615 is an input means for user input or user selection, and may be a keypad, a touch pad, an optical joystick, or the like.

메모리(617)는 각종 프로그램 및 데이터가 저장되어 있는 구성요소이다. 메모리(617)는 모바일 단말(300, 400, 600)의 동작을 실행하게 하는 명령어들(Instructions)을 포함하는 프로그램을 저장한다.The memory 617 is a component in which various programs and data are stored. The memory 617 stores a program including instructions for executing the operations of the mobile terminals 300, 400, and 600.

사용자 인터랙션 처리부(619) 및 서비스 제어부(621)는 메모리(617)에 저장된 프로그램을 실행하는 적어도 하나의 프로세서로 구성된다.The user interaction processor 619 and the service controller 621 include at least one processor that executes a program stored in the memory 617.

사용자 인터랙션 처리부(619)는 카메라(601), 터치 센서(603), 모션 센서(605), 마이크(607)와 연결되어, 이들 구성(601, 603, 605, 607)으로부터 수신되는 감지 신호를 분석하여 사용자 인터랙션을 감지한다.The user interaction processor 619 is connected to the camera 601, the touch sensor 603, the motion sensor 605, and the microphone 607, and analyzes the detection signals received from these components 601, 603, 605, and 607. Detect user interaction.

이때, 사용자 인터랙션 처리부(619)는 서비스 제어부(621)의 제어 신호에 따라 카메라(601), 터치 센서(603), 모션 센서(605), 마이크(607)를 구동한다. 서비스 제어부(621)의 제어 신호는 인터랙티브 사진이 출력된 상태에서 자동으로 생성될 수도 있고, 또는 사용자 입력에 따라 생성될 수도 있다. 이는 다양한 실시예가 가능하므로, 특정 구성으로 한정되지 아니한다.In this case, the user interaction processor 619 drives the camera 601, the touch sensor 603, the motion sensor 605, and the microphone 607 according to the control signal of the service controller 621. The control signal of the service controller 621 may be automatically generated while the interactive picture is output, or may be generated according to a user input. Since various embodiments are possible, the present invention is not limited to a specific configuration.

사용자 인터랙션 처리부(619)는 구동된 카메라(601)로부터 수신되는 영상 신호를 영상 인식 기술을 통해 분석하여, 영상 신호로부터 얼굴 영상을 검출한다. 여기서, 영상 신호는 정지 영상 신호일 수도 있고, 동영상 신호일 수도 있다.The user interaction processor 619 detects a face image from the image signal by analyzing the image signal received from the driven camera 601 through image recognition technology. The video signal may be a still image signal or a video signal.

사용자 인터랙션 처리부(619)는 딥 러닝 기술의 신경망 모델, 예를들면, 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 얼굴 영상에 대응되는 사용자 감정을 인식한다. 이때, 사용되는 CNN 모델은 사전에 본 발명의 실시예에 따라 정의된 7가지 감정, 즉, 기쁨, 슬픔, 놀람, 화남, 경멸, 혐오, 두려움을 다양한 얼굴 영상에 대하여 학습한 모델이다. 사용자 인터랙션 처리부(619)는 인식한 사용자 감정을 나타내는 감정 인터랙션을 서비스 제어부(621)로 출력한다.The user interaction processor 619 recognizes a user emotion corresponding to a face image by using a neural network model of a deep learning technology, for example, a convolutional neural network (CNN) model. In this case, the CNN model used is a model in which seven emotions defined according to an embodiment of the present invention, that is, joy, sadness, surprise, anger, contempt, disgust, and fear, are learned on various face images. The user interaction processor 619 outputs an emotion interaction indicating the recognized user emotion to the service controller 621.

사용자 인터랙션 처리부(619)는 카메라(601)로부터 수신되는 동영상 신호를 영상 인식 기술을 통해 분석하여, 동영상 신호로부터 배경 영역과 제스처 영역을 구분하고, 제스처 영역의 이동 변위를 산출한다. 예를들면, 동영상 신호를 구성하는 연속된 프레임을 비교하여 제스처 영역의 이동 변위를 산출할 수 있으며, 이는 공지된 다양한 기술이 채택될 수 있으므로, 구체적인 설명은 생략한다.The user interaction processor 619 analyzes a video signal received from the camera 601 through an image recognition technique, distinguishes a background region from a gesture region from the video signal, and calculates a movement displacement of the gesture region. For example, it is possible to calculate the movement displacement of the gesture region by comparing successive frames constituting the video signal, and since a variety of known techniques can be adopted, a detailed description thereof will be omitted.

사용자 인터랙션 처리부(619)는 기 생성된 매핑 테이블을 참조하여 검출된 제스처 영역의 이동 변위에 매칭되는 사용자 인터랙션이 있는지 검색하고, 매칭되는 사용자 인터랙션이 있는 경우, 이동 변위를 매칭되는 사용자 인터랙션으로 변환한다. 이때, 제스처 영역은 신체 부위로 특정될 수 있다. 예를들면, 제스처 영역은 손 영역이 될 수 있다. 매핑 테이블은 손을 좌우로 흔드는 인사하는 제스처의 이동 변위가 저장되어 있을 수 있다. 각 제스처 별 이동 변위는 다양한 동영상 신호를 기초로 학습된 정보가 사용될 수 있다. 이때, 사용자 인터랙션 처리부(619)는 인사하는 제스처를 나타내는 제스처 인터랙션을 서비스 제어부(621)로 출력한다.The user interaction processor 619 searches for a user interaction that matches the movement displacement of the detected gesture region by referring to the previously generated mapping table, and if there is a matched user interaction, converts the movement displacement into a matching user interaction. . In this case, the gesture region may be specified as a body part. For example, the gesture area may be a hand area. The mapping table may store a movement displacement of a greeting to shake a hand from side to side. As the movement displacement for each gesture, information learned based on various video signals may be used. At this time, the user interaction processing unit 619 outputs a gesture interaction indicating a greeting to the service control unit 621.

사용자 인터랙션 처리부(619)는 터치 센서(603)로부터 수신되는 터치 감지 신호를 분석하여, 터치 이동 변위를 산출한다. 그리고 기 생성된 매핑 테이블을 참조하여 터치 이동 변위에 매칭되는 사용자 인터랙션이 있는지 검색하고, 매칭되는 사용자 인터랙션 정보를 서비스 제어부(621)로 출력한다. 예를들면, 매핑 테이블에 탭 동작으로 정의된 터치 이동 변위 정보가 저장되어 있고, 터치 감지 신호의 터치 이동 변위가 탭 동작에 매칭되는 이동 변위 정보로 판단되면, 사용자 인터랙션 처리부(619)는 탭 동작을 나타내는 터치 인터랙션을 서비스 제어부(621)로 출력한다.The user interaction processor 619 analyzes the touch detection signal received from the touch sensor 603 to calculate the touch movement displacement. The controller searches for a user interaction matched with the touch movement displacement by referring to the previously generated mapping table, and outputs the matched user interaction information to the service controller 621. For example, if the touch movement displacement information defined as the tap operation is stored in the mapping table, and the touch movement displacement of the touch detection signal is determined as the movement displacement information matching the tap operation, the user interaction processor 619 may perform the tap operation. The touch interaction indicating a is output to the service controller 621.

사용자 인터랙션 처리부(619)는 모션 센서(605)로부터 수신한 모션 감지 신호를 분석하고, 기 생성된 매핑 테이블을 참조하여 모션 감지 분석 결과에 매칭되는 사용자 인터랙션이 있는지 검색한다. 그리고 매칭되는 사용자 인터랙션 을 서비스 제어부(621)로 출력한다. 이때, 모션 감지 신호는 이동 방향 및 가속도 등의 모션 센싱값일 수 있다.The user interaction processor 619 analyzes the motion detection signal received from the motion sensor 605 and searches for a user interaction matched with the result of the motion detection analysis by referring to the previously generated mapping table. The user interaction is then output to the service controller 621. In this case, the motion detection signal may be a motion sensing value such as a moving direction and an acceleration.

사용자 인터랙션 처리부(619)는 마이크(607)로부터 수신한 오디오 신호로부터 사용자 음성을 추출하고, 사용자 음성을 인식한다. 그리고 기 생성된 매핑 테이블을 참조하여 사용자 음성 인식 결과에 매칭되는 사용자 인터랙션, 즉, 음성 인터랙션이 있는지 검색한다. 그리고 매칭되는 음성 인터랙션을 서비스 제어부(621)로 출력한다. 이때, 음성 인터랙션은 음성 명령어일 수 있다.The user interaction processor 619 extracts a user voice from the audio signal received from the microphone 607 and recognizes the user voice. The user may search for a user interaction that is matched with a user speech recognition result, that is, a voice interaction, by referring to the previously generated mapping table. The matching voice interaction is output to the service controller 621. In this case, the voice interaction may be a voice command.

이상의 영상 분석/인식 기술, 터치 인식 기술, 모션 인식 기술, 음성 인식 기술에 대해서는 이미 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.Since the above-described image analysis / recognition technology, touch recognition technology, motion recognition technology, and voice recognition technology are well known, a detailed description thereof will be omitted.

서비스 제어부(621)는 인터랙티브 사진 등록 인터페이스를 출력한 상태에서 사용자 인터랙션 처리부(619)로부터 사용자 인터랙션 정보가 수신되면, 사용자 인터랙션 정보와 카메라(601)로부터 수신되는 정지 영상 또는 동영상을 인터랙티브 사진 시스템(100)으로 전송하여 등록을 요청한다. When the user control information is received from the user interaction processing unit 619 while the service control unit 621 outputs the interactive picture registration interface, the service control unit 621 displays the user interaction information and the still image or video received from the camera 601. Request registration.

서비스 제어부(621)는 인터랙티브 사진을 디스플레이부(611)에 출력한 상태에서, 사용자 인터랙션 처리부(619)로부터 사용자 인터랙션 정보가 수신되면, 사용자 인터랙션 정보를 인터랙티브 사진 시스템(100)으로 전송한다. 그리고 인터랙티브 사진 시스템(100)으로부터 전송한 사용자 인터랙션 정보에 대응하는 서브 동영상을 수신하여 재생한다. 서브 동영상은 디스플레이부(611) 및 스피커(613)를 통해 출력된다.The service controller 621 transmits the user interaction information to the interactive photograph system 100 when the user interaction information is received from the user interaction processor 619 while outputting the interactive photograph to the display unit 611. The sub video corresponding to the user interaction information transmitted from the interactive photo system 100 is received and reproduced. The sub video is output through the display unit 611 and the speaker 613.

도 11은 본 발명의 한 실시예에 따른 인터랙티브 사진 시스템의 하드웨어 구성을 나타낸 블록도이다.11 is a block diagram illustrating a hardware configuration of an interactive photo system according to an embodiment of the present invention.

도 11을 참조하면, 인터랙티브 사진 시스템(700)은 서버 컴퓨터 장치일 수 있다. 인터랙티브 사진 시스템(700)은 SNS 서버(미도시)에 포함되거나 SNS 서버(미도시)와 연동할 수 있다. 인터랙티브 사진 시스템(700)은 통신부(701), 메모리(703), 저장 장치(705), 로그인 인증부(707), 회원 가입부(709) 및 서비스 제어부(711)를 포함한다.Referring to FIG. 11, the interactive photographic system 700 may be a server computer device. The interactive photo system 700 may be included in an SNS server (not shown) or interwork with an SNS server (not shown). The interactive photo system 700 includes a communication unit 701, a memory 703, a storage device 705, a login authentication unit 707, a member subscription unit 709, and a service control unit 711.

통신부(701)는 네트워크(200)를 통해 모바일 단말(300, 400, 600)과 데이터를 송신 및/또는 수신한다. 메모리(703)는 인터랙티브 사진 시스템(100, 700)의 동작을 실행하게 하는 명령어들을 포함하는 프로그램을 저장한다. 저장 장치(705)는 회원 가입 정보, 회원 별 인터랙티브 사진 정보, 회원 별 사용자 피드 정보 등을 저장한다. The communication unit 701 transmits and / or receives data with the mobile terminals 300, 400, and 600 through the network 200. The memory 703 stores a program that includes instructions that cause the operation of the interactive photography system 100, 700. The storage device 705 stores member registration information, interactive photo information for each member, user feed information for each member, and the like.

로그인 인증부(707), 회원 가입부(709) 및 서비스 제어부(711)는 메모리(703)에 저장된 프로그램을 실행하는 적어도 하나의 프로세서로 구성된다.The login authentication unit 707, the member subscription unit 709, and the service control unit 711 are configured with at least one processor that executes a program stored in the memory 703.

로그인 인증부(707)는 모바일 단말(300, 400, 600)로부터 수신되는 로그인 정보가 저장 장치(705)에 등록된 정보인지 판단하는 로그인 인증을 수행한다. 로그인 정보는 아이디(ID) 및 비밀번호, 지문과 같은 생체 정보 등을 포함할 수 있다.The login authentication unit 707 performs login authentication to determine whether the login information received from the mobile terminals 300, 400, and 600 is registered in the storage device 705. The login information may include biometric information such as ID, password, and fingerprint.

회원 가입부(709)는 모바일 단말(300, 400, 600)로부터 수신되는 회원 가입 정보를 저장 장치(705)에 회원 정보로 등록한다. The member subscription unit 709 registers membership registration information received from the mobile terminals 300, 400, and 600 as member information in the storage device 705.

서비스 제어부(711)는 도 1 ~ 도 10에서 설명한, 인터랙티브 사진 서비스를 일련의 서비스 절차에 따라 모바일 단말(300, 400, 600)에게 제공한다. 서비스 제어부(711)는 인터랙티브 사진을 등록하고, 인터랙티브 사진을 전송하며, 인터랙티브 사진을 관리한다. 서비스 제어부(711)는 인터랙티브 사진이 포함된 사용자 피드를 제공한다. The service controller 711 provides the interactive photo service described with reference to FIGS. 1 to 10 to the mobile terminals 300, 400, and 600 according to a series of service procedures. The service controller 711 registers the interactive picture, transmits the interactive picture, and manages the interactive picture. The service controller 711 provides a user feed including an interactive picture.

서비스 제어부(711)는 모바일 단말(400, 600)에게 인터랙티브 사진이 포함된 사용자 피드를 제공한다. 서비스 제어부(711)는 모바일 단말(400, 600)의 요청에 따라 메인 사진을 전체 화면으로 전송한 상태에서, 모바일 단말(400, 600)로부터 사용자 인터랙션 정보가 수신되면, 사용자 인터랙션 정보에 매칭되는 서브 동영상을 추출하여 모바일 단말(400, 600)로 전송한다. The service controller 711 provides the user terminal with the interactive picture to the mobile terminals 400 and 600. The service controller 711 transmits the main picture to the full screen in response to a request of the mobile terminals 400 and 600, and when the user interaction information is received from the mobile terminals 400 and 600, the service control unit 711 matches the user interaction information. Extract the video and transmit it to the mobile terminal (400, 600).

본 발명의 다른 실시예에 따르면, 사용자 인터랙션 처리를 인터랙티브 사진 시스템(100)에서 하며, 이러한 실시예에 대응하는 구성은 도 12 및 도 13과 같다.According to another embodiment of the present invention, the user interaction processing is performed in the interactive photo system 100, and the configuration corresponding to this embodiment is the same as that of FIGS.

도 12는 본 발명의 다른 실시예에 따른 모바일 단말의 하드웨어 구성을 나타낸 블록도이다.12 is a block diagram showing a hardware configuration of a mobile terminal according to another embodiment of the present invention.

도 12를 참조하면, 모바일 단말(800)은 카메라(801), 터치 센서(803), 모션 센서(805), 마이크(807), 통신부(809), 디스플레이부(811), 스피커(813), 입력부(815), 메모리(817) 및 서비스 제어부(819)를 포함한다. 여기서, 카메라(801), 터치 센서(803), 모션 센서(805), 마이크(807), 통신부(809), 디스플레이부(811), 스피커(813), 입력부(815), 메모리(817)는 도 10의 카메라(601), 터치 센서(603), 모션 센서(605), 마이크(607), 통신부(609), 디스플레이부(611), 스피커(613), 입력부(615), 메모리(617)와 동일하다.Referring to FIG. 12, the mobile terminal 800 includes a camera 801, a touch sensor 803, a motion sensor 805, a microphone 807, a communication unit 809, a display unit 811, a speaker 813, An input unit 815, a memory 817, and a service control unit 819 are included. Here, the camera 801, the touch sensor 803, the motion sensor 805, the microphone 807, the communication unit 809, the display unit 811, the speaker 813, the input unit 815, the memory 817 The camera 601, the touch sensor 603, the motion sensor 605, the microphone 607, the communication unit 609, the display unit 611, the speaker 613, the input unit 615, and the memory 617 of FIG. 10. Is the same as

도 10과 다른 점은, 사용자 인터랙션 처리부(도 10의 619)를 포함하지 않는다.The difference from FIG. 10 does not include a user interaction processing unit (619 in FIG. 10).

서비스 제어부(819)는 카메라(801)로부터 수신되는 영상 신호, 터치 센서(803)로부터 수신되는 터치 감지 신호, 모션 센서(805)로부터 수신되는 모션 감지 신호, 마이크(807)로부터 수신되는 음성 신호를 통신부(809)를 통하여 인터랙티브 사진 시스템(100)으로 전송한다.The service controller 819 may receive an image signal received from the camera 801, a touch detection signal received from the touch sensor 803, a motion detection signal received from the motion sensor 805, and a voice signal received from the microphone 807. The communication unit 809 transmits the data to the interactive photo system 100.

서비스 제어부(819)는 인터랙티브 사진 등록 인터페이스를 출력한 상태에서, 각 구성(801, 803, 805, 807)으로부터 수신되는 신호와 카메라(801)로부터 수신되는 정지 영상 또는 동영상을 인터랙티브 사진 시스템(100)으로 전송하여 등록을 요청한다.The service control unit 819 outputs the interactive picture registration interface, and displays the signals received from the respective configurations 801, 803, 805, and 807 and the still image or video received from the camera 801. Send a request to register.

서비스 제어부(819)는 인터랙티브 사진을 출력한 상태에서 각 구성(801, 803, 805, 807)으로부터 수신되는 신호를 인터랙티브 사진 시스템(100)으로 전송하고, 전송한 신호를 통해 감지된 사용자 인터랙션에 매칭되는 서브 동영상을 수신하여 재생한다. The service controller 819 transmits a signal received from each component 801, 803, 805, 807 to the interactive photo system 100 while outputting the interactive photo, and matches the detected user interaction through the transmitted signal. Receive and play the sub video.

도 13은 본 발명의 다른 실시예에 따른 인터랙티브 사진 시스템의 하드웨어 구성을 나타낸 블록도이다. 13 is a block diagram illustrating a hardware configuration of an interactive photography system according to another embodiment of the present invention.

도 13을 참조하면, 인터랙티브 사진 시스템(900)은 통신부(901), 메모리(903), 저장 장치(905), 로그인 인증부(907), 회원 가입부(909), 서비스 제어부(911) 및 사용자 인터랙션 처리부(913)를 포함한다. Referring to FIG. 13, the interactive photo system 900 includes a communication unit 901, a memory 903, a storage device 905, a login authentication unit 907, a member registration unit 909, a service control unit 911, and a user. The interaction processor 913 is included.

여기서, 통신부(901), 메모리(903), 저장 장치(905), 로그인 인증부(907), 회원 가입부(909), 서비스 제어부(911)는 도 11의 통신부(701), 메모리(703), 저장 장치(705), 로그인 인증부(707), 회원 가입부(709) 및 서비스 제어부(711)와 동일하다. 그리고 사용자 인터랙션 처리부(913)는 도 10의 사용자 인터랙션 처리부(619)와 동일하다. Here, the communication unit 901, the memory 903, the storage device 905, the login authentication unit 907, the member subscription unit 909, and the service control unit 911 are the communication unit 701 and the memory 703 of FIG. 11. , The storage device 705, the login authentication unit 707, the member subscription unit 709, and the service control unit 711 are the same. The user interaction processor 913 is the same as the user interaction processor 619 of FIG. 10.

도 10 및 도 11의 구성과 다른 구성에 대해 설명하면, 사용자 인터랙션 처리부(913)는 통신부(901)를 통해 모바일 단말(800)로부터 수신되는 영상 신호, 터치 감지 신호, 모션 감지 신호, 음성 신호 중 적어도 하나의 신호를 기초로 적어도 하나의 사용자 인터랙션을 감지한다. 서비스 제어부(911)는 사용자 인터랙션 처리부(913)가 출력하는 사용자 인터랙션에 매칭되는 서브 동영상을 통신부(901)를 통해 모바일 단말(800)로 출력한다.10 and 11, the user interaction processing unit 913 may include a video signal, a touch detection signal, a motion detection signal, and an audio signal received from the mobile terminal 800 through the communication unit 901. Detect at least one user interaction based on the at least one signal. The service controller 911 outputs a sub video matching the user interaction output by the user interaction processor 913 to the mobile terminal 800 through the communication unit 901.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not only implemented through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiments of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (11)

적어도 하나의 프로세서에 의해 동작하는 인터랙티브 사진 시스템에서 처리하는 인터랙티브 사진 서비스 방법으로서,
사용자 단말의 화면에 출력된 사진에 대한 사용자 인터랙션을 감지하는 단계,
상기 사진에 설정된 복수의 동영상 중에서 상기 사용자 인터랙션에 매칭된 동영상을 추출하는 단계, 그리고
추출한 동영상을 상기 사용자 단말로 스트리밍 전송하는 단계를 포함하고,
상기 사용자 단말의 화면은,
상기 사진에서 상기 스트리밍 전송되는 동영상의 재생 화면으로 전환되는, 인터랙티브 사진 서비스 방법.An interactive photo service method processed by an interactive photo system operated by at least one processor,
Detecting user interaction with respect to the photo displayed on the screen of the user terminal;
Extracting a video matching the user interaction from a plurality of videos set in the picture, and
And streaming the extracted video to the user terminal.
The screen of the user terminal,
Switching from the picture to the playback screen of the streaming video, interactive picture service method. 제1항에서,
상기 감지하는 단계 이전에,
복수의 사용자 단말이 요청한 메인 사진, 상기 메인 사진에 대응되고 사용자 인터랙션이 설정된 적어도 하나의 서브 동영상을 인터랙티브 사진으로 등록하는 단계를 더 포함하고,
상기 감지하는 단계는,
로그인 인증에 성공하여 접속한 사용자 단말에게 서로 다른 복수의 사용자가 등록한 복수의 인터랙티브 사진의 각각의 메인 사진 썸네일이 나열된 사용자 피드를 전송하는 단계, 그리고
상기 각각의 메인 사진 썸네일 중에서 하나의 메인 사진 썸네일에 대한 사용자 인터랙션을 감지하는 단계
를 포함하는, 인터랙티브 사진 서비스 방법.In claim 1,
Prior to the detecting step,
Registering a main picture requested by a plurality of user terminals and at least one sub video corresponding to the main picture and configured with user interaction as an interactive picture,
The detecting step,
Transmitting a user feed in which main picture thumbnails of a plurality of interactive pictures registered by a plurality of different users are registered to a user terminal which is successfully logged in and connected; and
Detecting user interaction with one main picture thumbnail of each main picture thumbnail
Including, interactive photo service method. 제2항에서,
상기 감지하는 단계는,
상기 접속한 사용자 단말로부터 상기 사용자 단말이 감지한 사용자 인터랙션을 수신하는, 인터랙티브 사진 서비스 방법.In claim 2,
The detecting step,
And receiving user interaction sensed by the user terminal from the connected user terminal. 제2항에서,
상기 감지하는 단계는,
상기 접속한 사용자 단말로부터 영상 신호, 터치 신호, 모션 신호 및 음성 신호 중 적어도 하나의 사용자 입력 신호를 수신하는 단계,
상기 적어도 하나의 사용자 입력 신호를 분석하여, 상기 사용자 인터랙션을 감지하는 단계
를 포함하는, 인터랙티브 사진 서비스 방법.In claim 2,
The detecting step,
Receiving at least one user input signal among an image signal, a touch signal, a motion signal, and an audio signal from the connected user terminal;
Analyzing the at least one user input signal to detect the user interaction
Including, interactive photo service method. 제2항에서,
상기 사용자 인터랙션은,
사용자의 얼굴 영상으로부터 인식된 사용자의 감정을 나타내는 감정 인터랙션, 사용자의 모션 영상으로부터 인식된 사용자의 모션 또는 상기 사용자 단말의 모션값을 측정하여 인식된 단말 모션을 나타내는 제스처 인터랙션, 사용자의 터치 입력 신호로부터 인식된 터치 인터랙션, 그리고 사용자의 음성을 인식하여 도출된 음성 인터랙션 중 적어도 하나의 인터랙션을 포함하고,
상기 감지하는 단계는,
사용자의 영상 신호로부터 검출된 얼굴 영상으로부터 감정을 인식하고, 감정 인식 결과를 기초로 기 등록된 매칭 테이블을 검색하여, 매칭되는 감정이 검색되면 상기 매칭되는 감정을 감정 인터랙션으로 추출하는 단계,
상기 영상 신호로부터 사용자의 제스처를 인식하고, 제스처 인식 결과를 기초로 상기 매칭 테이블을 검색하여, 매칭되는 제스처가 검색되면 상기 매칭되는 제스처를 사용자의 모션으로 추출하는 단계,
사용자의 터치 신호로부터 이동 변위를 계산하고, 상기 이동 변위를 기초로 상기 매칭 테이블을 검색하여, 상기 이동 변위에 매칭되는 터치 동작이 검색되면, 검색된 터치 동작을 터치 인터랙션으로 추출하는 단계, 그리고
사용자의 음성 신호를 인식하고, 음성 인식 결과를 기초로 상기 매칭 테이블을 검색하여, 매칭되는 음성 명령어가 존재하면 상기 매칭되는 음성 명령어를 음성 인터랙션으로 추출하는 단계
중에서 적어도 하나의 단계를 포함하는, 인터랙티브 사진 서비스 방법.In claim 2,
The user interaction is,
From the emotion interaction indicating the user's emotion recognized from the face image of the user, the user's motion recognized from the user's motion image or the gesture interaction indicating the recognized terminal motion by measuring the motion value of the user terminal, from the user's touch input signal At least one of a recognized touch interaction and a voice interaction derived by recognizing a user's voice,
The detecting step,
Recognizing an emotion from a face image detected from a user's video signal, searching for a matching table registered based on an emotion recognition result, and extracting the matched emotion as an emotion interaction when a matching emotion is found;
Recognizing a gesture of the user from the image signal, searching the matching table based on a gesture recognition result, and extracting the matched gesture as a user's motion when a matching gesture is found;
Calculating a movement displacement from a user's touch signal, searching the matching table based on the movement displacement, and if a touch movement matching the movement displacement is found, extracting the found touch movement as a touch interaction; and
Recognizing a voice signal of a user, searching the matching table based on a voice recognition result, and extracting the matched voice command as a voice interaction if a matching voice command exists
At least one step of the interactive photo service method. 적어도 하나의 프로세서에 의해 동작하는 모바일 단말에서 처리되는 인터랙티브 사진 서비스 방법으로서,
인터랙티브 사진 시스템에 접속하여, 서로 다른 사용자가 등록한 복수의 인터랙티브 사진이 나열된 서비스 화면을 수신하여 출력하는 단계,
사용자 입력에 따라 상기 복수의 인터랙티브 사진 중 하나의 인터랙티브 사진을 전체 화면으로 출력하는 단계,
상기 전체 화면에 출력된 인터랙티브 사진에 대한 사용자 인터랙션이 발생하면, 상기 인터랙티브 사진 시스템으로부터 상기 사용자 인터랙션에 매칭되는 서브 동영상을 수신하는 단계, 그리고
상기 전체 화면을 상기 수신되는 서브 동영상의 재생 화면으로 전환하는 단계
를 포함하는, 인터랙티브 사진 서비스 방법.An interactive photographic service method processed by a mobile terminal operated by at least one processor,
Accessing the interactive photo system, receiving and outputting a service screen listing a plurality of interactive photographs registered by different users;
Outputting an interactive picture of the plurality of interactive pictures in full screen according to a user input;
Receiving a sub video matching the user interaction from the interactive photo system when a user interaction with the interactive picture output on the full screen occurs; and
Converting the entire screen into a playback screen of the received sub video;
Including, interactive photo service method. 제6항에서,
상기 출력하는 단계 이전에,
상기 인터랙티브 사진 시스템과 연동하여 동작하는 전용 어플리케이션을 실행하는 단계
를 더 포함하는, 인터랙티브 사진 서비스 방법.In claim 6,
Before the outputting step,
Executing a dedicated application that operates in conjunction with the interactive photo system;
Further comprising, interactive photo service method. 제6항에서,
상기 출력하는 단계 이전에,
웹 브라우저 모듈을 구동하여 상기 인터랙티브 사진 시스템에 접속하는 단계를 더 포함하고,
상기 웹 브라우저 모듈은,
상기 인터랙티브 사진 시스템의 제어하에 인터랙티브 사진 서비스를 제공하는, 인터랙티브 사진 서비스 방법.In claim 6,
Before the outputting step,
Driving a web browser module to access the interactive photo system;
The web browser module,
Providing an interactive photo service under the control of the interactive photo system. 제6항에서,
상기 수신하는 단계는,
상기 모바일 단말에서 촬영된 영상 신호, 상기 모바일 단말의 터치 센서가 감지한 터치 신호, 상기 모바일 단말에 가해진 움직임을 나타내는 모션 신호 및 상기 모바일 단말의 마이크가 감지한 음성 신호 중 적어도 하나의 사용자 입력 신호를 상기 인터랙티브 사진 시스템으로 전송하는 단계, 그리고
상기 적어도 하나의 사용자 입력 신호로부터 감지된 사용자 인터랙션에 매칭되는 서브 동영상을 상기 인터랙티브 사진 시스템으로부터 수신하는 단계
를 포함하는, 인터랙티브 사진 서비스 방법.In claim 6,
The receiving step,
At least one user input signal among an image signal photographed by the mobile terminal, a touch signal sensed by a touch sensor of the mobile terminal, a motion signal indicating movement applied to the mobile terminal, and an audio signal sensed by a microphone of the mobile terminal Transmitting to the interactive photo system, and
Receiving a sub video from the interactive photo system that matches the detected user interaction from the at least one user input signal;
Including, interactive photo service method. 제6항에서,
상기 수신하는 단계는,
상기 모바일 단말에서 촬영된 영상 신호, 상기 모바일 단말의 터치 센서가 감지한 터치 신호, 상기 모바일 단말에 가해진 움직임을 나타내는 모션 신호 및 상기 모바일 단말의 마이크가 감지한 음성 신호 중 적어도 하나의 사용자 입력 신호를 분석하여, 사용자 인터랙션을 추출하는 단계,
추출한 사용자 인터랙션을 상기 인터랙티브 사진 시스템으로 전송하는 단계, 그리고
상기 사용자 인터랙션에 매칭되는 서브 동영상을 상기 인터랙티브 사진 시스템으로부터 수신하는 단계
를 포함하는, 인터랙티브 사진 서비스 방법.In claim 6,
The receiving step,
At least one user input signal among an image signal photographed by the mobile terminal, a touch signal sensed by a touch sensor of the mobile terminal, a motion signal indicating movement applied to the mobile terminal, and an audio signal sensed by a microphone of the mobile terminal Analyzing, extracting user interaction,
Transmitting the extracted user interaction to the interactive photo system, and
Receiving a sub-video matching the user interaction from the interactive photo system
Including, interactive photo service method. 제10항에서,
상기 추출하는 단계는,
얼굴 영상으로부터 사용자의 감정을 인식하여, 감정 인식 결과가 기 정의된 감정이면 인식된 감정을 추출하는 단계,
상기 사용자 입력 신호를 분석하는 단계, 그리고
분석 결과를 기초로 기 정의된 매핑 테이블을 검색하여, 상기 분석 결과에 매칭되는 사용자 인터랙션을 추출하는 단계를 포함하고,
상기 기 정의된 매핑 테이블은,
연속 영상의 프레임 변화 정보 별로 매칭되는 복수의 제스처 인터랙션,
터치 신호의 이동 변위 별로 매칭되는 복수의 터치 인터랙션,
모션 신호의 센싱값 별로 매칭되는 복수의 모션 인터랙션, 그리고
음성 인식을 통한 음성 명령어가 매칭되는 음성 인터랙션
중 적어도 하나를 포함하는, 인터랙티브 사진 서비스 방법.In claim 10,
The extracting step,
Recognizing a user's emotion from the face image and extracting the recognized emotion if the emotion recognition result is a predefined emotion;
Analyzing the user input signal, and
Searching for a predefined mapping table based on the analysis result and extracting a user interaction matching the analysis result;
The predefined mapping table is,
A plurality of gesture interactions matched by frame change information of the continuous image;
A plurality of touch interactions matched for each movement displacement of the touch signal,
A plurality of motion interactions matched for each sensing value of the motion signal, and
Voice interaction with matching speech commands through speech recognition
And at least one of the following.
KR1020180045770A 2018-04-19 2018-04-19 Method for interactive picture service KR102457953B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045770A KR102457953B1 (en) 2018-04-19 2018-04-19 Method for interactive picture service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045770A KR102457953B1 (en) 2018-04-19 2018-04-19 Method for interactive picture service

Publications (2)

Publication Number Publication Date
KR20190122082A true KR20190122082A (en) 2019-10-29
KR102457953B1 KR102457953B1 (en) 2022-10-21

Family

ID=68423798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045770A KR102457953B1 (en) 2018-04-19 2018-04-19 Method for interactive picture service

Country Status (1)

Country Link
KR (1) KR102457953B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775187B1 (en) * 2006-03-16 2007-11-12 엘지전자 주식회사 Thumbnail recording method and terminal using the same
KR20100106430A (en) * 2007-12-05 2010-10-01 온라이브, 인크. Method of combining linear content and interactive content compressed together as streaming interactive video
KR101373054B1 (en) * 2011-11-11 2014-03-11 한국전자통신연구원 Apparatus and method for user interactive
KR20160027770A (en) * 2014-09-02 2016-03-10 엘지전자 주식회사 Image providing apparatus, and method for operating the same
JP2016105551A (en) * 2014-12-01 2016-06-09 株式会社Ｇｒｅｅｔｉｎｇ Ｗｏｒｋｓ Moving image reproduction and display system
CN106686441A (en) * 2016-12-30 2017-05-17 中广热点云科技有限公司 Video interaction method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775187B1 (en) * 2006-03-16 2007-11-12 엘지전자 주식회사 Thumbnail recording method and terminal using the same
KR20100106430A (en) * 2007-12-05 2010-10-01 온라이브, 인크. Method of combining linear content and interactive content compressed together as streaming interactive video
KR101373054B1 (en) * 2011-11-11 2014-03-11 한국전자통신연구원 Apparatus and method for user interactive
KR20160027770A (en) * 2014-09-02 2016-03-10 엘지전자 주식회사 Image providing apparatus, and method for operating the same
JP2016105551A (en) * 2014-12-01 2016-06-09 株式会社Ｇｒｅｅｔｉｎｇ Ｗｏｒｋｓ Moving image reproduction and display system
CN106686441A (en) * 2016-12-30 2017-05-17 中广热点云科技有限公司 Video interaction method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
하승완, ‘사회적 현존감을 높이는 인터랙티브 사진’, 서강대학교 대학원 석사논문, 2017.12.29. 1부.* *

Also Published As

Publication number Publication date
KR102457953B1 (en) 2022-10-21

Similar Documents

Publication Publication Date Title
US10366691B2 (en) System and method for voice command context
JP6574937B2 (en) COMMUNICATION SYSTEM, CONTROL METHOD, AND STORAGE MEDIUM
KR102184272B1 (en) Glass type terminal and control method thereof
KR102374446B1 (en) Avatar selection mechanism
US9317113B1 (en) Gaze assisted object recognition
US8649776B2 (en) Systems and methods to provide personal information assistance
CN110326300B (en) Information processing apparatus, information processing method, and computer-readable storage medium
KR101978299B1 (en) Apparatus for service contents in contents service system
US9529428B1 (en) Using head movement to adjust focus on content of a display
JP2010067104A (en) Digital photo-frame, information processing system, control method, program, and information storage medium
WO2011031594A2 (en) Time shifted video communications
EP3550812B1 (en) Electronic device and method for delivering message by same
KR20180133743A (en) Mobile terminal and method for controlling the same
WO2021047069A1 (en) Face recognition method and electronic terminal device
US10979632B2 (en) Imaging apparatus, method for controlling same, and storage medium
KR102077665B1 (en) Virtual movile device implementing system and control method for the same in mixed reality
CN109766473A (en) Information interacting method, device, electronic equipment and storage medium
JP7206741B2 (en) HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM
KR102457953B1 (en) Method for interactive picture service
TW201709022A (en) Non-contact control system and method
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
WO2019044135A1 (en) Information processing device, information processing method, and program
KR101481996B1 (en) Behavior-based Realistic Picture Environment Control System
WO2019241920A1 (en) Terminal control method and device
US11601588B2 (en) Take-off capture method and electronic device, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant