KR102443582B1 - Interactive video output system and method - Google Patents
Interactive video output system and method Download PDFInfo
- Publication number
- KR102443582B1 KR102443582B1 KR1020210009448A KR20210009448A KR102443582B1 KR 102443582 B1 KR102443582 B1 KR 102443582B1 KR 1020210009448 A KR1020210009448 A KR 1020210009448A KR 20210009448 A KR20210009448 A KR 20210009448A KR 102443582 B1 KR102443582 B1 KR 102443582B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- processing
- voice
- matching
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000010365 information processing Effects 0.000 claims abstract description 43
- 241000283973 Oryctolagus cuniculus Species 0.000 description 24
- 241000282376 Panthera tigris Species 0.000 description 16
- 230000004060 metabolic process Effects 0.000 description 15
- 241000270666 Testudines Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Security & Cryptography (AREA)
- Details Of Television Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
인터렉티브 영상 출력 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 인터렉티브 영상 출력 시스템은, 그림책의 내용을 촬영하여 해당 내용에 대한 대응 영상을 출력하도록 형성되는 인터렉티브 영상 출력 시스템에 있어서, 상기 그림책에 출력된 영상 정보 또는 사용자의 음성 정보를 외부 정보로 획득하도록 형성되는 외부 정보 획득부; 상기 외부 정보를 처리하여 상기 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하는 외부 정보 처리부; 및 상기 처리 결과를 전달 받아 상기 대응 영상을 출력하도록 형성되는 처리 결과 출력부;를 포함하며, 상기 외부 정보 획득부는, 상기 영상 정보에 포함된 QR 코드 데이터와 상기 대응 영상을 매칭 시켜 상기 매칭 정보를 생성하기 위해 형성된다.An interactive image output system and method are provided. The interactive image output system according to an embodiment of the present invention is an interactive image output system configured to output a corresponding image for the corresponding content by photographing the contents of the picture book, an external information acquisition unit configured to acquire external information; an external information processing unit that processes the external information to match the corresponding image, and generates a processing result including the matching information; and a processing result output unit configured to receive the processing result and output the corresponding image, wherein the external information obtaining unit matches the corresponding image with the QR code data included in the image information to obtain the matching information formed to create
Description
본 발명은 인터렉티브 영상 출력 시스템 및 방법에 관한 것으로, 특히, 그림책의 그림과 매칭되는 연극을 사용자 단말기를 통해 출력하도록 형성되는 인터렉티브 영상 출력 시스템 및 방법에 관한 것이다. The present invention relates to an interactive image output system and method, and more particularly, to an interactive image output system and method configured to output a play matching a picture in a picture book through a user terminal.
영유아에게 독서를 권장하고 책에 관심을 갖게하기 위한 다양한 장치들이 개발되고 있다. 특히, 책에서 버튼을 누르면 음악이 나오는 사운드 북과 같은 도서들을 이용하면 연극과 같은 공연을 즐길 수도 있다. 하지만, 이러한 사운드북만을 이용하는 경우 소리만을 이용한 공연을 제공할 수 있기 때문에 어느정도 한계점이 존재한다. Various devices are being developed to encourage children to read and to make them interested in books. In particular, you can enjoy a performance like a play by using books such as a sound book in which music is played when a button is pressed. However, if only such a sound book is used, a performance using only sound can be provided, so there are some limitations.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 그림책 및 그림책과 관련된 연극 영상을 동시에 제공할 수 있는 인터렉티브 영상 출력 시스템 및 방법을 제공하고자 한다.In order to solve the problems of the prior art as described above, an embodiment of the present invention is to provide an interactive image output system and method that can simultaneously provide a picture book and a play image related to a picture book.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 그림책의 내용을 촬영하여 해당 내용에 대한 대응 영상을 출력하도록 형성되는 인터렉티브 영상 출력 시스템이 제공된다. 상기 인터렉티브 영상 출력 시스템은, 상기 그림책에 출력된 영상 정보 또는 사용자의 음성 정보를 외부 정보로 획득하도록 형성되는 외부 정보 획득부; 상기 외부 정보를 처리하여 상기 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하는 외부 정보 처리부; 및 상기 처리 결과를 전달 받아 상기 대응 영상을 출력하도록 형성되는 처리 결과 출력부;를 포함하며, 상기 외부 정보 획득부는, 상기 영상 정보에 포함된 QR 코드 데이터와 상기 대응 영상을 매칭 시켜 상기 매칭 정보를 생성하기 위해 형성된다.According to one aspect of the present invention for solving the above problems, there is provided an interactive image output system configured to output a corresponding image for the content by photographing the contents of the picture book. The interactive image output system may include: an external information acquisition unit configured to acquire image information output to the picture book or user's voice information as external information; an external information processing unit that processes the external information to match the corresponding image, and generates a processing result including the matching information; and a processing result output unit configured to receive the processing result and output the corresponding image, wherein the external information obtaining unit matches the corresponding image with the QR code data included in the image information to obtain the matching information formed to create
상기 외부 정보 획득부는, 상기 영상 정보를 촬영하여 획득하는 영상 정보 획득 모듈; 및 상기 음성 정보를 녹음하여 획득하는 음성 정보 획득 모듈;을 포함하며, 상기 영상 정보는 상기 QR 코드 데이터 및 상기 그림책에 포함된 이미지 데이터를 포함할 수 있다.The external information obtaining unit may include: an image information obtaining module which captures and obtains the image information; and a voice information acquisition module for acquiring and recording the voice information, wherein the image information may include the QR code data and image data included in the picture book.
상기 외부 정보 처리부는, 상기 외부 정보 중 상기 영상 정보를 획득하여 처리하여 영상 처리 정보를 생성하는 영상 정보 처리 모듈; 상기 외부 정보 중 상기 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하는 음성 정보 처리 모듈; 및 상기 영상 처리 정보 또는 상기 음성 처리 정보를 포함하는 처리 정보를 이용하여 상기 대응 영상을 매칭하여 처리 결과를 생성하는 처리 결과 획득 모듈;을 포함할 수 있다.The external information processing unit may include: an image information processing module configured to acquire and process the image information among the external information to generate image processing information; a voice information processing module configured to obtain and process the voice information among the external information to generate voice processing information; and a processing result obtaining module configured to generate a processing result by matching the corresponding image using the processing information including the image processing information or the audio processing information.
상기 영상 정보 처리 모듈은, 상기 QR 코드 데이터 및 상기 이미지 데이터 중 상기 그림책의 동일한 쪽에서 획득된 데이터들을 서로 매칭시키거나, 상기 이미지 데이터를 처리하여 저장하도록 형성될 수 있다.The image information processing module may be configured to match data obtained from the same side of the picture book among the QR code data and the image data with each other, or to process and store the image data.
상기 영상 정보 처리 모듈은, 상기 이미지 데이터를 처리하기 위해 특징점을 획득하고 획득한 특징점을 이용하여 복수개의 이미지 데이터들의 구분을 수행할 수 있는 SIFT 알고리즘을 이용할 수 있다.The image information processing module may obtain a feature point to process the image data and use a SIFT algorithm capable of classifying a plurality of image data using the acquired feature point.
상기 음성 정보 처리 모듈은, 상기 음성 정보를 처리하기 위해 획득한 상기 음성 정보의 내용을 분석 및 획득하고 분석한 결과를 음성 처리 정보로 생성할 수 있다.The voice information processing module may analyze and acquire contents of the voice information acquired to process the voice information, and generate the result of the analysis as voice processing information.
상기 처리 결과 획득 모듈은, 상기 영상 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하고, 상기 QR 코드 데이터가 존재하지 않거나 훼손된 경우, 획득한 상기 이미지 데이터의 구분 결과와 매칭되는 상기 QR 코드 데이터를 선정한 후, 상기 선정된 QR 코드 데이터에 기 매칭된 상기 대응 영상을 획득하며, 획득한 상기 대응 영상을 포함하는 상기 처리 결과를 생성하도록 형성될 수 있다.The processing result obtaining module is, when matching the corresponding image using the image processing information, obtains the corresponding image previously matched with the QR code data, and when the QR code data does not exist or is damaged, the obtained After selecting the QR code data that matches the classification result of the image data, acquiring the corresponding image previously matched to the selected QR code data, and generating the processing result including the obtained corresponding image can
상기 처리 결과 획득 모듈은, 상기 음성 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 음성 처리 정보인 대사를 획득하고, 획득한 상기 대사와 동일한 대사가 포함된 상기 대응 영상을 매칭한 매칭 영상을 포함하는 상기 처리 결과를 생성하도록 형성될 수 있다.The processing result acquisition module is, when matching the corresponding image using the audio processing information, acquires the speech processing information, the dialogue, and matches the corresponding image including the same dialogue as the obtained dialogue It may be formed to generate the processing result comprising a.
상기 처리 결과 출력부는, 상기 처리 결과에 포함된 상기 매칭 영상 또는 인터렉티브 영상을 재생하도록 형성되는 매칭 영상 출력 모듈; 및 상기 음성 처리 정보를 획득하는 경우, 상기 사용자의 상기 음성 정보를 이용하는 상기 인터렉티브 영상을 생성하도록 형성되는 인터렉티브 영상 생성 모듈;을 포함할 수 있다.The processing result output unit may include: a matching image output module configured to reproduce the matching image or the interactive image included in the processing result; and an interactive image generating module configured to generate the interactive image using the voice information of the user when the voice processing information is acquired.
상기 인터렉티브 영상은, 상기 음성 정보를 획득하여 상기 음성 정보에 포함된 상기 대사를 상기 사용자의 목소리로 대체한 영상일 수 있다.The interactive image may be an image obtained by acquiring the voice information and replacing the lines included in the voice information with the user's voice.
본 발명의 일 측면에 따르면, 그림책의 내용을 촬영하여 해당 내용에 대한 대응 영상을 출력하도록 형성되는 인터렉티브 영상 출력 방법이 제공된다. 상기 인터렉티브 영상 출력 방법은, 외부 정보 획득부를 이용하여 상기 그림책에 출력된 영상 정보 또는 사용자의 음성 정보를 외부 정보로 획득하는 단계; 외부 정보 처리부를 이용하여 상기 외부 정보를 처리하여 상기 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하는 단계; 처리 결과 출력부를 이용하여 상기 처리 결과를 전달 받아 상기 대응 영상을 출력하는 단계;를 포함하며, 상기 외부 정보로 획득하는 단계는, 상기 영상 정보에 포함된 QR 코드 데이터와 상기 대응 영상을 매칭 시켜 상기 매칭 정보를 생성하도록 형성된다.According to one aspect of the present invention, there is provided an interactive image output method formed to output a corresponding image for the content by photographing the contents of the picture book. The interactive image output method may include: acquiring image information output to the picture book or user's voice information as external information using an external information acquisition unit; processing the external information using an external information processing unit to match the corresponding image, and generating a processing result including the matching information; and outputting the corresponding image by receiving the processing result using the processing result output unit, wherein the acquiring as the external information includes matching the corresponding image with the QR code data included in the image information. configured to generate matching information.
상기 외부 정보로 획득하는 단계는, 상기 영상 정보를 촬영하여 획득하는 단계; 및 상기 음성 정보를 녹음하여 획득하는 단계;를 포함하며, 상기 영상 정보는 상기 QR 코드 데이터 및 상기 그림책에 포함된 이미지 데이터를 포함할 수 있다.The acquiring as the external information may include: acquiring the image information by photographing; and acquiring the audio information by recording; the image information may include the QR code data and image data included in the picture book.
상기 처리 결과를 생성하는 단계는, 상기 외부 정보 중 상기 영상 정보를 획득하여 처리하여 영상 처리 정보를 생성하는 단계; 상기 외부 정보 중 상기 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하는 단계; 및 상기 영상 처리 정보 또는 상기 음성 처리 정보를 포함하는 처리 정보를 이용하여 상기 대응 영상을 매칭하여 처리 결과를 생성하는 단계;를 포함할 수 있다.The generating of the processing result may include: obtaining and processing the image information among the external information to generate image processing information; generating voice processing information by acquiring and processing the voice information among the external information; and generating a processing result by matching the corresponding image using the processing information including the image processing information or the audio processing information.
상기 영상 처리 정보를 생성하는 단계는, 상기 QR 코드 데이터 및 상기 이미지 데이터 중 상기 그림책의 동일한 쪽에서 획득된 데이터들을 서로 매칭시키거나, 상기 이미지 데이터를 처리하여 저장하도록 형성될 수 있다.The generating of the image processing information may include matching data obtained from the same side of the picture book among the QR code data and the image data with each other, or processing and storing the image data.
상기 영상 처리 정보를 생성하는 단계는, 상기 이미지 데이터를 처리하기 위해 특징점을 획득하고 획득한 특징점을 이용하여 복수개의 이미지 데이터들의 구분을 수행할 수 있는 SIFT 알고리즘을 이용할 수 있다.The generating of the image processing information may include obtaining a feature point to process the image data, and using the acquired feature point, a SIFT algorithm capable of performing classification of a plurality of image data may be used.
상기 음성 처리 정보를 생성하는 단계는, 상기 음성 정보를 처리하기 위해 획득한 상기 음성 정보의 내용을 분석 및 획득하고 분석한 결과를 음성 처리 정보로 생성할 수 있다.The generating of the voice processing information may include analyzing and acquiring content of the voice information acquired to process the voice information, and generating the result of the analysis as voice processing information.
상기 처리 결과를 선정하는 단계는, 상기 영상 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하고, 상기 QR 코드 데이터가 존재하지 않거나 훼손된 경우, 획득한 상기 이미지 데이터의 구분 결과와 매칭되는 상기 QR 코드 데이터를 선정한 후, 상기 선정된 QR 코드 데이터에 기 매칭된 상기 대응 영상을 획득하며, 획득한 상기 대응 영상을 포함하는 상기 처리 결과를 생성하도록 형성될 수 있다.The step of selecting the processing result includes, when matching the corresponding image using the image processing information, obtaining the corresponding image previously matched with the QR code data, and when the QR code data does not exist or is damaged, After selecting the QR code data that matches the classification result of the acquired image data, acquiring the corresponding image previously matched to the selected QR code data, and generating the processing result including the acquired corresponding image can be formed.
상기 처리결과를 선정하는 단계는, 상기 음성 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 음성 처리 정보인 대사를 획득하고, 획득한 상기 대사와 동일한 대사가 포함된 상기 대응 영상을 매칭한 매칭 영상을 포함하는 상기 처리 결과를 생성하도록 형성될 수 있다.The step of selecting the processing result may include, when matching the corresponding image using the audio processing information, acquiring the speech processing information, and matching the corresponding image including the same lines as the obtained speech. It may be configured to generate the processing result including the matching image.
상기 대응 영상을 출력하는 단계는, 상기 처리 결과에 포함된 상기 매칭 영상 또는 인터렉티브 영상을 재생하는 단계; 및 상기 음성 처리 정보를 획득하는 경우, 상기 사용자의 상기 음성 정보를 이용하는 상기 인터렉티브 영상을 생성하는 단계;를 포함할 수 있다.The outputting of the corresponding image may include: reproducing the matching image or the interactive image included in the processing result; and generating the interactive image using the voice information of the user when acquiring the voice processing information.
상기 인터렉티브 영상은, 상기 음성 정보를 획득하여 상기 음성 정보에 포함된 상기 대사를 상기 사용자의 목소리로 대체한 영상일 수 있다.The interactive image may be an image obtained by acquiring the voice information and replacing the lines included in the voice information with the user's voice.
본 발명의 일 실시예에 따른 인터렉티브 영상 출력 시스템 및 방법은 영유아용 그림책에서 단순히 그림책 내용뿐만 아니라 해당 내용과 관련된 연극을 제공함으로써 영유아의 독서에 대한 흥미를 증가시킬 수 있는 효과가 있다. The interactive image output system and method according to an embodiment of the present invention has the effect of increasing the interest of young children in reading by providing not only the contents of the picture book but also plays related to the contents in the picture book for infants and young children.
또, 본 발명의 일 실시예에 따른 인터렉티브 영상 출력 시스템 및 방법은 영유아용 그림책에서 연극을 제공한 이후 질문을 추가적으로 제공하여 영유아의 가정 내 교육용으로 활용할 수 있는 효과가 있다. In addition, the interactive image output system and method according to an embodiment of the present invention has an effect that can be used for in-home education of infants and young children by providing additional questions after a play is provided in a picture book for infants and young children.
도 1은 본 발명의 실시예에 따른 인터렉티브 영상 출력 시스템이 사용되는 모습을 나타낸 도이다.
도 2는 도 1의 외부 정보 획득부를 나타낸 블록도이다.
도 3은 도 1의 외부 정보 처리부를 나타낸 블록도이다.
도 4는 도 1의 처리 결과 출력부를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 인터렉티브 영상 출력 방법을 나타낸 순서도이다.
도 6은 도 5의 단계 S510을 나타낸 순서도이다.
도 7은 도 6의 단계 S520을 나타낸 순서도이다.
도 8은 도 6의 단계 S530을 나타낸 순서도이다.
도 9는 인터렉티브 영상을 생성하기 위해 대사를 나누는 예시를 나타낸 도이다.1 is a diagram illustrating a state in which an interactive image output system according to an embodiment of the present invention is used.
FIG. 2 is a block diagram illustrating an external information obtaining unit of FIG. 1 .
3 is a block diagram illustrating an external information processing unit of FIG. 1 .
4 is a block diagram illustrating a processing result output unit of FIG. 1 .
5 is a flowchart illustrating an interactive image output method according to an embodiment of the present invention.
6 is a flowchart illustrating step S510 of FIG. 5 .
7 is a flowchart illustrating step S520 of FIG. 6 .
8 is a flowchart illustrating step S530 of FIG. 6 .
9 is a diagram illustrating an example of dividing lines to generate an interactive image.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.
도 1은 본 발명의 실시예에 따른 인터렉티브 영상 출력 시스템이 사용되는 모습을 나타낸 도이고, 도 2는 도 1의 외부 정보 획득부를 나타낸 블록도이며, 도 3은 도 1의 외부 정보 처리부를 나타낸 블록도이고, 도 4는 도 1의 처리 결과 출력부를 나타낸 블록도이다. 이하에서는 도 1 내지 도 4를 이용하여 본 발명의 인터렉티브 영상 출력 시스템에 대해 상세히 설명하도록 한다.1 is a diagram showing a state in which an interactive image output system according to an embodiment of the present invention is used, FIG. 2 is a block diagram showing the external information obtaining unit of FIG. 1, and FIG. 3 is a block showing the external information processing unit of FIG. 1 FIG. 4 is a block diagram illustrating a processing result output unit of FIG. 1 . Hereinafter, the interactive image output system of the present invention will be described in detail with reference to FIGS. 1 to 4 .
도 1을 참고하면, 본 발명의 인터렉티브 영상 출력 시스템(120)은 그림책(110)의 내용을 촬영하여 해당 내용에 대한 대응 영상을 사용자 단말기(130)의 디스플레이(131)에 출력하도록 형성된다.Referring to FIG. 1 , the interactive
인터렉티브 영상 출력 시스템(120)은 바람직하게는 그림책(110)의 펼쳐진 페이지의 그림을 확인하고, 해당 그림에 대응하는 대응 영상인 연관 연극 영상을 디스플레이(131)에 출력하도록 할 수 있다. 이를 위해 인터렉티브 영상 출력 시스템(120)은 외부 정보 획득부(121), 외부 정보 처리부(122) 및 처리 결과 출력부(123)를 포함하여 형성될 수 있다.The interactive
외부 정보 획득부(121)는 그림책에 출력된 영상 정보나 사용자의 음성 정보를 외부 정보로 획득하도록 형성된다. 도 2를 참고하면, 외부 정보 획득부(121)는 영상 정보 획득 모듈(211) 및 음성 정보 획득 모듈(212)을 포함하도록 형성되며, 영상 정보 획득 모듈(211)에서는 영상 정보를 촬영하여 획득하고, 음성 정보 획득 모듈(212)에서는 사용자의 음성 정보를 녹음하여 획득할 수 있다.The external
여기서 영상 정보는 QR코드 데이터 및 그림책에 포함된 이미지 데이터를 포함할 수 있다. 이미지 데이터는 그림책(110)에 포함된 그림 영역(A, 111)을 촬영하여 획득될 수 있으며, QR코드 데이터는 그림책(110)에 포함된 QR코드 영역(B, 112)을 촬영하여 획득될 수 있다. QR코드 데이터는 바람직하게는 그림책(110)의 페이지당 위치할 수 있으며, 그림 영역(111)의 인식을 방해하지 않도록 일 예로 페이지의 모서리에 위치할 수 있다.Here, the image information may include QR code data and image data included in the picture book. The image data may be obtained by photographing the picture areas (A, 111) included in the
외부 정보 획득부(121)중 영상 정보 획득 모듈(211)은 그림책(110)의 페이지를 촬영할 수 있다. 이때, 영상 정보 획득 모듈(211)은 그림책(110)의 촬영 과정에서 QR코드 영역(112)만을 촬영할 수도 있지만, 바람직하게는 최초에는 그림 영역(111)과 QR코드 영역(112)을 한번에 촬영하도록 형성될 수도 있다.The image
외부 정보 처리부(122)는 외부 정보를 처리하여 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하기 위해 형성된다. 외부 정보 처리부(122)는 이를 위해 영상 정보 처리 모듈(221), 음성 정보 처리 모듈(222) 및 처리 결과 획득 모듈(223)을 포함하여 형성될 수 있다.The external
영상 정보 처리 모듈(221)은 영상 정보를 처리하여 영상 처리 정보를 생성하기 위해 형성된다. 영상 정보 처리 모듈(221)은 QR 코드 데이터와 이미지 데이터가 그림책(110)의 동일 페이지에서 획득된 경우, 다시 말해 한번의 촬영에서 QR 코드 데이터와 이미지 데이터를 모두 획득한 경우 두 데이터를 서로 매칭시키고, 이미지 데이터를 처리하여 저장하도록 형성된다.The image
또, 영상 정보 처리 모듈(221)은 영상 정보로 이미지 데이터만 전달받은 경우, 해당 이미지 데이터를 처리하고 기 저장된 이미지 데이터 처리 결과와 비교하여 동일한 이미지 데이터를 획득한 후 해당 이미지 데이터와 매칭된 QR 코드 데이터를 더 획득할 수도 있다. 이는 영유아가 그림책(110)의 QR코드 영역(112)을 훼손하여 QR 코드를 인식할 수 없는 상황에서도 이미지 데이터의 처리 결과를 이용하여 해당 이미지 데이터와 연결된 QR 코드를 획득하기 위함이다.In addition, when only image data is received as image information, the image
이때, 영상 정보 처리 모듈(221)은 이미지 데이터를 처리하여 저장하기 위해 SIFT 알고리즘을 이용할 수 있다. SIFT 알고리즘은 익히 알려진 이미지에서 특징을 추출하는 알고리즘으로, 이용하면 획득한 이미지 데이터의 특징점들을 획득하며, 영상 정보 처리 모듈(221)은 특징점들 사이를 비교하여 복수개의 이미지 데이터를 각각 특정할 수 있는 효과가 있다.In this case, the image
영상 정보 처리 모듈(221)은 QR코드-이미지 데이터 매칭 결과를 영상 처리 정보로 생성할 수 있다.The image
음성 정보 처리 모듈(222)은 외부 정보 중 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하도록 형성된다. 음성 정보 처리 모듈(222)은 외부 정보 중 사용자의 음성 정보를 획득하고, 획득한 음성 정보의 내용을 분석하여 분석한 결과를 음성 처리 정보로 생성할 수 있다. 이때, 분석한 결과는 일 예로 해당 연극의 대사일 수 있으며, 도 9의 가 내지 마 중 어느 하나일 수 있다.The voice
처리 결과 획득 모듈(223)은 영상 처리 정보 또는 음성 처리 정보를 포함하는 처리 정보를 이용하여 대응 영상을 매칭하여 처리 결과를 생성하기 위해 형성된다. 영상 처리 정보는 QR코드 데이터와 이미지 데이터를 매칭한 결과이며, 음성 처리 정보는 연극의 대사일 수 있다.The processing
먼저, 처리 결과 획득 모듈(223)은 영상 처리 정보를 전달 받으면, 영상 처리 정보에 포함된 QR 코드 데이터를 획득하고, 획득한 QR 코드 데이터에 기 연결된 연극 영상을 대응 영상으로 하는 처리 결과를 획득할 수 있다.First, the processing
또, 처리 결과 획득 모듈(223)은 영상 처리 정보에 QR 코드 데이터가 포함되지 않은 경우, 영상 정보에 포함된 이미지 데이터와 동일한 특징점들을 가지는 이미지 데이터를 영상 정보 처리 모듈(221)로부터 획득하여 기 저장된 동일한 이미지 데이터를 획득하고, 획득한 동일한 이미지 데이터와 연결된 QR 코드 데이터를 추출한 후, 추출한 QR 코드 데이터에 기 연결된 연극 영상을 대응 영상으로 하는 처리 결과를 획득하도록 할 수도 있다.In addition, when the image processing information does not include QR code data, the processing
또한, 처리 결과 획득 모듈(223)은 음성 처리 정보를 전달 받으면, 음성 처리 정보에 포함된 연극의 대사를 확인하고, 연극 영상 중 해당 대사 정보를 포함하는 연극 영상을 대응 영상으로 하는 처리 결과를 획득하도록 할 수도 있다. 이는, 보호자가 영유아에게 그림책을 읽어주거나 유아가 직접 그림책을 읽는 과정에서 기 저장된 연극 영상과 상호작용을 할 수 있도록 하기 위함이다.In addition, the processing
마지막으로, 본 발명의 일 실시예에 따른 처리 결과 출력부(123)는 처리 결과를 전달 받아 대응 영상을 출력하도록 형성된다. 처리 결과 출력부(123)는 외부 정보 처리부(122)에서 생성된 처리 결과를 전달 받아 대응 영상을 사용자 단말기(130)의 디스플레이(131)에 출력하도록 형성될 수 있다. 이를 위해 처리 결과 출력부(123)는 도 4에 도시된 바와 같이 매칭 영상 출력 모듈(231) 및 인터렉티브 영상 생성 모듈(232)을 포함할 수 있다.Finally, the processing
매칭 영상 출력 모듈(231)은 처리 결과에 포함된 매칭 영상 또는 인터렉티브 영상을 재생하도록 형성된다. 매칭 영상 출력 모듈(231)은 처리 결과에 포함된 대응 영상을 매칭 영상으로 출력할 수도 있고, 후술되는 인터렉티브 영상 생성 모듈(232)에서 생성된 인터렉티브 영상을 매칭 영상으로 출력할 수도 있다.The matching
인터렉티브 영상 생성 모듈(232)은 음성 처리 정보를 획득하는 경우 사용자의 음성 정보를 이용하는 인터렉티브 영상을 생성하도록 형성된다. 인터렉티브 영상은 사용자의 음성 정보를 이용하여 연극 영상과 상호작용을 수행하여 사용자가 연극에 참여하도록 할 수 있는 영상이다. The interactive
인터렉티브 영상 생성 모듈(232)은 이러한 인터렉티브 영상을 생성하기 위해 먼저 처리 결과에 포함된 음성 처리 정보 및 음성 처리 정보와 대응하는 대응 영상을 획득한다. 음성 처리 정보는 사용자의 음성 정보에서 획득한 연극 대사가 포함된다. 인터렉티브 영상 생성 모듈(232)은 대응 영상을 분석하여 배역별로 대응 영상을 절단할 수 있다.In order to generate such an interactive image, the interactive
도 9에는 하나의 연극 영상의 대사가 나타나며, 등장 인물은 토끼(A), 호랑이(B) 및 거북이(C) 총 셋이다.9 shows the lines of one play video, and the characters are a rabbit (A), a tiger (B), and a turtle (C).
인터렉티브 영상 생성 모듈(232)은, 처리 결과에서 음성 처리 정보와 대응하는 대응 영상을 획득하면, 도 9의 가 - 마 와 같이 대사 배역과 배역 사이를 절단하도록 형성된다. 도 9를 이용하여 설명하면, 연극 영상에서의 대사 순서는 토끼, 호랑이, 토끼, 거북이, 거북이, 호랑이 순서이다.The interactive
따라서, 인터렉티브 영상 생성 모듈(232)은 토끼(A)의 대사가 끝나고 호랑이(B)의 대사가 시작되기 전에 영상을 절단하여 가절단영상을 생성하고, 호랑이(B)의 대사가 끝나고 토끼(A)의 대사가 시작되기 전에 영상을 절단하여 나절단영상을 생성한다. 또, 토끼(A)의 대사가 끝나고 거북이(C)의 대사가 시작되기 전에 영상을 절단하여 다절단영상을 생성하며, 거북이(C)의 대사가 끝나고 호랑이(B)의 대사가 시작되기 전에 영상을 절단하여 라절단영상 및 마절단영상을 생성할 수 있다.Therefore, the interactive
이때, 라절단영상에서는 대사가 두 줄이 존재하지만, 인터렉티브 영상 생성 모듈(232)은 상술한 바와 같이 배역과 배역 사이를 절단하도록 형성되며 거북이(C)가 두 대사를 모두 하기 때문에 하나의 절단영상으로 형성될 수 있다.At this time, although there are two lines of dialogue in the razor cut image, the interactive
인터렉티브 영상 생성 모듈(232)은 대응 영상의 절단 영상들을 생성하면, 음성 처리 정보에 포함된 대사가 존재하는 절단영상을 확인한다. 일 예로, 음성 처리 정보에 포함된 대사가 "안녕 난 토끼야" 이면, 인터렉티브 영상 생성 모듈(232)은 가절단영상이 대사가 음성 처리 정보에 포함된 대사가 존재하는 절단영상으로 확인할 수 있다.When the interactive
인터렉티브 영상 생성 모듈(232)은 이후, 확인한 절단영상에 대응하는 배역이 존재하는 모든 절단영상을 제거할 수 있다. 이는, 사용자가 "안녕 난 토끼야"라는 대사를 녹음했기 때문에 이후에 사용자가 토끼(A)의 배역을 수행하도록 하여 연극 영상과의 상호작용을 수행하도록 하기 위함이다.Thereafter, the interactive
따라서, 도 9의 예시에서는 인터렉티브 영상 생성 모듈(232)은 가절단영상 및 다절단영상을 제거하여 나절단영상, 라절단영상 및 마절단영상만 남길 수 있다.Accordingly, in the example of FIG. 9 , the interactive
한편, 상술한 매칭 영상 출력 모듈(231)은 인터렉티브 영상을 출력하는 경우, 사용자의 추가 녹음이 발생하지 않는 경우 인터렉티브 영상을 특정 지점에서 정지하도록 형성될 수 있다.Meanwhile, when outputting the interactive image, the above-described matching
상술한 도 9의 예시에서 사용자가 토끼(A)의 배역을 수행하고 있기 때문에, 다절단영상의 토끼(A)의 대사 역시 사용자가 수행하여야 한다. 따라서, 매칭 영상 출력 모듈(231)은 사용자가 "안녕 호랑이야. 근데 너는 이름이 뭐니?"라는 대사를 녹음하기 전까지는 라절단영상 및 마절단영상을 재생하지 않고 대기할 수 있다.In the example of FIG. 9 described above, since the user is performing the role of the rabbit (A), the user must also perform the metabolism of the rabbit (A) in the multi-cut image. Accordingly, the matching
이를 통해 사용자는 토끼(A)의 배역을 대신하여 수행하게 되고, 호랑이(B)와 거북이(C) 배역은 기 저장된 연극 영상에서 수행함으로써, 사용자가 연극에 직접 참여할 수 있는 인터렉티브 영상을 출력하도록 할 수 있다.Through this, the user performs the role of the rabbit (A), and the role of the tiger (B) and the turtle (C) is performed from the pre-stored play image, so that the user can directly participate in the play. can
또, 본 발명의 일 실시예에서 매칭 영상 출력 모듈(231)은 사용자의 다음 대사가 기 설정된 시간이 지나도록 녹음이 되지 않는 경우, 제외했던 해당 절단영상을 재생함으로써 사용자가 연극에서 이탈하더라도 연극영상을 재생할 수 있도록 할 수 있다.In addition, in an embodiment of the present invention, the matching
이상 설명한 내용을 하나의 시나리오로 정리하면 아래와 같다.The above description can be summarized in one scenario as follows.
먼저, 사용자가 그림책(110)을 펼쳐 그림책(110)의 페이지를 최초로 촬영하면, 인터렉티브 영상 출력 시스템(120)은 외부 정보 획득부(121)를 이용하여 영상 정보를 획득한다. 영상 정보에는 그림 영역(111)과 QR코드 영역(112)이 포함되어 있기 때문에 외부 정보 처리부(122)는 이미지 데이터와 QR 코드 데이터를 매칭시키고 저장할 수 있다. 또, 외부 정보 처리부(122)는 해당 이미지 데이터의 특징점을 추출하고, 해당 이미지의 특징점들을 저장할 수 있다. 다음으로 처리 결과 출력부(123)에서는 해당 영상 정보에 포함된 QR 코드를 이용하여 기 저장된 연극 영상 중 해당 QR코드와 매칭된 대응 영상을 단말기(130) 상의 디스플레이(131)로 출력하도록 하여 사용자가 그림책(110)과 연극을 선택적으로 소비할 수 있도록 할 수 있다.First, when the user opens the
한편, 그림책(110)의 QR코드 영역(112)이 훼손된 경우, 사용자가 그림책(110)의 그림 영역(111)을 촬영하면, 외부 정보 획득부(121)는 영상 정보로 이미지 데이터를 획득할 수 있다. 다음으로 외부 정보 처리부(122)는 획득한 이미지 데이터의 특징점을 추출하고 기 저장된 이미지 데이터들의 특징점들과 비교하며, 기 저장된 이미지 데이터와 획득한 이미지 데이터의 특징점들이 일치하는 이미지 데이터를 선정한다. 이후, 외부 정보 처리부(122)에서는 기 저장된 이미지 데이터의 QR 코드 매칭 값을 통해 선정된 이미지 데이터와 매칭된 QR코드 데이터를 획득할 수 있다. QR 코드 데이터를 획득하면, 처리 결과 출력부(123)는 해당 QR 코드와 매칭된 대응 영상을 단말기(130) 상의 디스플레이(131)로 출력하여 QR 코드의 훼손이 발생한 그림책(110)에서도 그림 영역(111)을 이용하여 연극을 소비할 수 있도록 할 수 있다.On the other hand, when the
또, 사용자가 그림책(110)을 영유아에게 읽어주는 경우 사용자가 특정 배역의 대사를 녹음하면, 외부 정보 획득부(121)는 음성 정보를 획득하고, 획득한 음성 정보를 외부 정보 처리부(122)에서 분석하여 녹음한 대사, 해당 배역 및 대응 영상을 확인할 수 있다. 처리 결과 출력부(123)에서는 사용자의 녹음 대사를 이용하여 대응 영상을 배역별로 절단하고, 녹음 대사의 배역이 포함된 절단영상을 삭제한 후, 사용자의 녹음에 따라 절단영상을 출력함으로써 사용자가 연극 영상 내의 인물과 상호작용을 하는 인터렉티브 영상을 출력할 수도 있다.In addition, when the user reads the
한편, 상술한 도 1 내지 도 4의 인터렉티브 영상 출력 시스템(120)은 도 5 내지 도 8의 인터렉티브 영상 출력 방법(500)으로 표현될 수도 있다. 이하에서는 설명의 편의상 도 1 내지 도 4의 구성을 간단히 이용하지만, 본 발명의 인터렉티브 영상 출력 방법은 이에 한정되지 않으며, 유사한 동작을 수행할 수 있는 다양한 장치 또는 시스템에서 사용될 수 있다.Meanwhile, the interactive
인터렉티브 영상 출력 방법(500)은 바람직하게는 그림책(110)의 펼쳐진 페이지의 그림을 확인하고, 해당 그림에 대응하는 대응 영상인 연관 연극 영상을 디스플레이(131)에 출력하도록 할 수 있다. 이를 위해 인터렉티브 영상 출력 방법(500)은 도 5에 도시된 바와 같이 영상 정보 또는 음성 정보를 외부 정보로 획득하는 단계(S510), 매칭 정보를 포함하는 처리결과를 생성하는 단계(S520) 및 대응 영상을 출력하는 단계(S530)를 포함할 수 있다.The interactive
영상 정보 또는 음성 정보를 외부 정보로 획득하는 단계(S510)는 외부 정보 획득부를 이용하여 그림책에 출력된 영상 정보나 사용자의 음성 정보를 외부 정보로 획득하도록 형성된다.The step of acquiring the image information or the audio information as external information ( S510 ) is configured to acquire the image information output in the picture book or the user's voice information as external information by using the external information acquisition unit.
도 6을 참고하면, 단계 S510은 영상 정보를 촬영하여 획득하는 단계(S511) 및 음성 정보를 녹음하여 획득하는 단계(S512)를 포함하도록 형성되며, 단계 S511에서는 영상 정보를 촬영하여 획득하고, 단계 S512에서는 사용자의 음성 정보를 녹음하여 획득할 수 있다.Referring to FIG. 6 , step S510 is formed to include a step (S511) of photographing and acquiring image information and a step (S512) of recording and acquiring audio information, and in step S511, capturing and acquiring image information, In S512, the user's voice information may be recorded and obtained.
여기서 영상 정보는 QR코드 데이터 및 그림책에 포함된 이미지 데이터를 포함할 수 있다. 이미지 데이터는 그림책(110)에 포함된 그림 영역(A, 111)을 촬영하여 획득될 수 있으며, QR코드 데이터는 그림책(110)에 포함된 QR코드 영역(B, 112)을 촬영하여 획득될 수 있다. QR코드 데이터는 바람직하게는 그림책(110)의 페이지당 위치할 수 있으며, 그림 영역(111)의 인식을 방해하지 않도록 일 예로 페이지의 모서리에 위치할 수 있다.Here, the image information may include QR code data and image data included in the picture book. The image data may be obtained by photographing the picture areas (A, 111) included in the
단계 S511은 그림책(110)의 페이지를 촬영하며 QR코드 영역(112)만을 촬영할 수도 있지만, 바람직하게는 최초에는 그림 영역(111)과 QR코드 영역(112)을 한번에 촬영하도록 할 수도 있다.In step S511, the page of the
매칭 정보를 포함하는 처리결과를 생성하는 단계(S520)는 외부 정보 처리부를 통해 외부 정보를 처리하여 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하기 위해 형성된다. 단계 S520은 이를 위해 도 7에 도시된 바와 같이 영상 처리 정보를 생성하는 단계(S521), 음성 처리 정보를 생성하는 단계(S522) 및 처리 결과를 생성하는 단계(S523)를 포함할 수 있다.The step (S520) of generating the processing result including the matching information is formed to process the external information through the external information processing unit to match the corresponding image, and to generate the processing result including the matching information. Step S520 may include, as shown in FIG. 7 , generating image processing information ( S521 ), generating audio processing information ( S522 ), and generating a processing result ( S523 ).
영상 처리 정보를 생성하는 단계(S521)는 영상 정보를 처리하여 영상 처리 정보를 생성하기 위해 형성된다. 단계 S521은 QR 코드 데이터와 이미지 데이터가 그림책(110)의 동일 페이지에서 획득된 경우, 다시 말해 한번의 촬영에서 QR 코드 데이터와 이미지 데이터를 모두 획득한 경우 두 데이터를 서로 매칭시키고, 이미지 데이터를 처리하여 저장하도록 형성된다.The step of generating the image processing information ( S521 ) is performed to generate the image processing information by processing the image information. In step S521, when the QR code data and the image data are obtained from the same page of the
또, 단계 S521은 영상 정보로 이미지 데이터만 전달받은 경우, 해당 이미지 데이터를 처리하고 기 저장된 이미지 데이터 처리 결과와 비교하여 동일한 이미지 데이터를 획득한 후 해당 이미지 데이터와 매칭된 QR 코드 데이터를 더 획득할 수도 있다. 이는 영유아가 그림책(110)의 QR코드 영역(112)을 훼손하여 QR 코드를 인식할 수 없는 상황에서도 이미지 데이터의 처리 결과를 이용하여 해당 이미지 데이터와 연결된 QR 코드를 획득하기 위함이다.In addition, in step S521, when only image data is received as image information, the image data is processed and compared with the pre-stored image data processing result to obtain the same image data, and then QR code data matched with the image data is further obtained. may be This is to obtain a QR code connected to the image data by using the processing result of the image data even in a situation where an infant can not recognize the QR code by damaging the
이때, 단계 S521은 이미지 데이터를 처리하여 저장하기 위해 SIFT 알고리즘을 이용할 수 있다. SIFT 알고리즘은 익히 알려진 이미지에서 특징을 추출하는 알고리즘으로, 이용하면 획득한 이미지 데이터의 특징점들을 획득하며, 단계 S521은 특징점들 사이를 비교하여 복수개의 이미지 데이터를 각각 특정할 수 있는 효과가 있다.In this case, step S521 may use a SIFT algorithm to process and store image data. The SIFT algorithm is an algorithm for extracting features from a well-known image, and when used, acquires feature points of the acquired image data, and in step S521, a plurality of image data can be specified by comparing the feature points.
나아가 단계 S521은 QR코드-이미지 데이터 매칭 결과를 영상 처리 정보로 생성할 수 있다.Furthermore, step S521 may generate a QR code-image data matching result as image processing information.
음성 처리 정보를 생성하는 단계(S522)는 외부 정보 중 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하도록 형성된다. 단계 S522는 외부 정보 중 사용자의 음성 정보를 획득하고, 획득한 음성 정보의 내용을 분석하여 분석한 결과를 음성 처리 정보로 생성할 수 있다. 이때, 분석한 결과는 일 예로 해당 연극의 대사일 수 있으며, 도 9의 가 내지 마 중 어느 하나일 수 있다.The step of generating the voice processing information ( S522 ) is formed to obtain and process voice information among external information to generate voice processing information. In step S522, the user's voice information may be obtained from among external information, and the content of the acquired voice information may be analyzed and the result of the analysis may be generated as voice processing information. In this case, the analysis result may be, for example, the lines of the play, and may be any one of A to E of FIG. 9 .
처리 결과를 생성하는 단계(S523)는 영상 처리 정보 또는 음성 처리 정보를 포함하는 처리 정보를 이용하여 대응 영상을 매칭하여 처리 결과를 생성하기 위해 형성된다. 영상 처리 정보는 QR코드 데이터와 이미지 데이터를 매칭한 결과이며, 음성 처리 정보는 연극의 대사일 수 있다.The generating of the processing result ( S523 ) is performed to generate a processing result by matching a corresponding image using processing information including image processing information or audio processing information. The image processing information is a result of matching QR code data and image data, and the audio processing information may be lines of a play.
먼저, 단계 S523은 영상 처리 정보를 전달 받으면, 영상 처리 정보에 포함된 QR 코드 데이터를 획득하고, 획득한 QR 코드 데이터에 기 연결된 연극 영상을 대응 영상으로 하는 처리 결과를 획득할 수 있다.First, in step S523, upon receiving the image processing information, it is possible to acquire QR code data included in the image processing information, and obtain a processing result using a play image previously connected to the acquired QR code data as a corresponding image.
또, 단계 S523은 영상 처리 정보에 QR 코드 데이터가 포함되지 않은 경우, 영상 정보에 포함된 이미지 데이터와 동일한 특징점들을 가지는 이미지 데이터를 단계 S521로부터 획득하여 기 저장된 동일한 이미지 데이터를 획득하고, 획득한 동일한 이미지 데이터와 연결된 QR 코드 데이터를 추출한 후, 추출한 QR 코드 데이터에 기 연결된 연극 영상을 대응 영상으로 하는 처리 결과를 획득하도록 할 수도 있다.In addition, in step S523, when the image processing information does not include QR code data, image data having the same feature points as the image data included in the image information is obtained from step S521 to obtain the same pre-stored image data, and the same After extracting the QR code data linked to the image data, it may be possible to obtain a processing result using the play image previously linked to the extracted QR code data as a corresponding image.
또한, 단계 S523은 음성 처리 정보를 전달 받으면, 음성 처리 정보에 포함된 연극의 대사를 확인하고, 연극 영상 중 해당 대사 정보를 포함하는 연극 영상을 대응 영상으로 하는 처리 결과를 획득하도록 할 수도 있다. 이는, 보호자가 영유아에게 그림책을 읽어주거나 유아가 직접 그림책을 읽는 과정에서 기 저장된 연극 영상과 상호작용을 할 수 있도록 하기 위함이다.In addition, in step S523, upon receiving the voice processing information, the dialogue of the play included in the voice processing information may be checked, and a processing result of using the play image including the corresponding dialogue information among the theater images as a corresponding image may be obtained. This is to allow parents to interact with pre-stored play images in the process of reading picture books to infants or children directly reading picture books.
마지막으로, 본 발명의 일 실시예에 따른 대응 영상을 출력하는 단계(S530)는 처리 결과 출력부(123)를 이용해 처리 결과를 전달 받아 대응 영상을 출력하도록 형성된다. 단계 S530은 단계 S520에서 생성된 처리 결과를 전달 받아 대응 영상을 사용자 단말기(130)의 디스플레이(131)에 출력하도록 형성될 수 있다. 이를 위해 단계 S530은 도 8에 도시된 바와 같이 영상을 재생하는 단계(S531) 및 인터렉티브 영상을 생성하는 단계(S532)를 포함한다.Finally, the step of outputting the corresponding image according to an embodiment of the present invention ( S530 ) is configured to receive the processing result using the processing
영상을 재생하는 단계(S531)는 처리 결과에 포함된 매칭 영상 또는 인터렉티브 영상을 재생하도록 형성된다. 단계 S531은 처리 결과에 포함된 대응 영상을 매칭 영상으로 출력할 수도 있고, 후술되는 단계 S532에서 생성된 인터렉티브 영상을 매칭 영상으로 출력할 수도 있다.In the step of reproducing the image ( S531 ), the matching image or interactive image included in the processing result is reproduced. In step S531, the corresponding image included in the processing result may be output as a matching image, or the interactive image generated in step S532, which will be described later, may be output as a matching image.
인터렉티브 영상을 생성하는 단계(S532)는 음성 처리 정보를 획득하는 경우 사용자의 음성 정보를 이용하는 인터렉티브 영상을 생성하도록 형성된다. 인터렉티브 영상은 사용자의 음성 정보를 이용하여 연극 영상과 상호작용을 수행하여 사용자가 연극에 참여하도록 할 수 있는 영상이다. The generating of the interactive image ( S532 ) is configured to generate an interactive image using the user's voice information when acquiring the voice processing information. The interactive image is an image that allows the user to participate in the play by performing an interaction with the play image using the user's voice information.
단계 S532는 이러한 인터렉티브 영상을 생성하기 위해 먼저 처리 결과에 포함된 음성 처리 정보 및 음성 처리 정보와 대응하는 대응 영상을 획득한다. 음성 처리 정보는 사용자의 음성 정보에서 획득한 연극 대사가 포함된다. 단계 S532는 대응 영상을 분석하여 배역별로 대응 영상을 절단할 수 있다.In step S532, in order to generate such an interactive image, first, audio processing information included in the processing result and a corresponding image corresponding to the audio processing information are obtained. The voice processing information includes play lines obtained from the user's voice information. In step S532, the corresponding image may be analyzed and the corresponding image may be cut for each role.
도 9에는 하나의 연극 영상의 대사가 나타나며, 등장 인물은 토끼(A), 호랑이(B) 및 거북이(C) 총 셋이다.9 shows the lines of one play video, and the characters are a rabbit (A), a tiger (B), and a turtle (C).
단계 S532는, 처리 결과에서 음성 처리 정보와 대응하는 대응 영상을 획득하면, 도 9의 가 - 마 와 같이 대사 배역과 배역 사이를 절단하도록 형성된다. 도 9를 이용하여 설명하면, 연극 영상에서의 대사 순서는 토끼, 호랑이, 토끼, 거북이, 거북이, 호랑이 순서이다.In step S532, when a corresponding image corresponding to the audio processing information is obtained from the processing result, a cut is made between the dialogue role and the cast, as shown in A - E of FIG. 9 . Referring to FIG. 9 , the order of lines in the play video is a rabbit, a tiger, a rabbit, a turtle, a turtle, and a tiger.
따라서, 단계 S532는 토끼(A)의 대사가 끝나고 호랑이(B)의 대사가 시작되기 전에 영상을 절단하여 가절단영상을 생성하고, 호랑이(B)의 대사가 끝나고 토끼(A)의 대사가 시작되기 전에 영상을 절단하여 나절단영상을 생성한다. 또, 토끼(A)의 대사가 끝나고 거북이(C)의 대사가 시작되기 전에 영상을 절단하여 다절단영상을 생성하며, 거북이(C)의 대사가 끝나고 호랑이(B)의 대사가 시작되기 전에 영상을 절단하여 라절단영상 및 마절단영상을 생성할 수 있다.Therefore, in step S532, the image is cut by cutting the image before the metabolism of the rabbit (A) is finished and the metabolism of the tiger (B) is started, and the metabolism of the rabbit (A) is started after the metabolism of the tiger (B) is finished The image is cut before being cut to create a bare-cut image. In addition, the image is cut by cutting the image before the metabolism of the rabbit (A) is finished and the metabolism of the turtle (C) is started, and the image is cut before the metabolism of the tiger (B) is started after the metabolism of the turtle (C) is finished. can be cut to generate a razor-cut image and a ma-cut image.
이때, 라절단영상에서는 대사가 두 줄이 존재하지만, 단계 S532는 상술한 바와 같이 배역과 배역 사이를 절단하도록 형성되며 거북이(C)가 두 대사를 모두 하기 때문에 하나의 절단영상으로 형성될 수 있다.At this time, although there are two lines of dialogue in the cut-out image, step S532 is formed to cut between the cast and the cast as described above, and since the turtle (C) performs both metabolites, it can be formed as a single cut image. .
단계 S532는 대응 영상의 절단 영상들을 생성하면, 음성 처리 정보에 포함된 대사가 존재하는 절단영상을 확인한다. 일 예로, 음성 처리 정보에 포함된 대사가 "안녕 난 토끼야" 이면, 단계 S532는 가절단영상이 대사가 음성 처리 정보에 포함된 대사가 존재하는 절단영상으로 확인할 수 있다.In step S532, when the cut images of the corresponding image are generated, the cut image in which the dialogue included in the audio processing information exists is checked. For example, if the dialogue included in the voice processing information is “Hello, I am a rabbit”, in step S532 , the provisional cut image may be identified as a cut image in which the dialogue is included in the voice processing information.
단계 S532는 이후, 확인한 절단영상에 대응하는 배역이 존재하는 모든 절단영상을 제거할 수 있다. 이는, 사용자가 "안녕 난 토끼야"라는 대사를 녹음했기 때문에 이후에 사용자가 토끼(A)의 배역을 수행하도록 하여 연극 영상과의 상호작용을 수행하도록 하기 위함이다.In step S532, thereafter, all cut images in which a cast corresponding to the checked cut image exists may be removed. This is to allow the user to perform the role of the rabbit (A) after the user has recorded the line "Hello, I'm a rabbit" so that the user can interact with the play image.
따라서, 도 9의 예시에서는 단계 S532는 가절단영상 및 다절단영상을 제거하여 나절단영상, 라절단영상 및 마절단영상만 남길 수 있다.Accordingly, in the example of FIG. 9 , in step S532, the provisional cut image and the multi-sectioned image may be removed to leave only the bare-cut image, the d-sectioned image, and the non-cut image.
한편, 상술한 단계 S531은 인터렉티브 영상을 출력하는 경우, 사용자의 추가 녹음이 발생하지 않는 경우 인터렉티브 영상을 특정 지점에서 정지하도록 형성될 수 있다.Meanwhile, the above-described step S531 may be configured to stop the interactive image at a specific point when the user's additional recording does not occur when the interactive image is output.
상술한 도 9의 예시에서 사용자가 토끼(A)의 배역을 수행하고 있기 때문에, 다절단영상의 토끼(A)의 대사 역시 사용자가 수행하여야 한다. 따라서, 단계 S531은 사용자가 "안녕 호랑이야. 근데 너는 이름이 뭐니?"라는 대사를 녹음하기 전까지는 라절단영상 및 마절단영상을 재생하지 않고 대기할 수 있다.In the example of FIG. 9 described above, since the user is performing the role of the rabbit (A), the user must also perform the metabolism of the rabbit (A) in the multi-cut image. Accordingly, in step S531, the user may wait without reproducing the cut-out video and the cut-out video until the user records the line "Hello, tiger, but what's your name?"
이를 통해 사용자는 토끼(A)의 배역을 대신하여 수행하게 되고, 호랑이(B)와 거북이(C) 배역은 기 저장된 연극 영상에서 수행함으로써, 사용자가 연극에 직접 참여할 수 있는 인터렉티브 영상을 출력하도록 할 수 있다.Through this, the user performs the role of the rabbit (A), and the role of the tiger (B) and the turtle (C) is performed from the pre-stored play image, so that the user can directly participate in the play. can
또, 본 발명의 일 실시예에서 단계 S531은 사용자의 다음 대사가 기 설정된 시간이 지나도록 녹음이 되지 않는 경우, 제외했던 해당 절단영상을 재생함으로써 사용자가 연극에서 이탈하더라도 연극영상을 재생할 수 있도록 할 수 있다.In addition, in an embodiment of the present invention, in step S531, when the user's next line is not recorded until a preset time has elapsed, the excluded cut image is played back so that the play video can be played even if the user leaves the play. can
이상 설명한 내용을 하나의 시나리오로 정리하면 아래와 같다.The above description can be summarized in one scenario as follows.
먼저, 사용자가 그림책(110)을 펼쳐 그림책(110)의 페이지를 최초로 촬영하면, 인터렉티브 영상 출력 방법(500)은 단계 S510을 이용하여 영상 정보를 획득한다. 영상 정보에는 그림 영역(111)과 QR코드 영역(112)이 포함되어 있기 때문에 단계 S520에서는 이미지 데이터와 QR 코드 데이터를 매칭시키고 저장할 수 있다. 또, 단계 S520에서는 해당 이미지 데이터의 특징점을 추출하고, 해당 이미지의 특징점들을 저장할 수 있다. 다음으로 단계 S530에서는 해당 영상 정보에 포함된 QR 코드를 이용하여 기 저장된 연극 영상 중 해당 QR코드와 매칭된 대응 영상을 단말기(130) 상의 디스플레이(131)로 출력하도록 하여 사용자가 그림책(110)과 연극을 선택적으로 소비할 수 있도록 할 수 있다.First, when the user opens the
한편, 그림책(110)의 QR코드 영역(112)이 훼손된 경우, 사용자가 그림책(110)의 그림 영역(111)을 촬영하면, 단계 S510은 영상 정보로 이미지 데이터를 획득할 수 있다. 다음으로 단계 S520은 획득한 이미지 데이터의 특징점을 추출하고 기 저장된 이미지 데이터들의 특징점들과 비교하며, 기 저장된 이미지 데이터와 획득한 이미지 데이터의 특징점들이 일치하는 이미지 데이터를 선정한다. 이후, 단계 S520에서는 기 저장된 이미지 데이터의 QR 코드 매칭 값을 통해 선정된 이미지 데이터와 매칭된 QR코드 데이터를 획득할 수 있다. QR 코드 데이터를 획득하면, 단계 S530은 해당 QR 코드와 매칭된 대응 영상을 단말기(130) 상의 디스플레이(131)로 출력하여 QR 코드의 훼손이 발생한 그림책(110)에서도 그림 영역(111)을 이용하여 연극을 소비할 수 있도록 할 수 있다.On the other hand, when the
또, 사용자가 그림책(110)을 영유아에게 읽어주는 경우 사용자가 특정 배역의 대사를 녹음하면, 단계 S510은 음성 정보를 획득하고, 획득한 음성 정보를 단계 S520에서 분석하여 녹음한 대사, 해당 배역 및 대응 영상을 확인할 수 있다. 단계 S530에서는 사용자의 녹음 대사를 이용하여 대응 영상을 배역별로 절단하고, 녹음 대사의 배역이 포함된 절단영상을 삭제한 후, 사용자의 녹음에 따라 절단영상을 출력함으로써 사용자가 연극 영상 내의 인물과 상호작용을 하는 인터렉티브 영상을 출력할 수도 있다.In addition, when the user reads the
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.Although one embodiment of the present invention has been described above, the spirit of the present invention is not limited to the embodiments presented herein, and those skilled in the art who understand the spirit of the present invention can add components within the scope of the same spirit. , changes, deletions, additions, etc. may easily suggest other embodiments, but this will also fall within the scope of the present invention.
110: 그림책 111: 이미지 영역
112: QR 코드 영역 120: 인터렉티브 영상 출력 시스템
121: 외부 정보 획득부 122: 외부 정보 처리부
123: 처리 결과 출력부 130: 사용자 단말기
131: 디스플레이 211: 영상 정보 획득 모듈
212: 음성 정보 획득 모듈 221: 영상 정보 처리 모듈
222: 음성 정보 처리 모듈 223: 처리 결과 획득 모듈110: picture book 111: image area
112: QR code area 120: interactive video output system
121: external information acquisition unit 122: external information processing unit
123: processing result output unit 130: user terminal
131: display 211: image information acquisition module
212: audio information acquisition module 221: image information processing module
222: voice information processing module 223: processing result acquisition module
Claims (20)
상기 그림책에 출력된 영상 정보 또는 사용자의 음성 정보를 외부 정보로 획득하도록 형성되는 외부 정보 획득부;
상기 외부 정보를 처리하여 상기 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하는 외부 정보 처리부; 및
상기 처리 결과를 전달 받아 상기 대응 영상을 출력하도록 형성되는 처리 결과 출력부;를 포함하며,
상기 외부 정보 획득부는, 상기 영상 정보에 포함된 QR 코드 데이터와 상기 대응 영상을 매칭 시켜 상기 매칭 정보를 생성하기 위해 형성 되고,
상기 외부 정보 획득부는,
상기 영상 정보를 촬영하여 획득하는 영상 정보 획득 모듈; 및
상기 음성 정보를 녹음하여 획득하는 음성 정보 획득 모듈;을 포함하며,
상기 영상 정보 획득 모듈은,
상기 영상 정보로 상기 QR 코드 데이터 또는 상기 그림책에 포함된 이미지 데이터를 포함하며,
상기 영상 정보 중 상기 영상 정보 획득 모듈을 활용하여 최초로 촬영되는 최초 영상 정보는 상기 QR 코드 데이터 및 상기 이미지 데이터를 모두 포함하고,
상기 외부 정보 처리부는,
상기 외부 정보 중 상기 영상 정보를 획득하여 처리하여 영상 처리 정보를 생성하는 영상 정보 처리 모듈;
상기 외부 정보 중 상기 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하는 음성 정보 처리 모듈; 및
상기 영상 처리 정보 또는 상기 음성 처리 정보를 포함하는 처리 정보를 이용하여 상기 대응 영상을 매칭하여 처리 결과를 생성하는 처리 결과 획득 모듈;을 포함하며,
상기 영상 정보 처리 모듈은,
상기 최초 영상 정보를 획득하는 경우 상기 그림책의 동일한 쪽에서 획득된 상기 QR 코드 데이터 및 상기 이미지 데이터를 서로 매칭시키고 상기 이미지 데이터의 특징점을 추출하는 처리를 수행하며,
상기 영상 정보를 획득하는 경우, 상기 영상 정보에 상기 이미지 데이터만 존재하는 경우 해당 이미지 데이터의 특징점을 추출하는 처리를 수행하고,
상기 음성 정보 처리 모듈은,
상기 음성 정보를 처리하기 위해 획득한 상기 음성 정보의 내용을 분석 및 획득하고 분석한 결과를 음성 처리 정보로 생성하며,
상기 처리 결과 획득 모듈은,
상기 영상 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하고,
상기 이미지 데이터만 존재하는 경우, 상기 해당 이미지 데이터의 특징점과 대응하는 상기 최초 영상 정보에서 획득한 특징점을 가지는 이미지 데이터를 획득한 후, 획득한 상기 이미지 데이터와 매칭되는 QR 코드 데이터를 획득한 후, 해당 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하며,
상기 대응 영상을 포함하는 상기 처리 결과를 생성하고,
상기 음성 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 음성 처리 정보인 대사를 획득하고, 획득한 상기 대사와 동일한 대사가 포함된 상기 대응 영상을 매칭한 매칭 영상을 포함하는 상기 처리 결과를 생성하며,
상기 처리 결과 출력부는,
상기 처리 결과에 포함된 상기 매칭 영상 또는 인터렉티브 영상을 재생하도록 형성되는 매칭 영상 출력 모듈; 및
상기 음성 처리 정보를 획득하는 경우, 상기 사용자의 상기 음성 정보를 이용하는 상기 인터렉티브 영상을 생성하는 인터렉티브 영상 생성 모듈;을 포함도록 형성되고,
상기 인터렉티브 영상은,
상기 대응 영상으로부터 각 배역 별로 절단되는 복수의 절단 영상을 획득하고, 상기 음성 정보를 획득하여 상기 음성 정보에 포함된 상기 대사의 배역의 상기 절단 영상을 상기 사용자의 목소리로 대체한 영상이며,
상기 매칭 영상 출력 모듈은,
상기 인터렉티브 영상을 출력하는 경우, 상기 사용자의 추가 녹음이 발생하지 않는 경우 해당 지점에서 상기 인터렉티브 영상의 출력을 정지하고 상기 지점에서부터 상기 대응 영상을 출력하는 인터렉티브 영상 출력 시스템. In the interactive image output system formed to output the image corresponding to the content by shooting the contents of the picture book,
an external information acquisition unit configured to acquire the image information output to the picture book or the user's voice information as external information;
an external information processing unit that processes the external information to match the corresponding image, and generates a processing result including the matching information; and
and a processing result output unit configured to receive the processing result and output the corresponding image;
The external information acquisition unit is formed to match the QR code data included in the image information and the corresponding image to generate the matching information ,
The external information acquisition unit,
an image information acquisition module for capturing the image information; and
Including; a voice information acquisition module for acquiring the voice information by recording
The image information acquisition module,
As the image information, it includes the QR code data or image data included in the picture book,
Among the image information, the first image information first photographed by using the image information acquisition module includes both the QR code data and the image data,
The external information processing unit,
an image information processing module for generating image processing information by acquiring and processing the image information among the external information;
a voice information processing module configured to obtain and process the voice information among the external information to generate voice processing information; and
a processing result obtaining module for generating a processing result by matching the corresponding image using the processing information including the image processing information or the audio processing information;
The image information processing module,
When acquiring the first image information, matching the QR code data and the image data acquired from the same side of the picture book with each other and extracting feature points of the image data is performed,
When acquiring the image information, when only the image data exists in the image information, a process of extracting feature points of the image data is performed,
The voice information processing module,
Analyzing and acquiring the content of the voice information acquired to process the voice information, and generating the analysis result as voice processing information,
The processing result acquisition module,
When the corresponding image is matched using the image processing information, the corresponding image previously matched with the QR code data is obtained,
When only the image data exists, after acquiring image data having a feature point obtained from the initial image information corresponding to the feature point of the corresponding image data, and then acquiring QR code data matching the acquired image data, Obtaining the corresponding image matched with the corresponding QR code data,
generating the processing result including the corresponding image,
When the corresponding image is matched using the audio processing information, the speech processing information is obtained, and the processing result including the matching image matching the corresponding image including the same lines as the obtained lines is obtained. create,
The processing result output unit,
a matching image output module configured to reproduce the matching image or the interactive image included in the processing result; and
Formed to include; an interactive image generating module that generates the interactive image using the voice information of the user when acquiring the voice processing information;
The interactive video is
It is an image in which a plurality of cut images cut for each role is obtained from the corresponding image, the audio information is obtained, and the cut image of the role of the dialogue included in the audio information is replaced with the user's voice,
The matching image output module,
In the case of outputting the interactive image, when the additional recording of the user does not occur, the interactive image output system stops outputting the interactive image at a corresponding point and outputs the corresponding image from the corresponding point.
상기 영상 정보 처리 모듈은, 상기 이미지 데이터를 처리하기 위해 특징점을 획득하고 획득한 특징점을 이용하여 복수개의 이미지 데이터들의 구분을 수행할 수 있는 SIFT 알고리즘을 이용하는 인터렉티브 영상 출력 시스템.The method of claim 1 ,
The image information processing module is an interactive image output system using a SIFT algorithm capable of obtaining a feature point to process the image data and classifying a plurality of image data using the acquired feature point.
외부 정보 획득부를 이용하여 상기 그림책에 출력된 영상 정보 또는 사용자의 음성 정보를 외부 정보로 획득하는 단계;acquiring the image information output to the picture book or the user's voice information as external information by using an external information acquisition unit;
외부 정보 처리부를 이용하여 상기 외부 정보를 처리하여 상기 대응 영상과 매칭시키고, 매칭 정보를 포함하는 처리 결과를 생성하는 단계;processing the external information using an external information processing unit to match the corresponding image, and generating a processing result including the matching information;
처리 결과 출력부를 이용하여 상기 처리 결과를 전달 받아 상기 대응 영상을 출력하는 단계;를 포함하며,Including; receiving the processing result using the processing result output unit and outputting the corresponding image;
상기 외부 정보로 획득하는 단계는, 상기 영상 정보에 포함된 QR 코드 데이터와 상기 대응 영상을 매칭 시켜 상기 매칭 정보를 생성하도록 형성되고,The acquiring as the external information is configured to generate the matching information by matching the corresponding image with the QR code data included in the image information,
상기 외부 정보로 획득하는 단계는,The step of obtaining the external information includes:
상기 영상 정보를 촬영하여 획득하는 단계; 및acquiring the image information by photographing; and
상기 음성 정보를 녹음하여 획득하는 단계;를 포함하며,Including; recording and obtaining the voice information;
상기 영상 정보를 촬영하여 획득하는 단계는,The step of acquiring the image information by photographing,
상기 영상 정보로 상기 QR 코드 데이터 또는 상기 그림책에 포함된 이미지 데이터를 포함하며, As the image information, it includes the QR code data or image data included in the picture book,
상기 영상 정보 중 상기 영상 정보 획득 모듈을 활용하여 최초로 촬영되는 최초 영상 정보는 상기 QR 코드 데이터 및 상기 이미지 데이터를 모두 포함하고,Among the image information, the first image information first photographed by using the image information acquisition module includes both the QR code data and the image data,
상기 처리 결과를 생성하는 단계는,The step of generating the processing result comprises:
상기 외부 정보 중 상기 영상 정보를 획득하여 처리하여 영상 처리 정보를 생성하는 단계;generating image processing information by obtaining and processing the image information among the external information;
상기 외부 정보 중 상기 음성 정보를 획득하여 처리하여 음성 처리 정보를 생성하는 단계; 및generating voice processing information by acquiring and processing the voice information among the external information; and
상기 영상 처리 정보 또는 상기 음성 처리 정보를 포함하는 처리 정보를 이용하여 상기 대응 영상을 매칭하여 처리 결과를 생성하는 단계;를 포함하며,generating a processing result by matching the corresponding image using the processing information including the image processing information or the audio processing information;
상기 영상 처리 정보를 생성하는 단계는,The step of generating the image processing information includes:
상기 영상 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하고, When the corresponding image is matched using the image processing information, the corresponding image previously matched with the QR code data is obtained,
상기 이미지 데이터만 존재하는 경우, 상기 해당 이미지 데이터의 특징점과 대응하는 상기 최초 영상 정보에서 획득한 특징점을 가지는 이미지 데이터를 획득한 후, 획득한 상기 이미지 데이터와 매칭되는 QR 코드 데이터를 획득한 후, 해당 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하며,When only the image data exists, after acquiring image data having a feature point obtained from the initial image information corresponding to the feature point of the corresponding image data, and then acquiring QR code data matching the acquired image data, Obtaining the corresponding image matched with the corresponding QR code data,
상기 대응 영상을 포함하는 상기 처리 결과를 생성하고,generating the processing result including the corresponding image;
상기 음성 처리 정보를 생성하는 단계는, 상기 음성 정보를 처리하기 위해 획득한 상기 음성 정보의 내용을 분석 및 획득하고 분석한 결과를 음성 처리 정보로 생성하며,The generating of the voice processing information includes analyzing and acquiring the content of the voice information acquired to process the voice information, and generating the analysis result as voice processing information,
상기 처리 결과를 선정하는 단계는,The step of selecting the processing result is,
상기 영상 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 QR 코드 데이터와 기 매칭된 상기 대응 영상을 획득하고, 상기 QR 코드 데이터가 존재하지 않거나 훼손된 경우, 획득한 상기 이미지 데이터의 구분 결과와 매칭되는 상기 QR 코드 데이터를 선정한 후, 상기 선정된 QR 코드 데이터에 기 매칭된 상기 대응 영상을 획득하며, 획득한 상기 대응 영상을 포함하는 상기 처리 결과를 생성하도록 형성되고,When the corresponding image is matched using the image processing information, the corresponding image previously matched with the QR code data is obtained, and when the QR code data does not exist or is damaged, the result of the classification of the acquired image data and After selecting the matching QR code data, acquiring the corresponding image previously matched to the selected QR code data, and generating the processing result including the obtained corresponding image,
상기 처리결과를 선정하는 단계는,The step of selecting the processing result is,
상기 음성 처리 정보를 이용하여 상기 대응 영상을 매칭하는 경우, 상기 음성 처리 정보인 대사를 획득하고, 획득한 상기 대사와 동일한 대사가 포함된 상기 대응 영상을 매칭한 매칭 영상을 포함하는 상기 처리 결과를 생성하도록 형성되며,When the corresponding image is matched using the audio processing information, the speech processing information is obtained, and the processing result including the matching image matching the corresponding image including the same lines as the obtained lines is obtained. formed to create
상기 대응 영상을 출력하는 단계는,Outputting the corresponding image comprises:
상기 처리 결과에 포함된 상기 매칭 영상 또는 인터렉티브 영상을 재생하는 단계; 및reproducing the matching image or interactive image included in the processing result; and
상기 음성 처리 정보를 획득하는 경우, 상기 사용자의 상기 음성 정보를 이용하는 상기 인터렉티브 영상을 생성하는 단계;를 포함하고,When acquiring the voice processing information, generating the interactive image using the voice information of the user;
상기 인터렉티브 영상은, The interactive video is
상기 대응 영상으로부터 각 배역 별로 절단되는 복수의 절단 영상을 획득하고, 상기 음성 정보를 획득하여 상기 음성 정보에 포함된 상기 대사의 배역의 상기 절단 영상을 상기 사용자의 목소리로 대체한 영상이며,It is an image in which a plurality of cut images cut for each role is obtained from the corresponding image, the audio information is obtained, and the cut image of the role of the dialogue included in the audio information is replaced with the user's voice,
상기 영상을 재생하는 단계는,Playing the video includes:
상기 인터렉티브 영상을 출력하는 경우, 상기 사용자의 추가 녹음이 발생하지 않는 경우 해당 지점에서 상기 인터렉티브 영상의 출력을 정지하고 상기 지점에서부터 상기 대응 영상을 출력하는 인터렉티브 영상 출력 방법.In the case of outputting the interactive image, when the additional recording of the user does not occur, the interactive image output method stops outputting the interactive image at a corresponding point and outputs the corresponding image from the corresponding point.
상기 영상 처리 정보를 생성하는 단계는, 상기 이미지 데이터를 처리하기 위해 특징점을 획득하고 획득한 특징점을 이용하여 복수개의 이미지 데이터들의 구분을 수행할 수 있는 SIFT 알고리즘을 이용하는 인터렉티브 영상 출력 방법. 12. The method of claim 11,
The generating of the image processing information may include obtaining a feature point to process the image data and using the acquired feature point an interactive image output method using a SIFT algorithm capable of performing classification of a plurality of image data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210009448A KR102443582B1 (en) | 2021-01-22 | 2021-01-22 | Interactive video output system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210009448A KR102443582B1 (en) | 2021-01-22 | 2021-01-22 | Interactive video output system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220106486A KR20220106486A (en) | 2022-07-29 |
| KR102443582B1 true KR102443582B1 (en) | 2022-09-16 |
Family
ID=82606450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210009448A KR102443582B1 (en) | 2021-01-22 | 2021-01-22 | Interactive video output system and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102443582B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101539058B1 (en) * | 2014-06-20 | 2015-07-23 | 연세대학교 산학협력단 | Image classfication and detection apparatus and method thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110109488A (en) * | 2010-03-31 | 2011-10-06 | (주)스포크시스템즈 | System and method for linking multimedia contents to general books |
| KR101335317B1 (en) * | 2011-04-13 | 2013-12-03 | 에스케이플래닛 주식회사 | Video playing apparatus, terminal with video remote control function and operating method thereof |
| KR20130002614A (en) * | 2011-06-29 | 2013-01-08 | 안동대학교 산학협력단 | Method for utilizing interlock of p-book and e-book |
| KR20180020356A (en) | 2016-08-17 | 2018-02-28 | 주식회사 인터키드 | A sound book of recording and replaying sound by recognizing the current page |
-
2021
- 2021-01-22 KR KR1020210009448A patent/KR102443582B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101539058B1 (en) * | 2014-06-20 | 2015-07-23 | 연세대학교 산학협력단 | Image classfication and detection apparatus and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220106486A (en) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111182347B (en) | Video clip cutting method, device, computer equipment and storage medium | |
| US7945439B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP4683116B2 (en) | Information processing apparatus, information processing method, information processing program, and imaging apparatus | |
| EP3993434A1 (en) | Video processing method, apparatus and device | |
| US20120196260A1 (en) | Electronic Comic (E-Comic) Metadata Processing | |
| JP2009540414A (en) | Media identification | |
| WO2014161282A1 (en) | Method and device for adjusting playback progress of video file | |
| KR102196199B1 (en) | Photograph sharing method, apparatus and system based on voice recognition | |
| JP2010066844A (en) | Method and device for processing video content, and program for processing video content | |
| CN110032355B (en) | Voice playing method and device, terminal equipment and computer storage medium | |
| US11232790B2 (en) | Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system | |
| CN102244788A (en) | Information processing method, information processing device, scene metadata extraction device, loss recovery information generation device, and programs | |
| JP4659569B2 (en) | Imaging device | |
| US11720321B2 (en) | Vehicle and control method thereof | |
| JP2010252008A (en) | Imaging device, displaying device, reproducing device, imaging method and displaying method | |
| KR102443582B1 (en) | Interactive video output system and method | |
| JP5320913B2 (en) | Imaging apparatus and keyword creation program | |
| CN110324702B (en) | Information pushing method and device in video playing process | |
| WO2016188304A1 (en) | Photographing method and device | |
| JP5847646B2 (en) | Television control apparatus, television control method, and television control program | |
| JP2753538B2 (en) | Multimedia database storage and retrieval device | |
| JP3927155B2 (en) | Dialog recording apparatus and dialog recording program | |
| KR101994086B1 (en) | a system voice changed story telling device and the mehtod thereof | |
| KR20190089335A (en) | Personalized Voice Recognition Device Using Speaker Analysis and Voice Recognition Method thereof, Recording Medium for Performing the Method | |
| US11430483B2 (en) | System, method, and kit for using triggering objects to create concatenated audio/video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |