WO2019225851A1 - 전자 장치 및 그의 컨텐츠 인식 정보 획득 - Google Patents

전자 장치 및 그의 컨텐츠 인식 정보 획득 Download PDF

Info

Publication number
WO2019225851A1
WO2019225851A1 PCT/KR2019/003304 KR2019003304W WO2019225851A1 WO 2019225851 A1 WO2019225851 A1 WO 2019225851A1 KR 2019003304 W KR2019003304 W KR 2019003304W WO 2019225851 A1 WO2019225851 A1 WO 2019225851A1
Authority
WO
WIPO (PCT)
Prior art keywords
server
fingerprint
recognition information
content recognition
electronic device
Prior art date
Application number
PCT/KR2019/003304
Other languages
English (en)
French (fr)
Inventor
최현수
김민수
김성진
김영욱
김일구
김현한
최지웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180157354A external-priority patent/KR102546026B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/053,289 priority Critical patent/US11575962B2/en
Priority to CN201980034329.0A priority patent/CN112154671B/zh
Priority to EP19806480.0A priority patent/EP3748982B1/en
Publication of WO2019225851A1 publication Critical patent/WO2019225851A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection

Definitions

  • the present disclosure relates to an electronic device and a method of obtaining the content recognition information thereof.
  • the source of broadcast content or multimedia content is changing from a single airborne source to various sources such as cable, Internet Protocol TV (IPTV), and Video On Demand (VOD).
  • sources such as cable, Internet Protocol TV (IPTV), and Video On Demand (VOD).
  • IPTV Internet Protocol TV
  • VOD Video On Demand
  • sources that provide information such as personalized advertising or program recommendations.
  • Information such as customized advertisements or program recommendations needs to be appropriately provided according to the current output scene. For example, an advertisement message for a particular product is most effectively displayed together when the scene in which the product is exposed is displayed. Accordingly, there is a need for a technology that recognizes what content the user is currently watching. In addition to personalized advertising, content recognition technology is required for audience rating research and viewing pattern research.
  • an electronic device transmits a recognition request for content that is currently being played to a server
  • a technology for recognizing content by receiving a response from the server has appeared.
  • ACR Automatic Contents Recognition
  • a plurality of servers storing image related information matching the pre-generated fingerprint are required. For example, multiple servers may be needed to process fingerprints received from numerous devices that play content. Thus, the cost of using or managing multiple servers may be required.
  • a cost for supporting the same is also required.
  • the present disclosure is devised in accordance with the above-described problem, and an object of the present disclosure is to provide an electronic device communicating with a server and a method of providing content recognition information thereof.
  • a method of acquiring content recognition information of an electronic device may further include capturing an image of content, and when a text area is identified in the captured image, from the text area. Recognize a character to obtain content recognition information matching the recognized character from the server, and if a character region is not identified in the captured image, a fingerprint is extracted from the captured image to match the extracted fingerprint Obtaining at least one of content recognition information corresponding to the acquired character and content recognition information matching the fingerprint.
  • a method of acquiring content recognition information of an electronic device including capturing an image of content, extracting a fingerprint from the captured image, and extracting the extracted finger. Transmitting a print to a server, and if recognition of the fingerprint is successful, acquires content recognition information matching the fingerprint from the server, and if recognition of the fingerprint fails, includes it in the captured image. Obtaining content recognition information matching the matched character from the server, and storing at least one of content recognition information matching the fingerprint and content recognition information matching the character.
  • An electronic device for achieving the above object includes a communication unit capable of communicating with a server, a memory storing instructions, and at least one processor electrically connected to the communication unit and the memory. And the memory, when the electronic device is executed, the at least one processor captures an image of the content and recognizes a character from the character area when the character area is identified in the captured image. If content recognition information matching the extracted character is obtained from the server through the communication unit and a text area is not identified in the captured image, a fingerprint is extracted from the captured image and matched with the extracted fingerprint. Obtaining content recognition information from the server through the communication unit; And instructions configured to store at least one of content recognition information matching the acquired character and content recognition information matching the fingerprint.
  • the communication unit capable of communicating with the server, a memory for storing instructions, and at least one electrically connected to the communication unit and the memory
  • the processor when the electronic device is executed, the at least one processor extracts a fingerprint from the captured image, transmits the extracted fingerprint to a server through the communication unit, and When the recognition of the fingerprint is successful, content recognition information matching the fingerprint is obtained from the server through the communication unit, and when the recognition of the fingerprint fails, the character is included in the captured image.
  • the fingerprint Instructions configured to store at least one of content recognition information matching the text and content recognition information matching the text.
  • a server may include a communication unit capable of communicating with an electronic device, a first database including a plurality of first image related information corresponding to each of a plurality of fingerprints, and At least one memory including a second database including a plurality of second image related information corresponding to each of the plurality of characters, and at least one processor connected to the at least one communication unit and the at least one memory. .
  • the at least one processor controls the communication unit to receive a query related to content that the user is watching from the electronic device, and when the received query includes a fingerprint, first image related information matching the fingerprint.
  • a server may include a communication unit capable of communicating with an electronic device, a first database including a plurality of first image related information corresponding to each of a plurality of fingerprints, and At least one memory including a second database including a plurality of second image related information corresponding to each of the plurality of characters, and at least one processor connected to the at least one communication unit and the at least one memory.
  • the at least one memory when the server is running, the at least one processor controls the communication unit to receive a query related to the content that the user is watching from the electronic device, the fingerprint is included in the received query
  • the first image related information matching the fingerprint is searched in the first database, and if the received query includes a character, the second image related information matching the character is searched in the second database.
  • Search and store instructions configured to control the communication unit to transmit the retrieved first image related information or the second image related information to the electronic device as content recognition information related to the content.
  • a computer program product for achieving the above object is controlled to capture an image of content, and when a text area is identified in the captured image, a character is recognized from the text area. Control to obtain content recognition information matching the recognized character from a server, and if a character region is not identified in the captured image, a fingerprint is extracted from the captured image and matched with the extracted fingerprint. Controlling the processor to obtain content recognition information from the server, and controlling to store at least one of content recognition information matching the obtained character and content recognition information matching the fingerprint. Contains commands set up to
  • the consumption of resources due to additional acquisition or maintenance of the fingerprint can be reduced.
  • a maintenance cost of a server that stores or manages image related information matching a large amount of fingerprints may be reduced.
  • the image recognition range (or image recognition probability) is greatly improved because not only the content recognition information using the fingerprint but also the content recognition information can be obtained using the characters included in the captured image. Can be.
  • FIG. 1 is a diagram illustrating a content recognizing system according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a detailed block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for describing a character area according to an exemplary embodiment.
  • 5 to 7 are flowcharts illustrating a process of an electronic device obtaining content recognition information from a server according to an embodiment of the present disclosure.
  • FIGS. 8 to 10 are flowcharts illustrating a process of obtaining content recognition information by an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 12 is a block diagram of a server including a branch unit according to an embodiment of the present disclosure.
  • FIG. 13 is a block diagram of an electronic device including a branch according to an exemplary embodiment of the present disclosure.
  • FIG. 14 is a block diagram of a server according to an embodiment of the present disclosure.
  • 15 is a flowchart of a server according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” may include the presence of a corresponding feature (e.g., numerical value, function, operation, or component such as a component). Does not exclude the presence of additional features.
  • the expression "A or B,” “at least one of A or / and B,” or “one or more of A or / and B,” and the like may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various components in any order and / or in importance. It is used to distinguish it from other components and does not limit the components.
  • first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as a second component, and similarly, the second component may be renamed to the first component.
  • module As used in this disclosure, terms such as “module”, “unit”, “part”, and the like are used to refer to a component that performs at least one function or operation, and such components are implemented in hardware or software. Or a combination of hardware and software. In addition, a plurality of “modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with a particular specific hardware, and is at least one processor. It can be implemented as.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • Content in the present disclosure may include an image, an image, an audio, or a combination thereof.
  • content includes broadcast content (or broadcast program), live broadcast content, recorded broadcast content, advertising content, digital video recorder (DVR) content, VOD (Video On Demand) content, VoD / OTT non-linear content, UGC content, or a combination thereof.
  • FIG. 1 is a diagram illustrating a content recognizing system according to an exemplary embodiment of the present disclosure.
  • the content recognition system may include a server (or cloud) 200 including the electronic device 100 and one or more servers.
  • the electronic device 100 may be a device that receives a content signal and provides an image and / or audio based on the content signal, or through another electronic device connected to the electronic device 100.
  • it may be a television, a set-top box, a TV box (eg, Samsung HomeSync TM, Samsung One Connect Box TM, Apple TV TM or Google TV TM).
  • the electronic device 100 may be a display device 100a.
  • the display device 100a may be a television, but this is only an example, and includes a smartphone, a tablet personal computer, an e-book reader, and a desktop PC including a display unit.
  • wearable devices may be accessory (eg, watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs), textiles, or clothing) (
  • HMDs head-mounted-devices
  • textiles or clothing
  • wearable devices may include at least one of an electronic garment, a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • the electronic device 100 may be a content providing device 100b that provides content to the display device 100a.
  • the content providing device 100b may be a broadcast content receiving device such as a set-top box, but this is only an example, and may include a smart phone, a tablet PC, an e-book reader, a desktop PC, a laptop PC, a netbook computer, PMP), a medical device, a vehicle head unit, a POS of a store, an Internet of Things device, a camcorder, an electronic frame, a wearable device, or a server.
  • the electronic device 100 may capture an image of content being played and extract a fingerprint of the image by using the image of the captured content.
  • the fingerprint is characteristic data indicating a characteristic of an image, and may be referred to as fingerprint data, DNA data or genetic data, for example.
  • the fingerprint extracted from the image may include, for example, a motion vector, color information, picture vector, or the like of the image.
  • the feature data may be different from the normal metadata in that the feature data reflects the characteristics of the signal of the content itself.
  • the server 200 may include a database including image related information (or information related to the image).
  • the server 200 may consist of one or more servers.
  • the server 200 may include at least one of a fingerprint matching server 210, a capture server 220, and an image related information server (eg, an EPG server and a metadata dedicated server) 230.
  • the fingerprint matching server 210 may prepare the fingerprint and image related information matching the fingerprint.
  • the capture server 220 may extract the fingerprint from each image (or frame) of the broadcast scheduled content provided from the content source.
  • the capture server 220 may transmit the broadcast channel name and / or broadcast time associated with the extracted fingerprint to the image related information server 230.
  • the capture server 220 may transmit a broadcast channel name and a broadcast time associated with the extracted fingerprint to the image related information server 230.
  • the capture server 220 may obtain image related information based on the broadcast channel name and the broadcast time from the image related information server 230.
  • the image related information may include, for example, broadcast program related information such as a broadcast program name and a genre of the broadcast program.
  • the capture server 220 may match the previously extracted fingerprint with the acquired image related information.
  • the capture server 220 may provide the fingerprint matching server 210 with the fingerprint and image related information matching the fingerprint.
  • the fingerprint matching server 210 may receive the fingerprint extracted from the image captured from the content from the electronic device 100.
  • the fingerprint matching server 210 may receive a personalized service ID (PSID) and time information identifying the electronic device 100 or the user of the electronic device 100 together with the fingerprint.
  • PSD personalized service ID
  • the fingerprint matching server 210 may acquire the image information matching the fingerprint by recognizing the received fingerprint.
  • the fingerprint matching server 210 may transmit the acquired image related information as the content recognition information to the electronic device 100 as a response corresponding to the reception of the image captured from the content. That is, when the electronic device 100 is a digital TV, the content recognition information may be image related information acquired by the digital TV from the server as a result of recognizing the content being viewed by the user.
  • the image related information server 230 may store image related information related to the content itself or each image of the content.
  • the image related information may include, for example, at least one of metadata, an identifier of metadata, and address information where metadata is located.
  • the metadata may include, for example, at least one of a content identifier (or program identifier), a content name (or program name), and an electronic program guide (EPG) metadata.
  • the metadata may include at least one of information on the performer of the content or the image, information on an object of the content or the image, channel information to reproduce the content, and broadcasting station information to reproduce the content.
  • the system of FIG. 1 may further include an analysis server (not shown).
  • the analysis server may obtain the viewing log information of the user from the electronic device 100 and analyze it.
  • the viewing log information of the user may include content recognition information acquired using the PSID and the captured image.
  • the analysis server may determine additional service information related to the image watched by the user based on the viewing log information of the user.
  • the analysis server may control the analysis server itself or another interworking server so that the determined additional service information is provided to the electronic device 100.
  • the additional service information may be, for example, a real-time news article related to the performer of the image, information for recommending a movie that the performer appears as a main character, and advertisement information about an object included in the image.
  • the additional service information for example, the additional service image, the address of the server providing the additional service, the acquisition path of the additional service, the address for the additional service, the start time of the additional service, the end time of the additional service, the life cycle of the additional service (lifetime), the description of the additional service may include at least one.
  • At least one of the electronic device 100, the server 200, and an analysis server may be communicatively connected to each other through a local area network or a remote network.
  • the communication connection with each other may include a direct connection with a short range communication technology or a communication connection through a third repeater.
  • the third repeater may include, for example, at least one of a base station, a hub, an access point, a gateway, a switch, a relay server, a relay server, and a front-end server.
  • FIG. 2 is a block diagram of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include a communication unit 120, a memory 130, and a processor 110. Although not shown in accordance with the embodiment, appropriate hardware / software configurations that are obvious to those skilled in the art may be further included in the electronic device 100.
  • the communication unit 120 of the electronic device 100 may be connected to a network through wireless or wired communication to communicate with an external device (eg, the server 200).
  • the communication unit 120 may include infrared data association (IrDA), radio frequency identification (RFID), near field communication (NFC), wireless fidelity (WiFi), ultra wideband (UWB), wireless display (WiDi), WiHD (WirelessHD), WHDI (Wireless Home Digital Interface), Miracast, Wigig (Wireless Gigabit Alliance), Wi-Fi Direct, Bluetooth (ex.Bluetooth Classic), Bluetooth Low Energy ( Bluetooth Low Energy), AirPlay, Z-wave, 4LoWPAN, LTE D2D, GPRS, Weightless, Edge Zigbee, DLNA (Digital Living Network Alliance), ANT +, Digital Enhanced Cordless Telecommunications (DECT), wireless local area Communication with an external device may be performed through a communication method such as a network, a Global System for Mobile communications (GSM), a Universal Mobile Telecommunication System (UMTS), a
  • the memory 130 of the electronic device 100 may include, for example, an internal memory or an external memory.
  • the internal memory may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), non-volatile memory (for example, OTPROM (one). time programmable ROM (PROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash), hard drives, Or it may include at least one of a solid state drive (SSD).
  • volatile memory for example, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory for example, OTPROM (one).
  • the external memory may be a flash drive such as compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (XD), It may include a multi-media card (MMC) or a memory stick.
  • the external memory may be functionally and / or physically connected to the electronic device 100 through various interfaces.
  • the memory 130 is accessed by the processor 110 and read / write / modify / delete / update of data by the processor 110.
  • the term memory may include at least one of a memory provided separately from the processor 110, a ROM in the processor 110, and a RAM (not shown).
  • the processor 110 is a component for controlling the overall operation of the electronic device 100.
  • the processor 110 may drive an operating system or an application program to control a plurality of hardware or software components connected to the processor 110, and may perform various data processing and operations.
  • the processor 110 may be a central processing unit (CPU) or graphics-processing unit (GPU) or both.
  • the processor 110 may be implemented with at least one general processor, a digital signal processor, an application specific integrated circuit (ASIC), a system on chip (SoC), a microcomputer (MICOM), or the like.
  • the processor 110 may perform an operation of the electronic device 100 according to various embodiments of the present disclosure by executing computer executable instructions stored in the memory 130.
  • the memory 110 captures an image of the content and according to the identification result of the character area included in the captured image, Recognizes a character from a text area and acquires content recognition information matching the recognized character from the server 200 through the communication unit 120 or extracts a fingerprint from a captured image and matches the extracted fingerprint.
  • the identification information may be obtained from the server 200 through the communication unit 120, and may store instructions configured to store at least one of content recognition information matching the obtained character and content recognition information matching the fingerprint.
  • the memory 130 recognizes the text from the text area and provides the server 200 with content recognition information matching the recognized text. ) Can be stored through the communication unit 120.
  • the memory 130 extracts a fingerprint from the captured image and matches the content recognition information with the extracted fingerprint. May store instructions set to be obtained from the server 200 through the communication unit 120.
  • the memory 130 may determine, from the server 200, content recognition information matching the recognized character according to a result of the processor 110 confirming whether the captured image is a recognition target of the fingerprint. Instructions set to be acquired through the communication unit 120 may be stored.
  • the memory 130, the processor 110 transmits the recognized character to the server 200 through the communication unit 120, and the captured image is fingerprinted based on the transmitted character. If it is identified that is not the recognition target of the, it is possible to store the instructions set to obtain the content recognition information matching the recognized character from the server 200 through the communication unit 120.
  • the memory 130 may store instructions configured to transmit the stored content recognition information to an external analysis server that analyzes a user's viewing log.
  • the server 200 that provides content recognition information matching the text may be a text matching server (eg, the image related information server 230 of FIG. 1) included in the server 200.
  • the server 200 that provides content recognition information matched to the fingerprint may be a fingerprint matching server (eg, the fingerprint matching server 210 of FIG. 1) included in the server 200.
  • the content recognition information may include metadata related to the captured image, a storage address of the metadata, or an identifier of the metadata.
  • the memory 130 may capture an image of content, extract a fingerprint from the captured image, and extract the extracted fingerprint. Is transmitted to the server 200 through the communication unit 120, and according to a fingerprint recognition result, content recognition information matching the fingerprint is acquired from the server 200 through the communication unit 120, or the captured image. Instructions configured to obtain content recognition information matching the character included in the server from the server 200 through the communication unit 120 and to store at least one of content recognition information matching the fingerprint and content recognition information matching the character. Can be stored.
  • the memory 130 transmits a character recognized from the text area to the text matching server, and the text in the captured image. If the region is not identified, instructions set to transmit the extracted fingerprint to the fingerprint matching server may be stored.
  • the memory 130 allows the processor 110 to identify a type of content and based on the type of the identified content, whether the character area is identified or not, from the captured image.
  • Commands configured to extract the print and acquire content recognition information matching the extracted fingerprint from the server 200 through the communication unit 120 may be stored.
  • FIG. 3 is a detailed block diagram of an electronic device 100 according to another exemplary embodiment of the present disclosure.
  • the processor 110 of the electronic device 100 may include an image capture unit 310, an ACR engine 320, and an OCR engine 330.
  • the image capture unit 310 may capture an image of the content.
  • the image capturing unit 310 may capture an image being reproduced by the display apparatus 100a.
  • the image capture unit 310 may capture one or more frames in the image being played.
  • the image capture unit 310 may capture at least one of odd-numbered field pictures and even-numbered field pictures in the image.
  • the image capture unit 310 may capture an image displayed on a screen or capture a video signal constituting content.
  • the image capture unit 310 may capture an image every predetermined period (for example, one value between 0.3 seconds and 1 second).
  • the image capture unit 310 may deliver the captured image to the ACR engine 320.
  • the ACR engine 320 may be configured to include the image capture unit 310.
  • the ACR engine 320 may include a fingerprint extractor 321 and a first content recognition information acquirer 323.
  • the fingerprint extractor 321 may extract a fingerprint from the captured image.
  • the fingerprint extractor 321 may extract a fingerprint except for a predetermined region from an image.
  • the predetermined area may be, for example, an area where subtitles, logos, advertisement information, or broadcast channel information are to be located.
  • the fingerprint extractor 321 transmits the captured image to an external server (not shown) to acquire a fingerprint of the captured image as a result of recognizing the image captured by the external server (not shown). You may.
  • the first content recognition information acquisition unit 323 may obtain content recognition information matching the extracted fingerprint.
  • the first content recognition information acquisition unit 323 may transmit the fingerprint to the server 200 through the communication unit 120.
  • the server 200 may include, for example, the fingerprint matching server 210 of FIG. 1.
  • the server 200 receiving the fingerprint may perform recognition of the fingerprint.
  • the server 200 performs recognition of the received fingerprint, such that the server 200 searches for a pre-stored fingerprint that is similar or identical to the received fingerprint, and the image related information matched to the retrieved fingerprint. This may mean trying to acquire.
  • the server 200 checks the similarity between the received fingerprint and the fingerprints previously stored in the server 200, so that the two fingerprints if the similarity of the two fingerprints is below the threshold (or exceeds the threshold). If they are the same, and if the similarity of the two fingerprints exceeds the threshold (or less than the threshold), it can be determined that the two fingerprints are different. For example, the server 200 may compare two images by using a matching method using a hamming distance.
  • the server 200 determines that the two fingerprints are the same or similar to each other as a result of checking the similarity between the acquired fingerprint and the previously stored fingerprint, the server 200 stores the same or similar previously stored fingerprint.
  • the image related information matched with may be determined as content recognition information matched with the received fingerprint.
  • the image related information may be obtained from a database of the fingerprint matching server 210 of FIG. 1 or a database of the image related information server 230.
  • the server 200 may search the database using, for example, a binary search technique (eg, B-tree or hashing). Meanwhile, the technique of comparing the two fingerprints or searching the database by the server 200 is not limited to the above-described techniques, and may be replaced with another algorithm within a range that can be implemented by those skilled in the art.
  • the server 200 may transmit content recognition information matching the received fingerprint to the electronic device 100.
  • the electronic device 100 receives the content recognition information through the communication unit 120
  • the first content recognition information acquisition unit 323 stores the content recognition information matching the received fingerprint as the user's viewing log information as the memory 130. ) Can be stored.
  • the server 200 may transmit a failure message (or an unknown message) indicating the failure of the fingerprint recognition to the electronic device 100.
  • Failure of the server 200 to recognize the fingerprint may include, for example, failure of the server 200 to retrieve a pre-stored fingerprint that is the same or similar to the received fingerprint.
  • the server 200 may fail to search for image related information matching the retrieved fingerprint.
  • the optical character recognition (OCR) engine 330 may include a character area identification unit (or a character area detection unit) 331, a character recognition unit 333, and a second content recognition information acquisition unit 335.
  • the text area identification unit 331 may identify the text area included in the captured image.
  • the text area may include, for example, an OSD area or a UI area in a predefined form.
  • the text area may include, for example, a caption area, a logo area, an advertisement information area, a broadcast channel information area, or an area in which text is included in content.
  • 4 is a diagram for describing an example of a text area according to an exemplary embodiment. 4A and 4B illustrate captured images according to an embodiment of the present disclosure.
  • 401 and 408 represent a broadcast channel information area (e.g., an EPG area)
  • 402, 403, 404 represent an advertising information area
  • 406 represent a logo area
  • 405 and 407 are areas containing characters in the content. Indicates.
  • the text area identification unit 331 may detect the text area using, for example, an artificial intelligence algorithm (for example, a neural network algorithm, a deep learning algorithm, or the like) or a specific UI template.
  • the specific UI template may be, for example, a template in which text provided by an OSD, a banner, a content source company, or an advertisement company is inserted.
  • the character recognition unit 333 may recognize a character included in the character area. Recognized characters may be, for example, channel number, content title (or broadcast program name), content content, content source address, content start / play / end time, cable broadcaster, set-top box provider or advertisement content. have.
  • the character recognition unit 333 may recognize one or more languages. Alternatively, the character recognition unit 333 may recognize a sentence in which multiple languages are mixed.
  • the text recognition unit 333 may transmit the text area to an external text recognition server (not shown), and may acquire a text included in the text area from the text recognition server (not shown).
  • the second content recognition information acquisition unit 335 may obtain content recognition information matching the recognized character.
  • the second content recognition information acquisition unit 335 may transmit the recognized text to the server 200 through the communication unit 120.
  • the server 200 may be, for example, a character matching server and may include the image related information server 230 of FIG. 1.
  • the server 200 receiving the text may search for image related information matching the text.
  • the server 200 may search for image related information including at least a part of the recognized text.
  • the server 200 may search for image related information having high similarity or relevance to the recognized character.
  • the server 200 may search for image related information including the content title or highly related to the content title.
  • the server 200 may transmit the retrieved image related information to the electronic device 100 as content recognition information.
  • the second content recognition information acquisition unit 335 uses the content recognition information matching the received text as the user's viewing log information as the memory 130. Can be stored in
  • the content recognition information may be a metadata identifier or a metadata storage address.
  • the second content recognition information acquisition unit 335 may receive the metadata identifier or the metadata storage address first, and then obtain the actual metadata by using the previously obtained metadata identifier or the metadata storage address. have.
  • the server 200 may transmit a failure message (or an unknown message) indicating the failure of the content recognition information to the electronic device 100.
  • a process of obtaining content recognition information matching a letter may be performed by the electronic device 100.
  • the memory 130 of the electronic device 100 may include image related information (eg, EPG information) corresponding to each of the characters.
  • Image related information may be received from the server 200 and stored in the memory 130 at a predetermined time, periodic or event occurrence.
  • the electronic device 100 may receive image related information from the server 200 and store the image-related information in the memory 130.
  • the second content recognition information acquisition unit 335 may search for image-related information matching the character recognized by the character recognition unit 333 in the memory of the electronic device 100.
  • the second content recognition information obtaining unit 335 may use the retrieved image related information as content recognition information matching the recognized character.
  • the OCR engine 330 when the ACR engine 320 fails to extract the fingerprint from the captured image or fails to recognize the fingerprint, the OCR engine 330 recognizes content that matches a character included in the captured image. Information can be obtained. For example, when the electronic device 100 receives a failure message indicating the failure of the fingerprint recognition from the server 200, the OCR engine 330 may acquire content recognition information that matches a character included in the captured image. Can be.
  • the OCR engine 330 may omit the text area identification process and may immediately obtain the text included in the captured image. In addition, the OCR engine 330 may obtain content recognition information matching the obtained character.
  • the process of the OCR engine 330 identifying a text area included in the captured image, and the text included in the text area. At least one of the process of recognizing the data and obtaining the content recognition information matching the text may be performed together.
  • the OCR engine 330 may first identify the text area. In this case, if the OCR engine 330 fails to identify the text area, the ACR engine 320 may obtain content recognition information matching the fingerprint from the server 200. On the other hand, if the OCR engine 330 succeeds in identifying the text area, the OCR engine 330 may recognize the text from the text area and may acquire content recognition information matching the recognized text from the server 200. In this case, the process of obtaining, by the ACR engine 320, the content recognition information matching the fingerprint from the server 200 may be omitted.
  • the image capturing unit 310 may capture the next image of the content.
  • the storing of the viewing log information in the memory 130 may include being temporarily stored for transmission to an external device.
  • the processor 110 of the electronic device 100 may control the communicator 120 to transmit temporarily stored viewing log information to an analysis server (not shown).
  • 5 to 7 are diagrams illustrating a process of acquiring content recognition information according to another exemplary embodiment of the present disclosure.
  • each system may include an electronic device 100 and a server 200.
  • the processor 110 of the electronic device 100 may capture an image of content (501).
  • the processor 110 of the electronic device 100 may extract a fingerprint from the captured image (502).
  • the processor 110 of the electronic device 100 may control the communicator 120 to transmit the extracted fingerprint to the server 200 (503).
  • the server 200 may perform recognition of the received fingerprint (505).
  • the server 200 may search for a pre-stored fingerprint that is the same as or similar to the received fingerprint, and may obtain image related information that matches the found fingerprint.
  • the server 200 may search for image related information matching the received fingerprint in various databases.
  • the server 200 may include a live content database (DB), a VOD content database (DB), a digital video recorder (DVR) content (eg, recorded content) database (DB), and custom content (eg, advertising content).
  • DB live content database
  • DB VOD content database
  • DVR digital video recorder
  • DB recorded content database
  • custom content eg, advertising content
  • the server 200 may acquire the recognition result by performing the recognition of the received fingerprint (507).
  • the server 200 may transmit the recognition result of the acquired fingerprint to the electronic device 100 (509). For example, if the server 200 succeeds in recognizing the fingerprint, the server 200 may transmit the content recognition information matching the fingerprint to the electronic device 100 as a recognition result. On the other hand, if the server 200 fails to recognize the fingerprint, the server 200 may transmit a failure message indicating the failure of the fingerprint recognition to the electronic device 100.
  • the processor 110 of the electronic device 100 may determine whether recognition of the captured image has failed or succeeds based on the received recognition result (511).
  • the recognition success probability of the captured image may be, for example, about 50% to 70%
  • the recognition failure probability of the captured image may be, for example, about 30% to 50%.
  • the recognition success probability or the recognition failure probability may mean, for example, a probability that the recognition of an image captured in a specific period (for example, one week, one month, etc.) or a specific person succeeds or fails.
  • the processor 110 of the electronic device 100 may control the memory 130 to store content recognition information matching the obtained fingerprint as the viewing log information of the user. It may be 513.
  • the processor 110 of the electronic device 100 includes a text area (for example, an OSD area or a predefined type UI area) in the captured image. It may be determined (515).
  • a text area for example, an OSD area or a predefined type UI area
  • the processor 110 of the electronic device 100 may recognize the captured image.
  • the processor 110 of the electronic device 100 may recognize the text included in the identified text area (517).
  • the processor 110 of the electronic device 100 records that the captured image is in an unrecognized state (or unknown state). Can be done (513).
  • the processor 110 of the electronic device 100 may control the communication unit 120 to transmit the recognized text to the server 200 (519).
  • the server 200 may search for image related information matching the text (521). For example, the server 200 may search for image information matching a character in the EPG database.
  • the server 200 may transmit a text matching result to the electronic device 100 (523). For example, if the server 200 succeeds in retrieving the image information, the server 200 may transmit the content recognition information to the electronic device 100 as a matching result. On the other hand, if the server 200 fails to retrieve the image information, the server 200 may transmit a failure message indicating the failure of the search to the electronic device 100 as a matching result.
  • the processor 110 of the electronic device 100 may determine whether acquisition of content recognition information matching the character has failed or succeeds, according to the received matching result.
  • the processor 110 of the electronic device 100 may control the memory 130 to store the content recognition information matching the obtained character as the viewing log information of the user. May be 527.
  • the recognition probability of the captured image may be improved. For example, when the recognition success probability of the captured image using the fingerprint is between about 50% and 70%, the recognition success probability may be improved to about 60% or more.
  • the processor 110 of the electronic device 100 records that the captured image is in an unrecognized state (or unknown state). It may be (529).
  • FIG. 6 is a diagram illustrating a process of obtaining content recognition information according to another embodiment.
  • the processor 110 of the electronic device 100 may capture an image of content (601).
  • the processor 110 of the electronic device 100 may determine whether a text area is included in the captured image (603).
  • the processor 110 of the electronic device 100 may recognize the captured image.
  • the processor 110 of the electronic device 100 may extract a fingerprint from the captured image (605).
  • the processor 110 of the electronic device 100 may control the communication unit 120 to transmit the extracted fingerprint to the server 200 (607).
  • the server 200 may acquire a recognition result by performing the recognition of the received fingerprint, and transmit the obtained recognition result to the electronic device 100 (609 to 613).
  • the processor 110 of the electronic device 100 may store content recognition information matching the fingerprint in the memory 130 as viewing log information based on the received recognition result (615 ⁇ 617).
  • the descriptions of operations 607 to 617 corresponding to the operations of operations 503 to 513 of FIG. 5 will be omitted.
  • the processor 110 of the electronic device 100 may not recognize the captured image (or an unknown state). It can be recorded as (619).
  • the processor 110 determines whether the captured image includes the text area, and when the identification of the text area is successful (603 -Y), the processor 110 of the electronic device 100 may identify the text area. A character included in the character area may be recognized (621).
  • the processor 110 of the electronic device 100 may control the communication unit 120 to transmit the recognized character to the server 200 (623).
  • the server 200 may already know the target image or content from which the fingerprint has been extracted.
  • the server 200 may determine whether the captured image is scheduled as the fingerprint recognition target image based on the received text (625).
  • the server 200 may transmit a confirmation result to the electronic device 100 (627).
  • the processor 110 of the electronic device 100 may determine whether the captured image is a fingerprint recognition target based on the received confirmation result (629).
  • the processor 110 may perform a process for recognizing the captured image by using the fingerprint. For example, the processor 110 extracts a fingerprint from the captured image and acquires content recognition information matching the extracted fingerprint from the server 200 as the viewing log information as in operations 605 to 617 described above. Can be stored at 130.
  • the processor 110 of the electronic device 100 transmits the communication unit 120 to transmit the recognized character to the server 200. Can be controlled (631). In this case, when the character transmitted to the server 200 is continuously stored in operation 623, the above-described process of operation 631 may be omitted.
  • the server 200 may search for image related information matching the text (633), and transmit the matching result of the text to the electronic device 100 (635).
  • the processor 110 of the electronic device 100 may determine whether acquisition of content recognition information matching the character has failed or succeeds according to the received matching result (637).
  • the processor 110 of the electronic device 100 may control the memory 130 to store the content recognition information matching the obtained character as the viewing log information of the user. It may be (639).
  • the processor 110 of the electronic device 100 is a memory state that the captured image is not recognized (or unknown state) Can be recorded at 130 (641).
  • the server 200 displays the matching result of the character along with the fingerprint recognition target confirmation result. Can be sent to.
  • the electronic device 100 preemptively determines that the fingerprint is not the object of recognition of the fingerprint, the ACR function for recognizing the fingerprint is omitted, and thus the use of the server 200 that is the object of performing the ACR and The cost can be greatly saved for maintenance.
  • FIG. 7 is a diagram illustrating a process of acquiring content recognition information according to another embodiment.
  • the process of acquiring the content recognition information may be divided into a preemptive step, which is a headend selection process, and a subsequent step, which is an image recognition process.
  • the headend may include a broadcaster that provides content, a content source company, a telecommunications company, a set-top manufacturing / operation company, and the like.
  • the processor 110 of the electronic device 100 may capture an image of content (701).
  • the processor 110 of the electronic device 100 may identify a text area in the captured image (702).
  • the processor 110 of the electronic device 100 may recognize a character included in the identified character area (703).
  • the processor 110 of the electronic device 100 may control the communication unit 120 to transmit the recognized character to the server 200 (705).
  • the server 200 may search for image related information matching the received text (706).
  • the server 200 may estimate the headend of the electronic device 100 based on the search for the image related information (707). For example, the server 200 may search for a headend that provides text in the EPG database, and estimate the searched headend as a headend that provides content including a captured image.
  • the server 200 may estimate the headend based on the plurality of characters.
  • the headend may be estimated based on the server 200, for example, a rule-based method or an artificial intelligence method (for example, deep learning).
  • the server 200 may estimate a plurality of headends.
  • the server 200 may transmit a headend list including one or more headend information to the electronic device 100 (709).
  • the electronic device 100 When the electronic device 100 recognizes the captured image by using the fingerprint, the electronic device 100 searches for image information matching the fingerprint for the headend estimated to provide the captured image included in the received headend list. can do.
  • the electronic device 100 may extract a fingerprint from the captured image in operation 711 and transmit the extracted fingerprint to the server 200 in operation 713.
  • the server 200 may perform recognition of the received fingerprint (715) and obtain a recognition result of the fingerprint (717). At this time, the server 200 may limit the headend estimated to provide the captured image to recognize the fingerprint.
  • the server 200 may transmit a fingerprint recognition result to the electronic device 100.
  • the electronic device 100 may transmit the extracted fingerprint to the server associated with the estimated headend.
  • the electronic device 100 may store content recognition information matching the fingerprint according to the recognition result.
  • operations 721 and 725 corresponding to operations 615 to 619 of FIG. 6 will be omitted.
  • the electronic device 100 when a failure message is received as a result of the recognition of the fingerprint, transmits the recognized character (eg, the recognized character in operation 703) from the captured image to the server 200.
  • the image can be recognized.
  • the process corresponding to this may correspond to operations 519 to 529 of FIG. 5 described above.
  • the electronic device 100 may preemptively select a headend providing a content source through text recognition, the electronic device 100 may use a database necessary for recognizing the captured image. That is, since a method of scheduling broadcasts may be different for each headend, according to the above-described method, the electronic device 100 may provide information about which region a content source including a captured image is transmitted from and in which broadcaster. Phosphorus etc. can be known previously. Thus, since the search target of the content recognition information matching the fingerprint is limited to a specific region or a specific content source provider, the use or management cost of the server may be greatly reduced.
  • FIG. 8 is a diagram illustrating a process of obtaining content recognition information according to an embodiment of the present disclosure.
  • the electronic device 100 may capture an image of content (801).
  • the electronic device 100 may determine whether a text area is included in the captured image (803).
  • the processor 110 of the electronic device 100 may recognize the captured image.
  • the electronic device 100 may recognize the text from the text area (805).
  • the electronic device 100 may obtain content recognition information matching the recognized character from the memory 130 or the server 200 (807).
  • the electronic device 100 may store content recognition information matching the obtained text as viewing log information of the user (809).
  • the electronic device 100 may obtain content recognition information matching the recognized character from the server 200 according to a result of checking whether the captured image is a recognition target of the fingerprint. For example, when the captured image is identified as not being a recognition target of the fingerprint, the electronic device 100 may obtain content recognition information matching the recognized character from the server 200. On the other hand, when the captured image is identified as the fingerprint recognition object, the electronic device 100 may extract the fingerprint from the captured image and obtain content recognition information matching the extracted fingerprint from the server.
  • the electronic device 100 may extract the fingerprint from the captured image. There is 811.
  • the electronic device 100 may obtain content recognition information matching the extracted fingerprint from the memory 130 or the server 200 (813).
  • the electronic device 100 may store content recognition information matching the extracted fingerprint as the viewing log information of the user (815).
  • the electronic device 100 may transmit the stored content recognition information to an external analysis server (eg, the analysis server of FIG. 1) that analyzes a user's viewing log.
  • an external analysis server eg, the analysis server of FIG. 1
  • FIG. 9 is a diagram illustrating a process of acquiring content recognition information according to another embodiment.
  • the electronic device 100 may capture an image of content (901).
  • the electronic device 100 may determine whether a character exists in the captured image (903).
  • the electronic device 100 When the electronic device 100 succeeds in identifying the characters included in the captured image (903-Y), the electronic device 100 obtains content recognition information matching the characters from the memory 130 or the server 200. It may be (905). The electronic device 100 may store content recognition information matching the obtained text as viewing log information of the user (907).
  • the electronic device 100 may extract a fingerprint from the captured image (911).
  • the electronic device 100 may obtain content recognition information matching the extracted fingerprint from the memory 130 or the server (913).
  • the electronic device 100 may store the content recognition information matching the extracted fingerprint as the viewing log information of the user (915).
  • FIG. 10 is a diagram illustrating a process of obtaining content recognition information according to another embodiment.
  • the electronic device 100 may capture an image of content (1001).
  • the electronic device 100 may extract a fingerprint from the captured image (1003).
  • the electronic device 100 may transmit the extracted fingerprint to the server (1005).
  • the electronic device 100 may obtain a fingerprint recognition result from the server (1007).
  • the electronic device 100 may determine whether the fingerprint is recognized successfully from the recognition result of the fingerprint in operation 1009.
  • the electronic device 100 obtains content recognition information matching the fingerprint from the memory 130 or the server 200. It may be (1011). Here, acquiring the content recognition information matching the fingerprint may include extracting the content recognition information matching the fingerprint from the recognition result obtained from the server 200. The electronic device 100 may store content recognition information matching the fingerprint as the viewing log information of the user (1013).
  • the electronic device 100 stores the content recognition information matching the character included in the captured image in the memory 130 or the server. Can be obtained from (200) (1015). At this time, when the recognition of the fingerprint is identified as failed in the server 200, the same or similar fingerprint as the fingerprint is not searched in the server 200, or the image related information matching the searched fingerprint is searched. If not, the electronic device 100 may include a case in which the electronic device 100 receives a failure message indicating the failure of the recognition of the fingerprint. Next, the electronic device 100 may store content recognition information matching the fingerprint as the viewing log information of the user (1017).
  • the electronic device 100 may transmit the stored content recognition information to an external analysis server (eg, the analysis server (not shown) of FIG. 1) that analyzes a user's viewing log.
  • an external analysis server eg, the analysis server (not shown) of FIG. 1
  • the server 200 that provides content recognition information matching the text may be a text matching server (eg, the image related information server 230 of FIG. 1) included in the server 200.
  • the server 200 that provides content recognition information matched to the fingerprint may be a fingerprint matching server (eg, the fingerprint matching server 210 of FIG. 1) included in the server 200.
  • the content recognition information may include metadata related to the captured image, a storage address of the metadata, or an identifier of the metadata.
  • FIG. 11 is a block diagram of an electronic device 100 according to another embodiment of the present disclosure.
  • the electronic device 100 may include a communication unit 2010, a memory 2120, a processor 2030, a tuner 2040, a display 2050, an input / output unit 2060, and an audio output unit 2070. ) May be included. According to an embodiment, some of the configurations may be omitted, and although not shown, suitable hardware / software configurations that are obvious to those skilled in the art may be further included in the electronic device 100.
  • the communication unit 2010 is a component for performing communication with an external device.
  • the description of the communication unit 120 described with reference to FIG. 2 may be referred to.
  • the memory 2020 may store various data and an operating system (OS) for driving and controlling the electronic device 100.
  • OS operating system
  • FIG. 11 the description of the memory 130 described with reference to FIG. 2 may be referred to.
  • the tuner 2040 tunes only a frequency of a channel to be received by the electronic device 100 among many propagation components through amplification, mixing, and resonance of a broadcast signal received by wire or wirelessly. tuning).
  • the tuner 2040 may receive a broadcast signal including video, audio, and additional data in a frequency band corresponding to a channel selected by a user.
  • the tuner 2040 may receive broadcast signals from various sources, such as terrestrial broadcast, cable broadcast, or satellite broadcast.
  • the tuner 2040 may receive a broadcast signal from a source such as analog broadcast or digital broadcast.
  • the broadcast signal received through the tuner 2040 may include metadata that is video data, audio data, and program related information.
  • the meta data may include additional information about the broadcast program, for example, information about a program name, a plot, a broadcast start time, a broadcast end time, and the like.
  • Meta data that is information related to a broadcast program may be received through the communication unit 2010 from the Internet server as well as the tuner 2040.
  • the tuner 2040 is implemented as an all-in-one with the electronic device 100 or is a separate device (eg, input / output unit 2060 or communication unit) electrically connected to the electronic device 100. (A tuner connected to (2010)).
  • the display 2050 is a configuration for displaying an image, for example, video data included in a broadcast signal received through the tuner 2040, an image input through the communication unit 2010, or an input / output unit 2060, or a memory. An image included in an image file stored in 2020 may be output.
  • the display 2050 may be implemented as, for example, a liquid crystal display (LCD), and in some cases, a cathode-ray tube (CRT), a plasma display panel (PDP), organic light emitting diodes (OLED), and a transparent OLED (TOLED). And the like.
  • the display 2050 may be implemented in the form of a touch screen that can detect a user's touch manipulation.
  • the audio output unit 2070 is configured to output audio, for example, audio included in a broadcast signal received through the tuner 2040, audio input through the communication unit 2010 or the input / output unit 2060, Alternatively, audio included in an audio file stored in the memory 2020 may be output.
  • the audio output unit 2070 may include a speaker and / or a headphone output terminal.
  • the input / output unit 2060 is a component for connecting to an external device, and may include, for example, an HDMI high-definition multimedia interface port, a component input jack, a USB port, and the like. It may include at least one of the port, such as DP, Thunderbolt.
  • the processor 2030 may control overall operations of the electronic device 100.
  • the description of the processor 2030 illustrated in FIG. 11 the description of the processor 110 described with reference to FIG. 2 may be referred to.
  • the processor 2030 may include a RAM 2032, a ROM 2033, a GPU 2034, a CPU 2031, first to n interface 2035-1 to 2035-n, and a bus 2036.
  • the RAM 2032, the ROM 2033, the GPU 2034, the CPU 2031, the first to nth interfaces 2035-1 to 2035-n, and the like may be connected to each other through the bus 2036.
  • the ROM 2033 stores a command set for system booting.
  • the CPU 2031 may store at least a part of the O / S stored in the memory 2010 according to the command stored in the ROM 2033. Copy it into your system and run O / S to boot the system.
  • the CPU 2031 may copy various programs stored in the memory 2020 to the RAM 2032, and execute various programs by executing the programs copied to the RAM 2032.
  • the CPU 2031 may perform various operations using various program modules, data, and the like stored in the memory 2020.
  • the GPU 2034 may display an image.
  • the GPU 2034 may generate a screen including various objects such as an icon, an image, and a text by using a calculator and a renderer.
  • the calculator calculates attribute values such as coordinates, shapes, sizes, and colors for displaying the objects according to the layout of the screen.
  • the renderer generates screens of various layouts including objects based on the attribute values calculated by the calculator. The screen generated by the renderer is provided to the display 2050 and displayed in the display area.
  • the first to n interfaces 2035-1 to 2035-n may be connected to the above-described various components 2010, 2020, 2040 to 2070.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the processor 2030 may capture an image of the content.
  • the processor 2030 may acquire content recognition information corresponding to the recognized character from the server 200 through the communication unit 2010 by recognizing the character from the character region according to the identification result of the character region included in the captured image. have.
  • the processor 2030 may extract the fingerprint from the captured image and obtain content recognition information matching the extracted fingerprint from the server 200 according to the identification result of the character region included in the captured image.
  • the processor 2030 may store at least one of content recognition information matching the acquired character and content recognition information matching the fingerprint in the memory 2020.
  • FIG. 12 is a block diagram of a server including a branch unit according to an embodiment of the present disclosure.
  • the server 200 may include a branch unit 1210, a fingerprint matching server 1220, and a character matching server 1230.
  • the fingerprint matching server 1220 may include the fingerprint matching server 210 of FIG. 2 as a server providing a result of recognizing a fingerprint.
  • the character matching server 1230 may include the image related information server (eg, an EPG server and a metadata dedicated server) 230 of FIG. 2 as a server that provides a result of character matching.
  • the branch unit 1210 is at least a part of the processor of the server 200, and may transfer a query related to the content received from the electronic device 100 to a server suitable for the purpose.
  • the branch unit 1210 may transmit the fingerprint to the fingerprint matching server 1220.
  • the branch unit 1210 may transmit the character to the character matching server 1230.
  • the branch unit 1210 may determine at least a portion of the received query based on the fingerprint matching server 1220 or the character matching server according to the field value. And transmit to 123.
  • the fingerprint matching server 1220 receives the fingerprint from the branch unit 1210, the fingerprint matching server 1220 receives the first image related information matching the fingerprint from the first database 1221.
  • the first database 1221 includes, for example, at least one of a live content database (DB), a VOD content database (DB), a DVR content database (DB), or a custom content database (DB) described above with reference to FIG. 5. can do.
  • the first database 1221 may include a plurality of first image related information corresponding to each of the plurality of fingerprints.
  • the first image related information may include, for example, broadcast program related information such as a broadcast program name and a genre of the broadcast program.
  • the server 200 may transmit the found first image related information to the electronic device 100 as content recognition information related to the content. .
  • the character matching server 1230 may retrieve second image related information matching the character from the second database 1231.
  • the second database 1231 may include, for example, an EPG database.
  • the second database 1231 may include a plurality of pieces of second image related information corresponding to each of the plurality of characters.
  • the second image related information may include, for example, EPG information.
  • the text matching server 1230 may transmit the found second image related information to the electronic device 100 as content recognition information related to the content.
  • FIG. 13 is a block diagram of an electronic device including a branch according to an exemplary embodiment of the present disclosure.
  • the electronic device 100 includes an image capturing unit 310, an ACR engine 320, an OCR engine 330, and a branching unit 340.
  • the image capturing unit 310, the ACR engine 320, and the OCR engine 330 correspond to the image capturing unit 310, the ACR engine 320, and the OCR engine 330 of FIG. 3, respectively. The description will be omitted.
  • the branch unit 340 may obtain a fingerprint extracted from the image captured from the ACR engine 320 or obtain a character recognized from the character area from the OCR engine 330.
  • the branch unit 340 may determine a server to which the obtained fingerprint or character is to be transmitted.
  • the branch unit 340 may control the communicator 120 to transmit a query including the obtained fingerprint to the fingerprint matching server 1220.
  • the branch unit 340 may control the communication unit 120 to transmit a query including the obtained character to the character matching server 1230.
  • the electronic device 100 may receive content recognition information matching the fingerprint or the text through the communication unit 120.
  • FIG. 14 is a block diagram of a server according to an embodiment of the present disclosure.
  • the server 200 may include at least one processor 201, at least one memory 202, and at least one communication unit 203.
  • At least one processor 201 may be composed of a first processor 201a and a second processor 201b.
  • the first processor 201a is a processor of the fingerprint matching server
  • the second processor 201b is It may be a processor of a character matching server.
  • the first processor 201a and the second processor 201b may be generated as a single chip, or may communicate with each other through a wired or wireless network as a plurality of chips existing at positions spaced apart from each other.
  • At least one processor 201 may control the overall operation of the server 200.
  • the at least one processor 201 may drive an operating system or an application program to control a plurality of hardware or software components connected to the at least one processor 201, and may perform various data processing and operations. .
  • the at least one processor 201 may control the at least one communication unit 203 to receive a query related to the content that the user is watching from the electronic device 100.
  • the at least one processor 201 may retrieve the first image related information matching the fingerprint from the first database 1221 included in the at least one memory 202. have.
  • the at least one processor 201 may search the second database 1231 for second image related information matching the text.
  • At least one memory 202 may be accessed by at least one processor 201, and data may be read, written, modified, deleted, or updated by the at least one processor 201.
  • At least one memory 202 may be composed of a plurality of sub memories.
  • the server 200 is configured with a plurality of sub-servers (eg, a fingerprint matching server and a character matching server)
  • the memory 202 includes both the memory of the fingerprint matching server and the memory of the processor of the character matching server. can do.
  • the sub memories may be generated as a single memory or may be composed of a plurality of memories existing at locations spaced apart from each other.
  • the at least one memory 202 may include a first database 1221 and a second database 1231.
  • the first database 1221 may be included in the memory of the fingerprint matching server
  • the second database 1231 may be included in the memory of the processor of the character matching server.
  • the at least one memory 202 controls the at least one communication unit 203 so that the at least one processor 201 receives a query related to the content that the user is watching from the electronic device 100.
  • the fingerprint is included in the query
  • the first image related information matching the fingerprint is searched in the first database included in the memory 202.
  • the received query includes the character
  • At least one communication unit 203 may be configured of a first communication unit 203a and a second communication unit 203b.
  • the server 200 is configured with a plurality of sub-servers (eg, a fingerprint matching server and a character matching server)
  • the first communication unit 203a is a communication unit of the fingerprint matching server
  • the second communication unit 203b is It may be a communication unit of the character matching server.
  • the at least one communication unit 203 may be connected to a network through wireless communication to communicate with an external device (eg, the electronic device 100).
  • the at least one communication unit 203 uses a wireless communication module (eg, a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) to provide a short range communication network (eg, Bluetooth, It may communicate with an external device through a WiFi direct or an Infrared Data Association (IrDA), or a telecommunication network (eg, a cellular network, the Internet, or a computer network (eg, a LAN or a WAN)).
  • a wireless communication module eg, a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • 15 is a flowchart of a server according to an embodiment of the present disclosure.
  • the server 200 may receive a query related to content that the user is watching from the electronic device 100 (1501).
  • the server 200 may identify the information included in the query (1502). For example, the server 200 may identify whether the query includes a fingerprint or a character.
  • the server 200 may search for the first image related information matching the fingerprint in the first database (1503).
  • the first database may be, for example, a database included in a memory of the fingerprint matching server.
  • the server 200 may search for the second image related information matching the character in the second database (1504).
  • the server 200 may transmit the searched first image related information or the second image related information as the content recognition information related to the content to the electronic device 100 ( 1505).
  • the frequency of transmitting a request including the feature information for content recognition can be reduced, thereby reducing the query cost.
  • embodiments described above may be implemented in software, hardware, or a combination thereof.
  • embodiments described in the present disclosure may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • Processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • Various embodiments of the present disclosure may be implemented in software that includes instructions that may be stored in a machine-readable storage media.
  • the device is a device capable of calling a stored command from a storage medium and operating in accordance with the called command, and may include the electronic device 100 in the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction directly or by using other components under the control of the processor.
  • the instructions can include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish that the data is stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed in the present disclosure may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • Computer program products are distributed online to electronic devices from servers in the form of device-readable storage media (eg compact disc read only memory (CD-ROM)) or through an application store (eg Play Store TM). Can be.
  • a storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • the computer program product controls to capture an image of content, and recognizes a character from the character area according to a result of identification of the character area included in the captured image, thereby recognizing a content matching the recognized character Control to obtain information from the server 200 or extract a fingerprint from the captured image and control to acquire content recognition information matching the extracted fingerprint from the server 200 and match the obtained character
  • the processor may be configured to perform at least one operation of controlling the at least one of the recognition information and the content recognition information matched with the fingerprint.
  • Each component eg, a module or a program
  • some components eg, modules or programs
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some of the operations may be executed in a different order, omitted, or another operation may be added. Can be.

Abstract

전자 장치의 영상 인식 방법 및 이를 위한 전자 장치의 구성이 개시된다. 본 개시의 전자 장치의 영상 인식 방법은 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.

Description

전자 장치 및 그의 컨텐츠 인식 정보 획득
본 개시는 전자 장치 및 그의 컨텐츠 인식 정보를 획득하는 방법에 대한 것이다.
사용자의 니즈가 점차 다양해지면서, 방송 컨텐츠 또는 멀티미디어 컨텐츠의 출처가 공중파 위주의 단일 소스에서, 케이블, IPTV(Internet Protocol TV), VOD(Video On Demand) 등의 다양한 소스들로 변화되고 있다. 또는 맞춤형 광고나 프로그램 추천 등의 정보를 제공하는 소스들도 생겨나고 있다.
이와 같은 맞춤형 광고나 프로그램 추천 등의 정보는, 현재 출력되는 장면에 맞게 적절하게 제공될 필요가 있다. 가령, 특정 제품에 대한 광고 메시지는 해당 제품이 노출되는 장면이 표시될 때, 함께 표시되는 것이 가장 효과적이다. 따라서, 현재 사용자가 시청하고 있는 컨텐츠가 무엇인지 인식하는 기술이 필요하다. 맞춤형 광고뿐만 아니라, 시청률 조사, 시청 패턴 조사 등을 위해서도 컨텐츠 인식 기술이 필요하다.
이를 위해, 전자 장치가 현재 재생 중인 컨텐츠에 대한 인식 요청을 서버로 전송하면, 그에 대한 응답을 서버로부터 받는 방식으로 컨텐츠를 인식하는 기술이 등장하였다. 예로, 핑거프린트를 이용한 ACR(Automatic Contents Recognition) 기술이 있을 수 있다.
재생 중인 컨텐츠를 인식하기 위하여 컨텐츠의 영상으로부터 추출된 핑거프린트를 이용하는 경우, 컨텐츠를 인식하기 위하여 매번 서버로 핑거프린트를 전송할 필요가 있다.
또한, 전자 장치에 재생 중인 컨텐츠로부터 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득하기 위하여, 기 생성된 핑거프린트에 매칭되는 영상 관련 정보를 저장하는 다수의 서버들이 필요하다. 예로, 컨텐츠를 재생하는 수많은 장치로부터 수신되는 핑거프린트를 처리하기 위하여 다수의 서버들이 필요할 수 있다. 이에, 다수의 서버를 이용 또는 관리하기 위한 비용이 요구될 수 있다. 또한, 사전에 컨텐츠의 프레임마다 핑거프린트를 추출하고 영상 관련 정보를 매칭하는 경우, 이를 지원하기 위한 비용 또한 필요하다.
또한, 컨텐츠에 대한 영상 인식 범위를 향상시키기 위하여, 컨텐츠로부터 더 많은 양의 핑거프린트를 추출해야 하는데, 이 경우, 많은 양의 핑거프린트에 매칭되는 영상 관련 정보를 저장하기 위한 많은 수의 서버들이 필요하다.
본 개시는 상술한 문제에 따라 고안된 것으로, 본 개시의 목적은 서버와 통신하는 전자 장치 및 그의 컨텐츠 인식 정보를 제공하는 방법에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 컨텐츠 인식 정보 획득 방법은, 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 컨텐츠 인식 정보 획득 방법은, 컨텐츠의 영상을 캡처하는 동작, 상기 캡처된 영상으로부터 핑거프린트를 추출하는 동작, 상기 추출된 핑거프린트를 서버에게 전송하는 동작, 상기 핑거프린트의 인식에 성공하는 경우, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하고, 상기 핑거프린트의 인식에 실패하는 경우, 상기 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작, 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 상기 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치는, 서버와 통신 가능한 통신부, 명령어들(instructions)를 저장하는 메모리 및 상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가, 컨텐츠의 영상을 캡처하고, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치는, 서버와 통신 가능한 통신부, 명령어들(instructions)를 저장하는 메모리, 및, 상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가, 상기 캡처된 영상으로부터 핑거프린트를 추출하고, 상기 추출된 핑거프린트를 서버에게 상기 통신부를 통하여 전송하고, 상기 핑거프린트의 인식에 성공하는 경우, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 핑거프린트의 인식에 실패하는 경우, 상기 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고, 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 상기 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 서버는, 전자 장치와 통신 가능한 통신부, 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들을 포함하는 제1 데이터베이스, 및 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들을 포함하는 제2 데이터베이스를 포함하는 적어도 하나의 메모리, 및 상기 적어도 하나의 통신부 및 상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트에 매칭되는 제1 영상 관련 정보를 상기 제1 데이터베이스에서 검색하고, 상기 수신된 쿼리에 문자가 포함된 경우, 상기 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색하고, 상기 컨텐츠와 관련된 컨텐츠 인식 정보로서, 상기 검색된 제1 영상 관련 정보 또는 상기 제2 영상 관련 정보를 상기 전자 장치에게 전송하도록 상기 통신부를 제어한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 서버는, 전자 장치와 통신 가능한 통신부, 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들을 포함하는 제1 데이터베이스, 및 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들을 포함하는 제2 데이터베이스를 포함하는 적어도 하나의 메모리, 및 상기 적어도 하나의 통신부 및 상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 메모리는, 상기 서버가 실행 시, 상기 적어도 하나의 프로세서가, 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트에 매칭되는 제1 영상 관련 정보를 상기 제1 데이터베이스에서 검색하고, 상기 수신된 쿼리에 문자가 포함된 경우, 상기 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색하고, 상기 컨텐츠와 관련된 컨텐츠 인식 정보로서, 상기 검색된 제1 영상 관련 정보 또는 상기 제2 영상 관련 정보를 상기 전자 장치에게 전송하도록 상기 통신부를 제어하도록 설정된 명령어들을 저장한다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시예에 따른 컴퓨터 프로그램 제품은, 컨텐츠의 영상을 캡처하도록 제어하는 동작, 상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하도록 제어하고, 상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하도록 제어하는 동작, 및 상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 제어하는 동작을, 컴퓨터의 프로세서가 수행하도록 설정된 명령어들을 포함한다.
본 개시에 따르면, 핑거프린트의 추가적인 획득 또는 유지에 따른 리소스의 소모가 줄어들 수 있다. 특히, 대용량의 컨텐츠를 대상으로 하는 경우, 많은 양의 핑거프린트에 매칭되는 영상 관련 정보를 저장 또는 관리하는 서버의 유지 비용이 절감될 수 있다.
또한, 본 개시에 따르면 핑거프린트를 이용한 컨텐츠 인식 정보의 획득뿐만 아니라, 캡처된 영상에 포함된 문자를 이용하여 컨텐츠 인식 정보를 획득할 수 있기 때문에 영상 인식 범위(또는, 영상 인식 확률)가 크게 향상될 수 있다.
그 밖에, 본 개시에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 본 개시의 일 실시예에 따른 컨텐츠 인식 시스템을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 세부 블록도이다.
도 4는, 본 개시의 일 실시예에 따른 문자 영역을 설명하기 위한 도면들이다.
도 5 내지 도 7은, 본 개시의 일 실시예에 따른 전자 장치가 서버로부터 컨텐츠 인식 정보를 획득하는 과정을 나타내는 흐름도들이다
도 8 내지 도 10은, 본 개시의 일 실시예에 따른 전자 장치가 컨텐츠 인식 정보를 획득하는 과정을 나타내는 흐름도들이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 12는 본 개시의 일 실시예에 따른 분기부를 포함하는 서버의 블록도이다.
도 13은 본 개시의 일 실시예에 따른 분기부를 포함하는 전자 장치의 블록도이다.
도 14는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 15는 본 개시의 일 실시예에 따른 서버의 흐름도이다.
-
이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 개시에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
본 개시에서 "컨텐츠"는 영상, 이미지, 오디오 또는 이들의 조합을 포함할 수 있다. 또한, "컨텐츠"는 방송 컨텐츠(또는, 방송 프로그램), 라이브 방송 컨텐츠, 녹화 방송 컨텐츠, 광고 컨텐츠, DVR(digital video recorder) 컨텐츠, VOD(Video On Demand) 컨텐츠, VoD/OTT Non-linear 컨텐츠, UGC 컨텐츠, 또는 이들의 조합을 포함할 수 있다.
도 1은, 본 개시의 일 실시예에 따른 컨텐츠 인식 시스템을 설명하기 위한 도면이다.
도 1에서, 컨텐츠 인식 시스템은, 전자 장치(100) 및 하나 이상의 서버로 구성된 서버(또는, 클라우드)(200)를 포함할 수 있다.
도 1에서, 전자 장치(100)는 컨텐츠 신호를 수신하고 컨텐츠 신호에 기초하여 영상 및/또는 오디오를 자체적으로 제공하거나, 또는 전자 장치(100)와 연결된 다른 전자 장치를 통해 제공할 수 있는 장치일 수 있다. 예컨대, 텔레비전, 셋톱 박스(set-top box), TV 박스(예: 삼성 HomeSync™, 삼성 One Connect Box™, 애플TV™ 또는 구글 TV™)등일 수 있다.
일 실시예로, 전자 장치(100)는 디스플레이 장치(100a)일 수 있다. 디스플레이 장치(100a)는 텔레비젼일 수 있으나, 이는 일 실시예에 불과할 뿐, 디스플레이부가 존재하는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 전자책 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), 의료 기기, 차량용 헤드 유닛, 상점의 POS, 사물 인터넷 장치, 캠코더, 전자액자 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
다른 예로, 전자 장치(100)는 컨텐츠를 디스플레이 장치(100a)에게 제공하는 컨텐츠 제공 장치(100b)일 수 있다. 컨텐츠 제공 장치(100b)는 셋탑 박스와 같은 방송 컨텐츠 수신 장치일 수 있으나, 이는 일 실시예에 불과할 뿐, 컨텐츠를 제공 가능한 스마트폰, 태블릿 PC, 전자책 리더기, 데스크톱 PC, 랩톱 PC, 넷북 컴퓨터, PMP), 의료 기기, 차량용 헤드 유닛, 상점의 POS, 사물 인터넷 장치, 캠코더, 전자액자, 웨어러블 장치 또는 서버 중 적어도 하나를 포함할 수 있다.
본 개시에서, 전자 장치(100)는 재생 중인 컨텐츠의 영상을 캡처하고, 캡처된 컨텐츠의 영상을 이용하여 영상의 핑거프린트를 추출할 수 있다. 핑거프린트는, 영상의 특징을 나타내는 특징 데이터로서, 예로, 지문 데이터, DNA 데이터 또는 유전자 데이터라고 칭할 수도 있다. 영상으로부터 추출된 핑거프린트는, 예로, 영상의 모션 벡터, 색상 정보, 픽쳐 벡터 등을 포함할 수 있다. 특징 데이터는 컨텐츠의 신호 자체의 특성을 반영하는 점에서 보통의 메타데이터와는 차이가 있을 수 있다.
서버(200)는 영상 관련 정보들(또는, 영상과 관련된 정보들)을 포함하는 데이터베이스를 포함할 수 있다. 서버(200)는 하나 이상의 서버로 구성될 수 있다. 예로, 서버(200)는 핑거프린트 매칭 서버(210), 캡처 서버(220), 영상 관련 정보 서버(예: EPG 서버, 메타데이터 전용 서버)(230) 중 적어도 하나를 포함할 수 있다.
먼저, 핑거프린트 매칭 서버(210)는 핑거프린트 및 핑거프린트에 매칭되는 영상 관련 정보를 준비할 수 있다. 이를 위하여, 캡처 서버(220)는 컨텐츠 소스로부터 제공 받은 방송 예정 컨텐츠의 각 영상(또는, 프레임)으로부터 핑거프린트를 추출할 수 있다. 캡처 서버(220)는 추출된 핑거프린트와 관련된 방송 채널명 및/또는 방송 시간을 영상 관련 정보 서버(230)에게 전송할 수 있다. 예로, 캡처 서버(220)는 추출된 핑거프린트와 관련된 방송 채널명 및 방송 시간을 영상 관련 정보 서버(230)에게 전송할 수 있다. 전송에 대한 응답으로, 캡처 서버(220)는 방송 채널명 및 방송 시간에 기반한 영상 관련 정보를 영상 관련 정보 서버(230)로부터 획득할 수 있다. 영상 관련 정보는, 예로, 방송 프로그램명, 방송 프로그램의 장르 등과 같은 방송 프로그램 관련 정보를 포함할 수 있다. 캡처 서버(220)는 앞서 추출된 핑거프린트와, 획득된 영상 관련 정보를 서로 매칭할 수 있다. 캡처 서버(220)는 핑거프린트 및 핑거프린트에 매칭되는 영상 관련 정보를 핑거프린트 매칭 서버(210)에게 제공할 수 있다.
핑거프린트 매칭 서버(210)는, 컨텐츠로부터 캡처된 영상에서 추출된 핑거프린트를, 전자 장치(100)로부터 수신할 수 있다. 또한, 핑거프린트 매칭 서버(210)는 핑거프린트와 함께, 전자 장치(100) 또는 전자 장치(100)의 사용자를 식별하는 PSID(Personalized Service ID) 및 시간 정보를 수신할 수 있다. 핑거프린트 매칭 서버(210)는 수신된 핑거프린트를 인식하여 핑거프린트에 매칭되는 영상 정보를 획득할 수 있다. 핑거프린트 매칭 서버(210)는 컨텐츠로부터 캡처된 영상의 수신에 대응한 응답으로서, 획득된 영상 관련 정보를 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다. 즉, 전자 장치(100)가 디지털 TV인 경우, 컨텐츠 인식 정보는, 사용자가 시청 중인 컨텐츠를 인식한 결과로서, 디지털 TV가 서버로부터 획득하는 영상 관련 정보일 수 있다.
영상 관련 정보 서버(230)는 컨텐츠 자체 또는 컨텐츠의 각 영상과 관련된 영상 관련 정보를 저장할 수 있다. 영상 관련 정보는, 예로, 메타데이터, 메타데이터의 식별자, 메타데이터가 위치한 주소 정보 중 적어도 하나를 포함할 수 있다. 메타데이터는, 예로, 컨텐츠 식별자(또는, 프로그램 식별자), 컨텐츠 명칭(또는, 프로그램 명칭), EPG(Electronic Program Guide) 메타 데이터 중 적어도 하나를 포함할 수 있다. 또한, 메타데이터는 컨텐츠 또는 영상의 출연자 정보, 컨텐츠 또는 영상의 물건에 대한 정보, 컨텐츠를 재생하는 채널 정보, 컨텐츠를 재생하는 방송국 정보 중 적어도 하나를 포함할 수 있다.
도 1의 시스템은 분석 서버(미도시)를 더 포함할 수 있다. 분석 서버는 전자 장치(100)로부터 사용자의 시청 로그 정보를 획득하고, 이를 분석할 수 있다. 사용자의 시청 로그 정보는, PSID 및 캡처된 영상을 이용하여 획득한 컨텐츠 인식 정보 등을 포함할 수 있다. 분석 서버는 사용자의 시청 로그 정보에 기반하여, 사용자가 시청한 영상과 관련된 부가 서비스 정보를 결정할 수 있다. 분석 서버는 결정된 부가 서비스 정보가 전자 장치(100)에게 제공되도록 분석 서버 자체 또는 다른 연동 서버를 제어할 수 있다. 부가 서비스 정보는, 예로, 영상의 출연자와 관련된 실시간 뉴스 기사, 출연자가 주연으로 등장하는 영화를 추천하는 정보, 영상에 포함된 물건에 대한 광고 정보가 될 수 있다. 또한, 부가 서비스 정보, 예컨대, 부가 서비스 영상, 부가 서비스를 제공하는 서버의 주소, 부가 서비스의 획득 경로, 부가 서비스를 위한 주소, 부가 서비스의 시작 시간, 부가 서비스의 종료 시간, 부가 서비스의 수명 주기(lifetime), 부가 서비스의 설명 중 적어도 하나를 포함할 수 있다.
도 1의 시스템에서, 전자 장치(100), 서버(200) 및 분석 서버(미도시) 중 적어도 하나는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기를 통하여 통신 연결되는 것을 포함할 수 있다. 제3 중계기는, 예로, 기지국, 허브, 엑세스 포인트, 게이트웨이, 스위치, 릴레이 서버, 중계 서버, 및 프론트엔드 서버(Front-end server) 중 적어도 하나를 포함할 수 있다.
도 2는, 본 개시의 일 실시예에 따른 전자 장치(100)의 블록도이다.
도 2를 참고하면, 전자 장치(100)는 통신부(120), 메모리(130) 및 프로세서(110)를 포함할 수 있다. 실시 형태에 따라 도시되지 않았더라도 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
전자 장치(100)의 통신부(120)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예로, 서버(200))와 통신할 수 있다. 예를 들면, 통신부(120)는 적외선 통신(IrDA, infrared Data Association), RFID(Radio Frequency Identification), NFC(Near Field Communication), WiFi(Wireless Fidelity), UWB(ultra wideband), WiDi(WirelessDisplay), WiHD(WirelessHD), WHDI(Wireless Home Digital Interface), 미라캐스트(Miracast), Wigig(Wireless Gigabit Alliance), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(ex. 블루투스 클래식(Bluetooth Classic), 블루투스 저 에너지(Bluetooth Low Energy)), AirPlay, Z-wave, 4LoWPAN, LTE D2D, GPRS, Weightless, Edge 지그비(Zigbee), DLNA(Digital Living Network Alliance), ANT+, DECT(Digital Enhanced Cordless Telecommunications), WLAN(wireless local area network), GSM(Global System for Mobile communications), UMTS(Universal Mobile Telecommunication System), LTE(Long-Term Evolution), WiBRO(Wireless Broadband) 등의 통신 방식으로 외부 장치와 통신을 수행할 수 있다.
전자 장치(100)의 메모리(130)는, 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(100)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
메모리(130)는 프로세서(110)에 의해 액세스되며, 프로세서(110)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리라는 용어는 프로세서(110)와 별도로 마련된 메모리, 프로세서(110) 내 롬(미도시) 및 램(미도시) 중 적어도 하나를 포함할 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 예를 들면, 프로세서(110)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(110)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 CPU(central processing unit) 또는 GPU(graphics-processing unit)이거나 둘 다일 수 있다. 프로세서(110)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다. 프로세서(110)는 메모리(130)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 전자 장치(100)가 실행 시, 프로세서(110)가, 컨텐츠의 영상을 캡처하고, 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하거나, 또는 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하고, 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되면, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되지 않으면, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상이 핑거프린트의 인식 대상인지 확인 결과에 따라, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 인식된 문자를 서버(200)에게 통신부(120)를 통하여 전송하고, 전송된 문자에 기반하여 캡처된 영상이 핑거프린트의 인식 대상이 아닌 것으로 식별되면, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버로 전송하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 문자에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 문자 매칭 서버(예로, 도 1의 영상 관련 정보 서버(230))일 수 있다. 또한, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 핑거프린트 매칭 서버(예로, 도 1의 핑거프린트 매칭 서버(210))일 수 있다.
본 개시의 실시예에 따르면, 컨텐츠 인식 정보는, 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 전자 장치(100)가 실행 시, 프로세서(110)가, 컨텐츠의 영상을 캡처하고, 캡처된 영상으로부터 핑거프린트를 추출하고, 추출된 핑거프린트를 서버(200)에게 통신부(120)를 통하여 전송하고, 핑거프린트의 인식 결과에 따라, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하거나, 또는 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하고, 핑거프린트에 매칭되는 컨텐츠 인식 정보 및 문자에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 캡처된 영상에서 문자 영역이 식별되는 경우, 문자 영역으로부터 인식된 문자를 문자 매칭 서버에게 전송하고, 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 추출된 핑거프린트를 핑거프린트 매칭 서버에게 전송하도록 설정된 명령어들을 저장할 수 있다.
본 개시의 실시예에 따르면, 메모리(130)는, 프로세서(110)가, 컨텐츠의 종류를 식별하고, 식별된 컨텐츠의 종류에 기반하여, 문자 영역의 식별 여부와 무관하게, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(120)를 통하여 획득하도록 설정된 명령어들을 저장할 수 있다.
도 3은, 본 개시의 다른 일 실시예에 따른 전자 장치(100)의 세부 블록도이다.
도 3에서, 전자 장치(100)의 프로세서(110)는 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)을 포함할 수 있다.
영상 캡처부(310)는 컨텐츠의 영상을 캡처할 수 있다. 예로, 영상 캡처부(310)는 디스플레이부 장치(100a)에서 재생 중인 영상을 캡처할 수 있다. 또는, 영상 캡처부(310)는 재생 중인 영상에서 하나 이상의 프레임을 캡처할 수 있다. 예로, 수신된 영상이 비월 주사 방식인 경우, 영상 캡처부(310)는 영상에서 홀수 번째 줄의 필드 픽쳐 및 짝수 번째 줄의 필드 픽쳐 중 적어도 하나를 캡처할 수 있다. 영상 캡처부(310)는 화면에 표시 중인 영상을 캡처하거나, 컨텐츠를 구성하는 비디오 신호를 캡처할 수 있다. 일 실시예로, 영상 캡처부(310)는 기 설정된 주기(예로, 0.3 초 내지 1초 사이의 일 값)마다 영상을 캡처할 수 있다.
영상 캡처부(310)는 캡처된 영상을 ACR 엔진(320)에게 전달할 수 있다. 다양한 실시예로, ACR 엔진(320)이 영상 캡처부(310)를 포함하도록 구성될 수도 있다.
ACR 엔진(320)은 핑거프린트 추출부(321) 및 제1 컨텐츠 인식 정보 획득부(323)를 포함할 수 있다.
핑거프린트 추출부(321)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다. 다양한 실시예로, 핑거프린트 추출부(321)는 영상에서 소정 영역은 제외하고, 핑거프린트를 추출할 수도 있다. 소정 영역은, 예로, 자막, 로고, 광고 정보 또는 방송 채널 정보 등이 위치하게 될 영역일 수 있다. 다양한 실시예로, 핑거프린트 추출부(321)는 캡처된 영상을 외부 서버(미도시)에게 전송하여, 외부 서버(미도시)에서 캡처된 영상을 인식한 결과로서 캡처된 영상의 핑거프린트를 획득할 수도 있다.
제1 컨텐츠 인식 정보 획득부(323)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 제1 컨텐츠 인식 정보 획득부(323)는 핑거프린트를 통신부(120)를 통하여 서버(200)에게 전송할 수 있다. 서버(200)는, 예로, 도 1의 핑거프린트 매칭 서버(210)를 포함할 수 있다. 핑거프린트를 수신한 서버(200)는 핑거프린트의 인식을 수행할 수 있다. 여기서, 서버(200)가 수신된 핑거프린트의 인식을 수행한다는 것은, 서버(200)가 수신된 핑거프린트와 유사 또는 동일한 기 저장된 핑거프린트를 검색하고, 상기 검색된 핑거프린트에 매칭되는 영상 관련 정보의 획득을 시도한다는 것을 의미할 수 잇다.
구체적으로, 서버(200)는 수신된 핑거프린트 및 서버(200)에 기 저장 중인 핑거프린트들 간의 유사도를 검사하여, 두 핑거프린트의 유사도가 임계치 이하이면(또는, 임계치를 초과하면) 두 핑거 프린트들이 동일한 것으로 판단하고, 두 핑거 프린트의 유사도가 임계치를 초과하면(또는, 임계치 이하이면) 두 핑거 프린트가 서로 다른 것으로 판단할 수 있다. 예로, 서버(200)는 해밍 거리를 이용한 매칭 기법을 이용하여 두 영상을 비교할 수 있다.
서버(200)가 획득된 핑거프린트와 기 저장된 핑거프린트 간의 유사도를 검사한 결과, 두 핑거프린트들이 서로 동일 또는 유사한 것으로 판단되면, 서버(200)는 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트에 매칭된 영상 관련 정보를, 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보로서 결정할 수 있다. 영상 관련 정보는, 예로, 도 1의 핑거프린트 매칭 서버(210)의 데이터베이스 또는 영상 관련 정보 서버(230)의 데이터베이스로부터 획득할 수 있다. 서버(200)는, 예로, 이진 검색 기법(예로, 비 트리(B-tree) 또는 해싱(Hashing))을 이용하여 데이터베이스를 검색할 수 있다. 한편, 서버(200)가 두 핑거프린트를 비교하거나 데이터베이스를 검색하는 기법은 전술한 기법에 한정되지 않고, 당업자의 통상의 지식으로 구현할 수 있는 범위 내에서 다른 알고리즘으로 치환될 수 있다.
서버(200)가 수신된 핑거프린트의 인식을 수행한 결과, 핑거프린트의 인식에 성공한 경우, 서버(200)는 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 전자 장치(100)가 컨텐츠 인식 정보를 통신부(120)를 통하여 수신하면, 제1 컨텐츠 인식 정보 획득부(323)는 수신된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 메모리(130)에 저장할 수 있다.
반면에, 서버(200)가 핑거프린트의 인식에 실패한 경우, 서버(200)는 핑거프린트의 인식의 실패를 알리는 실패 메시지(또는, unknown 메시지)를 전자 장치(100)에게 전송할 수 있다. 서버(200)가 핑거프린트의 인식의 실패하는 것은, 예로, 서버(200)가 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트의 검색에 실패하는 것을 포함할 수 잇다. 또는, 서버(200)가 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트의 검색에 성공하더라도, 검색된 핑거프린트에 매칭되는 영상 관련 정보에 검색에 실패하는 것을 포함할 수 있다.
OCR(optical character recognition) 엔진(330)은 문자 영역 식별부(또는, 문자 영역 검출부)(331), 문자 인식부(333) 및 제2 컨텐츠 인식 정보 획득부(335)를 포함할 수 있다.
문자 영역 식별부(331)는 캡처된 영상에 포함된 문자 영역을 식별할 수 있다. 문자 영역은, 예로, OSD 영역 또는 미리 정의된 형태의 UI 영역 등을 포함할 수 있다. 구체적으로, 문자 영역은, 예로, 자막 영역, 로고 영역, 광고 정보 영역, 방송 채널 정보 영역 또는 컨텐츠에 문자가 포함된 영역 등을 포함할 수 있다. 도 4는, 본 개시의 일 실시예에 따른 문자 영역의 예를 설명하기 위한 도면들이다. 도 4의 (a) 및 (b)는 본 개시의 일 실시예 따른 캡처된 영상들을 나타낸다. 캡처된 영상들에서, 401 및 408은, 방송 채널 정보 영역(예로, EPG 영역)을 나타내고, 402,403,404는 광고 정보 영역을 나타내고, 406은 로고 영역을 나타내고, 405 및 407은 컨텐츠에 문자가 포함된 영역을 나타낸다.
문자 영역 식별부(331)는 문자 영역을 식별하기 위하여, 예로, 인공지능 알고리즘(예로, 신경망 알고리즘, 딥러닝 알고리즘 등) 또는 특정 UI 템플릿을 이용하여 검출할 수 있다. 특정 UI 템플릿은, 예로, OSD, 배너, 컨텐츠 소스 업체 또는 광고 업체에서 제공하는 문자가 삽입되는 템플릿 등이 될 수 있다.
문자 인식부(333)는 문자 영역에 포함된 문자를 인식할 수 있다. 인식된 문자는, 예로, 채널 번호, 컨텐츠 제목(또는, 방송 프로그램명), 컨텐츠 내용, 컨텐츠 소스 주소, 컨텐츠 시작/재생/종료 시간, 케이블 방송 업체, 셋탑 박스 제공 업체 또는 광고 내용 등이 될 수 있다. 문자 인식부(333)는 하나 이상의 언어를 인식할 수 있다. 또는, 문자 인식부(333)는 다국어가 혼용된 문장을 인식할 수도 있다. 다양한 실시예로, 문자 인식부(333)는 문자 영역을 외부의 문자 인식 서버(미도시)에게 전송하고, 문자 인식 서버(미도시)부터 문자 영역에 포함된 문자를 획득할 수도 있다.
제2 컨텐츠 인식 정보 획득부(335)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 제2 컨텐츠 인식 정보 획득부(335)는 인식된 문자를 통신부(120)를 통하여 서버(200)에게 전송할 수 있다. 서버(200)는, 예로, 문자 매칭 서버로서, 도 1의 영상 관련 정보 서버(230)를 포함할 수 있다. 문자를 수신한 서버(200)는 문자에 매칭되는 영상 관련 정보를 검색할 수 있다. 예로, 서버(200)는 인식된 문자의 적어도 일부를 포함하는 영상 관련 정보를 검색할 수 있다. 또는, 서버(200)는 인식된 문자와 유사도 또는 관련성이 높은 영상 관련 정보를 검색할 수 있다. 구체적으로, 인식된 문자가 컨텐츠 제목을 포함하는 경우, 서버(200)는 컨텐츠 제목을 포함하거나 컨텐츠 제목과 관련성이 높은 영상 관련 정보를 검색할 수 있다. 서버(200)는 검색된 영상 관련 정보를 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다. 전자 장치(100)가 컨텐츠 인식 정보를 통신부(120)를 통하여 수신하면, 제2 컨텐츠 인식 정보 획득부(335)는 수신된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 메모리(130)에 저장할 수 있다. 다양한 실시예로, 컨텐츠 인식 정보는 메타데이터 식별자 또는 메타데이터 저장 주소가 될 수도 있다. 이 경우, 제2 컨텐츠 인식 정보 획득부(335)는 메타데이터 식별자 또는 메타데이터 저장 주소를 먼저 수신하고, 추후에 기 획득된 메타데이터 식별자 또는 메타데이터 저장 주소를 이용하여 실제 메타데이터를 획득할 수 있다.
반면에, 서버(200)가 컨텐츠 인식 정보에 검색에 실패한 경우, 서버(200)는 컨텐츠 인식 정보의 실패를 알리는 실패 메시지(또는, unknown 메시지)를 전자 장치(100)에게 전송할 수 있다.
다양한 실시예로, 문자에 매칭되는 컨텐츠 인식 정보를 획득하는 과정이 전자 장치(100)에서 수행될 수도 있다. 예로, 전자 장치(100)의 메모리(130)에는 문자들 각각에 대응되는 영상 관련 정보들(예: EPG 정보 등)이 포함될 수 있다. 영상 관련 정보는, 기 정해진 시간, 주기적 또는 이벤트 발생 시에, 서버(200)로부터 수신되어 메모리(130)에 저장될 수 있다. 예로, 전자 장치(100)에서 컨텐츠가 시작되거나, 채널이 전환되거나 또는 사용자 요청 명령이 수신되면, 전자 장치(100)는 영상 관련 정보들을 서버(200)로부터 수신하여 메모리(130)에 저장할 수 있다. 이 경우, 제2 컨텐츠 인식 정보 획득부(335)는 문자 인식부(333)에서 인식된 문자에 매칭되는 영상 관련 정보를 전자 장치(100)의 메모리를 대상으로 검색할 수 있다. 영상 관련 정보가 검색되면, 제2 컨텐츠 인식 정보 획득부(335)는 검색된 영상 관련 정보를 인식된 문자에 매칭되는 컨텐츠 인식 정보로서 이용할 수 있다.
다양한 실시예로, ACR 엔진(320)이 캡처된 영상으로부터 핑거프린트의 추출에 실패하거나, 핑거프린트의 인식에 실패하는 경우, OCR 엔진(330)이 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다. 예로, 전자 장치(100)가 서버(200)로부터 핑거프린트의 인식의 실패를 알리는 실패 메시지를 수신하는 경우, OCR 엔진(330)이 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다.
다양한 실시예로, OCR 엔진(330)은 문자 영역 식별 과정을 생략하고, 캡처된 영상에 포함된 문자를 곧바로 획득할 수도 있다. 그리고, OCR 엔진(330)은 획득된 문자에 매칭되는 컨텐츠 인식 정보를 획득할 수 있다.
다양한 실시예로, ACR 엔진(320)이 서버(200)를 이용하여 핑거프린트를 인식하는 동안에, OCR 엔진(330)이 캡처된 영상에 포함된 문자 영역을 식별하는 과정, 문자 영역에 포함된 문자를 인식하는 과정, 문자에 매칭되는 컨텐츠 인식 정보를 획득하는 과정 중 적어도 하나를 함께 수행할 수 있다.
다양한 실시예로, OCR 엔진(330)이 문자 영역을 먼저 식별할 수 있다. 이 경우, OCR 엔진(330)이 문자 영역의 식별에 실패하면, ACR 엔진(320)이 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 한편, OCR 엔진(330)이 문자 영역의 식별에 성공하면, OCR 엔진(330)은 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 이 경우, ACR 엔진(320)이 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하는 과정이 생략될 수도 있다.
ACR 엔진(320) 및 OCR 엔진(330)에서 획득된 컨텐츠 인식 정보가 사용자의 시청 로그 정보로서 메모리(130)에 저장되면, 영상 캡처부(310)는 컨텐츠의 다음 영상을 캡처할 수 있다. 시청 로그 정보가 메모리(130)에 저장되는 것은 외부 장치에게 전송을 위하여 임시적으로 저장되는 것을 포함할 수 있다. 전자 장치(100)의 프로세서(110)는 임시 저장된 시청 로그 정보가 분석 서버(미도시)에게 전송되도록 통신부(120)를 제어할 수 있다.
도 5 내지 도 7은, 본 개시의 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 5 내지 도 7에서, 각 시스템은 전자 장치(100) 및 서버(200)를 포함할 수 있다.
먼저, 도 5에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(501).
전자 장치(100)의 프로세서(110)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(502).
전자 장치(100)의 프로세서(110)는 추출된 핑거프린트를 서버(200)에게 전송하도록 통신부(120)를 제어할 수 있다(503).
서버(200)는 수신된 핑거프린트의 인식을 수행할 수 있다(505). 구체적으로, 서버(200)는 수신된 핑거프린트와 동일 또는 유사한 기 저장된 핑거프린트를 검색하고, 검색된 핑거프린트에 매칭되는 영상 관련 정보를 획득할 수 있다. 서버(200)는 수신된 핑거프린트에 매칭되는 영상 관련 정보를 다양한 데이터베이스에서 검색할 수 있다. 예로, 서버(200)는 Live 컨텐츠 데이터베이스(DB), VOD 컨텐츠 데이터베이스(DB), DVR(digital video recorder) 컨텐츠(예로, 녹화된 컨텐츠) 데이터베이스(DB), 커스텀 컨텐츠(custom)(예로, 광고 컨텐츠) 데이터베이스(DB)의 순서로 핑거프린트에 매칭되는 영상 관련 정보를 검색할 수 있으나, 전술한 데이터베이스 또는 순서에 제한되지는 않는다.
서버(200)는 수신된 핑거프린트의 인식을 수행하여, 인식 결과를 획득할 수 있다(507). 서버(200)는 획득된 핑거프린트의 인식 결과를 전자 장치(100)에게 전송할 수 있다(509). 예로, 서버(200)가 핑거프린트의 인식에 성공하면, 서버(200)는 인식 결과로서 핑거프린트에 매칭되는 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 반면에, 서버(200)가 핑거프린트의 인식에 실패하면, 서버(200)는 핑거프린트의 인식의 실패를 알리는 실패 메시지를 전자 장치(100)에게 전송할 수 있다.
전자 장치(100)의 프로세서(110)는 수신된 인식 결과에 기반하여, 캡처된 영상의 인식이 실패했는지 또는 성공했는지를 판단할 수 있다(511). 이 경우, 캡처된 영상의 인식 성공 확률은, 예로, 약 50% 내지 70% 사이이고, 캡처된 영상의 인식 실패 확률은, 예로, 약 30% 내지 50% 사이가 될 수 있다. 인식 성공 확률 또는 인식 실패 확률은, 예로, 특정 기간(예로, 한 주, 한 달 등) 또는 특정 인원 내에서 캡처된 영상의 인식이 성공한 확률 또는 실패한 확률을 의미할 수 있다.
핑거프린트의 인식이 성공한 경우(511-Y), 전자 장치(100)의 프로세서(110)는 획득된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(513).
반면에, 핑거프린트의 인식에 실패한 경우(511-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상에 문자 영역(예로, OSD 영역 또는 미리 정의된 형태의 UI 영역 등)이 포함되는지 판단할 수 있다(515).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
문자 영역의 식별에 성공하는 경우(515-Y), 전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(517).
반면에, 문자 영역의 식별에 실패하는 경우(515-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(513).
문자 영역의 식별에 성공하는 경우(515-Y), 전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(519).
서버(200)는 문자에 매칭되는 영상 관련 정보의 검색을 수행할 수 있다(521). 예로, 서버(200)는 EPG 데이터베이스를 대상으로 문자에 매칭되는 영상 정보를 검색할 수 있다. 서버(200)는 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다(523). 예로, 서버(200)가 영상 정보의 검색에 성공하면, 서버(200)는 매칭 결과로서 컨텐츠 인식 정보를 전자 장치(100)에게 전송할 수 있다. 반면에, 서버(200)가 영상 정보의 검색에 실패하면, 서버(200)는 매칭 결과로서 검색의 실패를 알리는 실패 메시지를 전자 장치(100)에게 전송할 수 있다.
전자 장치(100)의 프로세서(110)는 수신된 매칭 결과에 따라, 문자에 매칭되는 컨텐츠 인식 정보의 획득이 실패했는지 또는 성공했는지를 판단할 수 있다(525).
컨텐츠 인식 정보의 획득에 성공한 경우(525-Y), 전자 장치(100)의 프로세서(110)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(527). 이 경우, 캡처된 영상의 인식 확률은 향상될 수 있다. 예로, 핑거프린트를 이용한 캡처된 영상의 인식 성공 확률이, 약 50% 내지 70% 사이인 경우, 인식 성공 확률은 약 60% 이상까지 향상될 수 있다.
반면에, 컨텐츠 인식 정보의 획득에 실패한 경우(525-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(529).
도 6은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
먼저, 도 6에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(601).
전자 장치(100)의 프로세서(110)는 캡처된 영상에 문자 영역이 포함되는지를 판단할 수 있다(603).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
문자 영역의 식별에 실패한 경우(603-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(605).
전자 장치(100)의 프로세서(110)는 추출된 핑거프린트를 서버(200)에게 전송하도록 통신부(120)를 제어할 수 있다(607). 서버(200)는 수신된 핑거프린트의 인식을 수행하여 인식 결과를 획득하고, 획득된 인식 결과를 전자 장치(100)에게 전송할 수 있다(609~613). 전자 장치(100)의 프로세서(110)는 수신된 인식 결과에 기반하여, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 시청 로그 정보로서 메모리(130)에 저장할 수 있다(615~617). 여기서, 동작 607 내지 동작 617의 과정은, 전술한 도 5의 동작 503 내지 동작 513의 과정에 대응되어 중복되는 설명은 생략한다. 이 경우, 동작 615에서, 핑거프린트의 인식에 실패한 경우(615-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 기록할 수 있다(619).
한편, 동작 603에서, 프로세서(110)가 캡처된 영상에 문자 영역이 포함되는지를 판단한 결과, 문자 영역의 식별에 성공한 경우(603-Y), 전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(621).
전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(623).
이 때, 서버(200)는 이미 핑거프린트가 추출된 대상 영상 또는 컨텐츠를 기 알고 있는 상태일 수 있다. 서버(200)는 수신된 문자에 기반하여 캡처된 영상이 핑거프린트 인식 대상 영상으로 스케쥴 되어있는지를 확인할 수 있다(625). 서버(200)는 확인 결과를 전자 장치(100)에게 전송할 수 있다(627).
전자 장치(100)의 프로세서(110)는 수신된 확인 결과에 기반하여, 캡처된 영상이 핑거프린트 인식 대상인지 여부를 판단할 수 있다(629).
캡처된 영상이 핑거프린트 인식 대상인 것으로 식별되는 경우(629-Y), 프로세서(110)는 핑거프린트를 이용하여 캡처된 영상을 인식하기 위한 과정을 수행할 수 있다. 예로, 프로세서(110)는 전술한 동작 605 내지 동작 617과 같이, 캡처된 영상으로부터 핑거프린트를 추출하고, 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하여 시청 로그 정보로서 메모리(130)에 저장할 수 있다.
반면에, 캡처된 영상이 핑거프린트 인식 대상이 아닌 것으로 식별되는 경우(629-N), 전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(631). 이 때, 동작 623에서 서버(200)로 전송된 문자가 계속하여 저장된 상태인 경우, 전술한 동작 631의 과정은 생략될 수 있다. 서버(200)는 문자에 매칭되는 영상 관련 정보의 검색을 수행하고(633), 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다(635). 전자 장치(100)의 프로세서(110)는 수신된 매칭 결과에 따라, 문자에 매칭되는 컨텐츠 인식 정보의 획득이 실패했는지 또는 성공했는지를 판단할 수 있다(637).
컨텐츠 인식 정보의 획득에 성공한 경우(637-Y), 전자 장치(100)의 프로세서(110)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장하도록 메모리(130)를 제어할 수 있다(639). 반면에, 컨텐츠 인식 정보의 획득에 실패한 경우(637-N), 전자 장치(100)의 프로세서(110)는 캡처된 영상이 인식할 수 없는 상태(또는, 미인식(unknown) 상태)인 것으로 메모리(130)에 기록할 수 있다(641).
다양한 실시예로, 동작 625에서, 문자에 기반하여 캡처된 영상이 핑거프린트 인식 대상 영상으로 판단되면, 서버(200)는 핑거프린트 인식 대상 확인 결과와 함께, 문자의 매칭 결과를 전자 장치(100)에게 전송할 수 있다.
본 개시에 따르면, 전자 장치(100)가 선제적으로 핑거프린트의 인식 대상이 아니라고 판단된 영상은 핑거프린트를 인식하는 ACR 기능을 생략하기 때문에, ACR의 수행 대상이 되는 서버(200)의 이용 및 유지를 위하여 비용이 크게 절약될 수 있다.
도 7은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 7에서, 컨텐츠 인식 정보를 획득하는 과정은, 헤드엔드 선별 과정인 선제 단계 및 영상 인식 과정인 후속 단계로 구분할 수 있다. 헤드엔드는 컨텐츠를 제공하는 방송국, 컨텐츠 소스 회사, 통신 회사, 셋탑 제조/운영 회사 등을 포함할 수 있다.
먼저, 도 7에서, 전자 장치(100)의 프로세서(110)는 컨텐츠의 영상을 캡처할 수 있다(701).
전자 장치(100)의 프로세서(110)는 캡처된 영상에서 문자 영역을 식별할 수 있다(702).
전자 장치(100)의 프로세서(110)는 식별된 문자 영역에 포함된 문자를 인식할 수 있다(703).
전자 장치(100)의 프로세서(110)는 인식된 문자가 서버(200)에게 전송되도록 통신부(120)를 제어할 수 있다(705).
서버(200)는 수신된 문자에 매칭되는 영상 관련 정보의 검색을 수행할 수 있다(706). 서버(200)는 영상 관련 정보의 검색에 기반하여 전자 장치(100)의 헤드엔드를 추정할 수 있다(707). 예로, 서버(200)는 EPG 데이터베이스를 대상으로 문자를 제공하는 헤드엔드를 검색하고, 검색된 헤드엔드를 캡처된 영상을 포함하는 컨텐츠를 제공하는 헤드엔드로서 추정할 수 있다. 서버(200)는 복수 개의 문자에 기반하여 헤드엔드를 추정할 수도 있다. 서버(200), 예로, 룰 기반 방식 또는 인공 지능 방식(예로, 딥러닝 등)에 기반하여 헤드엔드를 추정할 수 있다. 또한, 서버(200)는 복수 개의 헤드엔드를 추정할 수도 있다. 서버(200)는 하나 이상의 헤드엔드 정보를 포함하는 헤드앤드 리스트를 전자 장치(100)에게 전송할 수 있다(709).
전자 장치(100)는 핑거프린트를 이용하여 캡처된 영상을 인식하는 경우, 수신된 헤드앤드 리스트에 포함된 캡처된 영상을 제공하는 것으로 추정된 헤드엔드를 대상으로 핑거프린트에 매칭되는 영상 정보를 검색할 수 있다. 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출하고(711), 추출된 핑거프린트를 서버(200)에게 전송할 수 있다(713). 서버(200)는 수신된 핑거프린트의 인식을 수행하고(715), 핑거프린트의 인식 결과를 획득할 수 있다(717). 이 때, 서버(200)는 캡처된 영상을 제공하는 것으로 추정된 헤드엔드로 제한하여 핑거프린트의 인식을 수행할 수 있다. 그리고, 서버(200)는 핑거프린트의 인식 결과를 전자 장치(100)에게 전송할 수 있다(719). 다른 실시예로, 전자 장치(100)가 추출된 핑거 프린트를, 추정된 헤드엔드와 관련된 서버로 제한하여 전송할 수 있다.
서버(200)로부터 핑거프린트의 인식 결과가 수신되면, 전자 장치(100)는 인식 결과에 따라 핑거프린트에 매칭되는 컨텐츠 인식 정보를 저장할 수 있다. 이에 대응하는, 동작 721 및 동작 725은, 전술한 도 6의 동작 615 내지 동작 619에 대응되어 중복되는 설명은 생략한다.
다양한 실시예로, 핑거프린트의 인식 결과로서 실패 메시지가 수신되면, 전자 장치(100)는 캡처된 영상으로부터 인식된 문자(예로, 동작 703에서 인식된 문자)를 서버(200)에게 전송하여 캡처된 영상을 인식할 수 있다. 이에 대응되는 과정은, 전술한 도 5의 동작 519 내지 동작 529에 대응될 수 있다.
본 개시에 따르면, 전자 장치(100)는 문자 인식을 통하여 컨텐츠 소스를 제공하는 헤드엔드의 선제적 선별이 가능하기 때문에, 캡처된 영상을 인식에 필요한 데이터베이스를 최소한으로 이용할 수 있다. 즉, 헤드엔드마다 방송을 스케쥴하는 방식이 다를 수 있기 때문에, 전술한 방식에 따라, 전자 장치(100)는 캡처된 영상을 포함하는 컨텐츠 소스가 어떤 지역에서 전송된 것인지, 어떤 방송사에서 제공한 것인 등을 미리 알 수 있다. 이에, 핑거프린트에 매칭되는 컨텐츠 인식 정보의 검색 대상이 특정 지역 또는 특정 컨텐츠 소스 제공 업체에 제한되기 때문에 서버의 이용 또는 관리 비용이 크게 절감될 수 있다.
도 8은, 본 개시의 일 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 8에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(801).
전자 장치(100)는 캡처된 영상에 문자 영역이 포함되는지를 판단할 수 있다(803).
문자 영역의 판단 결과(또는, 식별 결과)에 따라, 전자 장치(100)의 프로세서(110)는 캡처된 영상의 인식을 수행할 수 있다.
전자 장치(100)가 캡처된 영상에 포함된 문자 영역의 식별에 성공하는 경우(803-Y), 전자 장치(100)는 문자 영역으로부터 문자를 인식할 수 있다(805). 전자 장치(100)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(807). 전자 장치(100)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(809).
다양한 실시예로, 전자 장치(100)는 캡처된 영상이 핑거프린트의 인식 대상인지 확인 결과에 따라, 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 예로, 캡처된 영상이 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 전자 장치(100)는 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 반면에, 캡처된 영상이 핑거프린트의 인식 대상인 것으로 식별되는 경우, 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득할 수 있다.
한편, 동작 803에서 판단 결과, 전자 장치(100)가 캡처된 영상에 포함된 문자 영역의 식별에 실패하는 경우(803-N), 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(811). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(813). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(815).
다양한 실시예로, 전자 장치(100)는 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버(예로, 도 1의 분석 서버)로 전송할 수 있다.
도 9는, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 9에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(901).
전자 장치(100)는 캡처된 영상에 문자가 존재하는지를 판단할 수 있다(903).
전자 장치(100)가 캡처된 영상에 포함된 문자의 식별에 성공하는 경우(903-Y), 전자 장치(100)는 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(905). 전자 장치(100)는 획득된 문자에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(907).
반면에, 전자 장치(100)가 캡처된 영상에 포함된 문자의 식별에 실패하는 경우, 전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(911). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버로부터 획득할 수 있다(913). 전자 장치(100)는 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(915).
도 10은, 다른 실시예에 따른 컨텐츠 인식 정보를 획득하는 과정을 나타내는 도면이다.
도 10에서, 전자 장치(100)는 컨텐츠의 영상을 캡처할 수 있다(1001).
전자 장치(100)는 캡처된 영상으로부터 핑거프린트를 추출할 수 있다(1003).
전자 장치(100)는 추출된 핑거프린트를 서버에게 전송할 수 있다(1005).
전자 장치(100)는 핑거프린트의 인식 결과를 서버로부터 획득할 수 있다(1007).
전자 장치(100)는 핑거프린트의 인식 결과로부터 핑거프린트의 인식의 성공 여부를 판단할 수 있다(1009).
판단 결과, 서버(200)에서 핑거프린트의 인식이 성공한 것으로 식별되는 경우(1009-Y), 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(1011). 여기서, 전자 장치(100)가 핑거프린트에 매칭되는 컨텐츠 인식 정보를 획득한다는 것은, 서버(200)로부터 획득된 인식 결과로부터 핑거프린트에 매칭되는 컨텐츠 인식 정보를 추출하는 것을 포함할 수 있다. 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(1013).
판단 결과, 서버(200)에서 핑거프린트의 인식이 실패한 것으로 식별되는 경우(1009-N), 전자 장치(100)는 캡처된 영상에 포함된 문자에 매칭되는 컨텐츠 인식 정보를 메모리(130) 또는 서버(200)로부터 획득할 수 있다(1015). 이 때, 서버(200)에서 핑거프린트의 인식이 실패한 것으로 식별되는 경우는, 서버(200)에서 핑거프린트와 동일 또는 유사한 핑거프린트가 검색되지 않거나, 또는 검색된 핑거프린트에 매칭되는 영상 관련 정보가 검색되지 않음에 따라, 전자 장치(100)가 핑거프린트의 인식의 실패를 알리는 실패 메시지를 수신하는 경우를 포함할 수 있다. 다음으로, 전자 장치(100)는 핑거프린트에 매칭되는 컨텐츠 인식 정보를 사용자의 시청 로그 정보로서 저장할 수 있다(1017).
다양한 실시예로, 전자 장치(100)는 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버(예로, 도 1의 분석 서버(미도시))로 전송할 수 있다.
다양한 실시예로, 문자에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 문자 매칭 서버(예로, 도 1의 영상 관련 정보 서버(230))일 수 있다. 또한, 핑거프린트에 매칭되는 컨텐츠 인식 정보를 제공하는 서버(200)는, 서버(200)에 포함된 핑거프린트 매칭 서버(예로, 도 1의 핑거프린트 매칭 서버(210))일 수 있다.
다양한 실시예로, 컨텐츠 인식 정보는, 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함할 수 있다.
도 11은 본 개시의 다른 실시예에 따른 전자 장치(100)의 블록도를 나타낸다.
도 11을 참고하면, 전자 장치(100)는 통신부(2010), 메모리(2120), 프로세서(2030), 튜너(2040), 디스플레이(2050), 입/출력부(2060) 및 오디오 출력부(2070)를 포함할 수 있다. 실시 형태에 따라 구성들 중 일부는 생략될 수 있고, 도시되지 않았더라도 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
통신부(2010)는 외부 장치와 통신을 수행하기 위한 구성이다. 도 11에 도시된 통신부(2010)에 대한 설명은 도 2를 참고하여 설명한 통신부(120)에 대한 설명이 참조될 수 있다.
메모리(2020)는 전자 장치(100)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제(Operating System: OS)를 저장할 수 있다. 도 11에 도시된 메모리(2020)에 대한 설명은 도 2를 참고하여 설명한 메모리(130)에 대한 설명이 참조될 수 있다.
튜너(2040)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다.
튜너(2040)는 사용자가 선택한 채널에 대응되는 주파수 대역에서 비디오, 오디오 및 부가 데이터를 포함하는 방송 신호를 수신할 수 있다.
튜너(2040)는 지상파 방송, 케이블 방송, 또는, 위성 방송 등과 같이 다양한 소스에서부터 방송 신호를 수신할 수 있다. 튜너(2040)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
튜너(2040)를 통해 수신되는 방송 신호는 비디오 데이터, 오디오 데이터 및 프로그램 관련 정보인 메타 데이터를 포함할 수 있다. 메타 데이터는 방송 프로그램에 대한 부가 정보, 예컨대 프로그램 명칭, 줄거리, 방송 시작 시간, 방송 종료 시간 등에 대한 정보를 포함할 수 있다. 방송 프로그램에 관련 정보인 메타 데이터는 튜너(2040)뿐만 아니라 인터넷 서버로부터 통신부(2010)를 통해 수신될 수도 있다.
튜너(2040)는 전자 장치(100)와 일체형(all-in-one)으로 구현되거나 또는 전자 장치(100)와 전기적으로 연결되는 별개의 장치(예를 들어, 입/출력부(2060) 또는 통신부(2010)에 연결되는 튜너)로 구현될 수 있다.
디스플레이(2050)는 영상을 표시하기 위한 구성으로서, 예컨대 튜너(2040)를 통해 수신된 방송 신호에 포함된 비디오 데이터, 통신부(2010) 또는 입/출력부(2060)를 통해 입력된 영상, 또는 메모리(2020)에 저장된 영상 파일에 포함된 영상을 출력할 수 있다.
디스플레이(2050)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이(2050)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
오디오 출력부(2070)는 오디오를 출력하기 위한 구성으로서, 예컨대, 튜너(2040)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(2010) 또는 입/출력부(2060)를 통해 입력되는 오디오, 또는 메모리(2020)에 저장된 오디오 파일에 포함된 오디오를 출력할 수 있다. 오디오 출력부(2070)는 스피커 및/또는 헤드폰 출력 단자를 포함할 수 있다.
입/출력부(2060)는 외부 장치와 연결되기 위한 구성으로서, 예컨대, HDMI 입력 포트(High-Definition Multimedia Interface port), 컴포넌트 입력 잭, USB 포트 등을 포함할 수 있고, 이 밖에도 RGB, DVI, DP, 썬더볼트 등의 포트 중 적어도 하나를 포함할 수 있다.
프로세서(2030)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 도 11에 도시된 프로세서(2030)에 대한 설명은 도 2를 참고하여 설명한 프로세서(110)에 대한 설명이 참조될 수 있다.
프로세서(2030)는 RAM(2032), ROM(2033), GPU(2034), CPU(2031), 제1 내지 n 인터페이스(2035-1 ~ 2035-n), 버스(2036)를 포함할 수 있다. 이때, RAM(2032), ROM(2033), GPU(2034), CPU(2031), 제1 내지 n 인터페이스(2035-1 ~ 2035-n) 등은 버스(2036)를 통해 서로 연결될 수 있다.
ROM(2033)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 전자 장치(100)에 대한 턴-온 명령이 입력되어 전원이 공급되면, CPU(2031)는 ROM(2033)에 저장된 명령어에 따라 메모리(2010)에 저장된 O/S의 적어도 일부를 RAM(2032)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(2031)는 메모리(2020)에 저장된 각종 프로그램을 RAM(2032)에 복사하고, RAM(2032)에 복사된 프로그램을 실행시켜 각종 동작을 수행할 수 있다. CPU(2031)는 메모리(2020)에 저장된 각종 프로그램 모듈, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
GPU(2034)는 전자 장치(100)의 부팅이 완료되면, 영상을 디스플레이할 수 있다. GPU(2034)는 연산부 및 렌더링부를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이(2050)로 제공되어, 디스플레이 영역 내에 표시된다.
제1 내지 n 인터페이스(2035-1 내지 2035-n)는 상술한 각종 구성요소들(2010, 2020, 2040 내지 2070)과 연결될 수 있다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
본 개시의 실시예에 따르면, 프로세서(2030)는 컨텐츠의 영상을 캡처할 수 있다. 프로세서(2030)는 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 통신부(2010)을 통하여 획득할 수 있다. 또는, 프로세서(2030)는 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득할 수 있다. 프로세서(2030)는 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 메모리(2020)에 저장할 수 있다.
도 12는 본 개시의 일 실시예에 따른 분기부를 포함하는 서버의 블록도이다.
도 12를 참조하면, 서버(200)는 분기부(1210), 핑거프린트 매칭 서버(1220) 및 문자 매칭 서버(1230)를 포함할 수 있다. 핑거프린트 매칭 서버(1220)는 핑거프린트의 인식 결과를 제공하는 서버로서 전술한 도 2의 핑거프린트 매칭 서버(210)를 포함할 수 있다. 문자 매칭 서버(1230)는 문자의 매칭 결과를 제공하는 서버로서 전술한 도 2의 영상 관련 정보 서버(예: EPG 서버, 메타데이터 전용 서버)(230)를 포함할 수 있다.
분기부(1210)는 서버(200)의 프로세서의 적어도 일부로서, 전자 장치(100)로부터 수신되는 컨텐츠와 관련된 쿼리를 용도에 적합한 서버로 전달할 수 있다. 분기부(1210)는 전자 장치(100)로부터 수신된 쿼리에 핑거프린트가 포함된 경우, 상기 핑거프린트를 핑거프린트 매칭 서버(1220)로 전송할 수 있다. 반면에, 전자 장치(100)로부터 수신된 쿼리에 문자가 포함된 경우, 분기부(1210)는 상기 문자를 문자 매칭 서버(1230)로 전송할 수 있다.
또는, 전자 장치(100)로부터 수신되는 쿼리에 목적지와 관련된 필드가 포함되는 경우, 상기 필드 값에 따라 분기부(1210)는 수신된 쿼리의 적어도 일부를 핑거프린트 매칭 서버(1220) 또는 문자 매칭 서버(123)로 전송할 수 있다.
핑거프린트 매칭 서버(1220)가 분기부(1210)로부터 핑거프린트를 수신한 경우, 핑거프린트 매칭 서버(1220)는 제1 데이터베이스(DB)(1221)에서 핑거프린트에 매칭되는 제1 영상 관련 정보를 검색할 수 있다. 제1 데이터베이스(DB)(1221)는, 예로, 도 5에서 전술한 Live 컨텐츠 데이터베이스(DB), VOD 컨텐츠 데이터베이스(DB), DVR 컨텐츠 데이터베이스(DB) 또는 커스텀 컨텐츠 데이터베이스(DB) 중 적어도 하나를 포함할 수 있다. 제1 데이터베이스(1221)에는 복수 개의 핑거프린트들 각각에 대응되는 복수 개의 제1 영상 관련 정보들이 포함될 수 있다. 제1 영상 관련 정보는, 예로, 방송 프로그램명, 방송 프로그램의 장르 등과 같은 방송 프로그램 관련 정보를 포함할 수 있다. 핑거프린트 매칭 서버(1220)에서 핑거프린트에 매칭되는 제1 영상 관련 정보가 검색되면, 서버(200)는 검색된 제1 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다.
한편, 문자 매칭 서버(1230)가 분기부(1210)로부터 문자를 수신한 경우, 문자 매칭 서버(1230)는 제2 데이터베이스(DB)(1231)에서 문자에 매칭되는 제2 영상 관련 정보를 검색할 수 있다. 제2 데이터베이스(DB)(1231)는, 예로, EPG 데이터베이스를 포함할 수 있다. 제2 데이터베이스(1231)에는 복수 개의 문자들 각각에 대응되는 복수 개의 제2 영상 관련 정보들이 포함될 수 있다. 제2 영상 관련 정보는, 예로, EPG 정보를 포함할 수 있다. 문자 매칭 서버(1230)는 문자에 매칭되는 제2 영상 관련 정보가 검색되면, 서버(200)는 검색된 제2 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다.
도 13은 본 개시의 일 실시예에 따른 분기부를 포함하는 전자 장치의 블록도이다.
도 13에서, 전자 장치(100)는 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330), 분기부(340)를 포함한다. 이 중에서, 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)는 전술한 도 3의 영상 캡처부(310), ACR 엔진(320), OCR 엔진(330)에 각각 대응되어 중복되는 설명은 생략한다.
분기부(340)는 ACR 엔진(320)으로부터 캡처된 영상으로부터 추출된 핑거프린트를 획득하거나, OCR 엔진(330)으로부터 문자 영역으로부터 인식된 문자를 획득할 수 있다. 분기부(340)는 획득된 핑거프린트 또는 문자가 전송될 서버를 결정할 수 있다. 분기부(340)는 핑거프린트가 획득된 경우, 획득된 핑거프린트를 포함하는 쿼리가 핑거프린트 매칭 서버(1220)로 전송되도록 통신부(120)를 제어할 수 있다. 반면에, 문자가 획득된 경우, 분기부(340)는 획득된 문자를 포함하는 쿼리가 문자 매칭 서버(1230)로 전송되도록 통신부(120)를 제어할 수 있다.
분기부(340)의 제어 결과에 따라, 전자 장치(100)는 핑거프린트 또는 문자에 매칭되는 컨텐츠 인식 정보를 통신부(120)를 통하여 수신할 수 있다.
도 14는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 14를 참조하면, 서버(200)는 적어도 하나의 프로세서(201), 적어도 하나의 메모리(202) 및 적어도 하나의 통신부(203)를 포함할 수 있다.
적어도 하나의 프로세서(201)는 제1 프로세서(201a) 및 제2 프로세서(201b)로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 제1 프로세서(201a)는 핑거프린트 매칭 서버의 프로세서이고, 제2 프로세서(201b)는 문자 매칭 서버의 프로세서일 수 있다. 제1 프로세서(201a) 및 제2 프로세서(201b)는 단일의 칩으로 생성될 수도 있고, 서로 이격된 위치에 존재하는 복수의 칩들로서 유선 또는 무선 네트워크를 통하여 서로 통신할 수도 있다.
적어도 하나의 프로세서(201)는 서버(200)의 전반적인 동작을 제어할 수 있다. 예로, 적어도 하나의 프로세서(201)는 운영 체제 또는 응용 프로그램을 구동하여 적어도 하나의 프로세서(201)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다.
다양한 실시예로, 적어도 하나의 프로세서(201)는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신하도록 적어도 하나의 통신부(203)를 제어할 수 있다. 수신된 쿼리에 핑거프린트가 포함된 경우, 적어도하나의 프로세서(201)는 핑거프린트에 매칭되는 제1 영상 관련 정보를 적어도 하나의 메모리(202)에 포함된 제1 데이터베이스(1221)에서 검색할 수 있다. 반면에, 수신된 쿼리에 문자가 포함된 경우, 적어도 하나의 프로세서(201)는 문자에 매칭되는 제2 영상 관련 정보를 제2 데이터베이스(1231)에서 검색할 수 있다.
적어도 하나의 메모리(202)는 적어도 하나의 프로세서(201)에 의해 액세스되며, 적어도 하나의 프로세서(201)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 적어도 하나의 메모리(202)는 복수 개의 서브 메모리들로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 메모리(202)는 핑거프린트 매칭 서버의 메모리 및 문자 매칭 서버의 프로세서의 메모리를 모두 포함할 수 있다. 이 때, 서브 메모리들은 단일의 메모리로 생성될 수도 있고, 서로 이격된 위치에 존재하는 복수의 메모리들로 구성될 수도 있다.
적어도 하나의 메모리(202)는 제1 데이터베이스(1221) 및 제2 데이터베이스(1231)를 포함할 수 있다. 일 예로, 제1 데이터베이스(1221)는 핑거프린트 매칭 서버의 메모리에 포함될 수 있고, 제2 데이터베이스(1231)는 문자 매칭 서버의 프로세서의 메모리에 포함될 수 있다.
다양한 실시예로, 적어도 하나의 메모리(202)는 적어도 하나의 프로세서(201)가 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신하도록 적어도 하나의 통신부(203)를 제어하고, 수신된 쿼리에 핑거프린트가 포함된 경우, 핑거프린트에 매칭되는 제1 영상 관련 정보를 메모리(202)에 포함된 제1 데이터베이스에서 검색하고, 수신된 쿼리에 문자가 포함된 경우, 문자에 매칭되는 제2 영상 관련 정보를 제2 데이터베이스에서 검색하도록 설정된 명령어들(instructions)을 저장할 수 있다.
적어도 하나의 통신부(203)는 제1 통신부(203a) 및 제2 통신부(203b)로 구성될 수 있다. 예로, 서버(200)가 복수 개의 서브 서버들(예: 핑거프린트 매칭 서버 및 문자 매칭 서버)로 구성된 경우, 제1 통신부(203a)는 핑거프린트 매칭 서버의 통신부이고, 제2 통신부(203b)는 문자 매칭 서버의 통신부일 수 있다. 적어도 하나의 통신부(203)는 무선 통신을 통해서 네트워크에 연결되어 외부 장치(예로, 전자 장치(100))와 통신할 수 있다. 예를 들면, 적어도 하나의 통신부(203)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈)을 이용하여, 근거리 통신 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 등) 또는 원거리 통신 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN) 등)를 통하여 외부 장치와 통신할 수 있다.
도 15는 본 개시의 일 실시예에 따른 서버의 흐름도이다.
도 15에서, 서버(200)는 사용자가 시청 중인 컨텐츠와 관련된 쿼리를 전자 장치(100)로부터 수신할 수 있다(1501)
쿼리가 수신되면, 서버(200)는 쿼리에 포함된 정보를 식별할 수 있다(1502). 예로, 서버(200)는 쿼리에 핑거프린트가 포함되었는지, 또는 문자가 포함되었는지 식별할 수 있다.
수신된 쿼리에 핑거프린트가 포함된 경우(1502-A), 서버(200)는 핑거프린트에 매칭되는 제1 영상 관련 정보를 제1 데이터베이스에서 검색할 수 있다(1503). 제1 데이터베이스는, 예로, 핑거프린트 매칭 서버의 메모리에 포함된 데이터베이스일 수 있다.
반면에, 수신된 쿼리에 문자가 포함된 경우(1502-B), 서버(200)는 문자에 매칭되는 제2 영상 관련 정보를 상기 제2 데이터베이스에서 검색할 수 있다(1504).
제1 영상 관련 정보 또는 제2 영상 관련 정보가 검색되면, 서버(200)는 검색된 제1 영상 관련 정보 또는 제2 영상 관련 정보를 컨텐츠와 관련된 컨텐츠 인식 정보로서 전자 장치(100)에게 전송할 수 있다(1505).
상술한 다양한 실시예들에 따르면 컨텐츠 인식을 위해 특징 정보를 포함한 요청을 전송하는 빈도를 감소시킬 수 있으므로 쿼리 비용을 줄일 수 있는 장점이 있다.
이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합으로 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장될 수 있는 명령어를 포함하는 소프트웨어로 구현될 수 있다. 상기 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 전자 장치(100)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 서버로부터 전자 장치에게 온라인을 통하여 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 실시예에 따르면, 컴퓨터 프로그램 제품은 컨텐츠의 영상을 캡처하도록 제어하고, 캡처된 영상에 포함된 문자 영역의 식별 결과에 따라, 문자 영역으로부터 문자를 인식하여 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하도록 제어하거나, 또는 캡처된 영상으로부터 핑거프린트를 추출하여 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 서버(200)로부터 획득하도록 제어하고, 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하도록 제어하는 동작을, 컴퓨터의 프로세서가 수행하도록 설정된 명령어들을 포함할 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    서버와 통신 가능한 통신부;
    명령어들(instructions)을 저장하는 메모리; 및
    상기 통신부 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 적어도 하나의 프로세서가,
    컨텐츠의 영상을 캡처하고,
    상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고,
    상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하고,
    상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 상기 메모리에 저장하도록 설정된 명령어들(instructions)을 저장하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하도록 설정된 명령어들을 저장하는,
    전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 인식된 문자를 상기 서버에게 전송하고,
    상기 전송된 문자에 기반하여 상기 캡처된 영상이 상기 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하도록 설정된 명령어들을 저장하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버에게 상기 통신부를 통하여 전송하도록 설정된 명령어들을 저장하는,
    전자 장치.
  5. 제1항에 있어서,
    상기 문자에 매칭되는 컨텐츠 인식 정보를 제공하는 서버는, 상기 서버에 포함된 문자 매칭 서버이고,
    상기 핑거프린트에 매칭되는 컨텐츠 인식 정보를 제공하는 서버는, 상기 서버에 포함된 핑거프린트 매칭 서버인,
    전자 장치.
  6. 제1항에 있어서,
    상기 컨텐츠 인식 정보는,
    상기 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함하는,
    전자 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 인식된 문자를 문자 매칭 서버에게 전송하고,
    상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 추출된 핑거프린트를 핑거프린트 매칭 서버에게 전송하도록 설정된 명령어들을 저장하는,
    전자 장치.
  8. 제1항에 있어서,
    상기 메모리는, 상기 전자 장치가 실행 시, 상기 프로세서가,
    상기 컨텐츠의 종류를 식별하고,
    상기 식별된 컨텐츠의 종류에 기반하여, 상기 문자 영역의 식별 여부와 무관하게, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 상기 통신부를 통하여 획득하도록 설정된 명령어들을 저장하는,
    전자 장치.
  9. 컨텐츠의 영상을 캡처하는 동작;
    상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 문자 영역으로부터 문자를 인식하여 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 서버로부터 획득하고,
    상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 캡처된 영상으로부터 핑거프린트를 추출하여 상기 추출된 핑거프린트에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작; 및
    상기 획득된 문자에 매칭되는 컨텐츠 인식 정보 및 상기 핑거프린트에 매칭되는 컨텐츠 인식 정보 중 적어도 하나를 저장하는 동작을 포함하는,
    컨텐츠 인식 정보 획득 방법.
  10. 제9항에 있어서,
    상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작은,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작을 포함하는,
    컨텐츠 인식 정보 획득 방법.
  11. 제10항에 있어서,
    상기 캡처된 영상이 핑거프린트의 인식 대상이 아닌 경우, 상기 인식된 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작은,
    상기 인식된 문자를 상기 서버에게 전송하는 동작; 및
    상기 전송된 문자에 기반하여 상기 캡처된 영상이 상기 핑거프린트의 인식 대상이 아닌 것으로 식별되는 경우, 상기 문자에 매칭되는 컨텐츠 인식 정보를 상기 서버로부터 획득하는 동작을 포함하는,
    컨텐츠 인식 정보 획득 방법.
  12. 제9항에 있어서,
    상기 방법은,
    상기 저장된 컨텐츠 인식 정보를 사용자의 시청 로그를 분석하는 외부 분석 서버로 전송하는 동작을 더 포함하는,
    컨텐츠 인식 정보 획득 방법.
  13. 제9항에 있어서,
    상기 문자에 매칭되는 컨텐츠 인식 정보가 획득되는 서버는, 상기 서버에 포함된 문자 매칭 서버고,
    상기 핑거프린트에 매칭되는 컨텐츠 인식 정보가 획득되는 서버는, 상기 서버에 포함된 핑거프린트 매칭 서버인,
    컨텐츠 인식 정보 획득 방법.
  14. 제9항에 있어서,
    상기 컨텐츠 인식 정보는,
    상기 캡처된 영상과 관련된 메타데이터, 상기 메타데이터의 저장 주소 또는 상기 메타데이터의 식별자를 포함하는,
    컨텐츠 인식 정보 획득 방법.
  15. 제9항에 있어서,
    상기 캡처된 영상에서 문자 영역이 식별되는 경우, 상기 인식된 문자를 문자 매칭 서버에게 전송하는 동작; 및
    상기 캡처된 영상에서 문자 영역이 식별되지 않는 경우, 상기 추출된 핑거프린트를 핑거프린트 매칭 서버에게 전송하는 동작을 더 포함하는,
    컨텐츠 인식 정보 획득 방법.
PCT/KR2019/003304 2018-05-21 2019-03-21 전자 장치 및 그의 컨텐츠 인식 정보 획득 WO2019225851A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/053,289 US11575962B2 (en) 2018-05-21 2019-03-21 Electronic device and content recognition information acquisition therefor
CN201980034329.0A CN112154671B (zh) 2018-05-21 2019-03-21 电子设备及其内容识别信息获取
EP19806480.0A EP3748982B1 (en) 2018-05-21 2019-03-21 Electronic device and content recognition information acquisition therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0057586 2018-05-21
KR20180057586 2018-05-21
KR1020180157354A KR102546026B1 (ko) 2018-05-21 2018-12-07 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR10-2018-0157354 2018-12-07

Publications (1)

Publication Number Publication Date
WO2019225851A1 true WO2019225851A1 (ko) 2019-11-28

Family

ID=68615622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003304 WO2019225851A1 (ko) 2018-05-21 2019-03-21 전자 장치 및 그의 컨텐츠 인식 정보 획득

Country Status (1)

Country Link
WO (1) WO2019225851A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124911A (ko) * 2012-05-07 2013-11-15 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
KR20150030185A (ko) * 2014-09-30 2015-03-19 투브플러스 주식회사 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20160053549A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US20170208353A1 (en) * 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Content selection for networked media devices
KR20180014657A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124911A (ko) * 2012-05-07 2013-11-15 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
KR20150030185A (ko) * 2014-09-30 2015-03-19 투브플러스 주식회사 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20160053549A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US20170208353A1 (en) * 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Content selection for networked media devices
KR20180014657A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3748982A4 *

Similar Documents

Publication Publication Date Title
WO2019216529A1 (en) Electronic apparatus and controlling method thereof
WO2017099444A1 (en) Content processing apparatus, content processing method thereof, server, information providing method of server and information providing system
WO2017126835A1 (en) Display apparatus and controlling method thereof
WO2018190513A1 (en) Display device, display system and method for controlling display device
WO2015026058A1 (en) Method, terminal, and system for reproducing content
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2019078617A1 (en) ELECTRONIC APPARATUS AND VOICE RECOGNITION METHOD
WO2018128298A1 (en) Electronic apparatus and controlling method thereof
EP3430811A1 (en) Electronic apparatus and method of operating the same
WO2013012112A1 (ko) 쿠폰 검색을 수행하는 전자 기기 및 소셜 커머스 서버
WO2020004823A1 (en) Electronic apparatus and controlling method thereof
WO2018124842A1 (ko) 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
WO2019117547A1 (ko) 전자 장치 및 그의 제어방법
WO2020017930A1 (ko) 추천 채널 리스트 제공 방법 및 그에 따른 디스플레이 장치
WO2017146454A1 (ko) 컨텐트를 인식하는 방법 및 장치
WO2019088627A1 (en) Electronic apparatus and controlling method thereof
WO2019225851A1 (ko) 전자 장치 및 그의 컨텐츠 인식 정보 획득
WO2019088592A1 (ko) 전자 장치 및 이의 제어방법
WO2023027487A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2023058835A1 (ko) 전자 장치 및 그 제어 방법
WO2015115850A1 (ko) 방송 수신 장치
WO2022098072A1 (ko) 전자장치 및 그 제어방법
WO2021125795A1 (ko) 태그를 제공하는 방법 및 이를 지원하는 전자 장치
WO2015126043A1 (ko) 광고 표시 방법 및 광고 제공 방법, 그리고 이에 적용되는 장치
WO2022250328A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19806480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019806480

Country of ref document: EP

Effective date: 20200902

NENP Non-entry into the national phase

Ref country code: DE