WO2014171046A1 - 映像受信装置、及び、映像受信装置における情報表示制御方法 - Google Patents

映像受信装置、及び、映像受信装置における情報表示制御方法 Download PDF

Info

Publication number
WO2014171046A1
WO2014171046A1 PCT/JP2014/000318 JP2014000318W WO2014171046A1 WO 2014171046 A1 WO2014171046 A1 WO 2014171046A1 JP 2014000318 W JP2014000318 W JP 2014000318W WO 2014171046 A1 WO2014171046 A1 WO 2014171046A1
Authority
WO
WIPO (PCT)
Prior art keywords
configuration information
priority
image
video
content
Prior art date
Application number
PCT/JP2014/000318
Other languages
English (en)
French (fr)
Inventor
將高 江島
健児 瀧田
吉田 裕之
森 光広
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP14784862.6A priority Critical patent/EP2988520B1/en
Priority to JP2015512283A priority patent/JP6288476B2/ja
Publication of WO2014171046A1 publication Critical patent/WO2014171046A1/ja
Priority to US14/857,476 priority patent/US9699520B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors

Definitions

  • the present invention relates to a video receiver and an information display control method in the video receiver.
  • Patent Document 1 discloses a video playback terminal that creates a searchable index by performing character recognition on video information acquired from a video broadcast. The user can search and view a desired scene from the video using the video playback terminal.
  • This disclosure provides a video receiving apparatus that presents search items that are easy for the user to select.
  • the video receiving device includes a receiving unit that receives video content, and extracts the partial content that is a part of the video content by analyzing the video content, and includes the extracted content in the video content
  • the information generation unit that generates configuration information that is information including characters or images indicating the partial content from the partial content, and the feature acquired from the partial content
  • a priority determining unit that determines, for the configuration information, a priority indicating the degree of association between the video content and the configuration information generated from the partial content; and the priority determination for the configuration information
  • a display control unit that controls display of the configuration information on a display screen according to the priority of the configuration information determined by the unit.
  • the video receiving device is effective for presenting search items that can be easily selected by the user.
  • FIG. 1 is a functional block diagram of a video reception device according to an embodiment.
  • FIG. 2 is an explanatory diagram of extraction of partial contents in the embodiment.
  • FIG. 3 is an explanatory diagram of the feature amount of the partial content in the embodiment.
  • FIG. 4 is an explanatory diagram of configuration information in the embodiment.
  • FIG. 5 is a first explanatory diagram of the priority determination method in the embodiment.
  • FIG. 6 is a second explanatory diagram of the priority determination method in the embodiment.
  • FIG. 7 is a third explanatory diagram of the priority determination method in the embodiment.
  • FIG. 8 is a fourth explanatory diagram of the priority determination method in the embodiment.
  • FIG. 9 is a fifth explanatory diagram of the priority determination method according to the embodiment.
  • FIG. 10 is an explanatory diagram of the display of configuration information in the embodiment.
  • FIG. 11 is a flowchart illustrating a method for displaying configuration information by the video reception device according to the embodiment.
  • FIG. 1 is a functional block diagram of a video receiving apparatus according to the present embodiment.
  • the video reception device 1 includes a reception unit 101, an extraction unit 102, an information generation unit 103, a communication unit 104, a priority determination unit 105, a storage unit 106, and a display control unit. 107.
  • the receiving unit 101 receives video content.
  • the video content includes content distributed by terrestrial broadcast or IP (Internet Protocol) broadcast, or content recorded on a recording medium.
  • the video content includes video, and may further include meta information having information indicating audio or a genre of the video content.
  • the receiving unit 101 receives video content using an antenna and a receiving circuit for receiving terrestrial broadcasts, and a communication interface for receiving IP broadcasts.
  • the extraction unit 102 analyzes the video content received by the reception unit 101 to extract partial content that is a part of the video content. And the characteristic of the extracted partial content is acquired.
  • Partial content refers to an image (object image) of an area where an object such as a person is displayed in an image included in video content, and an image (character area) corresponding to an area where characters are displayed in an image included in video content Image), audio included in the video content, or meta information included in the video content.
  • the feature indicates a feature of the partial content in the video content, and a feature that indicates this feature by a numerical value is called a feature amount.
  • the feature amount is the display size (display size) or display position of the partial content in the image. That is, the extraction unit 102 acquires at least one of the display size and the display position of the object image as a feature (feature amount).
  • the feature amount is a display size (display size), display position, or display color of the partial content in the image. That is, the extraction unit 102 acquires at least one of the display position, display color, and character size in the character area image as a feature (feature amount).
  • the feature amount is sound pressure (volume), pitch or tempo of the sound. That is, the extraction unit 102 acquires at least one of the sound pressure (volume), pitch, or tempo of the sound as a feature (feature amount).
  • the partial content and the feature amount will be described in detail later.
  • the information generation unit 103 generates configuration information that is information indicating partial content and includes information including characters or images from the partial content extracted by the extraction unit 102.
  • the configuration information is the name or abbreviation of the person corresponding to the object image, or the object image itself.
  • the configuration information is a character (character string) displayed on the character area image.
  • the configuration information is a character (character string) obtained by converting the audio.
  • an existing technique such as image search using an external search device (for example, a search site on the Internet) can be used.
  • the information generating unit 103 communicates with the search item (search target) and the search result by communicating with the search device via the communication unit 104. That is, the information generation unit 103 transmits the object image to the search device via the communication unit 104, and receives the search result (name or abbreviation) transmitted by the search device as a response via the communication unit 104.
  • a character character string
  • a character character string
  • This is realized by decomposing the sentence into characters (character strings) by applying an analysis technique.
  • the communication unit 104 is an interface for communicating with an external communication device via a communication network, and is used when the information generation unit 103 communicates with a search device.
  • the communication unit 104 receives the object image from the information generation unit 103
  • the communication unit 104 converts the object image into data in a format that can be transmitted to the communication network, and transmits the data to the communication network. Further, when receiving the search result from the communication network, the communication unit 104 transfers it to the information generation unit 103.
  • the communication network includes all forms of communication networks such as a communication network including a public telephone line, a cellular phone line, a satellite communication line or a data communication line, a metro network, a corporate network, or a home network. .
  • the priority determination unit 105 determines, for the configuration information, a priority indicating the magnitude of association between the video content and the configuration information generated from the partial content based on the features extracted from the partial content. The priority will be specifically described below.
  • the priority determination unit 105 increases the priority of the configuration information converted from the object image or the character area image as the display size increases ( A value indicating a higher priority).
  • the priority determination unit 105 displays the configuration information converted from the object image or the character area image as the display position is closer to the center in the image. Determine the priority to a higher value.
  • the priority determination part 105 can also determine a priority based on the template which matches and shows the predetermined area
  • the priority determination unit 105 converts the character color from the character region image as the display color is larger in color or brightness than the display color of the surrounding image.
  • the priority of the configured information is determined to a higher value.
  • priority is given to the configuration information converted from the character area image displayed in a color usually used for displaying characters (for example, black or white).
  • the degree is determined to be a lower value, and the priority of the configuration information converted from the character area image displayed in a color different from the commonly used color (for example, red or yellow) is determined to a higher value. Also good.
  • the priority determining unit 105 determines the priority of the configuration information converted from the voice to a higher value as the sound pressure is higher.
  • the priority determination unit 105 determines the priority of the configuration information converted from the voice to a higher value as the pitch is higher.
  • the priority determination unit 105 determines the priority of the configuration information converted from the sound to a higher value as the tempo is slower.
  • the priority determination part can also determine the priority of structure information based on the relationship between words (related word dictionary).
  • the user's preference may be reflected in the priority. That is, the video receiving device 1 holds information indicating the user's preference, for example, the genre of the video content that the user likes, or a word that indicates what the user likes, and the priority determination unit 105 stores the configuration information Among them, the priority of the information that matches or relates to the information indicating the user's preference can be determined to a higher value.
  • the priority of the configuration information may be an amount indicating a relative degree with respect to other configuration information.
  • the priority may be calculated by adding the numerical values after indicating the numerical values in each of the plurality of priority determination methods as described above.
  • the priority of the configuration information is not a relative degree with respect to other configuration information but a value determined for the configuration information.
  • the priority indicates the magnitude of the relationship between the video content and the configuration information generated from the partial content, and can also be referred to as the relationship level.
  • the storage unit 106 is a memory for storing templates used by the priority determination unit 105, information indicating user preferences, and related word dictionaries.
  • the storage unit 106 stores what the priority determination unit 105 uses to determine the priority as necessary.
  • the storage unit 106 is realized by a non-volatile recording medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a flash memory.
  • the display control unit 107 controls the display of the configuration information on the display screen according to the priority determined by the priority determination unit 105 for the configuration information. Specifically, the display control unit 107 displays configuration information with higher priority at the top of the display screen. Further, the display control unit 107 may display the configuration information with higher priority on the display screen with larger characters. Further, the display control unit 107 may display the configuration information with higher priority in a display color (such as red or yellow) that is recognized more strongly by the user, or in a darker color. Further, the display control unit 107 may display only a predetermined number of pieces of configuration information from the higher priority on the display screen and may not display the remaining configuration information on the display screen.
  • the display screen may be external to the video reception device 1 or may be included in the video reception device 1 as a display unit (not shown).
  • the video receiving apparatus can present the priority of each piece of configuration information to the user together with a plurality of pieces of configuration information. The user can know the configuration information with high priority, and can then perform an action of acquiring detailed information of the configuration information as necessary.
  • Each of the reception unit 101, the extraction unit 102, the information generation unit 103, the communication unit 104, the priority determination unit 105, and the display control unit 107 stores, for example, a program (an application program or the like).
  • Non-volatile memory such as ROM (Read Only Memory), CPU (Central Processing Unit) that executes the program, and RAM (Random Access Memory) as a temporary work area when the CPU executes.
  • communication with an external device performed by the communication unit 104 is realized by a communication interface (wired LAN conforming to the IEEE 802.3 standard or the like, wireless LAN conforming to the IEEE 802.11a, b, g standard or the like).
  • FIG. 2 is an explanatory diagram of extraction of partial contents in the present embodiment.
  • An image 201 shown in FIG. 2 is an example of an image included in the video content.
  • the image 201 includes an image of a person (face), which is an object, and a character name and a character string for explanation.
  • face an image of a person
  • character name and a character string for explanation.
  • the extraction unit 102 extracts a part including an object (object image) and a part including a character (character area image) from the image 201 as partial contents.
  • the part including the object is an image including the object and an image in the vicinity of the object.
  • a known technique for example, a face that recognizes a face by detecting characteristic parts of the face such as eyes, nose, mouth, or contour from the image
  • Recognition technology for example, a character string
  • a known technique for example, a character area detection technique for separating an area including a character from an area other than that by binarizing the color of a pixel constituting an image.
  • a known technique for example, a character area detection technique for separating an area including a character from an area other than that by binarizing the color of a pixel constituting an image.
  • the extraction unit 102 extracts the object image 211 and the character area images 212, 213, and 214 included in the image 201 as partial contents.
  • the extraction unit 102 extracts the object image and the character area image as partial contents from the image included in the video content.
  • the extraction unit 102 can extract the audio that is the partial content by separating the audio from the video content.
  • FIG. 3 is an explanatory diagram of the feature amount of the partial content in the present embodiment.
  • FIG. 3 shows a table 301 indicating the type of partial content, the display position in the image, and the display size for each of the partial contents extracted by the extraction unit 102 in FIG.
  • the extraction unit 102 acquires the display position and display size in the image for each of the extracted partial contents (the object image 211 and the character area images 212 to 214). Further, the extraction unit 102 acquires the character size for each of the character area images 212 to 214 which are partial contents.
  • the display position may be information that uniquely indicates the position of the partial content in the image. For example, the coordinates of the upper left corner of the partial content can be used as the display position. Hereinafter, description will be made assuming that the coordinates of the upper left corner of the partial content are used as the display position. That is, the display position of the object image 211 is (600, 0), which is the coordinates of the upper left corner of the object image 211. Similarly, the display position of the character area image 212 is (100, 0).
  • the display size may be information that uniquely indicates the size of the partial content in the image.
  • the horizontal width and the vertical width of the partial content can be used. Below, it demonstrates as using the width
  • the character size may be information that uniquely indicates the size of the character in the character area, and for example, the font size of the character can be used.
  • the font size is used as the display size. That is, the character size of the character area image 212 is 40. Similarly, the character size of the character area image 213 is 50.
  • FIG. 4 is an explanatory diagram of configuration information in the present embodiment.
  • FIG. 4 shows a table 401 indicating configuration information for each of the partial contents extracted by the extraction unit 102 in FIG.
  • the information generation unit 103 converts the partial content extracted by the extraction unit 102 into configuration information that is information indicating the partial content and includes information including characters or images. Specifically, the information generation unit 103 uses the object image 411 (same as the object image 211) extracted as one of the partial contents as the configuration information. Next, the character string 412 converted by the image search from the object image 211 is added to the configuration information. Similarly, the information generation unit 103 uses the character string 412 included in the character region image 212 as the configuration information from the character region image 212 extracted as another partial content. There may be a plurality of character strings 412 converted by the image search. Further, the object image 411 and the character string 412 may be integrated and handled as one piece of configuration information.
  • FIG. 5 is a first explanatory diagram of the priority determination method in the present embodiment. A priority determination method based on the character size by the priority determination unit 105 will be described with reference to FIG.
  • the image 201 shown in FIG. 5A includes character area images 212, 213, and 214 as partial contents.
  • the priority determination unit 105 determines, based on the character size of each character area image, the higher the priority of the configuration information of the character area image as the character size increases.
  • the priority determination unit 105 determines the priority of the configuration information of the character area images 212, 213, and 214. And priorities 2, 1 and 3, respectively.
  • the priority determination unit 105 determines the priorities of the configuration information of the character area images 521 and 522 included in the image 502 shown in FIG. 5B as priorities 2 and 1, respectively.
  • FIG. 6 is a second explanatory diagram of the priority determination method in the present embodiment. A priority determination method based on the display position by the priority determination unit 105 will be described with reference to FIG.
  • the priority determination unit 105 determines a higher priority of the configuration information of the character area image as the display position is closer to the center of the screen.
  • the priorities of the configuration information of the character area images 611 and 612 are determined as priorities 1 and 2, respectively.
  • the priority determination unit 105 determines the priorities of the configuration information of the character area images 621 and 622 included in the image 602 shown in FIG. 6B as priorities 1 and 2, respectively.
  • FIG. 7 is a third explanatory diagram of the priority determination method in the present embodiment.
  • a priority determination method based on the template by the priority determination unit 105 will be described with reference to (a1) to (a3) of FIG.
  • the template indicates the characteristics of the screen configuration of the video content according to the genre, and associates the area in the screen with the priority of the area.
  • An image 701 shown in (a1) of FIG. 7 is an image of a scene in which a headline image indicating the content of the news and a headline text indicating the content of the news are displayed in the news program.
  • a template 702 shown in (a2) of FIG. 7 includes a region 711 in which the length in the vertical direction and the length in the horizontal direction are substantially equal (approximately square) located in the upper left in the image, and the landscape in the lower portion in the screen. Area 712. The area 711 is associated with priority 1, and the area 712 is associated with priority 2.
  • the template 702 is a template suitable for being applied to a scene in which a headline image indicating the content of news and a headline text are displayed as in the image 701. On the screen such as the image 701, there is an area that shows the content of the news using an image so that the user can easily grasp the content of the news.
  • the template 702 is used to determine a relatively high priority for the configuration information of the area 711 corresponding to this area.
  • the screen such as the image 701
  • new content or detailed content in the news content corresponding to the headline image is displayed, and it is considered that this region is most closely related to the headline image.
  • the next highest priority of the configuration information in the region 711 is determined for the configuration information in the region 712 corresponding to this region.
  • the image 701 shown in (a3) of FIG. 7 shows the priority determined by the priority determining unit 105 for the configuration information included in the image 701 of (a1) of FIG.
  • the priority determination unit 105 extracts partial content included in the image 701 and determines whether or not the extracted partial content is included in any of the regions of the template 702. As a result of this determination, the priority associated with the area including the partial content is determined as the priority of the configuration information of the partial content. Specifically, since the character area image 713 that is the partial content extracted from the image 701 is included in the area 711 of the template 702, the priority of the configuration information of the character area image 713 is associated with the area 711. The priority is determined to be priority 1, which is the priority assigned. Similarly, the priority of the configuration information of the character area image 714 is determined as the priority 2 that is the priority associated with the area 712.
  • the priority of the configuration information of the character area image may be determined when each of the character area images is completely included in the area in the template, or each of the character area images may be a part of the area in the template. If included, the priority of the configuration information of the character area image may be determined. In that case, the priority may be adjusted according to the ratio of the character area image that is included in the area of the template.
  • An image 721 shown in (b1) of FIG. 7 is an image of one scene in which a heading item indicating the content of the news and a sentence indicating the content in detail are displayed in the news program.
  • the template 722 shown in (b2) of FIG. 7 has a horizontally long region 732 located in the lower part of the screen and a horizontally long region 731 located so as to be almost adjacent to the upper left of the region 732.
  • a priority level 1 is associated with the area 731
  • a priority level 2 is associated with the area 732.
  • the template 722 is a template suitable for being applied to a scene in which a heading item indicating a news content and a sentence are displayed like an image 721. On the screen such as the image 721, there is an area that indicates the content of the news using relatively short words so that the user can easily grasp the content of the news.
  • the template 722 is used to determine a relatively high priority for the configuration information of the area 731 corresponding to this area.
  • the screen such as the image 701
  • new content or detailed content in the news content corresponding to the headline image is displayed, and it is considered that this region is most closely related to the headline item.
  • the configuration information of the region 732 corresponding to this region is determined to have the next highest priority after the configuration information of the region 731.
  • the image 721 shown in (b3) of FIG. 7 shows the priority determined by the priority determining unit 105 for the configuration information included in the image 721 of (b1) of FIG.
  • the priority determination unit 105 determines the priorities of the character region images 733 and 734, which are partial contents included in the image 721, as priorities 1 and 2, respectively, in the same manner as described above.
  • FIG. 8 is a fourth explanatory diagram of the priority determination method in the present embodiment.
  • the priority determination method based on the template by the priority determination unit 105 will be described with reference to (a1) to (a3) of FIG.
  • An image 801 shown in (a1) of FIG. 8 is an image of one scene in which the name of a game and the progress (score) of the game are displayed in a soccer program.
  • the template 802 shown in (a2) of FIG. 8 has a horizontally long region 811 located in the upper left part of the screen and a horizontally long region 812 located in the upper right part of the screen.
  • the area 812 is associated with priority 1 and the area 811 is associated with priority 2.
  • the template 802 is a template suitable for being applied to a scene of a soccer program such as the image 801.
  • the image 803 shown in (a3) of FIG. 8 shows the priority determined by the priority determining unit 105 for the configuration information included in the image 801 of (a1) of FIG.
  • the priority determination unit 105 determines the priorities of the character area images 813 and 814, which are partial contents included in the image 803, as priorities 2 and 1, respectively, in the same manner as described above.
  • the image 821 shown in (b1) of FIG. 8 is an image of one scene in which the name of the game and the progress (score) of the game are displayed in the baseball program.
  • the horizontally long region 831 located in the upper left part of the screen is substantially equal to the longitudinal length and the lateral length located in the lower right part of the screen.
  • Square region 832 is associated with priority 1
  • the region 832 is associated with priority 2.
  • the template 822 is a template suitable for being applied to a scene of a baseball program such as the image 821.
  • the template 822 is used to display the configuration information of the region 832 corresponding to this region.
  • the lower priority than the configuration information of the region 831 is determined.
  • the priority determination unit 105 determines the priorities of the character area images 833 and 834, which are partial contents included in the image 823, as priorities 1 and 2, respectively, in the same manner as described above.
  • the template may be a pattern of a region image as exemplified above, or may be information in which information indicating a region on the image is associated with information indicating the priority of the region. Good.
  • FIG. 9 is a fifth explanatory diagram of the priority determination method in the present embodiment.
  • the priority determination unit 105 determines priorities for the image 901 shown in FIG. 9A using a related word dictionary.
  • the related word dictionary indicates a word and a word related to the word in association with each other. Specifically, a word related to the word is shown in association with the word so as to be subordinate to the word.
  • the image 901 includes character region images 911, 912, and 913 as partial contents.
  • the priority determination unit 105 creates a diagram (FIG. 9B, hereinafter also referred to as a related word tree) in which the configuration information of the character area images 911, 912, and 913 is arranged according to the word dependency in the related word dictionary.
  • the word “Chinese rice” is related to “nuclear power restart” and “nuclear power”. Therefore, in FIG. Is connected by a straight line indicating the dependency.
  • the words “suggestion”, “exchange”, and “news” that are the words of the configuration information of the character area images 911, 912, and 913 and have no relation to other words are not connected by a straight line. It exists alone.
  • the priority determination unit 105 refers to the related word tree and determines the priority of the word ((c) in FIG. 9). Here, the priority determination unit 105 sets a higher priority for a word that is positioned higher in the related word tree. Specifically, since “Chinese meal” is the highest in the related word tree, the highest priority is determined. Following “Chinese meal”, “Restart nuclear power plant” and “Nuclear power plant”, “Within 100 km”, “Safety agreement” and “Local government” are followed. “Proposal”, “Exchange”, and “News” that have no relation to other words are determined to have the lowest priority.
  • FIG. 10 is an explanatory diagram of display of configuration information in the present embodiment.
  • FIG. 10 is an example of a display screen when an image 1001 (same as the image 721) is displayed on the display screen together with the configuration information.
  • High, medium, and low priorities are determined for the configuration information of the character area images 1011, 1012, and 1013 that are partial contents of the image 1001.
  • “Cooking rice” and “Primary restart” which is the configuration information of the character area image 1011
  • a higher priority is set for “Cooking rice” than “Primary restart” based on the related word dictionary.
  • the configuration information also referred to as a search keyword
  • the configuration information is displayed in the right end region 1002 of the image so that the higher the configuration information priority is, the higher the position of the screen is.
  • FIG. 10B is an example of the display screen when the image 1021 (same as the image 201) is displayed together with the configuration information on the display screen.
  • Priorities of high, high, medium and low are determined for the configuration information of the object image 1034 which is a partial content of the image 1021 and the configuration information of the character area images 1031, 1032 and 1033, respectively.
  • the configuration information also referred to as a search keyword
  • the object image is reduced and displayed in the area 1022.
  • the area 1002 where the configuration information is displayed may be superimposed on the image 1001, or the image 1001 may be displayed on an empty area by reducing the width of the image 1001 on the left side. It may be.
  • the image 1001 may be visible to the user by superimposing the region 1002 so as to be translucent. The same applies to the area 1022 where the configuration information is displayed.
  • each of the configuration information is positioned at the top of the screen as the priority is higher, that is, the position on the screen is set according to the priority.
  • the character size of the configuration information displayed may be changed according to the priority. That is, the higher the priority, the larger the characters may be displayed.
  • the configuration information with high priority is displayed in a color different from the color that is usually used for displaying characters, and the configuration information with low priority is displayed in a color that is usually used. You may make it display.
  • the reduced image of the object image is displayed in the area 1022, but instead of doing this, it corresponds to the object image obtained from the object image by image search.
  • the result of converting the name for example, the name of the person when the object image is a person's face
  • an image of the person taken from the front as the configuration information. It makes it easier to recognize people.
  • FIG. 11 is a flowchart showing a method for displaying configuration information by the video reception device 1 according to the present embodiment.
  • the receiving unit 101 receives video content (step S1101).
  • the extraction unit 102 analyzes the video content received by the reception unit 101 to extract partial content that is a part of the video content. And the feature-value which shows the characteristic of the extracted partial content is acquired (step S1102).
  • the information generation unit 103 converts the partial content extracted by the extraction unit 102 into configuration information that is information indicating the partial content and includes characters or images (step S1103).
  • configuration information that is information indicating the partial content and includes characters or images.
  • the priority determination unit 105 determines a priority that is determined based on the feature amount extracted from the partial content by the extraction unit 102 and is the importance of the partial content in the video content (step S1104).
  • the configuration information is displayed on the display screen according to the priority determined by the priority determination unit 105 for the configuration information (step S1105).
  • the video reception device extracts the partial content that is a part of the video content by analyzing the video content by receiving the video content, and the extracted content Obtained from the partial content, an extraction unit that obtains characteristics of the partial content in the video content, an information generation unit that generates configuration information that is information including characters or images indicating the partial content, and the partial content.
  • a priority determining unit that determines, for the configuration information, a priority level indicating a degree of association between the video content and the configuration information generated from the partial content; and the configuration information
  • the display of the configuration information on the display screen is controlled according to the priority of the configuration information determined by the priority determination unit And a that the display control unit.
  • the video receiving apparatus presents the configuration information generated from the video content to the user according to the priority indicating the magnitude of the relationship between the configuration information and the video content.
  • the partial content corresponding to the configuration information is expressed on the video content reflecting the size of the relationship with the video content.
  • the video reception device determines the priority of the configuration information based on the representation mode of the partial content as described above. Therefore, the user can not only browse the information included in the video content but also know the magnitude of the information related to the video content. Then, the user can select information he / she wants to know from highly related information. Therefore, the video reception device can present search items that can be easily selected by the user.
  • the extraction unit extracts, as the partial content, a character region image that is a partial image in the image included in the video content and includes a region where characters are displayed. At least one of a display position, a display color, and a character size of the region image in the image is acquired as the feature, and the information generation unit is configured to acquire a character included in the character region image from the character region image.
  • the priority determination unit generates the character region based on at least one of the display position, the display color, and the character size acquired by the extraction unit. A priority may be determined for the configuration information generated from the image.
  • the video receiving apparatus determines the priority of the configuration information corresponding to the character in the video content in consideration of at least one of the display position, display color, and character size. can do.
  • the display position, display color, and character size of characters included in the video content reflect the size of the relationship between the video content and the character. Since the video receiving apparatus determines the priority using at least one of these pieces of information, the priority of the configuration information can be appropriately determined.
  • the priority determination unit may determine a higher priority for the configuration information generated from the character region image as the character region image is closer to the center in the image.
  • the video receiving apparatus can determine a higher priority for the configuration information corresponding to the characters displayed near the center of the image.
  • the character displayed on the image is more related to the video content as it is displayed near the center of the image. Since the video receiving apparatus determines the priority using these pieces of information, it can appropriately determine the priority of the configuration information.
  • the video reception device further includes a storage unit that stores a template that indicates the position and size of the predetermined area in the image and the priority with respect to the predetermined area, and the priority determination unit May determine the priority associated with the area in the image where the character area image is displayed in the template as the priority for the configuration information generated from the character area image.
  • the video receiving apparatus can determine the priority of the configuration information corresponding to the character area image in the image using the template.
  • the template indicates the characteristics of the screen configuration of the video content according to the genre, and associates the area in the screen with the priority of the area. Therefore, the video reception device can determine the priority of the configuration information more appropriately.
  • the extraction unit extracts meta information included in the video content as the partial content, acquires the genre of the video content from the extracted meta information, and the storage unit stores the genre of the video content for each genre of video content.
  • a template is stored, and the priority determination unit refers to the template corresponding to the genre of the video content acquired by the extraction unit, so that the priority for the configuration information generated from the character region image is stored. May be determined.
  • the video receiving apparatus can acquire the genre of the video content based on the meta information included in the video content, and determine the priority of the configuration information using the template corresponding to the genre.
  • the extraction unit extracts, as the partial content, an object image that is a partial image in the image included in the video content and includes an area where the object is displayed, and extracts the object At least one of a display position and a display size of the image in the image is acquired as the feature, and the information generation unit is information including characters or an image indicating the object image from the object image.
  • the configuration information is generated, and the priority determination unit adds the configuration information generated from the object image based on at least one of the display position acquired by the extraction unit and the display size. On the other hand, the priority may be determined.
  • the video reception device takes into account at least one of the display position and the character size of the object (person, person's face) included in the video content, and sets the configuration information corresponding to the object. Priority can be determined.
  • the display position of the object included in the video content and the size of the characters reflect the size of the relationship between the video content and the object. Since the video receiving apparatus determines the priority using at least one of these pieces of information, the priority of the configuration information can be appropriately determined.
  • the priority determination unit may determine a higher priority for the configuration information generated from the object image as the object image is closer to the center in the image.
  • the video receiving apparatus can determine a higher priority for the configuration information corresponding to the object displayed near the center of the image. The more the object displayed on the image is displayed near the center of the image, the greater the relation with the video content. Since the video receiving apparatus determines the priority using these pieces of information, it can appropriately determine the priority of the configuration information.
  • the priority determining unit may determine a higher priority for the configuration information generated from the object image as the object image is displayed larger in the image.
  • the video receiving apparatus can determine a higher priority for the configuration information corresponding to the object that is largely displayed in the image.
  • the larger the object displayed in the image the greater the relationship with the video content. Since the video receiving apparatus determines the priority using these pieces of information, it can appropriately determine the priority of the configuration information.
  • the extraction unit extracts audio included in the video content as the partial content, acquires at least one of a sound pressure, a pitch, and a tempo of the extracted audio as the feature, and the information generation unit Generates configuration information, which is information including characters obtained by converting the voice, from the voice, and the priority determination unit includes at least one of the sound pressure, the pitch, and the tempo acquired by the extraction unit.
  • the priority for the configuration information generated from the voice may be determined based on the information.
  • the video reception device can determine the priority of the configuration information corresponding to the object in consideration of at least one of the sound pressure, the pitch, and the tempo of the audio included in the video content. It can.
  • the sound pressure, pitch, and tempo of the audio included in the video content reflect the magnitude of the relationship between the video content and the object. Since the video receiving apparatus determines the priority using at least one of these pieces of information, the priority of the configuration information can be appropriately determined.
  • the priority determination unit may determine a higher priority for the configuration information converted from the voice as the sound pressure of the voice is higher.
  • the video receiving apparatus can determine a higher priority for the configuration information corresponding to the sound having a high sound pressure.
  • the greater the sound pressure the greater the relationship between audio and the video content. Since the video receiving apparatus determines the priority using these pieces of information, it can appropriately determine the priority of the configuration information.
  • the storage unit further stores a related word dictionary that indicates a word and a word related to the word, and the extraction unit extracts and extracts a plurality of the partial contents.
  • the information generation unit generates a plurality of the configuration information from each of the plurality of partial contents
  • the priority determination unit refers to the related word dictionary And generating a related word tree indicating the dependency of each of the plurality of pieces of configuration information generated by the information generation unit, and the higher the configuration information in the generated related word tree, A higher priority may be determined.
  • the video receiving device takes into account the degree of the relationship between the configuration information included in the video content and the other configuration information, and the more the relationship with the other configuration information, the more the configuration corresponding to the object.
  • the priority of information can be determined. Since the video receiving apparatus determines the priority using these pieces of information, it can appropriately determine the priority of the configuration information.
  • the display control unit may control the display such that the higher the priority of the configuration information is, the higher the configuration information is displayed on the display screen.
  • the video receiving apparatus can display the configuration information with high priority at a position on the display screen that is easier for the user to visually recognize.
  • the display control unit may control the display so that a predetermined number of the configuration information is selected from the higher priority and only the selected configuration information is displayed on the display screen.
  • the video receiving apparatus can present only the high-priority information among the plurality of pieces of configuration information included in the video content to the user.
  • the video receiving device may further include a display unit having the display screen.
  • the video receiving apparatus can present the configuration information together with the video content to the user on the display screen of the video receiving apparatus itself.
  • the information display control method in the video receiving apparatus of the present embodiment extracts and extracts a partial content that is a part of the video content by receiving the video content and analyzing the video content.
  • Te and a display control step for controlling the display of the display screen of the configuration information.
  • the video reception device can be used for a video reception place that presents search items included in a video together with relevance to the video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

映像受信装置(1)は、映像コンテンツを受信する受信部(101)と、映像コンテンツを解析することで、映像コンテンツの一部である部分コンテンツを抽出し、抽出した部分コンテンツの映像コンテンツ内における特徴を取得する抽出部(102)と、部分コンテンツから、部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成部(103)と、部分コンテンツから取得された特徴に基づいて、映像コンテンツと、部分コンテンツから生成された構成情報との関連の大きさを示す優先度を構成情報に対して決定する優先度決定部(105)と、構成情報に対して優先度決定部(105)が決定した構成情報の優先度に応じて、構成情報の表示画面への表示を制御する表示制御部(107)とを備える。

Description

映像受信装置、及び、映像受信装置における情報表示制御方法
 本発明は、映像受信装置、及び、映像受信装置における情報表示制御方法に関する。
 特許文献1は、映像放送から取得する映像情報に対して文字認識を行うことにより、検索可能なインデックスを作成する映像再生端末を開示する。ユーザは、この映像再生端末により、映像の中から希望するシーンを検索して視聴することができる。
特開2006-340136号公報
 本開示は、ユーザが選択しやすい検索項目を提示する映像受信装置を提供する。
 本開示における映像受信装置は、映像コンテンツを受信する受信部と、前記映像コンテンツを解析することで、前記映像コンテンツの一部である部分コンテンツを抽出し、抽出した前記部分コンテンツの前記映像コンテンツ内における特徴を取得する抽出部と、前記部分コンテンツから、前記部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成部と、前記部分コンテンツから取得された前記特徴に基づいて、前記映像コンテンツと、前記部分コンテンツから生成された前記構成情報との関連の大きさを示す優先度を前記構成情報に対して決定する優先度決定部と、前記構成情報に対して前記優先度決定部が決定した前記構成情報の優先度に応じて、前記構成情報の表示画面への表示を制御する表示制御部とを備える。
 本開示における映像受信装置は、ユーザが選択しやすい検索項目を提示するのに有効である。
図1は、実施の形態における映像受信装置の機能ブロック図である。 図2は、実施の形態における部分コンテンツの抽出の説明図である。 図3は、実施の形態における部分コンテンツの特徴量の説明図である。 図4は、実施の形態における構成情報の説明図である。 図5は、実施の形態における優先度の決定方法の第一の説明図である。 図6は、実施の形態における優先度の決定方法の第二の説明図である。 図7は、実施の形態における優先度の決定方法の第三の説明図である。 図8は、実施の形態における優先度の決定方法の第四の説明図である。 図9は、実施の形態における優先度の決定方法の第五の説明図である。 図10は、実施の形態における構成情報の表示の説明図である。 図11は、実施の形態における映像受信装置による構成情報の表示方法を示すフローチャートである。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態)
 以下、図1~11を用いて、本実施の形態を説明する。
 [1-1.構成]
 図1は、本実施の形態における映像受信装置の機能ブロック図である。
 図1に示されるように、映像受信装置1は、受信部101と、抽出部102と、情報生成部103と、通信部104と、優先度決定部105と、記憶部106と、表示制御部107とを備える。
 受信部101は、映像コンテンツを受信する。ここで、映像コンテンツは、地上放送若しくはIP(Internet Protocol)放送などにより配信されたコンテンツ、又は、記録メディアに記録されたコンテンツなどを含む。映像コンテンツは、映像を含み、さらに、音声又は当該映像コンテンツのジャンルを示す情報を有するメタ情報を含んでもよい。受信部101は、地上放送を受信するためのアンテナ及び受信回路、IP放送などを受信するための通信インタフェースを用いて映像コンテンツを受信する。
 抽出部102は、受信部101が受信した映像コンテンツを解析することで、映像コンテンツの一部である部分コンテンツを抽出する。そして、抽出した部分コンテンツの特徴を取得する。部分コンテンツとは、映像コンテンツに含まれる画像内において人物などのオブジェクトが表示された領域の画像(オブジェクト画像)、映像コンテンツに含まれる画像内において文字が表示された領域に対応する画像(文字領域画像)、映像コンテンツに含まれる音声、又は、映像コンテンツに含まれるメタ情報のことである。また、特徴とは、部分コンテンツの当該映像コンテンツ内における特徴を示し、この特徴を数値により示すものを特徴量とよぶ。
 具体的には、部分コンテンツがオブジェクト画像である場合には、特徴量は、画像内での部分コンテンツの表示サイズ(表示の大きさ)又は表示位置のことである。すなわち、抽出部102は、オブジェクト画像の、画像内における表示サイズ、および表示位置のうち少なくとも1つを特徴(特徴量)として取得する。
 また、部分コンテンツが文字領域画像である場合には、特徴量は、画像内での部分コンテンツの表示サイズ(表示の大きさ)、表示位置、又は表示色のことである。すなわち、抽出部102は、文字領域画像の画像内における表示位置、表示色、および文字の大きさのうち少なくとも1つを特徴(特徴量)として取得する。
 また、部分コンテンツが音声である場合には、特徴量は、音声の音圧(音量)、音程、又は、テンポのことである。すなわち、抽出部102は、音声の音圧(音量)、音程、又は、テンポのうち少なくとも1つを特徴(特徴量)として取得する。部分コンテンツと特徴量とについては、後で詳細に説明する。
 情報生成部103は、抽出部102が抽出した部分コンテンツから、部分コンテンツを示す情報であって、文字又は画像を含む情報である構成情報を生成する。具体的には、部分コンテンツがオブジェクト画像である場合には、構成情報は、当該オブジェクト画像に対応する人物の氏名若しくは略称、又は、オブジェクト画像そのものである。また、部分コンテンツが文字領域画像である場合には、構成情報は、当該文字領域画像に表示される文字(文字列)である。また、部分コンテンツとして音声を用いる場合には、構成情報は、当該音声を変換した文字(文字列)である。
 なお、オブジェクト画像を当該オブジェクト画像に対応する人物の氏名などに変換するには、外部の検索装置(例えば、インターネット上の検索サイト)を用いた画像検索のような既存の技術を用いることができる。この場合、情報生成部103は、通信部104を介して検索装置と通信を行うことより、検索項目(検索対象)と検索結果とをやりとりする。つまり、情報生成部103は、オブジェクト画像を通信部104を介して検索装置に送信し、その応答として検索装置が送信する検索結果(氏名又は略称など)を通信部104を介して受信する。なお、文字領域画像又は音声から文字(文字列)を取得することは、公知の文字認識技術又は音声認識技術により当該文字領域画像又は音声に含まれる文章を認識した後に、当該文章に対して形態素解析技術を適用することで当該文章を文字(文字列)に分解することで実現される。
 通信部104は、通信ネットワークを介して外部の通信装置と通信するためのインタフェースであり、情報生成部103が検索装置と通信する際に使われる。通信部104は、情報生成部103からオブジェクト画像を受け取ると、それを通信ネットワークに送信できる形式のデータに変換して通信ネットワークに送信する。また、通信部104は、通信ネットワークから検索結果を受け取ると、それを情報生成部103に転送する。なお、上記通信ネットワークには、公衆電話回線、携帯電話回線、衛星通信回線或いはデータ通信回線などを含む通信ネットワーク、メトロネットワーク、企業内ネットワーク、又は、家庭内ネットワークなどあらゆる形態の通信ネットワークが含まれる。
 優先度決定部105は、部分コンテンツから抽出された特徴に基づいて、映像コンテンツと、部分コンテンツから生成された構成情報との関連の大きさを示す優先度を構成情報に対して決定する。優先度について、以下で具体的に説明する。
 特徴量としてオブジェクト画像又は文字領域画像の表示サイズを用いる場合、優先度決定部105は、表示サイズが大きいほど、当該オブジェクト画像又は文字領域画像から変換された構成情報の優先度をより高い値(より高い優先度を示す値)に決定する。また、特徴量としてオブジェクト画像又は文字領域画像の表示位置を用いる場合、優先度決定部105は、表示位置が画像内の中央に近いほど、当該オブジェクト画像又は文字領域画像から変換された構成情報の優先度をより高い値に決定する。また、優先度決定部105は、画像内の所定の領域と、当該領域に対する優先度とを対応付けて示すテンプレートに基づいて優先度を決定することもできる。テンプレートに基づいた優先度の決定方法については、後で詳しく説明する。
 また、特徴量として文字領域画像の文字の表示色を用いる場合、優先度決定部105は、表示色が周囲の画像の表示色との色又は輝度の差が大きいほど、当該文字領域画像から変換された構成情報の優先度をより高い値に決定する。なお、特徴量として文字領域画像の文字の表示色を用いる場合、文字を表示する用途で通常多く用いられる色(例えば、黒色又は白色)で表示された文字領域画像から変換された構成情報の優先度をより低い値に決定し、通常多く用いられる色と異なる色(例えば、赤色又は黄色)で表示された文字領域画像から変換された構成情報の優先度をより高い値に決定するようにしてもよい。
 また、特徴量として音声の音圧(音量)を用いる場合、優先度決定部105は、音圧が大きいほど、当該音声から変換された構成情報の優先度をより高い値に決定する。また、特徴量として音声の音程を用いる場合、優先度決定部105は、音程が高いほど、当該音声から変換された構成情報の優先度をより高い値に決定する。また、特徴量として音声のテンポを用いる場合、優先度決定部105は、テンポがゆっくりであるほど、当該音声から変換された構成情報の優先度をより高い値に決定する。また、優先度決定部は、単語同士の関連(関連語辞書)に基づいて、構成情報の優先度を決定することもできる。
 なお、優先度に、ユーザの好みを反映してもよい。つまり、映像受信装置1が、ユーザの好みを示す情報、例えば、ユーザが好む映像コンテンツのジャンル、又は、ユーザが好むものを示す単語を保持しており、優先度決定部105は、構成情報の中でユーザの好みを示す情報に一致又は関連するものの優先度をより高い値に決定することもできる。
 なお、構成情報の優先度は、他の構成情報に対する相対的な度合いを示す量であってよい。また、優先度は、上記のような複数の優先度決定方法のそれぞれにおいて数値で示した後にそれらの数値を足し合わせて算出してもよい。この場合には、構成情報の優先度は、他の構成情報に対する相対的な度合いではなく、構成情報に対して定まる値になる。なお、優先度は、映像コンテンツと、部分コンテンツから生成された構成情報との関連の大きさを示すものであるので、関連度とよぶこともできる。
 記憶部106は、優先度決定部105が利用するテンプレート、ユーザの好みを示す情報、及び関連語辞書を格納するためのメモリである。記憶部106は、優先度決定部105が優先度を決定するのに用いるものを必要に応じて記憶している。なお、記憶部106は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はフラッシュメモリ等の不揮発性の記録媒体により実現される。
 表示制御部107は、構成情報に対して優先度決定部105が決定した優先度に応じて、構成情報の表示画面への表示を制御する。具体的には、表示制御部107は、優先度が高い構成情報ほど、表示画面の上部に表示させる。また、表示制御部107は、優先度が高い構成情報ほど、大きな文字で表示画面に表示させてもよい。また、表示制御部107は、優先度が高い構成情報ほど、ユーザにより強く認識される表示色(赤又は黄色など)で表示させてもよいし、より濃い色で表示させてもよい。また、表示制御部107は、優先度が高いほうから所定数の構成情報だけを表示画面に表示させ、残りの構成情報を表示画面に表示させないようにしてもよい。なお、表示画面は、映像受信装置1の外部にあるものであってもよいし、映像受信装置1が表示部(不図示)として有してもよい。
 ユーザは、表示画面に表示された構成情報を閲覧し、興味をもった構成情報を指定すると、指定した構成情報に関する詳細情報(例えば、指定した構成情報を検索装置で検索した場合の検索結果)を知ることができる。仮に、単に複数の構成情報が表示されると、ユーザは、複数の構成情報のうちのどれが映像コンテンツの内容に関連が大きいのかを知ることができない。本実施の形態に係る映像受信装置は、複数の構成情報とともに、構成情報のそれぞれの優先度をユーザに提示することができる。ユーザは、優先度が高い構成情報を知ることができ、その後、必要に応じて当該構成情報の詳細情報を取得する行動を行うことができる。
 なお、受信部101と、抽出部102と、情報生成部103と、通信部104と、優先度決定部105と、表示制御部107とのそれぞれは、例えば、プログラム(アプリケーションプログラム等)を格納しているROM(Read Only Memory)等の不揮発性メモリ、そのプログラムを実行するCPU(Central Processing Unit)、及び、CPUによる実行時の一時的な作業領域としてのRAM(Random Access Memory)等により実現される。さらに、通信部104が行う外部の装置との通信は、通信インタフェース(IEEE802.3規格等に適合する有線LAN、IEEE802.11a、b、g規格等に適合する無線LANなど)により実現される。
 図2は、本実施の形態における部分コンテンツの抽出の説明図である。図2に示される画像201は、映像コンテンツに含まれる画像の一例である。画像201には、オブジェクトである人物(顔)の画像と、人物の氏名及び説明のための文字列とが含まれている。以下で、抽出部102が、画像201から部分コンテンツを抽出する方法を説明する。
 抽出部102は、画像201のうち、オブジェクトを含む部分(オブジェクト画像)、及び文字を含む部分(文字領域画像)を部分コンテンツとして抽出する。ここで、オブジェクトを含む部分とは、オブジェクトと、当該オブジェクトの近傍の画像とを含む画像のことである。文字を含む部分に対しても同様である。人物(顔)の画像の抽出には、公知の技術(例えば、画像の中から、目、鼻、口、又は、輪郭のなどの顔の特徴的な部分を検出することで顔を認識する顔認識技術)を用いることができる。また、文字列の抽出には、公知の技術(例えば、画像を構成する画素の色を2値化することにより、文字を含む領域と、それ以外の領域とを分離する文字領域検出技術)を用いることができる。このようにして、抽出部102は、画像201に含まれるオブジェクト画像211と、文字領域画像212、213及び214とを部分コンテンツとして抽出する。
 なお、ここでは、抽出部102が映像コンテンツに含まれる画像から、オブジェクト画像と文字領域画像とを部分コンテンツとして抽出することを説明した。映像コンテンツが音声を含む場合、抽出部102は、当該映像コンテンツから音声を分離することで、部分コンテンツである音声を抽出することができる。
 図3は、本実施の形態における部分コンテンツの特徴量の説明図である。図3には、図2において抽出部102が抽出した部分コンテンツのそれぞれについて、部分コンテンツの種別と、画像内での表示位置と、表示の大きさとを示す表301が示されている。
 抽出部102は、抽出した部分コンテンツ(オブジェクト画像211と、文字領域画像212~214)のそれぞれについて、画像内での表示位置と、表示の大きさとを取得する。さらに、抽出部102は、部分コンテンツである文字領域画像212~214のそれぞれについて、文字の大きさを取得する。表示位置は、部分コンテンツの画像内での位置を一意に示す情報であればよく、例えば、表示位置は、部分コンテンツの左上隅の座標を用いることができる。以下では、表示位置として部分コンテンツの左上隅の座標を用いることとして説明する。つまり、オブジェクト画像211の表示位置は、オブジェクト画像211の左上隅の座標である(600,0)である。また、同様にして、文字領域画像212の表示位置は、(100,0)である。
 表示の大きさは、部分コンテンツの画像内での大きさを一意に示す情報であればよく、例えば、部分コンテンツの横方向の幅と、縦方向の幅とを用いることができる。以下では、表示の大きさとして横方向の幅と、縦方向の幅とを用いることとして説明する。つまり、オブジェクト画像211の表示の大きさは、(600,400)である。また、同様にして、文字領域画像212の表示の大きさは、(500,200)である。
 文字の大きさは、文字領域内の文字の大きさを一意に示す情報であればよく、例えば、文字のフォントサイズを用いることができる。以下では、表示の大きさとしてフォントサイズを用いることとして説明する。つまり、文字領域画像212の文字の大きさは、40である。また、同様にして、文字領域画像213の文字の大きさは、50である。
 図4は、本実施の形態における構成情報の説明図である。
 図4には、図2において抽出部102が抽出した部分コンテンツのそれぞれについての構成情報を示す表401が示されている。
 情報生成部103は、抽出部102が抽出した部分コンテンツを、部分コンテンツを示す情報であって、文字又は画像を含む情報である構成情報に変換する。具体的には、情報生成部103は、部分コンテンツの1つとして抽出されたオブジェクト画像411(オブジェクト画像211と同一)を、構成情報とする。次に、オブジェクト画像211から画像検索によって変換された文字列412を、構成情報に加える。同様に、情報生成部103は、部分コンテンツの別の1つとして抽出された文字領域画像212から、当該文字領域画像212に含まれている文字列412を、構成情報とする。なお、画像検索によって変換された文字列412は、複数あってもよい。また、オブジェクト画像411と文字列412とを統合して、1つの構成情報として扱ってもよい。
 図5は、本実施の形態における優先度の決定方法の第一の説明図である。図5を参照しながら、優先度決定部105による文字サイズに基づいた優先度の決定方法について説明する。
 図5の(a)に示される画像201は、部分コンテンツとして文字領域画像212、213及び214を含む。優先度決定部105は、それぞれの文字領域画像の文字の大きさに基づいて、文字の大きさが大きいほど、当該文字領域画像の構成情報の優先度をより高く決定する。ここでは、文字領域画像212、213及び214の文字の大きさが、それぞれ40、50及び20であるので、優先度決定部105は、文字領域画像212、213及び214の構成情報の優先度を、それぞれ優先度2、1及び3と決定する。ここでは、数値が小さいほど高い優先度を示すとする。
 同様に、優先度決定部105は、図5の(b)に示される画像502に含まれる文字領域画像521及び522の構成情報の優先度を、それぞれ、優先度2及び1と決定する。
 図6は、本実施の形態における優先度の決定方法の第二の説明図である。図6を参照しながら、優先度決定部105による表示位置に基づいた優先度の決定方法について説明する。
 図6の(a)に示される画像601は、部分コンテンツとして文字領域画像611及び612を含む。優先度決定部105は、それぞれの文字領域画像の表示位置に基づいて、表示位置が画面中央に近いほど、当該文字領域画像の構成情報の優先度をより高く決定する。ここでは、文字領域画像611の表示位置は、文字領域画像612より画面中央に近いので、文字領域画像611及び612の構成情報の優先度を、それぞれ、優先度1及び2と決定する。
 同様に、優先度決定部105は、図6の(b)に示される画像602に含まれる文字領域画像621及び622の構成情報の優先度を、それぞれ、優先度1及び2と決定する。
 図7は、本実施の形態における優先度の決定方法の第三の説明図である。図7の(a1)~(a3)を参照しながら、優先度決定部105によるテンプレートに基づいた優先度の決定方法について説明する。ここで、テンプレートとは、ジャンルに応じて映像コンテンツの画面構成の特徴を示すものであって、画面内の領域とその領域の優先度とを対応付けたものである。
 図7の(a1)に示される画像701は、ニュース番組における、ニュースの内容を示す見出し画像と、ニュースの内容を示す見出し文章とが表示された一場面の画像である。
 図7の(a2)に示されるテンプレート702は、画像内の左上に位置する縦方向の長さと横方向の長さとがほぼ等しい(ほぼ正方形の)領域711と、画面内の下部に位置する横長の領域712とを有する。そして、領域711には優先度1が、領域712には優先度2が、それぞれ対応付けられている。テンプレート702は、画像701のようにニュースの内容を示す見出し画像と見出し文章とが表示された一場面に適用されるのに適したテンプレートである。画像701のような画面においては、ユーザがニュースの内容を容易に捉えることができるように、画像を用いてニュースの内容を示した領域がある。この領域がニュースの内容と最も大きく関連していると考えられるので、テンプレート702を用いることで、この領域に対応する領域711の構成情報に、比較的高い優先度を決定するようにする。また、画像701のような画面において、さらに、ユーザがニュースの内容の詳細を容易に捉えることができるように、文字を用いてニュースの内容を示した領域がある。この領域は、上記の見出し画像に対応するニュースの内容における新たな内容、又は詳細な内容が表示され、上記の見出し画像の次に大きく関連していると考えられるので、テンプレート702を用いることで、この領域に対応する領域712の構成情報に、領域711の構成情報の次に高い優先度を決定するようにする。
 図7の(a3)に示される画像701には、図7の(a1)の画像701に含まれる構成情報に対して優先度決定部105が決定した優先度が示されている。
 優先度決定部105は、画像701に含まれる部分コンテンツを抽出し、抽出した部分コンテンツが、テンプレート702の領域のいずれかに含まれるか否かを判定する。この判定の結果、部分コンテンツが含まれている領域に対応付けられている優先度を、部分コンテンツの構成情報の優先度として決定する。具体的には、画像701において抽出される部分コンテンツである文字領域画像713は、テンプレート702の領域711に含まれているので、文字領域画像713の構成情報の優先度を、領域711に対応付けられている優先度である優先度1に決定する。同様に、文字領域画像714の構成情報の優先度を、領域712に対応付けられている優先度である優先度2に決定する。なお、文字領域画像のそれぞれがテンプレートにおける領域に完全に含まれている場合に文字領域画像の構成情報の優先度を決定するとしてもよいし、文字領域画像のそれぞれがテンプレートにおける領域の一部に含まれている場合に文字領域画像の構成情報の優先度を決定するとしてもよい。その場合、文字領域画像のうちテンプレートにおける領域に入っている割合に応じて優先度を調整するようにしてもよい。
 次に、図7の(b1)~(b3)を参照しながら、優先度決定部105によるテンプレートに基づいた優先度の決定方法について説明する。
 図7の(b1)に示される画像721は、ニュース番組における、ニュースの内容を示す見出し項目と、その内容を詳細に示す文章とが表示された一場面の画像である。
 図7の(b2)に示されるテンプレート722は、画面内の下部に位置する横長の領域732と、領域732の左上にほぼ隣接するように位置する横長の領域731とを有する。そして、領域731には優先度1が、領域732には優先度2が、それぞれ対応付けられている。テンプレート722は、画像721のようにニュースの内容を示す見出し項目と文章とが表示された一場面に適用されるのに適したテンプレートである。画像721のような画面においては、ユーザがニュースの内容を容易に捉えることができるように、比較的短い言葉を用いてニュースの内容を示した領域がある。この領域がニュースの内容と最も大きく関連していると考えられるので、テンプレート722を用いることで、この領域に対応する領域731の構成情報に、比較的高い優先度を決定するようにする。また、画像701のような画面において、さらに、ユーザがニュースの内容の詳細を容易に捉えることができるように、ニュースの内容の詳細を示した領域がある。この領域は、上記の見出し画像に対応するニュースの内容における新たな内容、又は詳細な内容が表示され、上記の見出し項目の次に大きく関連していると考えられるので、テンプレート722を用いることで、この領域に対応する領域732の構成情報に、領域731の構成情報の次に高い優先度を決定するようにする。
 図7の(b3)に示される画像721には、図7の(b1)の画像721に含まれる構成情報に対して優先度決定部105が決定した優先度が示されている。
 優先度決定部105は、画像721に含まれる部分コンテンツである文字領域画像733及び734の優先度を、上記と同様にして、それぞれ、優先度1及び2と決定する。
 図8は、本実施の形態における優先度の決定方法の第四の説明図である。図8の(a1)~(a3)を参照しながら、優先度決定部105によるテンプレートに基づいた優先度の決定方法について説明する。
 図8の(a1)に示される画像801は、サッカー番組における、試合の名称と、試合の進行状況(点数)とが表示された一場面の画像である。
 図8の(a2)に示されるテンプレート802は、画面内の左上部に位置する横長の領域811と、画面内の右上部に位置する横長の領域812とを有する。そして、領域812には優先度1が、領域811には優先度2が、それぞれ対応付けられている。テンプレート802は、画像801のようなサッカー番組の一場面に適用されるのに適したテンプレートである。画像801のような画面においては、ユーザがサッカーの試合の名称を容易に捉えることができるように、その名称を示した領域がある。この領域がサッカー番組の内容と最も大きく関連していると考えられるので、テンプレート802を用いることで、この領域に対応する領域812の構成情報に、比較的高い優先度を決定するようにする。また、画像801のような画面において、試合の進行状況を示した領域がある。試合の進行状況は、映像コンテンツの構成情報として定まったものではない(試合の進行によって変化していくものである)ので、テンプレート802を用いることで、この領域に対応する領域811の構成情報に、領域812の構成情報より低い優先度を決定するようにする。
 図8の(a3)に示される画像803には、図8の(a1)の画像801に含まれる構成情報に対して優先度決定部105が決定した優先度が示されている。
 優先度決定部105は、画像803に含まれる部分コンテンツである文字領域画像813及び814の優先度を、上記と同様にして、それぞれ、優先度2及び1と決定する。
 次に、図8の(b1)~(b3)を参照しながら、優先度決定部105によるテンプレートに基づいた優先度の決定方法について説明する。
 図8の(b1)に示される画像821は、野球番組における、試合の名称と、試合の進行状況(点数)とが表示された一場面の画像である。
 図8の(b2)に示されるテンプレート822は、画面内の左上部に位置する横長の領域831と、画面内の右下部に位置する縦方向の長さと横方向の長さとがほぼ等しい(ほぼ正方形の)領域832とを有する。そして、領域831には優先度1が、領域832には優先度2が、それぞれ対応付けられている。テンプレート822は、画像821のような野球番組の一場面に適用されるのに適したテンプレートである。画像801のような画面においては、ユーザが野球の試合の名称を容易に捉えることができるように、その名称を示した領域がある。この領域が野球番組の内容と最も大きく関連していると考えられるので、テンプレート822を用いることで、この領域に対応する領域831の構成情報に、比較的高い優先度を決定するようにする。また、画像821のような画面において、試合の進行状況を示した領域がある。試合の進行状況は、映像コンテンツの構成情報として定まったものではない(試合の進行によって変化していくものである)ので、テンプレート822を用いることで、この領域に対応する領域832の構成情報に、領域831の構成情報より低い優先度を決定するようにする。
 優先度決定部105は、画像823に含まれる部分コンテンツである文字領域画像833及び834の優先度を、上記と同様にして、それぞれ、優先度1及び2と決定する。
 以上、映像コンテンツの種別に応じて異なるテンプレートを利用して、構成情報の優先度付けを行う方法の例について示した。映像コンテンツの種別を判定するには、映像コンテンツのメタ情報に含まれる映像コンテンツのジャンルに関する情報を利用してもよいし、映像コンテンツの部分コンテンツから映像コンテンツのジャンルを取得するようにしてもよい。また、上記に例示したテンプレートだけでなく、上記と同じように、画面内の領域とその領域の優先度とを対応付けたものであれば、テンプレートとして利用可能である。さらに、テンプレートは、上記に例示したような、領域画像のパターンであってもよいし、画像上の領域を示す情報と、当該領域の優先度を示す情報とを対応付けた情報であってもよい。
 図9は、本実施の形態における優先度の決定方法の第五の説明図である。図9を参照しながら、図9の(a)に示される画像901に対して、優先度決定部105が関連語辞書を用いて優先度を決定する方法について説明する。ここで、関連語辞書とは、単語と、当該単語と関連がある単語とを対応づけて示すものである。具体的には、ある単語について、当該単語に関連がある単語を、当該単語に従属するように関連付けて示すものである。
 図9の(a)に示されるように、画像901は、部分コンテンツとして文字領域画像911、912及び913を含んでいる。
 優先度決定部105は、文字領域画像911、912及び913の構成情報を、関連語辞書における単語の従属関係に従って並べた図(図9の(b)、以下、関連語ツリーともよぶ)を作成する。関連語辞書において、単語「中飯」は、「原発再稼動」及び「原発」と関連があるので、図9の(b)において、「中飯」の下位に「原発再稼動」と「原発」とが、当該従属関係を示す直線で結ばれている。また、文字領域画像911、912及び913の構成情報の単語であって、他の単語との関連をもたない単語である「提案」、「為替」及び「ニュース」は、直線で結ばれずに単独で存在している。
 優先度決定部105は、関連語ツリーを参照して、単語の優先度を決定する(図9の(c))。ここで、優先度決定部105は、関連語ツリーの中でより上位に位置する単語ほど、当該単語の優先度をより高く設定する。具体的には、「中飯」は関連語ツリーの中で最上位であるので、優先度を最も高く決定する。「中飯」の次には、関連語ツリーに従い、「原発再稼動」及び「原発」、「100km圏内」、並びに、「安全協定」及び「自治体」が続く。他の単語との関連をもたない「提案」、「為替」及び「ニュース」は、優先度を最も低く決定される。
 図10は、本実施の形態における構成情報の表示の説明図である。
 図10の(a)は、画像1001(画像721と同一)を表示画面に構成情報と合わせて表示する場合の、表示画面の例である。画像1001の部分コンテンツである文字領域画像1011、1012及び1013の構成情報に、それぞれ、高、中及び低の優先度が決定されている。さらに、文字領域画像1011の構成情報である「中飯」及び「原発再稼動」には、関連語辞書に基づいて、「中飯」のほうに、「原発再稼動」より高い優先度が設定されている。このような場合、画像の右端の領域1002に、構成情報(検索キーワードとも記載する)が、構成情報の優先度が高いほど画面の上部に位置するように表示される。
 図10の(b)は、画像1021(画像201と同一)を表示画面に構成情報と合わせて表示する場合の、表示画面の例である。画像1021の部分コンテンツであるオブジェクト画像1034の構成情報と、文字領域画像1031、1032及び1033の構成情報とに、それぞれ、高、高、中及び低の優先度が決定されている。このような場合、上記と同様に、画像の右端の領域1022に、構成情報(検索キーワードとも記載する)が、構成情報の優先度が高いほど画面の上部に位置するように表示される。構成情報としてオブジェクト画像がある場合には、領域1022にオブジェクト画像が縮小されて表示される。
 なお、構成情報が表示される領域1002は、画像1001に重畳表示されるようにしてもよいし、画像1001の左右の幅を縮めて画像1001を左側によせ、空いた領域に表示されるようにしてもよい。重畳表示する場合には、領域1002を半透明にして重畳させることで、ユーザが画像1001を視認できるようにしてもよい。また、構成情報が表示される領域1022についても同様である。
 なお、上記では、構成情報のそれぞれを、その優先度が高いほど画面の上部に位置するように、つまり、優先度に応じて画面上の位置を設定するようにした。このようにする代わりに、優先度に応じて表示される構成情報の文字の大きさを変化させるようにしてもよい。つまり、優先度が高いほど大きな文字で表示されるようにしてもよい。さらに、上記のようにする代わりに、優先度が高い構成情報を、文字を表示する用途で通常多く用いられる色と異なる色で表示し、優先度が低い構成情報を、通常多く用いられる色で表示するようにしてもよい。
 なお、構成情報としてオブジェクト画像がある場合に、オブジェクト画像を縮小した画像を領域1022に表示するとして説明したが、このようにする代わりに、オブジェクト画像から画像検索により得られる、オブジェクト画像に対応する名称(例えば、オブジェクト画像が人物の顔である場合には、その人物の氏名)を、再び検索によって画像に変換した結果を用いてもよい。このようにすると、画像に人物の横顔が表示されていてユーザがその人物を認識しにくい場合であっても、構成情報としてその人物を正面から撮影した画像を表示することもでき、ユーザがその人物を認識しやすくなる。
 [1-2.動作]
 図11は、本実施の形態における映像受信装置1による構成情報の表示方法を示すフローチャートである。
 まず、受信部101が、映像コンテンツを受信する(ステップS1101)。
 次に、抽出部102が、受信部101が受信した映像コンテンツを解析することで、映像コンテンツの一部である部分コンテンツを抽出する。そして、抽出した部分コンテンツの特徴を示す特徴量を取得する(ステップS1102)。
 次に、情報生成部103が、抽出部102が抽出した部分コンテンツを、部分コンテンツを示す情報であって、文字又は画像を含む情報である構成情報に変換する(ステップS1103)。構成情報に変換する際には、必要に応じて、通信部104を介して外部の検索装置と通信してもよい。
 次に、優先度決定部105は、部分コンテンツから抽出部102により抽出された特徴量に基づいて定められ、映像コンテンツ内における当該部分コンテンツの重要さである優先度を決定する(ステップS1104)。
 次に、構成情報に対して優先度決定部105が決定した優先度に応じて、構成情報を表示画面に表示させる(ステップS1105)。
 [1-3.効果等]
 以上のように、本実施の形態における映像受信装置は、映像コンテンツを受信する受信部と、前記映像コンテンツを解析することで、前記映像コンテンツの一部である部分コンテンツを抽出し、抽出した前記部分コンテンツの前記映像コンテンツ内における特徴を取得する抽出部と、前記部分コンテンツから、前記部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成部と、前記部分コンテンツから取得された前記特徴に基づいて、前記映像コンテンツと、前記部分コンテンツから生成された前記構成情報との関連の大きさを示す優先度を前記構成情報に対して決定する優先度決定部と、前記構成情報に対して前記優先度決定部が決定した前記構成情報の優先度に応じて、前記構成情報の表示画面への表示を制御する表示制御部とを備える。
 これにより、映像受信装置は、映像コンテンツから生成される構成情報を、当該構成情報と映像コンテンツとの関連の大きさを示す優先度に応じてユーザに提示する。構成情報に対応する部分コンテンツは、映像コンテンツ上において、映像コンテンツとの関連の大きさを反映して表現されている。映像受信装置は、上記のような部分コンテンツの表現の態様に基づいて、構成情報の優先度を決定する。よって、ユーザは、単に映像コンテンツに含まれる情報を閲覧できるだけでなく、その情報の映像コンテンツにおける関連の大きさをも知ることができる。そして、ユーザは、関連の大きい情報の中から知りたい情報を選択することができる。よって、映像受信装置は、ユーザが選択しやすい検索項目を提示することができる。
 また、前記抽出部は、前記映像コンテンツに含まれる画像内の一部の画像であって、文字が表示された領域を含む画像である文字領域画像を前記部分コンテンツとして抽出し、抽出した前記文字領域画像の前記画像内における表示位置、表示色、および文字の大きさのうち少なくとも1つを前記特徴として取得し、前記情報生成部は、前記文字領域画像から、前記文字領域画像に含まれる文字を含む情報である構成情報を生成し、前記優先度決定部は、前記抽出部が取得した前記表示位置、前記表示色、および前記文字の大きさのうち少なくとも1つに基づいて、前記文字領域画像から生成された前記構成情報に対して優先度を決定するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれる文字について、その表示位置、表示色、および文字の大きさのうち少なくとも1つを考慮して、その文字に対応する構成情報の優先度を決定することができる。映像コンテンツに含まれる文字の表示位置、表示色、および文字の大きさには、当該映像コンテンツと当該文字との関連の大きさが反映されている。映像受信装置は、これらのうち少なくとも1つの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記優先度決定部は、前記文字領域画像が前記画像内の中央に近いほど、前記文字領域画像から生成された前記構成情報に対してより高い優先度を決定するとしてもよい。
 これにより、映像受信装置は、画像の中央付近に表示される文字に対応する構成情報に、より高い優先度を決定することができる。画像に表示される文字は、画像の中央付近に表示されるほど、より当該映像コンテンツとの関連が大きい。映像受信装置は、これらの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記映像受信装置は、さらに、前記画像内の所定領域の位置及び大きさと、前記所定領域に対する優先度とを対応づけて示すテンプレートを記憶している記憶部を備え、前記優先度決定部は、前記文字領域画像が表示された前記画像内の領域に前記テンプレートにおいて対応付けられた優先度を、前記文字領域画像から生成された前記構成情報に対する優先度として決定するとしてもよい。
 これにより、映像受信装置は、テンプレートを利用して、画像内の文字領域画像に対応する構成情報の優先度を決定することができる。テンプレートは、ジャンルに応じて映像コンテンツの画面構成の特徴を示すものであって、画面内の領域とその領域の優先度とを対応付けたものである。よって、映像受信装置は、より適切に構成情報の優先度を決定することができる。
 また、前記抽出部は、前記映像コンテンツに含まれるメタ情報を前記部分コンテンツとして抽出し、抽出した前記メタ情報から前記映像コンテンツのジャンルを取得し、前記記憶部は、映像コンテンツのジャンルごとに前記テンプレートを記憶しており、前記優先度決定部は、前記抽出部が取得した前記映像コンテンツのジャンルに対応した前記テンプレートを参照することで、前記文字領域画像から生成された前記構成情報に対する優先度を決定するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれるメタ情報に基づいて当該映像コンテンツのジャンルを取得し、当該ジャンルに応じたテンプレートを用いて、構成情報の優先度を決定することができる。
 また、前記抽出部は、前記映像コンテンツに含まれる画像内の一部の画像であって、オブジェクトが表示された領域を含む画像であるオブジェクト画像を、前記部分コンテンツとして抽出し、抽出した前記オブジェクト画像の前記画像内における表示位置、および表示の大きさのうち少なくとも1つを、前記特徴として取得し、前記情報生成部は、前記オブジェクト画像から、前記オブジェクト画像を示す文字又は画像を含む情報である構成情報を生成し、前記優先度決定部は、前記抽出部が取得した前記表示位置、および前記表示の大きさのうち少なくとも1つに基づいて、前記オブジェクト画像から生成された前記構成情報に対して前記優先度を決定するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれるオブジェクト(人物、人物の顔)について、その表示位置、および文字の大きさのうち少なくとも1つを考慮して、そのオブジェクトに対応する構成情報の優先度を決定することができる。映像コンテンツに含まれるオブジェクトの表示位置、および文字の大きさには、当該映像コンテンツと当該オブジェクトとの関連の大きさが反映されている。映像受信装置は、これらのうち少なくとも1つの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記優先度決定部は、前記オブジェクト画像が前記画像内の中央に近いほど、前記オブジェクト画像から生成された前記構成情報に対してより高い優先度を決定するとしてもよい。
 これにより、映像受信装置は、画像の中央付近に表示されるオブジェクトに対応する構成情報に、より高い優先度を決定することができる。画像に表示されるオブジェクトは、画像の中央付近に表示されるほど、より当該映像コンテンツとの関連が大きい。映像受信装置は、これらの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記優先度決定部は、前記オブジェクト画像が前記画像内において大きく表示されるほど、前記オブジェクト画像から生成された前記構成情報に対してより高い優先度を決定するとしてもよい。
 これにより、映像受信装置は、画像内で大きく表示されるオブジェクトに対応する構成情報に、より高い優先度を決定することができる。画像に表示されるオブジェクトは、大きく表示されるほど、より当該映像コンテンツとの関連が大きい。映像受信装置は、これらの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記抽出部は、前記映像コンテンツに含まれる音声を前記部分コンテンツとして抽出し、抽出した前記音声の音圧、音程、およびテンポのうち少なくとも1つを前記特徴として取得し、前記情報生成部は、前記音声から、前記音声を変換した文字を含む情報である構成情報を生成し、前記優先度決定部は、前記抽出部が取得した前記音圧、前記音程、および前記テンポのうち少なくとも1つに基づいて、前記音声から生成された前記構成情報に対する前記優先度を決定するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれる音声について、その音圧、音程、又は、テンポのうち少なくとも1つを考慮して、そのオブジェクトに対応する構成情報の優先度を決定することができる。映像コンテンツに含まれる音声の音圧、音程、およびテンポには、当該映像コンテンツと当該オブジェクトとの関連の大きさが反映されている。映像受信装置は、これらのうち少なくとも1つの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記優先度決定部は、前記音声の前記音圧が大きいほど、前記音声から変換された前記構成情報に対してより高い優先度を決定するとしてもよい。
 これにより、映像受信装置は、音圧が大きい音声に対応する構成情報に、より高い優先度を決定することができる。音声は、音圧が大きいほど、より当該映像コンテンツとの関連が大きい。映像受信装置は、これらの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記記憶部は、さらに、単語と、当該単語と関連がある単語とを対応づけて示す関連語辞書を記憶しており、前記抽出部は、複数の前記部分コンテンツを抽出し、抽出した前記部分コンテンツのそれぞれの特徴を取得し、前記情報生成部は、複数の前記部分コンテンツのそれぞれから、複数の前記構成情報を生成し、前記優先度決定部は、前記関連語辞書を参照することで、前記情報生成部が生成した複数の前記構成情報のそれぞれの従属関係を示す関連語ツリーを生成し、生成した前記関連語ツリーにおいて構成情報がより上位であるほど、当該構成情報に対してより高い優先度を決定するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれる構成情報について、他の構成情報との関連の多さを考慮して、他の構成情報との関連がより多いほど、そのオブジェクトに対応する構成情報の優先度を決定することができる。映像受信装置は、これらの情報を用いて優先度を決定するので、適切に構成情報の優先度を決定することができる。
 また、前記表示制御部は、前記構成情報の前記優先度が高いほど、前記構成情報を前記表示画面上においてより上方に表示するように、前記表示を制御するとしてもよい。
 これにより、映像受信装置は、優先度が高い構成情報を、表示画面上において、ユーザがより視認しやすい位置に表示することができる。
 また、前記表示制御部は、前記優先度が高い方から所定数の前記構成情報を選択し、選択した前記構成情報だけを前記表示画面に表示するように、前記表示を制御するとしてもよい。
 これにより、映像受信装置は、映像コンテンツに含まれる複数の構成情報のうち、優先度が高いものだけをユーザに提示することができる。
 また、前記映像受信装置は、さらに、前記表示画面を有する表示部を備えるとしてもよい。
 これにより、映像受信装置は、映像受信装置自身が有する表示画面によりユーザに映像コンテンツとともに構成情報を提示することができる。
 また、本実施の形態の映像受信装置における情報表示制御方法は、映像コンテンツを受信する受信ステップと、前記映像コンテンツを解析することで、前記映像コンテンツの一部である部分コンテンツを抽出し、抽出した前記部分コンテンツの前記映像コンテンツ内における特徴を取得する抽出ステップと、前記部分コンテンツから、前記部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成ステップと、前記部分コンテンツから取得された前記特徴に基づいて、前記映像コンテンツと、前記部分コンテンツから生成された前記構成情報との関連の大きさを示す優先度を前記構成情報に対して決定する優先度決定ステップと、前記構成情報に対して前記優先度決定ステップで決定した前記構成情報の優先度に応じて、前記構成情報の表示画面への表示を制御する表示制御ステップとを含む。
 これにより、上記の映像受信装置と同様の効果を奏する。
 以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 本開示における映像受信装置は、映像に含まれる検索項目を映像との関連性とともに提示する映像受信地に利用可能である。
   1  映像受信装置
 101  受信部
 102  抽出部
 103  情報生成部
 104  通信部
 105  優先度決定部
 106  記憶部
 107  表示制御部
 201、502、601、602、701、703、721、723、801、803、821、823、901、1001、1021  画像
 211、411、1034  オブジェクト画像
 212、213、214、521、522、611、612、621、622、713、714、733、734、813、814、833、834、911、912、913、1011、1012、1013、1031、1032、1033  文字領域画像
 301、401  表
 412  文字列
 702、722、802、822  テンプレート
 711、712、731、732、811、812、831、832、1002、1022  領域

Claims (15)

  1.  映像コンテンツを受信する受信部と、
     前記映像コンテンツを解析することで、前記映像コンテンツの一部である部分コンテンツを抽出し、抽出した前記部分コンテンツの前記映像コンテンツ内における特徴を取得する抽出部と、
     前記部分コンテンツから、前記部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成部と、
     前記部分コンテンツから取得された前記特徴に基づいて、前記映像コンテンツと、前記部分コンテンツから生成された前記構成情報との関連の大きさを示す優先度を前記構成情報に対して決定する優先度決定部と、
     前記構成情報に対して前記優先度決定部が決定した前記構成情報の優先度に応じて、前記構成情報の表示画面への表示を制御する表示制御部とを備える
     映像受信装置。
  2.  前記抽出部は、
     前記映像コンテンツに含まれる画像内の一部の画像であって、文字が表示された領域を含む画像である文字領域画像を前記部分コンテンツとして抽出し、抽出した前記文字領域画像の前記画像内における表示位置、表示色、および文字の大きさのうち少なくとも1つを前記特徴として取得し、
     前記情報生成部は、
     前記文字領域画像から、前記文字領域画像に含まれる文字を含む情報である構成情報を生成し、
     前記優先度決定部は、
     前記抽出部が取得した前記表示位置、前記表示色、および前記文字の大きさのうち少なくとも1つに基づいて、前記文字領域画像から生成された前記構成情報に対して優先度を決定する
     請求項1に記載の映像受信装置。
  3.  前記優先度決定部は、
     前記文字領域画像が前記画像内の中央に近いほど、前記文字領域画像から生成された前記構成情報に対してより高い優先度を決定する
     請求項2に記載の映像受信装置。
  4.  前記映像受信装置は、さらに、
     前記画像内の所定領域の位置及び大きさと、前記所定領域に対する優先度とを対応づけて示すテンプレートを記憶している記憶部を備え、
     前記優先度決定部は、
     前記文字領域画像が表示された前記画像内の領域に前記テンプレートにおいて対応付けられた優先度を、前記文字領域画像から生成された前記構成情報に対する優先度として決定する
     請求項2に記載の映像受信装置。
  5.  前記抽出部は、
     前記映像コンテンツに含まれるメタ情報を前記部分コンテンツとして抽出し、抽出した前記メタ情報から前記映像コンテンツのジャンルを取得し、
     前記記憶部は、
     映像コンテンツのジャンルごとに前記テンプレートを記憶しており、
     前記優先度決定部は、
     前記抽出部が取得した前記映像コンテンツのジャンルに対応した前記テンプレートを参照することで、前記文字領域画像から生成された前記構成情報に対する優先度を決定する
     請求項4に記載の映像受信装置。
  6.  前記抽出部は、
     前記映像コンテンツに含まれる画像内の一部の画像であって、オブジェクトが表示された領域を含む画像であるオブジェクト画像を、前記部分コンテンツとして抽出し、抽出した前記オブジェクト画像の前記画像内における表示位置、および表示の大きさのうち少なくとも1つを、前記特徴として取得し、
     前記情報生成部は、
     前記オブジェクト画像から、前記オブジェクト画像を示す文字又は画像を含む情報である構成情報を生成し、
     前記優先度決定部は、
     前記抽出部が取得した前記表示位置、および前記表示の大きさのうち少なくとも1つに基づいて、前記オブジェクト画像から生成された前記構成情報に対して前記優先度を決定する
     請求項1~5のいずれか1項に記載の映像受信装置。
  7.  前記優先度決定部は、
     前記オブジェクト画像が前記画像内の中央に近いほど、前記オブジェクト画像から生成された前記構成情報に対してより高い優先度を決定する
     請求項6に記載の映像受信装置。
  8.  前記優先度決定部は、
     前記オブジェクト画像が前記画像内において大きく表示されるほど、前記オブジェクト画像から生成された前記構成情報に対してより高い優先度を決定する
     請求項6又は7に記載の映像受信装置。
  9.  前記抽出部は、
     前記映像コンテンツに含まれる音声を前記部分コンテンツとして抽出し、抽出した前記音声の音圧、音程、およびテンポのうち少なくとも1つを前記特徴として取得し、
     前記情報生成部は、
     前記音声から、前記音声を変換した文字を含む情報である構成情報を生成し、
     前記優先度決定部は、
     前記抽出部が取得した前記音圧、前記音程、および前記テンポのうち少なくとも1つに基づいて、前記音声から生成された前記構成情報に対する前記優先度を決定する
     請求項1~8のいずれか1項に記載の映像受信装置。
  10.  前記優先度決定部は、
     前記音声の前記音圧が大きいほど、前記音声から変換された前記構成情報に対してより高い優先度を決定する
     請求項9に記載の映像受信装置。
  11.  前記記憶部は、さらに、
     単語と、当該単語と関連がある単語とを対応づけて示す関連語辞書を記憶しており、
     前記抽出部は、複数の前記部分コンテンツを抽出し、抽出した前記部分コンテンツのそれぞれの特徴を取得し、
     前記情報生成部は、
     複数の前記部分コンテンツのそれぞれから、複数の前記構成情報を生成し、
     前記優先度決定部は、
     前記関連語辞書を参照することで、前記情報生成部が生成した複数の前記構成情報のそれぞれの従属関係を示す関連語ツリーを生成し、生成した前記関連語ツリーにおいて構成情報がより上位であるほど、当該構成情報に対してより高い優先度を決定する
     請求項4に記載の映像受信装置。
  12.  前記表示制御部は、
     前記構成情報の前記優先度が高いほど、前記構成情報を前記表示画面上においてより上方に表示するように、前記表示を制御する
     請求項1~11のいずれか1項に記載の映像受信装置。
  13.  前記表示制御部は、
     前記優先度が高い方から所定数の前記構成情報を選択し、選択した前記構成情報だけを前記表示画面に表示するように、前記表示を制御する
     請求項1~12のいずれか1項に記載の映像受信装置。
  14.  前記映像受信装置は、さらに、
     前記表示画面を有する表示部を備える
     請求項1~13のいずれか1項に記載の映像受信装置。
  15.  映像コンテンツを受信する受信ステップと、
     前記映像コンテンツを解析することで、前記映像コンテンツの一部である部分コンテンツを抽出し、抽出した前記部分コンテンツの前記映像コンテンツ内における特徴を取得する抽出ステップと、
     前記部分コンテンツから、前記部分コンテンツを示す文字又は画像を含む情報である構成情報を生成する情報生成ステップと、
     前記部分コンテンツから取得された前記特徴に基づいて、前記映像コンテンツと、前記部分コンテンツから生成された前記構成情報との関連の大きさを示す優先度を前記構成情報に対して決定する優先度決定ステップと、
     前記構成情報に対して前記優先度決定ステップで決定した前記構成情報の優先度に応じて、前記構成情報の表示画面への表示を制御する表示制御ステップとを含む
     映像受信装置における情報表示制御方法。
PCT/JP2014/000318 2013-04-17 2014-01-23 映像受信装置、及び、映像受信装置における情報表示制御方法 WO2014171046A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14784862.6A EP2988520B1 (en) 2013-04-17 2014-01-23 Video reception device, and information-display control method for video reception device
JP2015512283A JP6288476B2 (ja) 2013-04-17 2014-01-23 映像受信装置、及び、映像受信装置における情報表示制御方法
US14/857,476 US9699520B2 (en) 2013-04-17 2015-09-17 Video receiving apparatus and method of controlling information display for use in video receiving apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013086954 2013-04-17
JP2013-086954 2013-04-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/857,476 Continuation US9699520B2 (en) 2013-04-17 2015-09-17 Video receiving apparatus and method of controlling information display for use in video receiving apparatus

Publications (1)

Publication Number Publication Date
WO2014171046A1 true WO2014171046A1 (ja) 2014-10-23

Family

ID=51731013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000318 WO2014171046A1 (ja) 2013-04-17 2014-01-23 映像受信装置、及び、映像受信装置における情報表示制御方法

Country Status (4)

Country Link
US (1) US9699520B2 (ja)
EP (1) EP2988520B1 (ja)
JP (1) JP6288476B2 (ja)
WO (1) WO2014171046A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085652A (ja) * 2016-11-24 2018-05-31 株式会社東芝 情報取得装置及び情報取得方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
US10246072B2 (en) * 2016-10-25 2019-04-02 Nissan North America, Inc. Rear cargo reminder system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233442A (ja) * 1996-02-21 1997-09-05 Casio Comput Co Ltd 顔画像表示装置及び顔画像通信システム
JP2003333445A (ja) * 2002-05-16 2003-11-21 Seiko Epson Corp 字幕抽出装置
JP2006238149A (ja) * 2005-02-25 2006-09-07 Fujitsu Ten Ltd デジタルデータ受信機
JP2006293912A (ja) * 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
JP2006340136A (ja) 2005-06-03 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 映像再生方法、インデックス情報提供方法、映像再生端末、及び映像用インデックス作成検索システム
JP2007300323A (ja) * 2006-04-28 2007-11-15 Sharp Corp 字幕表示制御システム
JP2010011332A (ja) * 2008-06-30 2010-01-14 Toshiba Corp テロップ収集装置およびテロップ収集方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
JP3518450B2 (ja) * 1999-11-19 2004-04-12 トヨタ自動車株式会社 放送受信装置
US7624337B2 (en) * 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20030093794A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. Method and system for personal information retrieval, update and presentation
US20060136226A1 (en) * 2004-10-06 2006-06-22 Ossama Emam System and method for creating artificial TV news programs
JPWO2007029489A1 (ja) * 2005-09-07 2009-03-19 パイオニア株式会社 コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
US8209724B2 (en) * 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
JP4871635B2 (ja) * 2006-04-28 2012-02-08 キヤノン株式会社 デジタル放送受信装置及びその制御方法
US20080019669A1 (en) * 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
JP2008129884A (ja) * 2006-11-22 2008-06-05 Nec Corp 情報検索システム及びその方法並びにそれに用いる放送受信機
JP5239469B2 (ja) * 2008-04-07 2013-07-17 ソニー株式会社 情報提示装置及び情報提示方法
KR101569929B1 (ko) 2008-06-02 2015-11-17 코닌클리케 필립스 엔.브이. 시청각 콘텐트의 인지 복잡도를 뷰어 관심 레벨로 조정하기 위한 장치 및 방법
JP2010039647A (ja) * 2008-08-01 2010-02-18 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
KR101380783B1 (ko) * 2008-08-22 2014-04-02 정태우 영상에 포함된 객체를 식별하여 부가 서비스를 제공하는 시스템
US8731373B2 (en) * 2009-06-30 2014-05-20 Rovi Technologies Corporation Managing and editing stored media assets
US8897603B2 (en) * 2009-08-20 2014-11-25 Nikon Corporation Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames
JP4853582B1 (ja) * 2010-08-17 2012-01-11 株式会社ニコン 画像処理装置および画像処理プログラム
JP5736150B2 (ja) * 2010-11-05 2015-06-17 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
US8913171B2 (en) * 2010-11-17 2014-12-16 Verizon Patent And Licensing Inc. Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233442A (ja) * 1996-02-21 1997-09-05 Casio Comput Co Ltd 顔画像表示装置及び顔画像通信システム
JP2003333445A (ja) * 2002-05-16 2003-11-21 Seiko Epson Corp 字幕抽出装置
JP2006238149A (ja) * 2005-02-25 2006-09-07 Fujitsu Ten Ltd デジタルデータ受信機
JP2006293912A (ja) * 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
JP2006340136A (ja) 2005-06-03 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 映像再生方法、インデックス情報提供方法、映像再生端末、及び映像用インデックス作成検索システム
JP2007300323A (ja) * 2006-04-28 2007-11-15 Sharp Corp 字幕表示制御システム
JP2010011332A (ja) * 2008-06-30 2010-01-14 Toshiba Corp テロップ収集装置およびテロップ収集方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085652A (ja) * 2016-11-24 2018-05-31 株式会社東芝 情報取得装置及び情報取得方法

Also Published As

Publication number Publication date
US9699520B2 (en) 2017-07-04
US20160014478A1 (en) 2016-01-14
EP2988520B1 (en) 2019-11-20
EP2988520A1 (en) 2016-02-24
EP2988520A4 (en) 2016-03-23
JPWO2014171046A1 (ja) 2017-02-16
JP6288476B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
US8614838B2 (en) Image processing apparatus and image processing method
US8416332B2 (en) Information processing apparatus, information processing method, and program
JP4583218B2 (ja) 対象コンテンツを評価する方法、コンピュータ・プログラム、システム
JP5274305B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP6603754B2 (ja) 情報処理装置
US9865252B2 (en) Voice recognition apparatus and method for providing response information
WO2013115235A1 (ja) 出力システム、出力システムの制御方法、制御プログラム、および記録媒体
JP2009009527A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
EP3024248A1 (en) Broadcasting receiving apparatus and control method thereof
CN106909548B (zh) 基于服务器的图片加载方法及装置
US20170115853A1 (en) Determining Image Captions
US20160266731A1 (en) Method, apparatus, and storage medium for playing control processing of audio file
US20110125731A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP6288476B2 (ja) 映像受信装置、及び、映像受信装置における情報表示制御方法
WO2015058712A1 (zh) 一种字幕显示方法及字幕显示设备
CN112839261B (zh) 一种提升语音指令匹配度的方法及显示设备
CN110263218A (zh) 视频描述文本生成方法、装置、设备和介质
US10120539B2 (en) Method and device for setting user interface
CN106909547B (zh) 基于浏览器的图片加载方法及装置
US9235558B2 (en) Information processing device, processing method, program, and recording medium
JP2009032026A (ja) 表示制御装置、方法、プログラムおよび記録媒体
JP7383882B2 (ja) 情報処理装置、及び情報処理プログラム
JP2011040075A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN117975962A (zh) 电子设备及其控制方法
JP6593559B1 (ja) 画像処理装置、プログラム及びデータ構造

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14784862

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015512283

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014784862

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE