WO2016125672A1 - 情報処理装置、画像処理方法及びプログラム - Google Patents

情報処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2016125672A1
WO2016125672A1 PCT/JP2016/052453 JP2016052453W WO2016125672A1 WO 2016125672 A1 WO2016125672 A1 WO 2016125672A1 JP 2016052453 W JP2016052453 W JP 2016052453W WO 2016125672 A1 WO2016125672 A1 WO 2016125672A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
display image
display
information
user
Prior art date
Application number
PCT/JP2016/052453
Other languages
English (en)
French (fr)
Inventor
拓也 藤田
淳史 野田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/540,095 priority Critical patent/US20170371524A1/en
Publication of WO2016125672A1 publication Critical patent/WO2016125672A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web

Definitions

  • the present disclosure relates to an information processing apparatus, an image processing method, and a program.
  • priorities are set based on past usage history for a plurality of pieces of information provided in a plurality of frames of different sizes included in a menu screen, and each information is assigned a priority.
  • a technique for assigning a corresponding frame is disclosed.
  • Patent Document 1 it is only possible to provide a plurality of pieces of information in a size according to the priority order.
  • the display of content itself considering the variety of relationships between people and content, such as the purpose, timing, and environment for viewing content, the display of content itself based on the relationship between content and users It is desirable to be able to control.
  • an information processing apparatus including a display control unit that performs display control of the content according to acquired content, metadata of the content, and information indicating a relationship between the content and the user is provided.
  • an image processing method including performing display control of the content by a processor according to the acquired content, the metadata of the content, and information indicating a relationship between the content and the user. Provided.
  • the computer is caused to function as a display control unit that performs display control of the content according to the acquired content, the metadata of the content, and information indicating the relationship between the content and the user.
  • a program is provided.
  • FIG. 1 is a diagram for explaining the outline of the information processing apparatus according to the present embodiment.
  • FIG. 1 shows an example of a display image generated from content by the information processing apparatus.
  • Reference numeral 10 indicates a content
  • reference numeral 20 indicates a display image.
  • an image (still image / moving image), a Web page, a character string, sound, or the like is also referred to as content.
  • An image drawn based on the content is also referred to as a display image.
  • content is drawn as it is to generate a display image.
  • the information processing apparatus according to the present embodiment generates a display image by converting and rendering all or part of the content. For example, in the example illustrated in FIG. 1, the character string 11 in the content 10 is enlarged to the character string 21 in the display image 20. In addition, the character string 12 in the content 10 is reduced to a character string 22 in the display image 20.
  • the information processing apparatus generates a display image based on information indicating the content and the relationship between the content and the user.
  • information indicating the relationship between the content and the user is also referred to as context information.
  • the information processing apparatus generates a display image by converting content based on content content and context information. Since the user can browse the display image that matches the content and the user's own context, the convenience for the user is improved.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 100 includes an input unit 110, a display unit 120, a storage unit 130, and a control unit 140.
  • the input unit 110 has a function of accepting input of various information.
  • the input unit 110 outputs the received input information to the control unit 140.
  • the input unit 110 may include a sensor that detects a user's operation and state.
  • the input unit 110 can be realized by, for example, a user or a camera or a stereo camera that captures the surroundings of the user.
  • the input unit 110 includes a microphone, a GPS (Global Positioning System), an infrared sensor, a light sensor, a myoelectric sensor, a nerve sensor, a pulse sensor, a body temperature sensor, an air temperature sensor, a gyro sensor, an acceleration sensor, or a touch sensor.
  • GPS Global Positioning System
  • an infrared sensor a light sensor
  • a myoelectric sensor a nerve sensor
  • a pulse sensor a pulse sensor
  • body temperature sensor an air temperature sensor
  • a gyro sensor an acceleration sensor
  • a touch sensor or a touch sensor.
  • Images and sounds acquired by a camera or microphone may be handled as content.
  • Various information may be added to the content. For example, Exif information, tagged information, and the like
  • the input unit 110 may include an operation unit that detects a user operation.
  • the input unit 110 may be realized by, for example, a keyboard, a mouse, and a touch panel configured integrally with the display unit 120.
  • the input unit 110 may include a wired / wireless interface.
  • a wired interface for example, a connector conforming to a standard such as USB (Universal Serial Bus) can be cited.
  • a wireless interface for example, a communication device compliant with a communication standard such as Bluetooth (registered trademark) or Wi-Fi (registered trademark) can be cited.
  • the input unit 110 can acquire content from another device such as a PC (Personal Computer) or a server.
  • the display unit 120 has a function of displaying various information.
  • the display unit 120 has a function of displaying a display image generated by the control unit 140.
  • the display unit 120 is realized by, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light-Emitting Diode).
  • the display unit 120 may be realized by a projector that projects a display image on a projection surface.
  • Storage unit 130 has a function of storing various information.
  • the storage unit 130 may include a context DB (Data Base) that stores information indicating association between input information and context information.
  • the storage unit 130 may include a conversion rule DB that stores information indicating association between context information and a conversion rule from content to a display image.
  • Control unit 140 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 100 according to various programs. As illustrated in FIG. 2, the control unit 140 has functions as a content acquisition unit 141, a context estimation unit 143, a generation unit 145, a setting unit 147, and a display control unit 149.
  • the content acquisition unit 141 has a function of acquiring content. For example, the content acquisition unit 141 acquires content input by the input unit 110. The content acquisition unit 141 outputs the acquired content to the generation unit 145.
  • Context estimation unit 143 has a function of estimating a context. For example, the context estimation unit 143 estimates context based on the input information input by the input unit 110 and outputs context information indicating the estimation result to the generation unit 145. As described below, there are various context information.
  • Context information may be information related to user attributes.
  • a user is a user of the information processing apparatus 100 and is a person who views a display image generated by the information processing apparatus 100. There may be one user or a plurality of users. Examples of user attributes include the number of users, whether they are adults or children, friendships, work, hobbies, life cycles, and the like.
  • the context estimation unit 143 can estimate such context information based on, for example, information input in advance by the user, information written in an SNS (social networking service), and the like.
  • SNS social networking service
  • Context information may be information related to the user's knowledge or preferences regarding the content.
  • Examples of the content-related knowledge include the number of times the user has contacted the content.
  • Examples of the content preference include whether the user likes or dislikes.
  • the context estimation unit 143 can estimate such context information based on, for example, past user behavior history, purchase history, and the like.
  • the context information is information related to the user's knowledge or preferences regarding the content, the user, for example, a display image that is suitable for his / her knowledge level or emphasized by himself / herself and emphasized and unfavorably transformed a display image. Can be viewed.
  • Context information may be information related to the purpose of the user browsing the content.
  • the purpose of browsing includes, for example, the purpose of raising conversation and the purpose of remembering the past. Other purposes include browsing news articles and academic books, tagging faces, human bodies, specific patterns, animals, plants, and artifacts, as well as stations, retail stores and parks. The purpose is to find a parking lot.
  • the context estimation unit 143 can estimate such context information based on a speech recognition process for a user conversation, a search word, position information, action information, and the like. In addition, the context estimation unit 143 can estimate the context information based on the application being started up or the type of the Web page being browsed.
  • the context information is information related to the purpose for the user to browse the content, the user can browse the display image that has been converted so as to make it easier to achieve his / her purpose, for example.
  • Context information may be information related to the attention area of the user in the display image.
  • the context estimation unit 143 can estimate such context information based on the user's line of sight, the position of the mouse pointer, the touch position of the touch sensor, the position of the pointer of the spatial pointing device, or the like.
  • the context information is information related to the attention area of the user in the display image
  • the user can view a display image in which the visibility of the area that he / she pays attention to is improved.
  • Context information may be audio information based on viewing a display image.
  • the sound information based on viewing of the display image includes, for example, sound heard by the user regarding viewing of the display image. Examples of the sound heard by the user include music, a voice read out from an audio book, and a conversation performed with or without viewing a display image.
  • the context estimation unit 143 can estimate such context information based on the ambient sound acquired by the microphone, the file name of the sound data being reproduced, and the like.
  • the context information is audio information based on viewing of the display image, the user can view the display image along the sound he / she is listening to.
  • Context information may be action information based on viewing of a display image.
  • action information based on viewing of a display image for example, an action performed by a user regarding viewing of a display image can be cited.
  • the user's own behavior includes, for example, route search to the destination, commuting, attending school, movement (vehicle, walking), rest, reading, and the like.
  • the behavior information based on the browsing of the display image for example, the situation of the user regarding the browsing of the display image can be cited. For example, the user's situation includes whether he / she is busy, in other words, whether he / she is in a state where some action is possible or another action is difficult until the current action ends.
  • the context estimation unit 143 can estimate such context information based on the user's operation, user operation, and the like acquired by the sensor.
  • the context information is action information based on viewing of a display image
  • the user can view a display image along with the action he / she is performing.
  • the behavior information may be related to a person in the vicinity as well as related to the user himself / herself. For example, if it is detected that the person next to the user has looked into the display image, if the next person is another person, the photo will be displayed smaller, and if the next person is a friend, the photo will be displayed larger. obtain.
  • Context information may be information related to the positional relationship between the display unit 120 that displays the display image and the user. Examples of the information related to the positional relationship include a distance between the display unit 120 and the user, an angle, and the like.
  • the context estimation unit 143 can estimate such context information based on, for example, an imaging result obtained by a stereo camera targeting the user.
  • the context information is information related to the positional relationship between the display unit 120 and the user, the user can view the display image converted so as to improve the visibility according to the positional relationship.
  • Context information may be information indicating characteristics related to the display unit 120 that displays a display image. Examples of the information indicating the characteristics related to the display unit 120 include the size and resolution of the display unit 120 and the type of device on which the display unit 120 is mounted.
  • the context estimation unit 143 can estimate such context information based on information stored in the storage unit 130 in advance, for example. When the context information is information indicating characteristics related to the display unit 120 that displays the display image, the user can view the display image converted to a display size suitable for the characteristics related to the display unit 120.
  • Context information may be information related to the user's environment. Examples of the user's environment include the user's position, weather, ambient brightness, and temperature.
  • the context estimation unit 143 can estimate such context information based on a detection result by a sensor such as a GPS, a temperature sensor, or a hygrometer.
  • a sensor such as a GPS, a temperature sensor, or a hygrometer.
  • the context information is information related to the user's environment, the user can view a display image displayed with display settings such as brightness and resolution suitable for the environment.
  • the context information may include two or more pieces of information described above.
  • the generation unit 145 has a function of generating a display image corresponding to the acquired content content and context information.
  • the content content means the content itself and the metadata of the content.
  • Content metadata refers to all information included in the content. For example, the type of content such as image / audio / video, information on the object included in the content, the time when the content was captured, Locations etc. can be included in the metadata.
  • the metadata may be attached to the content in advance, or may be extracted from the content by image analysis, image recognition, statistical processing, learning, or the like.
  • the generation unit 145 generates a display image obtained by converting the content based on the content acquired by the content acquisition unit 141, the metadata obtained by analyzing the content, and the context information estimated by the context estimation unit 143. To do. Then, the generation unit 145 outputs the generated display image to the display control unit 149.
  • the generation unit 145 may change the display mode of the content or change some or all of the objects included in the content according to the acquired content, content metadata, and context information.
  • changing the display mode of content and changing part or all of the objects included in the content will be specifically described.
  • the generation unit 145 may generate a display image that emphasizes or obscure at least one of the objects included in the content.
  • An object refers to a region of an image or a part or all of a subject when the content is an image.
  • the generation unit 145 identifies an object to be emphasized and / or ambiguous based on the context information estimated by the context estimation unit 143 and the contents of the content acquired by the content acquisition unit 141. Then, the generation unit 145 generates a display image that has been subjected to conversion that emphasizes the object to be emphasized and makes the object to be ambiguous obscure.
  • the generation unit 145 may generate a display image to be expressed as it is for an object that is neither an emphasis target nor an obfuscation target, and may take into account the influence from the conversion performed on other objects.
  • a display image subjected to the conversion may be generated.
  • Various conversion processes by the generation unit 145 can be considered.
  • the generation unit 145 may generate a display image that emphasizes the contrast of the object to be emphasized.
  • the generation unit 145 may generate a display image that emphasizes an object to be emphasized by surrounding it.
  • the generation unit 145 may generate a display image in which the object to be emphasized is displayed in a separate frame.
  • the generation unit 145 may generate a display image that displays the object to be emphasized in color and displays other objects in grayscale or monochrome.
  • the generation unit 145 may generate a display image that weakens the contrast of the object to be obscured. Further, the generation unit 145 may generate a display image that is displayed with the color of the object to be obscured being thinned, or a display image that is displayed in grayscale or monochrome.
  • the generation unit 145 may generate a display image that changes the arrangement of objects. For example, the generation unit 145 may move the object to be obscured to an inconspicuous position such as a position away from the center of the image, and move the object to be emphasized to a conspicuous position such as the center of the image. .
  • the generation unit 145 may generate a display image by allocating the number of pixels corresponding to the acquired content, content metadata, and context information to each object. For example, the generation unit 145 allocates a larger number of pixels to the object to be emphasized. Thereby, the visibility of the object to be emphasized is improved. However, a part of the display image may appear distorted, or the originally existing blank part may be lost. Further, the generation unit 145 may allocate a smaller number of pixels to the object to be obscured. In that case, the generation unit 145 can generate a display image in which an object to be obscure is blurred, such as reducing a grotesque part, and can reduce the visibility of the part.
  • the generation unit 145 may employ an arbitrary algorithm for generating a display image corresponding to the content. For example, when the content is an image, the generation unit 145 may perform local affine transformation. Algorithms that can be adopted by the generation unit 145 include, for example, “Scott Schaefer, Travis McPhail, Joe Warren,“ Image deformation using moving least squares ”, ACM Transactions on Graphics (TOG) -Proceedings of ACM SIGGRAPH 2006, Volume 25 Issue 3 2006 Pages 533-540.
  • the generation unit 145 can calculate the number of pixels to be assigned to each object using various methods.
  • the number of pixels allocated to the object to be emphasized is, for example, a value that is equal to or greater than the minimum number of pixels that can be read by the user if it is a character, and that for other objects. Is a value that is equal to or greater than the minimum number of pixels that can be recognized. For this reason, for example, the number of pixels assigned to a blank portion or the like is reduced.
  • the number of pixels assigned to the object to be obscured is, for example, a value equal to or less than the maximum number of pixels that cannot be read by the user if it is a character. This is a value equal to or less than the maximum number of pixels that cannot be recognized.
  • the number of pixels allocated to the object can change depending on the context. For example, regarding the object to be emphasized, the number of pixels assigned to a character is larger than that in a normal time, for example, in a calibration operation that requires identifying the alphabet “O” and the numeral “0”. In addition, the number of pixels assigned to words important to the user in the document is larger than in normal times. In addition, even if the human image is small or identifiable, if the user has a request to view the human image well, the number of pixels assigned to the human image is larger than usual. A child's picture when returning from the company, a grandchild's picture seen after a long time, etc. fall under this context. Similarly, for the object to be obscured, the number of pixels to be allocated can change depending on the context.
  • the generation unit 145 calculates the number of pixels to be allocated to the object to be emphasized from the contents. For example, when the content is a still image, the generation unit 145 recognizes characters, icons, and other meaningful objects included in the image, and determines the number of allocated pixels based on the visibility of the recognized display size of the recognized object. You may calculate. Examples of meaningful objects include characters, icons, human faces, human bodies other than faces, specific patterns, animals, plants, automobiles, and the like. In addition, when the content is a still image, the generation unit 145 may calculate the number of pixels to be allocated from the result of performing Fourier transform or wavelet transform.
  • the generation unit 145 may perform Fourier transform or wavelet transform, analyze the frequency component of each part of the image, and specify a part whose high-frequency component amount is greater than or equal to a threshold as an object to be emphasized.
  • a threshold as an object to be emphasized.
  • the generation unit 145 may calculate the number of pixels to be allocated from the amount of high frequency components in the portion to be emphasized. An example of this analysis method will be described in detail with reference to FIG.
  • FIG. 3 is a diagram for explaining an example of content analysis processing according to the present embodiment.
  • the generation unit 145 first divides the content 201 of an image showing a person into a grid. Then, the generation unit 145 performs correction based on frequency analysis and human visual characteristics on the image divided in a lattice shape, and specifies the portion 202 to be emphasized.
  • the portion 202 to be emphasized here corresponds to a contour portion of a person.
  • the generation unit 145 can generate a display image in which the outline of the person is clear by assigning a large number of pixels to the outline of the person.
  • assigning a large number of pixels can also be referred to as simply enlarging. Also, assigning a small number of pixels may be referred to as simply reducing. Further, although the generation unit 145 is described as expanding the object to be emphasized and reducing the object to be made ambiguous, the other conversion processing described above may be performed.
  • the generation unit 145 can generate a display image at various timings. For example, the generation unit 145 may generate a display image at a timing when the content to be displayed changes. In addition, the generation unit 145 may regenerate the display image at the timing when the context changes. Examples of the timing at which the context changes include a change in the topic of conversation, a change in the reading position of the audio book, a change in the person viewing the display image, a change in the user position, and a change in the display device. In addition, the generation unit 145 may generate a display image at a timing instructed by the user, a screen refresh timing, or the like.
  • the content can be considered variously besides still images.
  • the generation unit 145 may focus on a portion to be emphasized when combining a plurality of still images.
  • the generation unit 145 may perform the above-described processing in the same manner by regarding the moving image as a continuous still image.
  • the generation unit 145 may adjust the character size, the arrangement, and the like.
  • the generation unit 145 may extend the playback time of the section to be emphasized, or may be set to a normal speed in the section to be emphasized and to be faster in the other sections.
  • FIG. 4 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the content 211 is a still image of a manga.
  • the generation unit 145 generates a display image 212 that enlarges the characters of the balloon portion 213 while leaving other picture portions as they are. Thereby, the readability of the balloon portion is ensured.
  • FIG. 5 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the content 221 is a still image in which a cockroach 223 is captured.
  • the generation unit 145 generates a display image 222 in which the cockroach 223 is reduced. Thereby, an undesirable portion such as a cockroach is reduced and displayed.
  • Undesirable parts include specific insects such as cockroaches, grotesquely expressed parts, and parts that flicker violently.
  • the generation unit 145 can generate a display image in which the message portion is enlarged.
  • the generation unit 145 can generate a display image in which a character portion is enlarged.
  • the generation unit 145 can generate a display image in which the face portion is enlarged.
  • the generation unit 145 can generate a display image in which the character portion is enlarged. If the content is a photograph of Mt. Fuji, the generation unit 145 can generate a display image in which Mt. Fuji is enlarged.
  • the generation unit 145 may generate a display image by converting the notation included in the content into a notation that further improves the visibility. For example, the generation unit 145 performs conversion into different notations such as different character shapes, marks, and reading kana so that the meaning of the sentence including the word to be converted does not change before and after the conversion. Below, with reference to FIG. 6, an example of the process which converts a description and produces
  • FIG. 6 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the generation unit 145 may convert a sentence with a large number of strokes into a phrase with the same meaning and a small number of strokes. Further, the generation unit 145 may convert the alphabet from a lower case letter to an upper case letter as indicated by reference numeral 234.
  • the converted character may not be an existing character. For example, as indicated by reference numerals 235 and 236, one or more lines may be removed from the character. Thereby, the visibility of the sentence of the part with few pixel numbers allocated, for example can be improved.
  • the generation unit 145 may convert a long description into an abbreviation as indicated by reference numeral 237, or may convert the abbreviation into an original long description as indicated by reference numeral 238. Further, the generation unit 145 may convert the name into a short nickname as indicated by reference numeral 239. Note that such a conversion rule can be stored in the storage unit 130.
  • FIG. 7 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 7 is an example in the case where the context information is information related to the user's knowledge or preference regarding the content.
  • the content 301 is a still image of a manga.
  • the generation unit 145 when the user reads for the first time, the generation unit 145 generates a display image 302 in which characters of the balloon portion 303 are enlarged. On the other hand, when the user has read many times, the generation unit 145 generates a display image 304 in which the picture portion 305 other than the balloon portion is enlarged.
  • the example shown in FIG. 7 can be taken as an example in the case where the context information is information related to the user's knowledge or preference regarding the content and information related to the user's environment.
  • the generation unit 145 when the user is on a commuter train, the generation unit 145 generates a display image 302 in which the characters of the balloon portion 303 are enlarged in order to improve the visibility of characters in a swaying vehicle.
  • FIG. 8 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 8 is an example in the case where the context information is audio information based on viewing of the display image and information related to the user's knowledge or preference regarding the content.
  • the content 311 is a still image of a lyrics card.
  • the generation unit 145 generates a display image 312 in which the lyrics portion 313 is enlarged when the user is listening to a song on the lyrics card while viewing the lyrics card, or when viewing the lyrics card for the first time.
  • the generation unit 145 enlarges the photo portion 315 when the user is watching the lyrics card while listening to a song other than the lyrics card, or when the user is listening to the song on the lyrics card many times.
  • a display image 314 is generated.
  • FIG. 9 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 9 is an example in which the context information is information related to the purpose of the user browsing the content and audio information based on browsing the display image.
  • the content is a still image of a landscape.
  • the generation unit 145 when the user is talking about the building 322 on the near side of the photograph, the generation unit 145 generates a display image 321 in which the building 322 is enlarged in order to excite the conversation about the building 322.
  • the generation unit 145 when the user is talking about the tower 324 at the back of the photo, the generation unit 145 generates a display image 323 in which the tower 324 is enlarged in order to excite the conversation about the tower 324.
  • FIG. 10 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 10 is an example in the case where the context information is information related to a user attribute.
  • the content is a still image of a group photo of people.
  • the generation unit 145 expands the face part 332 of the common friend “Karen” and the face part 333 of “Ane” based on the user's friendship, adds a box, and adds a name tag.
  • An image 331 is generated.
  • the generation unit 145 expands the face portion 332 of “Karen”, which is a common friend between the increased number of users and the existing users, adds a box, and adds a name tag.
  • the attached display image 334 is generated.
  • FIG. 11 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 11 is an example in the case where the context information is information related to the purpose of the user browsing the content.
  • the content is a still image 341 of a group photo of people.
  • the generation unit 145 generates a display image 342 in which a face portion is enlarged when the user has a purpose of tagging a person shown in a photograph.
  • FIG. 12 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 12 is an example in the case where the context information is information related to the user attribute.
  • the content 351 is a still image of a person who smokes tobacco.
  • the generation unit 145 when the user is a child or a plurality of people including children, the generation unit 145 generates a display image 352 in which tobacco is reduced.
  • the generation unit 145 when the user does not include a child, the generation unit 145 generates a display image that expresses tobacco in the same size.
  • the generation unit 145 may perform the same processing for content inappropriate for children such as grotesque expressions, static expressions, and alcohol. Further, the generation unit 145 may not only reduce an inappropriate part but also remove it.
  • the setting unit 147 described later sets priorities in the context information in advance assuming such a case.
  • generation part 145 can produce
  • FIG. 13 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 13 is an example when the context information is information related to the positional relationship between the display unit 120 that displays the display image and the user.
  • the content is a Web page.
  • the generation unit 145 when the distance between the display unit 120 and the user is short, the generation unit 145 generates a display image 361 in which the entire Web page is reduced.
  • the generation unit 145 when the distance between the display unit 120 and the user is long, the generation unit 145 generates a display image 361 in which the entire web page is enlarged and a portion that does not fit on the screen is omitted. Thereby, the user can ensure high visibility irrespective of the distance to the screen.
  • FIG. 14 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 14 is an example in the case where the context information is information related to a user attribute.
  • the content is a TWITTER (registered trademark) timeline.
  • the generation unit 145 enlarges the display image 371 of the TWEET (registered trademark) 372 of the user himself / herself and the person watching the screen together with the user based on the friend relationship of the user or the relationship of follow and follower in TWITTER. Is generated.
  • FIG. 15 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 15 is an example in the case where the context information is information related to the purpose of the user browsing the content.
  • the content is a map 381.
  • the generation unit 145 when the user is looking for a restaurant, the generation unit 145 generates a display image 382 in which an icon indicating the restaurant is enlarged.
  • the generation unit 145 when the user is searching for a station, the generation unit 145 generates a display image 383 in which an icon indicating the station is enlarged.
  • FIG. 16 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 16 is an example in the case where the context information is information related to the purpose of the user browsing the content, information related to the user's environment, and action information based on browsing the display image.
  • the content is a map 391 including an icon 394 indicating the current location and moving direction of the user.
  • the generation unit 145 displays an enlarged display image of an icon indicating a restaurant with a parking lot along the running road 395. 392 is generated.
  • the generation unit 145 when the user is searching for a restaurant while walking at the position indicated by the icon 394, the generation unit 145 generates a display image 393 in which the icon indicating the restaurant near the current position is enlarged.
  • the example shown in FIG. 16 can be taken as an example in the case where the context information is information related to the user attribute and information related to the user environment.
  • the generation unit 145 when the break time of the user is limited, the generation unit 145 generates a display image 393 in which an icon indicating a restaurant near the current position is enlarged so that lunch can be completed within the break time.
  • FIG. 17 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 17 is an example in the case where the context information is information related to the purpose of the user browsing the content, information related to the user's environment, and action information based on browsing the display image.
  • the content is a map including an icon 402 indicating the current location and moving direction of the user. For example, when the user is searching for a hot spring facility while moving using a car at the position indicated by the icon 402, the generation unit 145 displays a display image 401 in which the icon indicating the hot spring facility along the running road 403 is enlarged. Generate.
  • FIG. 18 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 18 is an example in the case where the context information is information related to the purpose of the user browsing the content and information indicating characteristics related to the display unit 120 that displays the display image.
  • the content is a still image of a group photo of people, and the user has a purpose of tagging a person's face in the photo.
  • the display unit 120 that displays a display image is a large display such as a television receiver or a PC
  • the generation unit 145 generates a display image 411 that directly represents the content because sufficient visibility is ensured.
  • the display unit 120 that displays the display image is a small display such as a smartphone or a tablet
  • the generation unit 145 generates a display image 412 in which the face portion is enlarged in order to ensure sufficient visibility.
  • FIG. 19 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 19 is an example in the case where the context information is information related to the purpose of the user viewing the content and information indicating characteristics related to the display unit 120 that displays the display image.
  • the content is a still image of a group photo of people, and the user has a purpose of tagging a person's face in the photo.
  • the display unit 120 that displays a display image is a small display such as a watch-type device
  • the generation unit 145 includes a display image 421 for selecting a tag to be attached to the image in order to ensure sufficient visibility.
  • Display images 422 to 425 for displaying the face portions are generated.
  • the user may switch the display images 422 to 425 by a flick operation in the horizontal direction, and tag a tag by voice input or select a tag to be tagged in the display image 421 switched by a flick operation in the vertical direction. .
  • FIG. 20 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example illustrated in FIG. 20 is an example in the case where the context information is information related to the purpose of the user browsing the content and information indicating characteristics related to the display unit 120 that displays the display image.
  • the content is a still image of a group photo of people, and the user has a purpose of tagging the face of the person shown in the photo.
  • the generation unit 145 displays the entire image as it is because the display unit 120 that displays the display image is a small display such as a glasses-type device, but sufficient display is ensured when the displayable area and resolution are large.
  • a display image 431 to be generated is generated.
  • the display image generated in this case is as described above with reference to FIG.
  • the display unit 120 that displays a display image is a small display such as a glasses-type device and the displayable area and the resolution are small
  • the generation unit 145 has a face portion to ensure sufficient visibility.
  • a display image 432 for displaying is generated.
  • the display image generated in this case is as described above with reference to FIG.
  • FIG. 21 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 21 is an example in the case where the context information is action information based on viewing of a display image and information related to the user's environment.
  • the content is a weather forecast application.
  • the generation unit 145 generates a display image 441 for a smartphone in which the display area of the weather forecast application is enlarged.
  • FIG. 22 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 22 is an example in the case where the context information is action information based on viewing of a display image and information related to the user's environment.
  • the content is an application for traffic jam information.
  • the generation unit 145 when the user is traveling in a car, the generation unit 145 generates a display image 451 for a smartphone in which the display area of the traffic information application from the current position to the destination is enlarged.
  • FIG. 23 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the example shown in FIG. 23 is an example in the case where the context information is information related to the attention area of the user in the display image.
  • the content is a live moving image of a music group.
  • the generation unit 145 generates a display image (moving image) 461 that displays the face portion of an artist that is registered in advance as an area of interest to the user or that is designated during moving image playback in a separate frame 462.
  • the generation unit 145 may generate a display image for selecting a portion to be displayed in another frame 462, as shown in FIG.
  • FIG. 24 is a diagram for explaining an example of display image generation processing according to the present embodiment.
  • the generation unit 145 may generate a display image 471 in which a human face portion in the moving image is a selection candidate 472.
  • the user can display the face of the selected person in another frame 462 by selecting the selection candidate 472 by a tap operation or the like.
  • the selection candidate is a human face in the example shown in FIG. 24, but may be an object whose range can be identified, such as a human body other than the face, a specific pattern, an animal, a plant, or an artifact.
  • the setting unit 147 has a function of setting a priority for each piece of context information.
  • the setting unit 147 can specify which should be prioritized when conflicting conversions can be performed on two or more pieces of context information.
  • the setting unit 147 may set different priorities according to applications, services, and the like that display display images. Note that if the priorities are similar, the conversion effects may cancel each other.
  • the priority for each piece of context information conversion according to appropriate context information in accordance with the situation in which the user views the display image can be performed.
  • the setting unit 147 may set a priority for each of the contents regarding the display image generation processing corresponding to the contents.
  • the generation unit 145 can generate a display image by combining the above-described display image generation processing according to the content and the display image generation processing according to the context information.
  • the setting unit 147 may be configured to selectively perform at least one of display image generation processing according to the content content or display image generation processing according to the context information.
  • FIG. 25 shows an example of the setting screen.
  • FIG. 25 is a diagram for explaining an example of a setting screen related to display image generation processing according to the present embodiment.
  • the display image generation process according to the content content is “conversion according to image characteristics”
  • the display image generation process according to context information is “conversion according to context”.
  • An example of a setting screen capable of setting / OFF is shown.
  • the setting screen 501 both “conversion according to image characteristics” and “conversion according to context” are checked, and display image generation processing combining both is performed.
  • the setting screen 502 only “conversion according to image characteristics” is checked, so only display image generation processing according to the content is performed.
  • Display control unit 149 has a function of performing display control of content according to the acquired content, content metadata, and context information. Specifically, the display control unit 149 controls the display unit 120 to display the display image generated by the generation unit 145. For example, the display control unit 149 outputs the display image to the display unit 120 for display.
  • the display control unit 149 may control display settings such as luminance, display size, and display range.
  • FIG. 26 is a flowchart illustrating an example of the flow of display image output processing executed in the information processing apparatus 100 according to the present embodiment.
  • step S102 the content acquisition unit 141 acquires content.
  • the content acquisition unit 141 acquires content input by the input unit 110.
  • the context estimation unit 143 estimates the context. For example, the context estimation unit 143 estimates the context based on the input information input by the input unit 110 and outputs the context information.
  • step S106 the generation unit 145 generates a display image corresponding to the content based on the content content and context information. For example, as described above with reference to FIGS. 4 to 6 and FIGS. 7 to 24, the generation unit 145 generates a display image obtained by converting content based on the content content and context information.
  • step S108 the display unit 120 displays a display image.
  • the display control unit 149 outputs the display image generated by the generation unit 145 to the display unit 120, and controls the display unit 120 to display the display image.
  • the generation unit 145 generates a display image corresponding to the user operation input to the input unit 110. For example, the generation unit 145 generates a display image obtained by enlarging or reducing the display image that has been displayed until then, and updating the screen in response to a user operation on the displayed display image, or by updating another display image. To generate a screen transition. At this time, the generation unit 145 sets an operation method indicating what kind of display processing is performed when an operation is performed, and performs display processing according to the set operation method.
  • the generation unit 145 may set an operation method for the displayed display image in accordance with content metadata.
  • the generation unit 145 interprets the user operation input to the input unit 110 according to the operation method set according to the content metadata, and generates a display image according to the interpretation result.
  • the display image may be enlarged or reduced by the same touch operation, or the display image may be changed to another display image.
  • the user can perform an operation with an operation method suitable for the metadata.
  • the user can enlarge the face part of the portrait, enlarge the whole body of one person, or enlarge or change the manga one frame at a time. . For this reason, it is not necessary for the user to adjust the enlargement / reduction ratio or adjust the range to be enlarged / reduced, and the troublesomeness of the operation can be reduced.
  • the generation unit 145 may set an operation method for the displayed display image according to the context information.
  • the generation unit 145 interprets the user operation input to the input unit 110 according to the operation method set according to the context information, and generates a display image according to the interpretation result.
  • the display image may be enlarged or reduced by the same touch operation, or the display image may be changed to another display image.
  • the operation method setting in this way, the user can perform an operation using an operation method suitable for the context. For example, with the same touch operation, the user can change the display image when the screen size is large, and can enlarge the touched portion when the screen size is small.
  • the operation for enlarging the display image can be changed from, for example, a touch operation to a gesture operation in accordance with the type of device. For this reason, even in a device where possible operations are limited, such as a wearable device or a glasses-type device, the user can view the content without inconvenience and without performing complicated settings. .
  • the generation unit 145 can set one of the operation methods described below in accordance with at least one of the content metadata and the context information.
  • FIG. 27 is a diagram for explaining an example of an operation method according to this modification.
  • the content 601 is a still image of a group photo of people.
  • the generation unit 145 may generate a display image for displaying the content 601 as it is. Further, the generation unit 145 may generate any one of the display images 602, 603, and 604 in which the face portion is enlarged in response to the content 601 being a still image including a person.
  • FIG. 28 is a diagram for explaining an example of an operation method according to this modification.
  • FIG. 28 shows a state of screen transition between the display images 602, 603, and 604 obtained by enlarging the face image shown in FIG.
  • the generation unit 145 determines whether the display image is an enlargement of the face portion of the person included in the group photo, The screen may be changed by generating a display image in which the face portion is enlarged.
  • the generation unit 145 selects a transition destination person (that is, a person to be enlarged and displayed next) from persons around the person enlarged in the group photo according to the tapped position. May be.
  • the generation unit 145 when the left area 605 of the display image 603 is tapped, the generation unit 145 generates a display image 602 of the person who is on the left side of the person related to the display image 603 in the original group photo 601 and changes the screen.
  • the generation unit 145 when the right area 606 of the display image 603 is tapped, the generation unit 145 generates a display image 604 of the person who was on the right side of the person related to the display image 603 in the original group photo 601 and changes the screen. The same applies to the left area 605 and the right area 606 of the display images 602 and 604.
  • FIG. 29 is a diagram for explaining an example of an operation method according to this modification.
  • the content 611 is a four-frame cartoon.
  • the generation unit 145 may generate a display image for displaying the content 611 as it is. Further, the generation unit 145 may generate a display image obtained by enlarging any one frame or a display image obtained by enlarging a part of one frame in response to the content 611 being a comic.
  • FIG. 30 is a diagram for explaining an example of an operation method according to the present modification.
  • FIG. 30 shows a state of screen transition between the display images 612, 613, 614, and 615 obtained by enlarging each frame of the comic shown in FIG.
  • the generation unit 145 displays an enlarged image of another frame in response to the display image being an expanded frame of the comic.
  • the screen may be changed by generating an image.
  • the generation unit 145 may select a transition destination frame (that is, a frame to be enlarged and displayed next) according to the tapped position from the frames before and after the frame that is magnified in the comic. Good.
  • the generation unit 145 when the left region of the display image 613 in which the second frame is enlarged is tapped, the generation unit 145 generates a display image 612 in which the first frame is enlarged and changes the screen. In addition, when the right region of the display image 613 in which the second frame is enlarged is tapped, the generation unit 145 generates a display image 614 in which the third frame is enlarged and changes the screen. The same applies to the left and right areas of the display images 612, 614 and 615. When the left area of the display image 612 of the first frame is tapped, the generation unit 145 may make a transition to the last frame of the previous page. When the right region of the display image 615 of the fourth frame is tapped, the generation unit 145 may make a transition to the first frame of the next page.
  • FIG. 31 is a diagram for explaining an example of an operation method according to this modification.
  • FIG. 31 shows a state of screen transition between display images 616, 617, 618, and 619 in which a part of one frame of the comic shown in FIG. 29 is enlarged.
  • the display image 616 is an enlargement of the character part of the first frame
  • the display image 617 is an enlargement of the picture part of the first frame
  • the display image 618 is an enlargement of the character part of the second frame.
  • the display image 619 is an enlargement of the picture portion in the second frame.
  • the generation unit 145 displays the other part in response to the display image being an enlargement of a part of one frame of the comic.
  • the screen may be changed by generating an enlarged display image.
  • the generation unit 145 selects a transition destination part (that is, a part of a frame to be displayed next enlarged) from a part or a frame before or after the part enlarged in the comic, according to the tapped position. May be selected. For example, when the left region of the display image 617 in which the picture portion of the first frame is enlarged is tapped, the generation unit 145 generates a display image 618 in which the character portion of the first frame is enlarged and changes the screen.
  • the generation unit 145 when the right region of the display image 617 in which the picture portion of the first frame is enlarged is tapped, the generation unit 145 generates a display image 618 in which the character portion of the second frame is enlarged and changes the screen. The same applies to the left and right regions of the display images 616, 618 and 619.
  • FIG. 32 is a diagram for explaining an example of an operation method according to the present modification.
  • a display image 621 that displays the entire four-frame comic as it is is displayed.
  • the generation unit 145 may generate a display image enlarged around the tapped frame and change the screen.
  • FIG. 32 shows an example in which the second frame of a four-frame comic is tapped, and the screen transitions to a display image 622 in which the second frame is enlarged.
  • FIG. 33 is a diagram for explaining an example of an operation method according to this modification.
  • a display image 621 that displays the entire four-frame comic as it is is displayed.
  • the generation unit 145 generates a display image that is enlarged with the tapped component as a center to generate a screen. May be transitioned.
  • FIG. 33 shows an example in which the character in the second frame of the four-frame cartoon is tapped, and the screen transitions to a display image 623 in which the character in the second frame is enlarged.
  • FIG. 34 is a diagram for explaining an example of an operation method according to this modification.
  • the content 631 includes two 4-frame comics.
  • the generation unit 145 generates the display image 632 or the display image 633 including only one of the two.
  • the generation unit 145 when a swipe operation is performed in a state where the display image 632 or 633 is displayed, the generation unit 145 generates a display image that is scrolled within the currently displayed four-frame comic and updates the screen.
  • the generation unit 145 generates the display image 633 when the swipe operation is performed in the right direction while the display image 632 is displayed, and shifts the screen to the left while the display image 633 is displayed.
  • the generation unit 145 performs a swipe operation to the left with the display image 632 displayed, or a swipe operation to the right with the display image 633 displayed, before and after the content 631. A display image related to the content is generated and the screen is changed.
  • FIG. 35 is a diagram for explaining an example of an operation method according to the present modification.
  • the content 641 is a lyrics card.
  • the generation unit 145 may generate a display image for displaying the content 641 as it is. Further, the generation unit 145 generates either a display image in which the lyrics portion 642 is enlarged or a display image in which the person portion 643 is enlarged in response to the content 641 being a lyrics card including the lyrics portion 642 and the person portion 643. May be.
  • FIG. 36 is a diagram for explaining an example of an operation method according to the present modification.
  • FIG. 36 shows a screen transition state between display images 644 and 645 in which the lyrics portion 642 of the lyrics card 641 shown in FIG. 35 is enlarged, and display images 646 and 647 in which the person portion 643 is enlarged.
  • the generation unit 145 when the lyrics portion 642 is tapped in a state where the lyrics card 641 is displayed, the generation unit 145 generates a display image 644 in which the lyrics portion 642 is enlarged and changes the screen.
  • the generation unit 145 When the swipe operation is performed up and down while the display image 644 is displayed, the generation unit 145 generates the display image 645 scrolled in the lyrics portion 642 and updates the screen.
  • the generation unit 145 when the person portion 643 is tapped while the lyrics card 641 is displayed, the generation unit 145 generates a display image 646 in which the person portion 643 is enlarged and changes the screen.
  • the generation unit 145 When the display image 646 is displayed and scrolled up and down, the generation unit 145 generates a display image 647 that is scrolled in the person portion 643 and updates the screen.
  • one frame of a comic or a part thereof is enlarged and displayed has been described, but the present technology is not limited to such an example.
  • a plurality of frames for example, one four-frame cartoon
  • a spread page may be enlarged and displayed in a lump, or a balloon, a dialogue, a stroke, a drawn character, a human face, or an entire person image may be enlarged and displayed. Also good.
  • a human face portion is enlarged and displayed with respect to a photograph
  • the present technology is not limited to such an example.
  • the whole image of a person, sports equipment (ball, racket, goal, etc.), a landmark (Tokyo Tower, etc.), or a red part of a memo may be displayed in an enlarged manner.
  • the photos may be rearranged for each event, and a list may be displayed for each event. The same applies to, for example, illustrations in addition to photographs.
  • each article may be enlarged and displayed, and the articles may be changed in order, or may be changed to an image portion corresponding to the article.
  • a license plate portion of a car may be displayed in an enlarged manner with respect to a security image captured by a surveillance camera.
  • each room may be enlarged and displayed, and the room may be changed to another room.
  • FIG. 37 is a diagram for explaining an example of an operation method according to this modification.
  • the content 651 is a still image of a group photo of people.
  • the generation unit 145 may generate a display image 651 for displaying the content 651 as it is. Then, when a pinch-out operation is performed in a state where the display image 651 is displayed, the generation unit 145 may generate a display image 652 in which the faces of all the members included in the group photo are enlarged and update the screen. . When the pinch-in operation is performed in a state where the display image 652 is displayed, the generation unit 145 may generate the display image 651 in which the enlarged face portion is restored and update the screen.
  • the display image 651 includes a face part 653 and other body parts 654 when attention is paid to one person.
  • the generation unit 145 when the face portion 653 is tapped while the display image 651 is displayed, the generation unit 145 generates a display image 655 in which the face portion 653 is enlarged and updates the screen. . Further, when a portion other than the face is tapped while the display image 655 is displayed, the generation unit 145 again generates the display image 651 in which the enlarged face portion is restored, and updates the screen.
  • FIG. 39 when the face portion 653 is tapped while the display image 651 is displayed, the generation unit 145 generates a display image 655 in which the face portion 653 is enlarged and updates the screen.
  • the generation unit 145 when the body part 654 is tapped while the display image 651 is displayed, the generation unit 145 generates a display image 656 in which the entire body including the face is enlarged to display the screen. To update. In addition, when a portion other than the body is tapped while the display image 656 is displayed, the generation unit 145 again generates the display image 651 in which the entire enlarged body is restored and updates the screen.
  • partial scaling may be realized by controlling pixel allocation.
  • partial enlargement may be realized by assigning more pixels to the area to be enlarged and assigning fewer pixels to the other areas.
  • FIGS. 41 and 42 an example of partial enlargement by control of pixel allocation will be described with reference to FIGS. 41 and 42.
  • FIG. 41 and 42 are diagrams for explaining an example of an operation method according to this modification. More specifically, FIG.41 and FIG.42 is a figure for demonstrating the partial expansion by control of pixel allocation.
  • FIG. 41 shows a display image 657 in which the face portion is enlarged by assigning many pixels to the face portion of the person 658 and assigning fewer pixels around the face portion.
  • FIG. 42 is a diagram conceptually showing the number of pixels assigned to each unit region 659 of the display image 657 shown in FIG. A larger unit area 659 indicates that more pixels are allocated, and a smaller unit area 659 indicates that fewer pixels are allocated. As shown in FIG. 18, many pixels are assigned to the face portion, and few pixels are assigned around the face portion.
  • Operation method according to context information An operation method can be set according to context information.
  • the operation method may be different if a person has different purposes for browsing content.
  • an example of an operation method according to the purpose of browsing content will be described with reference to FIG.
  • FIG. 43 is a diagram for explaining an example of an operation method according to this modification.
  • the content 661 is a still image of a group photo of people.
  • the generation unit 145 may generate a display image 661 for displaying the content 661 as it is.
  • the generation unit 145 When the face portion of the person 662 is tapped while the display image 661 is displayed, the generation unit 145 generates a display image 663 including tag candidates 664 for inputting a name tag to the person 662 to display the screen. May be updated.
  • the generation unit 145 can generate tag candidates for inputting a name tag to the person 662 by a flick operation.
  • the display image 663 including 664 may be generated to update the screen.
  • the generation unit 145 may generate a display image including another input interface such as a software keyboard and update the screen.
  • the face portion can be enlarged by operating the face portion of the group photo.
  • the purpose of browsing the content is to input a tag, for example, as described above with reference to FIG. 43, a tag input interface appears by an operation on the face portion of the group photo. In this way, the operation method can vary depending on the purpose.
  • the switching of the operation method between the enlarged display based on the transition shown in FIGS. 27 to 36 and the partial enlargement / reduction based on the whole image display shown in FIGS. Based on the context information. For example, when the screen size is large enough to ensure visibility even when the entire image is displayed, partial enlargement / reduction is performed on the premise of displaying the entire image, and it is difficult to ensure visibility when displaying the entire image. When the screen size is small, enlarged display based on the transition can be performed. In addition, regarding content including characters such as comics, if the screen size is so small that it is difficult to ensure visibility even when the screen size is enlarged, the information processing apparatus 100 may read out the characters by voice without expanding the size. .
  • FIG. 44 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment. Note that the information processing apparatus 900 illustrated in FIG. 44 can realize the information processing apparatus 100 illustrated in FIG. 2, for example. Information processing by the information processing apparatus 100 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 140 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the input device 906 can form, for example, the input unit 110 shown in FIG.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device can form, for example, the display unit 120 shown in FIG.
  • the audio output device can output BGM or the like when, for example, a display image is displayed on the display unit 120 shown in FIG.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 130 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • the connection port 911 can form, for example, the input unit 110 illustrated in FIG.
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the input unit 110 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the sensor 915 can form, for example, the input unit 110 shown in FIG.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing apparatus 100 generates a display image according to the content of the input content and information indicating the relationship between the content and the user. Thereby, the information processing apparatus 100 can perform display control of the content itself based on the relationship between the content and the user. More specifically, the user can view a display image that matches the context such as his / her preference, knowledge, behavior, and surrounding environment, so that convenience for the user is improved.
  • the information processing apparatus 100 generates a display image that emphasizes or obscure at least one of the objects included in the content according to the content content and the information indicating the relationship. Thereby, the user can easily browse the portion to be viewed. In addition, the user does not have to pay attention to a portion that should not be viewed, so that the user can concentrate on the portion that should be viewed.
  • each device described in this specification may be realized as a single device, or a part or all of the devices may be realized as separate devices.
  • the storage unit 130 and the control unit 140 are provided in a device such as a server connected to the input unit 110 and the display unit 120 via a network or the like. Also good.
  • a display control unit that performs display control of the content in accordance with acquired content, metadata of the content, and information indicating a relationship between the content and the user;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the display control unit changes a display form of the content, or changes a part or all of an object included in the content. (3) The information processing apparatus according to (2), wherein the display control unit emphasizes or obscures at least one of the objects included in the content. (4) The information processing apparatus according to (3), wherein the display control unit assigns the number of pixels according to information indicating the content, the metadata, and the relationship to each of the objects.
  • the information processing apparatus converts a notation included in the content into a notation with improved visibility.
  • the information processing apparatus changes an arrangement of the objects.
  • the information processing apparatus according to any one of (1) to (6), further including a setting unit that sets a priority for each piece of information indicating the relationship.
  • the information processing apparatus according to any one of (1) to (7), wherein the information indicating the relationship includes information related to the attribute of the user.
  • the information processing apparatus according to any one of (1) to (9), wherein the information indicating the relationship includes information related to a purpose of browsing the content by the user.
  • the information processing apparatus according to any one of (1) to (11), wherein the information indicating the relationship includes audio information based on browsing of a display image whose display is controlled by the display control unit.
  • the information indicating the relationship includes behavior information based on browsing of a display image that is display-controlled by the display control unit.
  • the information indicating the relationship includes any one of (1) to (13), including information related to a positional relationship between the display unit that displays the display image controlled by the display control unit and the user.
  • the information processing apparatus according to item.
  • the information indicating the relationship includes information indicating characteristics related to a display unit that displays a display image that is display-controlled by the display control unit, according to any one of (1) to (14).
  • Information processing device (16) The information processing apparatus according to any one of (1) to (15), wherein the information indicating the relationship includes information related to an environment of the user.
  • the information processing apparatus sets an operation method for the displayed content in accordance with the information indicating the relationship.
  • the display control of the content is performed by a processor according to the acquired content, the metadata of the content, and information indicating the relationship between the content and the user,
  • An image processing method including: (20) Computer A display control unit that performs display control of the content in accordance with acquired content, metadata of the content, and information indicating a relationship between the content and the user; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能な情報処理装置、画像処理方法及びプログラムを提案する。 【解決手段】取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、を備える情報処理装置。

Description

情報処理装置、画像処理方法及びプログラム
 本開示は、情報処理装置、画像処理方法及びプログラムに関する。
 近年、人は数多くの画像や音楽等のコンテンツに日常的に接している。また、人がコンテンツに接する状況は多様になってきている。そのため、人がコンテンツに接する状況により適した形態で、コンテンツを提供するための技術が求められている。
 例えば、下記特許文献1には、メニュー画面に含まれる大きさの異なる複数の枠において提供される複数の情報に関し、過去の利用履歴に基づいて優先度を設定し、情報の各々に優先度に応じた枠を割り当てる技術が開示されている。
特開2001-125919号公報
 しかし、上記特許文献1に記載された技術では、複数の情報を優先順位に従った大きさで提供することが可能になるに過ぎなかった。近年では、人がコンテンツを閲覧する目的、タイミング及び環境等の、人とコンテンツの関係性が多様になってきていることを考慮すれば、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能になることが望ましい。
 本開示によれば、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、を備える情報処理装置が提供される。
 また、本開示によれば、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、を含む画像処理方法が提供される。
 また、本開示によれば、コンピュータを、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、として機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理装置の概要を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係るコンテンツの解析処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理に関する設定画面の一例を説明するための図である。 本実施形態に係る情報処理装置において実行される表示画像の出力処理の流れの一例を示すフローチャートである。 本実施形態に係る一変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本変形例に係る操作方法の一例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1.概要
  2.構成例
  3.動作処理例
  4.変形例
  5.ハードウェア構成例
  6.まとめ
 <<1.概要>>
 まず、図1を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
 図1は、本実施形態に係る情報処理装置の概要を説明するための図である。図1では、情報処理装置によりコンテンツから生成される表示画像の一例を示している。符号10はコンテンツを示し、符号20は表示画像を示している。本実施形態では、画像(静止画像/動画像)、Webページ、文字列又は音等を、コンテンツとも称する。また、コンテンツに基づいて描画された画像を、表示画像とも称する。一般的な装置においては、コンテンツはそのまま描画されて表示画像が生成される。これに対し、本実施形態に係る情報処理装置は、コンテンツの全部又は一部を変換して描画することで表示画像を生成する。例えば、図1に示した例では、コンテンツ10のうち文字列11が、表示画像20では文字列21に拡大されている。また、コンテンツ10のうち文字列12が、表示画像20では文字列22に縮小されている。
 本実施形態に係る情報処理装置は、コンテンツの内容及びコンテンツとユーザとの関係性を示す情報に基づいて、表示画像を生成する。コンテンツとユーザとの関係性は、多様に考えらえる。以下では、コンテンツとユーザとの関係性をコンテキストとも称し、コンテンツとユーザとの関係性を示す情報をコンテキスト情報とも称する。本実施形態に係る情報処理装置は、コンテンツの内容及びコンテキスト情報に基づいてコンテンツを変換することで表示画像を生成する。ユーザは、コンテンツの内容及び自身のコンテキストに合った表示画像を閲覧することが可能であるので、ユーザの利便性が向上する。
 以上、本実施形態に係る情報処理装置の概要を説明した。続いて、図2~図7を参照して、本実施形態に係る情報処理装置の構成例を説明する。
 <<2.構成例>>
 図2は、本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。図2に示すように、情報処理装置100は、入力部110、表示部120、記憶部130及び制御部140を含む。
  (1)入力部110
 入力部110は、各種情報の入力を受け付ける機能を有する。入力部110は、受け付けた入力情報を制御部140へ出力する。
 例えば、入力部110は、ユーザの動作及び状態等を検知するセンサを含んでいてもよい。入力部110は、例えばユーザ又はユーザの周囲を撮影対象とするカメラ又はステレオカメラにより実現され得る。他にも、入力部110は、マイク、GPS(Global Positioning System)、赤外線センサ、光線センサ、筋電センサ、神経センサ、脈拍センサ、体温センサ、気温センサ、ジャイロセンサ、加速度センサ又はタッチセンサなどにより実現され得る。カメラやマイクにより取得された画像及び音声は、コンテンツとして取り扱われてもよい。コンテンツには、多様な情報が付加されていてもよい。例えば、コンテンツには、Exif情報、タグ付けされた情報等が付加されていてもよい。
 例えば、入力部110は、ユーザ操作を検知する操作部を含んでいてもよい。入力部110は、例えばキーボード、マウス、表示部120と一体的に構成されるタッチパネルにより実現されてもよい。
 例えば、入力部110は、有線/無線のインタフェースを含んでいてもよい。有線のインタフェースとしては、例えばUSB(Universal Serial Bus)等の規格に準拠したコネクタが挙げられる。無線のインタフェースとしては、例えばBluetooth(登録商標)又はWi-Fi(登録商標)等の通信規格に準拠した通信装置が挙げられる。入力部110は、例えばPC(Personal Computer)又はサーバ等の他の装置からコンテンツを取得し得る。
  (2)表示部120
 表示部120は、各種情報を表示する機能を有する。例えば、表示部120は、制御部140により生成された表示画像を表示する機能を有する。表示部120は、例えばLCD(Liquid Crystal Display)又はOLED(Organic Light-Emitting Diode)などにより実現される。他にも、表示部120は、表示画像を投影面に投影するプロジェクタにより実現されてもよい。
  (3)記憶部130
 記憶部130は、各種情報を記憶する機能を有する。例えば、記憶部130は、入力情報とコンテキスト情報との対応付けを示す情報を記憶するコンテキストDB(Data Base)を含み得る。また、記憶部130は、コンテキスト情報とコンテンツから表示画像への変換規則との対応付けを示す情報を記憶する変換規則DBを含み得る。
  (4)制御部140
 制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。図2に示すように、制御部140は、コンテンツ取得部141、コンテキスト推定部143、生成部145、設定部147及び表示制御部149としての機能を有する。
  (4.1)コンテンツ取得部141
 コンテンツ取得部141は、コンテンツを取得する機能を有する。例えば、コンテンツ取得部141は、入力部110により入力されたコンテンツを取得する。コンテンツ取得部141は、取得したコンテンツを生成部145へ出力する。
  (4.2)コンテキスト推定部143
 コンテキスト推定部143は、コンテキストを推定する機能を有する。例えば、コンテキスト推定部143は、入力部110により入力された入力情報に基づいて、コンテキストを推定して、推定結果を示すコンテキスト情報を生成部145へ出力する。以下に説明するように、コンテキスト情報は多様に考えられる。
 コンテキスト情報は、ユーザの属性に関連する情報であってもよい。ユーザとは、情報処理装置100のユーザであり、情報処理装置100により生成された表示画像を閲覧する人である。ユーザは一人であってもよいし、複数人であってもよい。ユーザの属性としては、例えばユーザの人数、大人か子供か、友人関係、仕事、趣味、生活サイクル等が挙げられる。コンテキスト推定部143は、例えば事前にユーザにより入力された情報、SNS(social networking service)に書き込まれた情報等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がユーザの属性に関連する情報である場合、ユーザは、例えば自身の属性に応じた変換が成された表示画像を閲覧することができる。
 コンテキスト情報は、コンテンツに関するユーザの知識又は嗜好に関連する情報であってもよい。コンテンツに関する知識としては、例えばユーザが当該コンテンツに接した回数等が挙げられる。コンテンツに関する嗜好としては、例えば好きであるか嫌いであるか等が挙げられる。コンテキスト推定部143は、例えば過去のユーザの行動履歴、購買履歴等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がコンテンツに関するユーザの知識又は嗜好に関連する情報である場合、ユーザは、例えば自身の知識レベルに合った、又は自身が好む部分が強調され、好まない部分が曖昧に変換された表示画像を閲覧することができる。
 コンテキスト情報は、ユーザがコンテンツを閲覧する目的に関連する情報であってもよい。閲覧する目的としては、例えば会話を盛り上げる目的、昔のことを思い出す目的が挙げられる。他にも、閲覧する目的としては、ニュース記事及び学術書等の内容を知る目的、顔、人体、特定の模様、動物、植物及び人工物等をタグ付けする目的、並びに駅、小売店及び駐車場等を探す目的等が挙げられる。コンテキスト推定部143は、ユーザの会話を対象とした音声認識処理、検索ワード、位置情報、行動情報等に基づいて、このようなコンテキスト情報を推定し得る。他にも、コンテキスト推定部143は、立ち上げているアプリケーション、又は閲覧しているWebページの種類等に基づいて、コンテキスト情報を推定し得る。コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合、ユーザは、例えば自身の目的達成がより容易になるよう変換された表示画像を閲覧することができる。
 コンテキスト情報は、表示画像におけるユーザの注目領域に関連する情報であってもよい。コンテキスト推定部143は、ユーザの視線、マウスポインタの位置、タッチセンサのタッチ位置又は空間ポインティングデバイスのポインタの位置等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像におけるユーザの注目領域に関連する情報である場合、ユーザは、例えば自身が注目する領域の視認性がより向上した表示画像を閲覧することができる。
 コンテキスト情報は、表示画像の閲覧に基づく音声情報であってもよい。表示画像の閲覧に基づく音声情報としては、例えば表示画像の閲覧に関してユーザが聞く音が挙げられる。ユーザが聞く音としては、例えば音楽、オーディオブックの読み上げ音声、及び表示画像を見ながら又は見ずに行われる会話などが挙げられる。コンテキスト推定部143は、マイクにより取得された周囲の音、再生中の音データのファイル名等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像の閲覧に基づく音声情報である場合、ユーザは、自身が聞いている音に沿った表示画像を閲覧することができる。
 コンテキスト情報は、表示画像の閲覧に基づく行動情報であってもよい。表示画像の閲覧に基づく行動情報としては、例えば表示画像の閲覧に関してユーザが行う行動が挙げられる。例えば、ユーザ自身の行動としては、例えば目的地へのルート検索、通勤、通学、移動(乗り物、徒歩)、休憩及び読書等が挙げられる。他にも、表示画像の閲覧に基づく行動情報として、例えば表示画像の閲覧に関するユーザの状況が挙げられる。例えば、ユーザの状況としては、忙しいか否か、言い換えれば何らかの行動が可能な状態であるか現在の行動が終わるまで別の行動が困難な状態であるか等が挙げられる。コンテキスト推定部143は、センサにより取得されたユーザの動作、ユーザ操作等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像の閲覧に基づく行動情報である場合、ユーザは、自身が行っている行動に沿った表示画像を閲覧することができる。行動情報は、ユーザ自身に関するものの他、周囲の人に関するものであってもよい。例えば、ユーザの隣の人が表示画像を覗き込んだことが検出された場合、隣の人が他人であれば写真が小さく表示され、隣の人が友人であれば逆に写真が大きく表示され得る。
 コンテキスト情報は、表示画像を表示する表示部120とユーザとの位置関係に関連する情報であってもよい。位置関係に関連する情報としては、例えば表示部120とユーザとの距離、及び角度等が挙げられる。コンテキスト推定部143は、例えばユーザを撮像対象としたステレオカメラによる撮像結果等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示部120とユーザとの位置関係に関連する情報である場合、ユーザは、位置関係に応じて視認性が良くなるよう変換された表示画像を閲覧することができる。
 コンテキスト情報は、表示画像を表示する表示部120に関連する特性を示す情報であってもよい。表示部120に関連する特性を示す情報としては、例えば表示部120のサイズ、解像度、及び表示部120が搭載された装置の種別等が挙げられる。コンテキスト推定部143は、例えば予め記憶部130に記憶された情報に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像を表示する表示部120に関連する特性を示す情報である場合、ユーザは、表示部120に関連する特性に適した表示サイズに変換された表示画像を閲覧することができる。
 コンテキスト情報は、ユーザの環境に関連する情報であってもよい。ユーザの環境としては、例えばユーザの位置、天気、周囲の明るさ及び気温等が挙げられる。コンテキスト推定部143は、例えばGPS、気温センサ、湿度計等のセンサによる検知結果に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がユーザの環境に関連する情報である場合、ユーザは、環境に適した輝度、解像度等の表示設定で表示された表示画像を閲覧することができる。
 以上、コンテキスト情報の一例を説明した。コンテキスト情報は、以上説明した情報を2つ以上含んでいてもよい。
  (4.3)生成部145
 生成部145は、取得したコンテンツの内容及びコンテキスト情報に応じた表示画像を生成する機能を有する。ここで、コンテンツの内容とは、コンテンツ自身及びコンテンツのメタデータを意味する。コンテンツのメタデータとは、コンテンツに含まれる情報の全てを指し、例えば、画像/音声/動画等のコンテンツの種類、コンテンツに含まれるオブジェクトの情報、コンテンツが画像であれば撮影された時間、撮影場所等がメタデータに含まれ得る。メタデータは、コンテンツに予め付随していてもよいし、画像解析、画像認識、統計処理又は学習等によりコンテンツから抽出されてもよい。例えば、生成部145は、コンテンツ取得部141により取得されたコンテンツ、コンテンツを解析することで得たメタデータ及びコンテキスト推定部143により推定されたコンテキスト情報に基づいて、コンテンツを変換した表示画像を生成する。そして、生成部145は、生成した表示画像を表示制御部149へ出力する。
 例えば、生成部145は、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じて、コンテンツの表示形態を変更する、又はコンテンツに含まれるオブジェクトの一部又は全てを変更してもよい。以下、コンテンツの表示形態を変更すること、及びコンテンツに含まれるオブジェクトの一部又は全てを変更することについて、具体的に説明する。
 例えば、生成部145は、コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする表示画像を生成してもよい。オブジェクトとは、コンテンツが画像である場合は画像の一領域又は被写体の一部又は全部の領域を指す。例えば、生成部145は、コンテキスト推定部143により推定されたコンテキスト情報及びコンテンツ取得部141により取得されたコンテンツの内容に基づいて、強調対象及び/又は曖昧にする対象のオブジェクトを特定する。そして、生成部145は、強調対象のオブジェクトを強調し、曖昧にする対象のオブジェクトを曖昧にする変換を行った表示画像を生成する。なお、生成部145は、強調対象及び曖昧にする対象のいずれでもないオブジェクトに関しては、そのまま表現する表示画像を生成してもよいし、他のオブジェクトに対して行われた変換からの影響を加味した変換を行った表示画像を生成してもよい。生成部145による変換処理は多様に考えられる。
 例えば、生成部145は、強調対象のオブジェクトのコントラストを強調する表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトに囲みを付けて強調する表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトが別枠に表示される表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトをカラー表示し、他のオブジェクトをグレースケール又はモノクロで表示する表示画像を生成してもよい。
 例えば、生成部145は、曖昧にする対象のオブジェクトのコントラストを弱める表示画像を生成してもよい。また、生成部145は、曖昧にする対象のオブジェクトの色を薄めて表示する表示画像、又はグレースケール若しくはモノクロで表示する表示画像を生成してもよい。
 例えば、生成部145は、オブジェクトの配置を変更する表示画像を生成してもよい。例えば、生成部145は、曖昧にする対象のオブジェクトを画像の中心から離れた位置等の目立たない位置に移動させて、強調する対象のオブジェクトを画像の中心等の目立つ位置に移動させてもよい。
 例えば、生成部145は、オブジェクトの各々に、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じた画素数を割り当てて表示画像を生成してもよい。例えば、生成部145は、強調対象のオブジェクトにより多くの画素数を割り当てる。これにより、強調対象のオブジェクトの視認性は向上する。ただし、表示画像の一部が歪んで見えたり、もともと存在していた空白部分が無くなったりし得る。また、生成部145は、曖昧にする対象のオブジェクトにより少ない画素数を割り当ててもよい。その場合、生成部145は、グロテスクな部分を小さくする等の、曖昧にする対象のオブジェクトをぼかした表示画像を生成することが可能となり、かかる部分の視認性を低下させることができる。
 生成部145は、コンテンツに対応する表示画像を生成するために任意のアルゴリズムを採用し得る。例えば、コンテンツが画像である場合、生成部145は、局所的なアフィン変換を行ってもよい。生成部145が採用可能なアルゴリズムは、例えば「Scott Schaefer,Travis McPhail,Joe Warren,“Image deformation using moving least squares”,ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGGRAPH 2006,Volume 25 Issue 3,July 2006 Pages 533-540.」に記載されている。
 生成部145は、多様な方法を用いて、オブジェクト毎に割り当てる画素数を計算し得る。ここで、強調対象のオブジェクトに割り当てられる画素数は、オブジェクトの内容に関して言えば、例えば、文字であればユーザが読むことができる最小の画素数以上の値であり、その他のオブジェクトであればそれが何であるかを認識できる最小の画素数以上の値である。そのため、例えば空白部分などは割り当てられる画素数が小さくなる。一方で、曖昧にする対象のオブジェクトに割り当てられる画素数は、オブジェクトの内容に関して言えば、例えば、文字であればユーザが読むことができない最大の画素数以下の値であり、その他のオブジェクトであればそれが何であるかを認識できない最大の画素数以下の値である。
 ただし、オブジェクトに割り当てる画素数は、コンテキストに応じて変化し得る。例えば、強調対象のオブジェクトに関して、アルファベットの「O」と数字の「0」を識別することが必要な校正作業時等においては、文字に割り当てられる画素数は通常時よりも大きくなる。また、文書中のユーザにとって重要な単語に割り当てられる画素数は、通常時よりも大きくなる。また、小さくても識別可能な人物画像であっても、その人物画像をよく見たいという要求がユーザにある場合、人物画像に割り当てられる画素数は通常時よりも大きくなる。会社からの帰宅時における子供の写真や、久しぶりに見る孫の写真などが、このコンテキストに該当する。曖昧にする対象のオブジェクトに関しても同様に、割り当てる画素数はコンテキストに応じて変化し得る。
 以下では、コンテンツの内容に応じた画素数の割り当て処理を説明する。
 例えば、生成部145は、コンテンツの内容から強調対象のオブジェクトに割り当てる画素数を計算する。例えば、コンテンツが静止画像である場合、生成部145は、画像に含まれる文字、アイコンその他の意味のあるオブジェクトを認識し、認識したオブジェクトの実表示サイズにおける視認性に基づいて、割り当てる画素数を計算してもよい。意味のあるオブジェクトとしては、文字、アイコンの他、例えば人の顔、顔以外の人体、特定の模様、動物、植物又は自動車などが挙げられる。また、生成部145は、コンテンツが静止画像である場合、フーリエ変換又はウェーブレット変換を行った結果から、割り当てる画素数を計算してもよい。その際、例えば、生成部145は、フーリエ変換又はウェーブレット変換を行って、画像の各部分の周波数成分を解析し、高周波成分の量が閾値以上の部分を強調対象のオブジェクトとして特定し得る。ただし、一般に高周波成分は人間の視覚特性上目立たないため、人間の視覚の周波数特性による補正をかけた上で、強調対象のオブジェクトを特定してもよい。そして、生成部145は、強調対象の部分における高周波成分の量から、割り当てる画素数を計算してもよい。本解析方法の一例を、図3を参照して詳しく説明する。
 図3は、本実施形態に係るコンテンツの解析処理の一例を説明するための図である。図3に示すように、生成部145は、まず、人物が写った画像のコンテンツ201を格子状に分割する。そして、生成部145は、格子状に分割された画像を対象として、周波数解析及び人間の視覚特性による補正を行い、強調対象の部分202を特定する。ここでの強調対象の部分202は、人物の輪郭部分に相当する。例えば、生成部145は、人物の輪郭部分に多くの画素数を割り当てることにより、人物の輪郭が明確になった表示画像を生成することができる。
 なお、多くの画素数を割り当てることを、単に拡大するとも称し得る。また、少ない画素数を割り当てることを、単に縮小するとも称し得る。また、生成部145は、強調対象のオブジェクトを拡大し、曖昧にする対象のオブジェクトを縮小するものとして説明するが、上記説明した他の変換処理を行ってもよい。
 生成部145は、多様なタイミングで表示画像を生成し得る。例えば、生成部145は、表示対象のコンテンツが変化するタイミングで表示画像を生成してもよい。他にも、生成部145は、コンテキストが変化するタイミングで、表示画像を再生成してもよい。コンテキストが変化するタイミングとしては、例えば会話の話題が変わる、オーディオブックの読み上げ位置が変わる、一緒に表示画像を見る人が変わる、ユーザ位置が変わる、表示デバイスが変わる等が挙げられる。他にも、生成部145は、ユーザにより指示されたタイミングや画面のリフレッシュのタイミング等で、表示画像を生成してもよい。
 また、コンテンツは静止画像以外にも多様に考えられる。例えば、コンテンツが撮影条件を変えて撮影された複数枚の静止画像である場合、生成部145は、複数枚の静止画像を合成する際に、強調すべき部分にピントを合わせてもよい。また、コンテンツが動画像である場合、生成部145は、動画像を連続する静止画像であると捉えて、上述した処理を同様に行ってもよい。また、コンテンツがWebページ又は文字列である場合、生成部145は、文字サイズや配置等の調整を行ってもよい。また、コンテンツが音である場合、生成部145は、強調すべき区間の再生時間を延長したり、強調すべき区間では通常の速度としそれ以外の区間では速くしたりしてもよい。
  (コンテンツの内容に応じた表示画像の生成)
 以下では、図4~図6を参照して、コンテンツの内容に応じた表示画像の生成処理の具体例を説明する。
 図4は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図4に示す例では、コンテンツ211はマンガの静止画像である。例えば、生成部145は、吹き出し部分213の文字を拡大しつつ、その他の絵の部分をそのままにする表示画像212を生成する。これにより、吹き出し部分の可読性が確保される。
 図5は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図5に示す例では、コンテンツ221はゴキブリ223が写った静止画像である。例えば、生成部145は、ゴキブリ223を縮小した表示画像222を生成する。これにより、ゴキブリのような好ましくない部分が縮小して表示される。好ましくない部分としては、ゴキブリのような特定の虫の他、グロテスクな表現がされた部分、激しく明滅する部分などが挙げられる。
 他の例としては、例えば、コンテンツがSMS(short message service)である場合、生成部145は、メッセージ部分を拡大した表示画像を生成し得る。また、コンテンツが技術書の電子書籍である場合、生成部145は、文字部分を拡大した表示画像を生成し得る。また、コンテンツが集合写真である場合、生成部145は、顔部分を拡大した表示画像を生成し得る。また、コンテンツが歌詞カードである場合、生成部145は、文字部分を拡大した表示画像を生成し得る。また、コンテンツが富士山の写真である場合、生成部145は、富士山を拡大した表示画像を生成し得る。
 生成部145は、コンテンツに含まれる表記をより視認性が向上する表記に変換して表示画像を生成してもよい。例えば、生成部145は、変換の前後で、変換される文言が含まれる文章の意味が変化しないよう、異なる字形、マーク、読み仮名等の異なる表記への変換を行う。以下では、図6を参照して、表記を変換して表示画像を生成する処理の一例を説明する。
 図6は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図6の符号231~233に示すように、生成部145は、画数が多い文言を同じ意味の画数が少ない文言に変換してもよい。また、生成部145は、符号234に示すように、アルファベットを小文字から大文字へ変換してもよい。ここで、変換後の文字は実存する文字でなくてもよく、例えば符号235及び符号236に示すように、文字から1本以上の線を除去したものであってもよい。これにより、例えば割り当てられる画素数が少ない部分の文章の視認性が向上し得る。他にも、生成部145は、符号237に示すように長い記載を略語に変換してもよいし、符号238に示すように略語を元の長い記載に変換してもよい。また、生成部145は、符号239に示すように名前を短い愛称に変換してもよい。なお、このような変換規則は、記憶部130に記憶され得る。
 以上、コンテンツの内容に応じた表示画像の生成処理の具体例について説明した。
  (コンテキスト情報に応じた表示画像の生成)
 以下では、図7~図24を参照して、コンテキスト情報に応じた表示画像の生成処理の例を説明する。
 図7は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図7に示す例は、コンテキスト情報が、コンテンツに関するユーザの知識又は嗜好に関連する情報である場合の例である。図7に示す例では、コンテンツ301は、マンガの静止画像である。例えば、生成部145は、ユーザが初めて読む場合には、吹き出し部分303の文字を拡大した表示画像302を生成する。一方で、生成部145は、ユーザが何度も読んでいる場合には、吹き出し部分以外の絵の部分305を拡大した表示画像304を生成する。
 また、図7に示した例を、コンテキスト情報が、コンテンツに関するユーザの知識又は嗜好に関連する情報、及びユーザの環境に関連する情報である場合の例として捉えることも可能である。例えば、生成部145は、ユーザが通勤電車に乗車中である場合、揺れる車内での文字の視認性を向上させるために、吹き出し部分303の文字を拡大した表示画像302を生成する。
 図8は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図8に示す例は、コンテキスト情報が、表示画像の閲覧に基づく音声情報、及びコンテンツに関するユーザの知識又は嗜好に関連する情報である場合の例である。図8に示す例では、コンテンツ311は、歌詞カードの静止画像である。例えば、生成部145は、ユーザが当該歌詞カードを見ながら当該歌詞カードの曲を聴いている場合、又は初めて当該歌詞カードを見る場合に、歌詞部分313を拡大した表示画像312を生成する。一方で、生成部145は、ユーザが当該歌詞カード以外の曲を聴きながら当該歌詞カードを見ている場合、又は何度も当該歌詞カードの曲を聴いている場合に、写真部分315を拡大した表示画像314を生成する。
 図9は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図9に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像の閲覧に基づく音声情報である場合の例である。図9に示す例では、コンテンツは、風景の静止画像である。例えば、生成部145は、ユーザが写真の手前側のビル322について会話している場合、ビル322についての会話を盛り上げるために、ビル322を拡大した表示画像321を生成する。一方で、生成部145は、ユーザが写真の奥側のタワー324について会話している場合、タワー324についての会話を盛り上げるために、タワー324を拡大した表示画像323を生成する。
 図10は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図10に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図10に示す例では、コンテンツは、人の集合写真の静止画像である。例えば、生成部145は、ユーザの友人関係に基づいて、共通の友人である「Karen」の顔部分332及び「Anne」の顔部分333を拡大し、囲いをつけ、名前のタグを付した表示画像331を生成する。また、生成部145は、新たにユーザが増えた場合に、増えたユーザと既存のユーザとの共通の友人である、「Karen」の顔部分332を拡大し、囲いをつけ、名前のタグを付した表示画像334を生成する。
 図11は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図11に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合の例である。図11に示す例では、コンテンツは、人の集合写真の静止画像341である。例えば、生成部145は、ユーザが写真に写った人にタグ付けしようとする目的を有する場合、顔部分を拡大した表示画像342を生成する。
 図12は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図12に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図12に示す例では、コンテンツ351は、煙草を吸う人の静止画像である。例えば、生成部145は、ユーザが子供である場合又は子供を含む複数人である場合、煙草を縮小した表示画像352を生成する。一方で、生成部145は、ユーザに子供が含まれない場合、煙草をそのままの大きさで表現した表示画像を生成する。他にも、生成部145は、グロテスクな表現や静的な表現、酒等の子供にとって不適切なコンテンツに関して、同様の処理を行ってもよい。また、生成部145は、不適切な部分を縮小するだけでなく、除去してもよい。
 なお、図12に示した例に関して、ユーザが煙草に関する会話を行っている場合が考えらえる。その場合、話題に上っている煙草の部分を拡大するか、子供を考慮して煙草の部分を縮小するか、というコンテキスト情報に応じた変換方針に衝突が生じる。そこで、後述する設定部147は、このような場合を想定して予めコンテキスト情報に優先順位を設定する。これにより、生成部145は、例えば子供を優先的に考慮して煙草の部分を縮小した表示画像を生成し得る。
 図13は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図13に示す例は、コンテキスト情報が、表示画像を表示する表示部120とユーザとの位置関係に関連する情報である場合の例である。図13に示す例では、コンテンツは、Webページである。例えば、生成部145は、表示部120とユーザとの距離が近い場合、Webページ全体を縮小した表示画像361を生成する。一方で、生成部145は、表示部120とユーザとの距離が遠い場合、Webページ全体を拡大して画面に収まりきらない部分を省略した表示画像361を生成する。これにより、ユーザは、画面との距離によらず高い視認性を確保することができる。
 図14は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図14に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図14に示す例では、コンテンツは、TWITTER(登録商標)のタイムラインである。例えば、生成部145は、ユーザの友人関係又はTWITTERにおけるフォロー及びフォロワーの関係に基づいて、ユーザ自身、及びユーザと一緒に画面を見ている人のTWEET(登録商標)372を拡大した表示画像371を生成する。
 図15は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図15に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合の例である。図15に示す例では、コンテンツは、地図381である。例えば、生成部145は、ユーザがレストランを探している場合、レストランを示すアイコンを拡大した表示画像382を生成する。一方で、生成部145は、ユーザが駅を探している場合、駅を示すアイコンを拡大した表示画像383を生成する。
 図16は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図16に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、ユーザの環境に関連する情報、及び表示画像の閲覧に基づく行動情報である場合の例である。図16に示す例では、コンテンツは、ユーザの現在地及び移動方向を示すアイコン394を含む地図391である。例えば、生成部145は、ユーザがアイコン394に示した位置において自動車を使って移動中にレストランを探している場合、走っている道路395沿いの駐車場があるレストランを示すアイコンを拡大した表示画像392を生成する。一方で、生成部145は、ユーザがアイコン394に示した位置において徒歩で移動中にレストランを探している場合、現在位置に近いレストランを示すアイコンを拡大した表示画像393を生成する。
 また、図16に示した例を、コンテキスト情報が、ユーザの属性に関連する情報、及びユーザの環境に関連する情報である場合の例として捉えることも可能である。例えば、生成部145は、ユーザの休憩時間が限られている場合、休憩時間内で昼食を食べ終えることができるように、現在位置に近いレストランを示すアイコンを拡大した表示画像393を生成する。
 図17は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図17に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、ユーザの環境に関連する情報、及び表示画像の閲覧に基づく行動情報である場合の例である。図17に示す例では、コンテンツは、ユーザの現在地及び移動方向を示すアイコン402を含む地図である。例えば、生成部145は、ユーザがアイコン402に示した位置において自動車を使って移動中に温泉施設を探している場合、走っている道路403沿いの温泉施設を示すアイコンを拡大した表示画像401を生成する。
 図18は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図18に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図18に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120がテレビ受像機やPC等の大型ディスプレイである場合、十分な視認性が確保されるため、コンテンツをそのまま表現する表示画像411を生成する。一方で、生成部145は、表示画像を表示する表示部120がスマートフォン又はタブレット等の小型ディスプレイである場合、十分な視認性を確保するために、顔部分を拡大した表示画像412を生成する。
 図19は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図19に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図18に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120が時計型デバイス等の小型ディスプレイである場合、十分な視認性を確保するために、画像に付けるタグを選択するための表示画像421及び顔部分を表示する表示画像422~425を生成する。例えば、ユーザは、表示画像422~425を横方向のフリック操作で切り替えて、音声入力によりタグ付けする、又は縦方向のフリック操作で切り替えた表示画像421においてタグ付けするタグを選択してもよい。
 図20は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図20に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図20に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120がメガネ型デバイス等の小型ディスプレイであるものの、表示可能面積及び解像度が大きい場合、十分な視認性が確保されるので、全体をそのまま表現する表示画像431を生成する。この場合に生成される表示画像については、図18を参照して上記説明した通りである。一方で、生成部145は、表示画像を表示する表示部120がメガネ型デバイス等の小型ディスプレイである上に、表示可能面積及び解像度が小さい場合、十分な視認性を確保するために、顔部分を表示する表示画像432を生成する。この場合に生成される表示画像については、図19を参照して上記説明した通りである。
 図21は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図21に示す例は、コンテキスト情報が、表示画像の閲覧に基づく行動情報、及びユーザの環境に関連する情報である場合の例である。図21に示す例では、コンテンツは、天気予報のアプリケーションである。例えば、生成部145は、ユーザが通勤前であり、天気が雨である場合、天気予報のアプリケーションの表示領域を拡大したスマートフォン向けの表示画像441を生成する。
 図22は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図22に示す例は、コンテキスト情報が、表示画像の閲覧に基づく行動情報、及びユーザの環境に関連する情報である場合の例である。図22に示す例では、コンテンツは、渋滞情報のアプリケーションである。例えば、生成部145は、ユーザが車に乗って旅行中である場合に、現在位置から目的地にかけての渋滞情報のアプリケーションの表示領域を拡大したスマートフォン向けの表示画像451を生成する。
 図23は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図23に示す例は、コンテキスト情報が、表示画像におけるユーザの注目領域に関連する情報である場合の例である。図23に示す例では、コンテンツは、音楽グループのライブの動画像である。例えば、生成部145は、ユーザが注目する領域として予め登録された又は動画再生中に指定されたアーティストの顔部分を別枠462で表示する表示画像(動画像)461を生成する。なお、生成部145は、図24に示すように、別枠462で表示する部分を選択するための表示画像を生成してもよい。図24は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。例えば、生成部145は、動画像内の人の顔部分を選択候補472とする表示画像471を生成してもよい。ユーザは、選択候補472をタップ操作等により選択することで、選択した人の顔を別枠462に表示させることができる。選択候補は、図24に示した例では人の顔であるが、顔以外の人体、特定の模様、動物、植物、又は人工物等の、範囲を識別可能なオブジェクトであってもよい。
 以上、コンテキスト情報に応じた表示画像の生成処理の具体例について説明した。
  (4.4)設定部147
 設定部147は、コンテキスト情報の各々に優先度を設定する機能を有する。例えば、設定部147は、2以上のコンテキスト情報について相反する変換が行われ得る場合に、いずれを優先すべきかを規定することが可能である。設定部147は、表示画像を表示するアプリケーションやサービス等に応じて、異なる優先度を設定してもよい。なお、優先度が同程度である場合、変換効果が打ち消し合う場合もあり得る。コンテキスト情報の各々に優先度が設定されることで、ユーザが表示画像を閲覧する状況に沿った適切なコンテキスト情報に応じた変換がなされ得る。同様に、設定部147は、コンテンツの内容に応じた表示画像の生成処理に関し、コンテンツの内容の各々に優先度を設定してもよい。
 生成部145は、上述したコンテンツの内容に応じた表示画像の生成処理、及びコンテキスト情報に応じた表示画像の生成処理を組み合わせて表示画像を生成し得る。これに関し、設定部147は、コンテンツの内容に応じた表示画像の生成処理、又はコンテキスト情報に応じた表示画像の生成処理の少なくともいずれかを選択的に行うよう設定してもよい。ここで、図25に、設定画面の一例を示した。
 図25は、本実施形態に係る表示画像の生成処理に関する設定画面の一例を説明するための図である。図25では、コンテンツの内容に応じた表示画像の生成処理を「画像特性に応じた変換」とし、コンテキスト情報に応じた表示画像の生成処理を「コンテキストに応じた変換」として、各処理のON/OFFを設定可能な設定画面の一例を示している。設定画面501では、「画像特性に応じた変換」及び「コンテキストに応じた変換」の双方がチェックされており、双方を組み合わせた表示画像の生成処理が行われる。一方で、設定画面502では、「画像特性に応じた変換」のみがチェックされているので、コンテンツの内容に応じた表示画像の生成処理のみが行われる。
  (4.5)表示制御部149
 表示制御部149は、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じて、コンテンツの表示制御を行う機能を有する。詳しくは、表示制御部149は、生成部145により生成された表示画像を表示するよう表示部120を制御する。例えば、表示制御部149は、表示画像を表示部120に出力して、表示させる。表示制御部149は、輝度や表示サイズ、表示範囲等の表示設定を制御してもよい。
 以上、本実施形態に係る情報処理装置100の構成例を説明した。続いて、図26を参照して、本実施形態に係る情報処理装置100の動作処理例を説明する。
 <<3.動作処理例>>
 図26は、本実施形態に係る情報処理装置100において実行される表示画像の出力処理の流れの一例を示すフローチャートである。
 図26に示すように、まず、ステップS102で、コンテンツ取得部141は、コンテンツを取得する。例えば、コンテンツ取得部141は、入力部110により入力されたコンテンツを取得する。
 次いで、ステップS104で、コンテキスト推定部143は、コンテキストを推定する。例えば、コンテキスト推定部143は、入力部110により入力された入力情報に基づいて、コンテキストを推定して、コンテキスト情報を出力する。
 次に、ステップS106で、生成部145は、コンテンツの内容及びコンテキスト情報に基づいてコンテンツに対応する表示画像を生成する。例えば、生成部145は、図4~図6、及び図7~図24に参照しながら上記説明したように、コンテンツの内容及びコンテキスト情報に基づいてコンテンツを変換した表示画像を生成する。
 次いで、ステップS108で、表示部120は表示画像を表示する。例えば、表示制御部149は、生成部145により生成された表示画像を表示部120に出力し、表示画像を表示するよう表示部120を制御する。
 以上、本実施形態に係る動作処理例を説明した。
 <<4.変形例>>
 以下、本実施形態に係る一変形例について説明する。本変形例は、ユーザに対し適切な操作環境を提供する形態である。本変形例に係る技術的特徴を、図27~図43を参照して以下に詳しく説明する。
  <4.1.技術的特徴>
 生成部145は、入力部110に入力されたユーザ操作に応じた表示画像を生成する。例えば、生成部145は、表示された表示画像へのユーザ操作に応じて、それまで表示されていた表示画像を拡縮した又はスクロールした表示画像を生成して画面を更新させたり、別の表示画像を生成して画面を遷移させたりする。このとき、生成部145は、どのような操作が行われた場合にどのような表示処理を行うか、を示す操作方法を設定し、設定した操作方法に応じて表示処理を行う。
 例えば、生成部145は、コンテンツのメタデータに応じて、表示された表示画像への操作方法を設定してもよい。換言すると、生成部145は、入力部110に入力されたユーザ操作を、コンテンツのメタデータに応じて設定された操作方法に従って解釈し、解釈結果に応じた表示画像を生成する。例えば、コンテンツの内容によっては、同じタッチ操作で表示画像が拡縮される場合もあれば、別の表示画像に遷移する場合もある。このような操作方法の設定の切り替えにより、ユーザはメタデータに合った操作方法での操作が可能となる。例えば、ユーザは同じタッチ操作で、ポートレートの顔部分を拡大させたり1人の全身を拡大させたりすることができ、又はマンガを一コマ単位で拡大させたり遷移させたりすることが可能となる。このため、ユーザが自分で拡縮率を調節したり、拡縮する範囲を調節したりするような操作が不要となり、操作の煩わしさを軽減することが可能となる。
 例えば、生成部145は、コンテキスト情報に応じて、表示された表示画像への操作方法を設定してもよい。換言すると、生成部145は、入力部110に入力されたユーザ操作を、コンテキスト情報に応じて設定された操作方法に従って解釈し、解釈結果に応じた表示画像を生成する。例えば、コンテキストによっては、同じタッチ操作で表示画像が拡縮される場合もあれば、別の表示画像に遷移する場合もある。このような操作方法の設定の切り替えにより、ユーザはコンテキストに合った操作方法での操作が可能となる。例えば、ユーザは同じタッチ操作で、画面サイズが大きい場合は表示画像を遷移させ、画面サイズが小さい場合はタッチされた部分を拡大させたりすることができる。また、例えばデバイスの種類に応じて、表示画像を拡大させる操作が例えばタッチ操作からジェスチャ操作に変わり得る。このため、ウェラブルデバイス又はメガネ型デバイスのような可能な操作が限られているデバイスにおいても、ユーザは不自由せず、且つ煩雑な設定を行うことなく、コンテンツを鑑賞することが可能となる。
 以下、具体的な操作方法の例を説明する。
  <4.2.具体例>
 以下、選択され得る操作方法の具体例を説明する。生成部145は、コンテンツのメタデータ又はコンテキスト情報の少なくともいずれかに応じて、以下に説明する操作方法のいずれかを設定し得る。
  (1)メタデータに応じた拡大及び遷移
 以下では、図27~図36を参照して、コンテンツの一部を拡大表示して、順次遷移させる操作方法について説明する。
  (1.1)集合写真の例
 まず、図27及び図28を参照して、コンテンツが集合写真である場合の操作方法の一例を説明する。
 図27は、本変形例に係る操作方法の一例を説明するための図である。図27に示す例では、コンテンツ601は人の集合写真の静止画像である。生成部145は、このコンテンツ601をそのまま表示するための表示画像を生成してもよい。また、生成部145は、コンテンツ601が人を含む静止画像であることに応じて、顔部分を拡大した表示画像602、603又は604のいずれかを生成してもよい。
 図28は、本変形例に係る操作方法の一例を説明するための図である。図28では、図27に示した顔画像を拡大した表示画像602、603及び604同士の画面遷移の様子を示している。このいずれかの表示画像が表示された状態でタップ操作がされた場合、生成部145は、表示画像が集合写真に含まれる人物の顔部分を拡大したものであることに応じて、他の人物の顔部分を拡大した表示画像を生成して画面を遷移させてもよい。その際、生成部145は、集合写真において拡大されている人物の周囲にいる人物から、タップされた位置に応じて遷移先の人物(即ち、次に拡大して表示される人物)を選択してもよい。例えば、生成部145は、表示画像603の左側領域605がタップされた場合、元の集合写真601において表示画像603に係る人物の左側にいた人物の表示画像602を生成して画面を遷移させる。また、生成部145は、表示画像603の右側領域606がタップされた場合、元の集合写真601において表示画像603に係る人物の右側にいた人物の表示画像604を生成して画面を遷移させる。表示画像602及び604の左側領域605及び右側領域606に関しても同様である。
  (1.2)漫画の例
 以下、図29~図34を参照して、コンテンツが漫画である場合の操作方法の一例を説明する。
 図29は、本変形例に係る操作方法の一例を説明するための図である。図29に示すように、コンテンツ611は、4コマ漫画である。生成部145は、このコンテンツ611をそのまま表示するための表示画像を生成してもよい。また、生成部145は、コンテンツ611が漫画であることに応じて、いずれかの1コマを拡大した表示画像、又は1コマのさらに一部を拡大した表示画像を生成してもよい。
 図30は、本変形例に係る操作方法の一例を説明するための図である。図30では、図29に示した漫画の各コマを拡大した表示画像612、613、614及び615同士の画面遷移の様子を示している。このいずれかの表示画像が表示された状態でタップ操作がされた場合、生成部145は、表示画像が漫画の1コマを拡大したものであることに応じて、他の1コマを拡大した表示画像を生成して画面を遷移させてもよい。その際、生成部145は、漫画において拡大されているコマの前後のコマから、タップされた位置に応じて遷移先のコマ(即ち、次に拡大して表示されるコマ)を選択してもよい。例えば、生成部145は、2コマ目を拡大した表示画像613の左側領域がタップされた場合、1コマ目を拡大した表示画像612を生成して画面を遷移させる。また、生成部145は、2コマ目を拡大した表示画像613の右側領域がタップされた場合、3コマ目を拡大した表示画像614を生成して画面を遷移させる。表示画像612、614及び615の左側領域及び右側領域に関しても同様である。なお、1コマ目の表示画像612の左側領域がタップされた場合、生成部145は、前ページの最終コマに遷移させてもよい。また、4コマ目の表示画像615の右側領域がタップされた場合、生成部145は、次ページの1コマ目に遷移させてもよい。
 図31は、本変形例に係る操作方法の一例を説明するための図である。図31では、図29に示した漫画の1コマの一部を拡大した表示画像616、617、618及び619同士の画面遷移の様子を示している。表示画像616は1コマ目の文字部分を拡大したものであり、表示画像617は1コマ目の絵部分を拡大したものであり、表示画像618は2コマ目の文字部分を拡大したものであり、表示画像619は2コマ目の絵部分を拡大したものである。このいずれかの表示画像が表示された状態でタップ操作がされた場合、生成部145は、表示画像が漫画の1コマの一部を拡大したものであることに応じて、他の一部を拡大した表示画像を生成して画面を遷移させてもよい。その際、生成部145は、漫画において拡大されている部分の前後の部分又はコマから、タップされた位置に応じて遷移先の部分(即ち、次に拡大して表示されるコマの一部)を選択してもよい。例えば、生成部145は、1コマ目の絵部分を拡大した表示画像617の左側領域がタップされた場合、1コマ目の文字部分を拡大した表示画像618を生成して画面を遷移させる。また、生成部145は、1コマ目の絵部分を拡大した表示画像617の右側領域がタップされた場合、2コマ目の文字部分を拡大した表示画像618を生成して画面を遷移させる。表示画像616、618及び619の左側領域及び右側領域に関しても同様である。
 図32は、本変形例に係る操作方法の一例を説明するための図である。図32に示す例では、4コマ漫画の全体をそのまま表示する表示画像621が表示されている。例えば、表示画像621が表示された状態でいずれかのコマがタップされた場合、生成部145は、タップされたコマを中心に拡大した表示画像を生成して画面を遷移させてもよい。例えば、図32では、4コマ漫画の2コマ目がタップされた例を示しており、2コマ目を拡大した表示画像622に画面遷移している。
 図33は、本変形例に係る操作方法の一例を説明するための図である。図33に示す例では、4コマ漫画の全体をそのまま表示する表示画像621が表示されている。例えば、表示画像621が表示された状態で何らかの構成要素(キャラクター、背景、吹き出し等)がタップされた場合、生成部145は、タップされた構成要素を中心に拡大した表示画像を生成して画面を遷移させてもよい。例えば、図33では、4コマ漫画の2コマ目のキャラクターがタップされた例を示しており、2コマ目のキャラクターを拡大した表示画像623に画面遷移している。
 図34は、本変形例に係る操作方法の一例を説明するための図である。図34に示す例では、コンテンツ631は、4コマ漫画を2つ含んでいる。この場合、生成部145は、2つのうちいずれか一方のみを含む表示画像632又は表示画像633を生成する。また、表示画像632又は633が表示された状態で上下にスワイプ操作がされると、生成部145は、表示中の4コマ漫画内でスクロールさせた表示画像を生成して画面を更新させる。一方で、生成部145は、表示画像632が表示された状態で右方向へスワイプ操作がされると表示画像633を生成して画面を遷移させ、表示画像633が表示された状態で左方向へスワイプ操作がされると表示画像632を生成して画面を遷移させる。ここで注意すべきは、スクロールされるのではなく、表示される4コマ漫画が切り替えられることである。なお、生成部145は、表示画像632が表示された状態で左方向へスワイプ操作がされる、又は表示画像633が表示された状態で右方向へスワイプ操作がされると、コンテンツ631の前後のコンテンツに関する表示画像を生成して画面を遷移させる。
  (1.3)歌詞カードの例
 以下、図35及び図36を参照して、コンテンツが歌詞カードである場合の操作方法の一例を説明する。
 図35は、本変形例に係る操作方法の一例を説明するための図である。図35に示す例では、コンテンツ641は歌詞カードである。生成部145は、このコンテンツ641をそのまま表示するための表示画像を生成してもよい。また、生成部145は、コンテンツ641が歌詞部分642及び人物部分643を含む歌詞カードであることに応じて、歌詞部分642を拡大した表示画像又は人物部分643を拡大した表示画像のいずれかを生成してもよい。
 図36は、本変形例に係る操作方法の一例を説明するための図である。図36では、図35に示した歌詞カード641の歌詞部分642を拡大した表示画像644及び645、並びに人物部分643を拡大した表示画像646及び647の間での画面遷移の様子を示している。例えば、歌詞カード641が表示された状態で歌詞部分642がタップされると、生成部145は、歌詞部分642を拡大した表示画像644を生成して画面を遷移させる。そして、表示画像644が表示された状態で上下にスワイプ操作がされると、生成部145は、歌詞部分642内でスクロールさせた表示画像645を生成して画面を更新させる。一方で、例えば、歌詞カード641が表示された状態で人物部分643がタップされると、生成部145は、人物部分643を拡大した表示画像646を生成して画面を遷移させる。そして、表示画像646が表示された状態で上下にスクロール操作されると、生成部145は、人物部分643内でスクロールさせた表示画像647を生成して画面を更新させる。
  (1.5)補足
 以上、コンテンツの一部を拡大して、順次遷移させながら表示させる操作方法について説明した。
 上記では、漫画の1コマ又はその一部が拡大表示される例を説明したが、本技術はかかる例に限定されない。例えば、複数のコマ(例えば、1つの4コマ漫画)又は見開きページがまとめて拡大表示されてもよいし、吹き出し、セリフ、ト書き、描き文字、人物の顔、又は人物全体像が拡大表示されてもよい。
 また、写真に関しては人物の顔部分が拡大表示される例を説明したが、本技術はかかる例に限定されない。例えば、人物の全体像、スポーツ器具(ボール、ラケット、ゴール等)、ランドマーク(東京タワー等)又はメモの赤字部分が拡大表示されてもよい。また、イベントごとに写真が並べ替えられ、イベント毎にリスト表示等されてもよい。写真の他、例えばイラストに関しても同様である。
 その他の例として、例えば雑誌に関しては、記事ごとに拡大表示され、記事が順番に遷移されてもよいし、記事と対応する画像部分に遷移されてもよい。また、監視カメラにより撮像された防犯画像に関しては、例えば車のナンバープレート部分が拡大表示されてもよい。また、住居の間取り図に関しては、例えば各部屋が拡大表示されて、部屋から部屋へ遷移されてもよい。
  (2)メタデータに応じた部分的な拡縮
 以下では、図37~図42を参照して、コンテンツの全体像を表示しつつ、その一部を拡縮させる操作方法について説明する。
 図37は、本変形例に係る操作方法の一例を説明するための図である。図37に示す例では、コンテンツ651は人の集合写真の静止画像である。生成部145は、このコンテンツ651をそのまま表示するための表示画像651を生成してもよい。そして、表示画像651が表示された状態でピンチアウト操作がされた場合、生成部145は、集合写真に含まれる全員の顔部分を拡大した表示画像652を生成して画面を更新させてもよい。また、表示画像652が表示された状態でピンチイン操作がされた場合、生成部145は、拡大された顔部分を元に戻した表示画像651を再度生成して画面を更新させてもよい。
 図38~図40は、本変形例に係る操作方法の一例を説明するための図である。図38に示すように、表示画像651は、ひとりの人物に着目すると、顔部分653とその他の身体部分654とを含んでいる。例えば、図39に示すように、表示画像651が表示された状態で顔部分653がタップされると、生成部145は、顔部分653が拡大された表示画像655を生成して画面を更新させる。また、表示画像655が表示された状態で顔以外の部分がタップされると、生成部145は、拡大された顔部分を元に戻した表示画像651を再度生成して画面を更新させる。他方、図40に示すように、表示画像651が表示された状態で身体部分654がタップされると、生成部145は、顔を含めた身体全体が拡大された表示画像656を生成して画面を更新させる。また、表示画像656が表示された状態で身体以外の部分がタップされると、生成部145は、拡大された身体全体を元に戻した表示画像651を再度生成して画面を更新させる。
 なお、部分的な拡縮は、画素の割当ての制御により実現されてもよい。例えば、拡大すべき領域に多くの画素を割当て、その他の領域に少ない画素を割当てることで、部分的な拡大が実現されてもよい。以下、図41及び図42を参照して、画素の割当ての制御による部分的な拡大の例を説明する。
 図41及び図42は、本変形例に係る操作方法の一例を説明するための図である。より具体的には、図41及び図42は、画素の割当ての制御による部分的な拡大を説明するための図である。図41は、人物658の顔部分に多くの画素を割当て、顔部分の周りに少ない画素を割り当てることで、顔部分を拡大した表示画像657を示している。図42は、図17に示した表示画像657における、画像の単位領域659ごとに割り当てられる画素数を概念的に示す図である。単位領域659が大きいほど多くの画素が割り当てられ、小さいほど少ない画素が割り当てられていることを示している。図18に示すように、顔部分には多くの画素が割り当てられており、顔部分の周りには少ない画素が割り当てられている。割当てられる画素数が連続的に変化しているため、拡大される領域が歪んで見えることとなる。しかし、このような画素の割り当ての制御により、元のコンテンツに含まれる全ての部分が表示画像に含まれることとなる。これにより、視認性に優れるだけでなく、より自然で、俯瞰性の高い表示画像を生成することが可能となる。
  (3)コンテキスト情報に応じた操作方法
 コンテキスト情報に応じて操作方法は設定され得る。例えば、人がコンテンツを閲覧する目的が異なれば、操作方法も異なり得る。以下、図43を参照して、コンテンツを閲覧する目的に応じた操作方法の一例を説明する。
 図43は、本変形例に係る操作方法の一例を説明するための図である。図43に示す例では、コンテンツ661は人の集合写真の静止画像である。生成部145は、このコンテンツ661をそのまま表示するための表示画像661を生成してもよい。そして、表示画像661が表示された状態で人物662の顔部分がタップされた場合、生成部145は、人物662に名前タグを入力するためのタグ候補664を含む表示画像663を生成して画面を更新してもよい。タップ操作以外にも、例えば、表示画像661が表示された状態で人物662の顔部分に指が置かれた場合、生成部145は、人物662にフリック操作で名前タグを入力するためのタグ候補664を含む表示画像663を生成して画面を更新してもよい。このとき、タグ候補664のうち「該当なし」が選択された場合、生成部145は、ソフトウェアキーボード等の他の入力インタフェースを含む表示画像を生成して画面を更新してもよい。
 コンテンツを閲覧する目的が単なる鑑賞目的であった場合、例えば図39を参照して上記説明したように、集合写真の顔部分への操作により顔部分が拡大され得る。これに対し、コンテンツを閲覧する目的がタグの入力であった場合、例えば図43を参照して上記説明したように、集合写真の顔部分への操作によりタグの入力インタフェースが出現する。このように、目的によって操作方法が変化し得る。
 なお、図27~図36に示した遷移を前提にした拡大表示と、図37~図42に示した全体像の表示を前提とした部分的な拡縮との操作方法の切り替えは、画面サイズ等のコンテキスト情報に基づいて行われてもよい。例えば、全体像を表示しても視認性が確保されるほど画面サイズが大きい場合に全体像の表示を前提とした部分的な拡縮が行われ、全体像を表示すると視認性が確保困難なほど画面サイズが小さい場合に遷移を前提にした拡大表示が行われ得る。また、漫画等の文字を含むコンテンツに関し、画面サイズ一杯に拡大しても視認性が確保困難なほど画面サイズが小さい場合、情報処理装置100は、拡大せずに文字を音声で読み上げてもよい。
 <<5.ハードウェア構成例>>
 最後に、図44を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図44は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図44に示す情報処理装置900は、例えば、図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図44に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913及びセンサ915を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す制御部140を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、図2に示す入力部110を形成し得る。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図2に示す表示部120を形成し得る。上記音声出力装置は、例えば、図2に示す表示部120において表示画像が表示される際に、BGM等を出力し得る。
 ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示す記憶部130を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。接続ポート911は、例えば、図2に示す入力部110を形成し得る。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示す入力部110を形成し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ915は、例えば、図2に示す入力部110を形成し得る。
 以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<6.まとめ>>
 以上、図1~図44を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、入力されたコンテンツの内容及びコンテンツとユーザとの関係性を示す情報に応じた表示画像を生成する。これにより、情報処理装置100は、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御を行うことができる。より具体的には、ユーザは、自身の嗜好や知識、行動や周囲の環境等のコンテキストに合った表示画像を閲覧することが可能であるので、ユーザの利便性が向上する。
 また、本実施形態に係る情報処理装置100は、コンテンツの内容及び前記関係性を示す情報に応じて、コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする表示画像を生成する。これにより、ユーザは、見るべき部分を容易に閲覧することが可能となる。また、ユーザは、見ないでもよい部分については注意を払わずともよいので、見るべき部分に集中することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図2に示した情報処理装置100の機能構成例のうち、記憶部130及び制御部140が、入力部110及び表示部120とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
 また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
を備える情報処理装置。
(2)
 前記表示制御部は、前記コンテンツの表示形態を変更する、又は前記コンテンツに含まれるオブジェクトの一部又は全てを変更する、前記(1)に記載の情報処理装置。
(3)
 前記表示制御部は、前記コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする、前記(2)に記載の情報処理装置。
(4)
 前記表示制御部は、前記オブジェクトの各々に、前記コンテンツ、前記メタデータ及び前記関係性を示す情報に応じた画素数を割り当てる、前記(3)に記載の情報処理装置。
(5)
 前記表示制御部は、前記コンテンツに含まれる表記をより視認性が向上する表記に変換する、前記(3)又は(4)に記載の情報処理装置。
(6)
 前記表示制御部は、前記オブジェクトの配置を変更する、前記(3)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記情報処理装置は、前記関係性を示す情報の各々に優先度を設定する設定部をさらに備える、前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
 前記関係性を示す情報は、前記ユーザの属性に関連する情報を含む、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記関係性を示す情報は、前記コンテンツに関する前記ユーザの知識又は嗜好に関連する情報を含む、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
 前記関係性を示す情報は、前記ユーザが前記コンテンツを閲覧する目的に関連する情報を含む、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像における前記ユーザの注目領域に関連する情報を含む、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく音声情報を含む、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく行動情報を含む、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部と前記ユーザとの位置関係に関連する情報を含む、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部に関連する特性を示す情報を含む、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記関係性を示す情報は、前記ユーザの環境に関連する情報を含む、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
 前記表示制御部は、前記メタデータに応じて、表示された前記コンテンツへの操作方法を設定する、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記表示制御部は、前記関係性を示す情報に応じて、表示された前記コンテンツへの操作方法を設定する、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
 取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、
を含む画像処理方法。
(20)
 コンピュータを、
 取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
として機能させるためのプログラム。
 100  情報処理装置
 110  入力部
 120  表示部
 130  記憶部
 140  制御部
 141  コンテンツ取得部
 143  コンテキスト推定部
 145  生成部
 147  設定部
 149  表示制御部

Claims (20)

  1.  取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
    を備える情報処理装置。
  2.  前記表示制御部は、前記コンテンツの表示形態を変更する、又は前記コンテンツに含まれるオブジェクトの一部又は全てを変更する、請求項1に記載の情報処理装置。
  3.  前記表示制御部は、前記コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする、請求項2に記載の情報処理装置。
  4.  前記表示制御部は、前記オブジェクトの各々に、前記コンテンツ、前記メタデータ及び前記関係性を示す情報に応じた画素数を割り当てる、請求項3に記載の情報処理装置。
  5.  前記表示制御部は、前記コンテンツに含まれる表記をより視認性が向上する表記に変換する、請求項3に記載の情報処理装置。
  6.  前記表示制御部は、前記オブジェクトの配置を変更する、請求項3に記載の情報処理装置。
  7.  前記情報処理装置は、前記関係性を示す情報の各々に優先度を設定する設定部をさらに備える、請求項1に記載の情報処理装置。
  8.  前記関係性を示す情報は、前記ユーザの属性に関連する情報を含む、請求項1に記載の情報処理装置。
  9.  前記関係性を示す情報は、前記コンテンツに関する前記ユーザの知識又は嗜好に関連する情報を含む、請求項1に記載の情報処理装置。
  10.  前記関係性を示す情報は、前記ユーザが前記コンテンツを閲覧する目的に関連する情報を含む、請求項1に記載の情報処理装置。
  11.  前記関係性を示す情報は、前記表示制御部により表示制御された表示画像における前記ユーザの注目領域に関連する情報を含む、請求項1に記載の情報処理装置。
  12.  前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく音声情報を含む、請求項1に記載の情報処理装置。
  13.  前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく行動情報を含む、請求項1に記載の情報処理装置。
  14.  前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部と前記ユーザとの位置関係に関連する情報を含む、請求項1に記載の情報処理装置。
  15.  前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部に関連する特性を示す情報を含む、請求項1に記載の情報処理装置。
  16.  前記関係性を示す情報は、前記ユーザの環境に関連する情報を含む、請求項1に記載の情報処理装置。
  17.  前記表示制御部は、前記メタデータに応じて、表示された前記コンテンツへの操作方法を設定する、請求項1に記載の情報処理装置。
  18.  前記表示制御部は、前記関係性を示す情報に応じて、表示された前記コンテンツへの操作方法を設定する、請求項1に記載の情報処理装置。
  19.  取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、
    を含む画像処理方法。
  20.  コンピュータを、
     取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
    として機能させるためのプログラム。
PCT/JP2016/052453 2015-02-04 2016-01-28 情報処理装置、画像処理方法及びプログラム WO2016125672A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/540,095 US20170371524A1 (en) 2015-02-04 2016-01-28 Information processing apparatus, picture processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015019998A JP2016143310A (ja) 2015-02-04 2015-02-04 情報処理装置、画像処理方法及びプログラム
JP2015-019998 2015-02-04

Publications (1)

Publication Number Publication Date
WO2016125672A1 true WO2016125672A1 (ja) 2016-08-11

Family

ID=56564020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052453 WO2016125672A1 (ja) 2015-02-04 2016-01-28 情報処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20170371524A1 (ja)
JP (1) JP2016143310A (ja)
WO (1) WO2016125672A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217699A1 (en) * 2013-09-02 2016-07-28 Suresh T. Thankavel Ar-book
JP6462962B2 (ja) * 2016-08-10 2019-01-30 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
EP3617911A4 (en) * 2017-04-24 2020-04-08 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
JP7335491B2 (ja) * 2019-06-04 2023-08-30 富士通株式会社 表示制御プログラム、表示制御方法、および表示制御装置
JP7318387B2 (ja) * 2019-07-24 2023-08-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、情報処理プログラム
JP7354417B2 (ja) * 2019-08-16 2023-10-02 グーグル エルエルシー ビデオ通話用の顔ベースのフレームパッキング

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6167180A (ja) * 1984-09-11 1986-04-07 Fujitsu Ltd 画像縮小表示方式
JP2007265274A (ja) * 2006-03-29 2007-10-11 Sendai Foundation For Applied Information Sciences 生理適応型表示装置
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2010181461A (ja) * 2009-02-03 2010-08-19 Olympus Corp デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP2011015301A (ja) * 2009-07-03 2011-01-20 Sony Corp 表示制御装置および表示制御方法
JP2011118531A (ja) * 2009-12-01 2011-06-16 Brother Industries Ltd ヘッドマウントディスプレイ
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767855A (en) * 1997-05-19 1998-06-16 International Business Machines Corporation Selectively enlarged viewer interactive three-dimensional objects in environmentally related virtual three-dimensional workspace displays
US6731285B2 (en) * 2001-01-11 2004-05-04 International Business Machines Corporation System and method for providing high performance image magnification in a web browser
US20050039138A1 (en) * 2003-08-13 2005-02-17 Aaron Urbina Method and system for displaying comic books and graphic novels on all sizes of electronic display screens.
US8442311B1 (en) * 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7676543B2 (en) * 2005-06-27 2010-03-09 Scenera Technologies, Llc Associating presence information with a digital image
US7953295B2 (en) * 2006-06-29 2011-05-31 Google Inc. Enhancing text in images
JP4274238B2 (ja) * 2006-12-22 2009-06-03 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US7912289B2 (en) * 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
JP2009181457A (ja) * 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
TWI401669B (zh) * 2008-04-11 2013-07-11 Novatek Microelectronics Corp 用於加強文字顯示效果的影像處理電路及其方法
JP4613993B2 (ja) * 2008-09-02 2011-01-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法
JP5215099B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体
US8526732B2 (en) * 2010-03-10 2013-09-03 Microsoft Corporation Text enhancement of a textual image undergoing optical character recognition
JP5674450B2 (ja) * 2010-12-22 2015-02-25 富士フイルム株式会社 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
US20120196260A1 (en) * 2011-02-01 2012-08-02 Kao Nhiayi Electronic Comic (E-Comic) Metadata Processing
US8872855B2 (en) * 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
JP5439455B2 (ja) * 2011-10-21 2014-03-12 富士フイルム株式会社 電子コミック編集装置、方法及びプログラム
JP2014089637A (ja) * 2012-10-31 2014-05-15 International Business Maschines Corporation 画像データ中の訳し分けされるべき単語又はフレーズに対応する訳語を決定する方法、並びにそのコンピュータ及びコンピュータ・プログラム
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US9531823B1 (en) * 2013-09-09 2016-12-27 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on user feedback data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6167180A (ja) * 1984-09-11 1986-04-07 Fujitsu Ltd 画像縮小表示方式
JP2007265274A (ja) * 2006-03-29 2007-10-11 Sendai Foundation For Applied Information Sciences 生理適応型表示装置
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2010181461A (ja) * 2009-02-03 2010-08-19 Olympus Corp デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP2011015301A (ja) * 2009-07-03 2011-01-20 Sony Corp 表示制御装置および表示制御方法
JP2011118531A (ja) * 2009-12-01 2011-06-16 Brother Industries Ltd ヘッドマウントディスプレイ
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
US20170371524A1 (en) 2017-12-28
JP2016143310A (ja) 2016-08-08

Similar Documents

Publication Publication Date Title
WO2016125672A1 (ja) 情報処理装置、画像処理方法及びプログラム
US11195338B2 (en) Surface aware lens
US11491393B2 (en) Generating collectible items based on location information
US10977774B2 (en) Information processing apparatus, information processing method, and program for estimating prediction accuracy
EP3702914B1 (en) Mobile virtual and augmented reality system
US9767610B2 (en) Image processing device, image processing method, and terminal device for distorting an acquired image
US9607436B2 (en) Generating augmented reality exemplars
KR20220115824A (ko) 콘텐츠를 공간 3d 환경에 매칭
US20150020014A1 (en) Information processing apparatus, information processing method, and program
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6254577B2 (ja) 情報処理装置、システム、情報処理方法およびプログラム
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN108628985B (zh) 一种相册的处理方法及移动终端
CN103746985A (zh) 通信方法及装置
US20210306839A1 (en) Dynamically assigning storage locations for messaging system data
US20170097985A1 (en) Information processing apparatus, information processing method, and program
US20210295049A1 (en) Information processing apparatus, information processing method, and program
CN112489619A (zh) 语音处理方法、终端设备及存储介质
JP7417798B2 (ja) 表示方法,プログラム,端末
US11998833B2 (en) Generating collectible items based on location information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16746503

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15540095

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16746503

Country of ref document: EP

Kind code of ref document: A1