WO2015163140A1 - 表示装置および表示制御プログラム - Google Patents

表示装置および表示制御プログラム Download PDF

Info

Publication number
WO2015163140A1
WO2015163140A1 PCT/JP2015/060861 JP2015060861W WO2015163140A1 WO 2015163140 A1 WO2015163140 A1 WO 2015163140A1 JP 2015060861 W JP2015060861 W JP 2015060861W WO 2015163140 A1 WO2015163140 A1 WO 2015163140A1
Authority
WO
WIPO (PCT)
Prior art keywords
related information
character
display
displayed
captured image
Prior art date
Application number
PCT/JP2015/060861
Other languages
English (en)
French (fr)
Inventor
岸本　達雄
周太 吉田
田中　陽一
享弘 福山
卓人 大野
石川　博一
慎一郎 太田
忠郎 安藤
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2015163140A1 publication Critical patent/WO2015163140A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a display device capable of displaying a captured image.
  • Patent Document 1 discloses a technique for determining a search keyword from words detected by character recognition from a television broadcast video, obtaining a search result for the search keyword, and displaying the result.
  • the display screen is divided into a television broadcast display area and a WWW browser area, and the search result is displayed in the WWW browser area. If the search result cannot be displayed, a scroll bar is provided in the WWW browser area.
  • Patent Document 2 searches a memory of a self-device or a database of a related information management device for a character designated from displayed captured images, and displays related information for the character acquired as a result on a display unit.
  • a mobile terminal device is disclosed.
  • the acquired related information is displayed using a balloon near the character.
  • processing based on a service for example, a search service designated from a plurality of services is performed on characters recognized from captured image data, and the processing result (for example, a search result) ) Has been disclosed.
  • Patent Document 1 since related information is displayed in a narrow area (WWW browser area) obtained by dividing the display screen, the number of related information that can be displayed at a time is reduced. Therefore, when the related information to be acquired is not displayed, the user needs to find the related information using the scroll bar. In the technique of Patent Document 2, it is not assumed that a plurality of search results are displayed. In the technique of Patent Document 3, the search destination is specified by the user before the search. Therefore, when the related information to be acquired is not displayed, it is necessary to re-designate the search destination again by assuming that the related information has not been acquired.
  • Patent Documents 1 to 3 there is a possibility that troubles for searching for a search result to be acquired from a plurality of search results may occur. That is, depending on the display status, the convenience for the user may be reduced.
  • the techniques of Patent Documents 1 to 10 do not disclose any display method for displaying a plurality of search results superimposed on a display image without performing screen division or the like.
  • the present invention has been made in view of the above-described problems, and an object thereof is to realize a display device capable of improving user convenience.
  • a display device is a display device capable of displaying a captured image, and a character recognition unit that recognizes a character specified by a user in the captured image;
  • the character recognition unit obtains a plurality of related information obtained by the character recognition unit as a search result of the character recognized by the character recognition unit and the plurality of related information obtained by the related information acquisition unit.
  • a display control unit that superimposes and displays on the captured image at a display position different from the display position of the character recognized by.
  • FIG. 1 It is a block diagram which shows the specific structure of the display apparatus which concerns on Embodiment 1 of this invention.
  • a schematic configuration of the display device will be described. It is a figure which shows an example of a virtual layout. It is a figure which shows an example of a search result table. (A) And (b) is a figure which shows the example of arrangement
  • FIG. 1 It is a figure which shows an example of a display state
  • (a) is a figure which shows the state by which the captured image when a user selects a character was displayed
  • (b) is the state by which the recognition result was displayed in the character recognition range
  • FIG. It is a figure which shows an example of a display state
  • (a) is a figure which shows the state by which several relevant information was superimposed and displayed on the captured image
  • (b) is the captured image (other captured image) after the imaging range moved.
  • FIG. 5, FIG. 9 to FIG. 12, FIG. 14, and FIG. 17 show examples of display states as a result of processing in the display device 1 of each embodiment.
  • these drawings only show an example of a display form displayed on the display device 1.
  • the arrangement position display position
  • arrangement area display area
  • the display position of the character recognition range 12 in the display screen of the display unit 2 and The arrangement position is also changed depending on the size.
  • the imaging target 20, the captured image, and the character recognition range 12 are merely examples.
  • “A” to “Information D”, “Information (upper rank)”, “Information (middle rank)”, and “Information (lower rank)” all indicate the display state of the related information. Since this display state varies depending on the search result to be described later and the playback time of a moving image, it is merely described as above for convenience of explanation. The same applies to “text”, “moving image” and “image” shown in FIG. 14, and “image enlarged display”, “moving image thumbnail enlarged display”, “title information” and “playback time” shown in FIG. is there.
  • FIG. 2 is a diagram illustrating a schematic configuration of the display device 1.
  • the display device 1 is a plate-shaped housing including a display unit 2 and a touch panel 3.
  • the display device 1 includes a camera unit 6 (not shown) on the surface of the casing opposite to the display screen of the display unit 2, and is a device that can display a captured image. And it implement
  • the display unit 2 displays, for example, various images such as images resulting from the execution of various functions (application software) installed in the display device 1.
  • an LCD Liquid crystal display
  • the touch panel 3 acquires a user operation by detecting contact (or approach) of a user's finger or the like.
  • the touch panel 3 is, for example, a capacitive touch panel stacked on the display unit 2.
  • the camera unit 6 is an imaging unit that images the imaging target 20 (see, for example, FIG. 9A).
  • the display unit 2, the touch panel 3, and the camera unit 6 are controlled by a control unit 4 described later.
  • the display device 1 may not be a portable information terminal, and can be realized by various information terminals including at least the display unit 2 and the touch panel 3.
  • the information terminal include a display device provided with an electronic navigation system typified by car navigation.
  • a device (article) equipped with an information terminal including a display unit and a touch panel may be used.
  • the electrical appliance represented by the refrigerator, the vacuum cleaner, etc. is mentioned, for example.
  • the touch panel 3 may not be a capacitive type, and an optical sensor may be used instead of the touch panel 3.
  • the display device 1 of the present embodiment performs processing for realizing a display state as shown in FIG. Specifically, the imaging target 20 is imaged by the camera unit 6, and the captured image is displayed on the display unit 2. As shown in FIG. 9A, when the user finds a character to be searched in the captured image, the user traces the area on the display screen of the display unit 2 where the character is displayed. When the touch panel 3 detects an area traced with a finger, character recognition processing is performed on the area, and the database obtained on the network or the storage unit 5 is searched using the obtained character as a search keyword. As a result, a plurality of related information related to the character is acquired. Then, as shown in FIG. 9B, the acquired plurality of related information is displayed superimposed on the captured image (original image) at a position different from the display position of the character to be searched.
  • the character recognition target may be a single character or a character string composed of a plurality of characters.
  • the plurality of related information refers to all information (for example, various data such as text, browser, image, or moving image) obtained as a search result of the search keyword.
  • the related information is composed of text
  • text information web search result screen
  • a captured web search result screen is displayed.
  • the related information is composed of images
  • the images themselves are displayed in a reduced state. Even in this case, the user can determine to some extent whether the information is necessary.
  • the display is reduced, the display may be enlarged when the user touches the display position of the related information.
  • the related information is composed of a moving image
  • a reproduction time and a reproduction button are displayed together with the thumbnail image. Thereby, the user can recognize immediately that related information is a moving image. Further, by displaying the playback time, the user can help determine whether the information is necessary.
  • the display position of the related information may be enlarged when the user touches the display position.
  • FIG. 1 is a block diagram showing a specific configuration of the display device 1.
  • FIG. 3 is a diagram illustrating an example of the virtual layout 13.
  • FIG. 4 is a diagram illustrating an example of the search result table.
  • the display device 1 includes a display unit 2, a touch panel 3, a control unit 4, a storage unit 5, and a camera unit 6.
  • the control unit 4 controls the display device 1 in an integrated manner, and mainly includes an image acquisition unit 41, an operation acquisition unit 42, an OCR (Optional Character Recognition) processing unit 43 (character recognition unit), and a search processing unit 44 ( A related information acquisition unit), a layout creation unit 45 (virtual plane creation unit), a display control unit 46, and a character presence / absence determination unit 47.
  • the storage unit 5 stores various control programs executed by the control unit 4.
  • the storage unit 5 is configured by a nonvolatile storage device such as a hard disk or a flash memory.
  • the image acquisition unit 41 stores the captured image in the storage unit 5 and also indicates that the acquisition has been performed.
  • the operation acquisition unit 42 acquires a user operation detected by the touch panel 3 and a position (position coordinates on the display screen) where the user operation is detected.
  • the operation acquisition unit 42 determines whether the operation is a user operation on the captured image itself, related information, or a user operation on various buttons such as a “restore” button 30 described later. Whether the user operation is related information or various buttons is determined from the display position of the related information or various buttons and the detection position.
  • the position coordinates indicating the detection position of the user operation are transmitted to the OCR processing unit 43, the layout creation unit 45, and the display control unit 46. .
  • This detection position is a character recognition range 12 (character recognition target region) including a character (designated character string, selected character string) designated by the user and desired to be recognized.
  • a character designated character string, selected character string
  • a rectangular detection area including the character string may be recognized as the character recognition range 12.
  • the OCR processing unit 43 recognizes characters included in the detection area (character recognition range 12). That is, the character designated by the user in the captured image is recognized. Then, the character recognition result is transmitted to the search processing unit 44. For example, the OCR processing unit 43 determines a region obtained by enlarging a selection region (detection region, touch region) by a user operation as an OCR target range, and positions of characters (character strings) grasped by performing OCR processing on the OCR target range And the extracted character (character designated by the user) is determined from the overlap with the selected area.
  • the search processing unit 44 acquires a plurality of pieces of related information related to the character obtained as a search result of the character recognized by the OCR processing unit 43. That is, the character recognized by the OCR processing unit 43 is determined as a search target character (search keyword). Then, the search keyword is transmitted to a plurality of search services (for example, search engines) on the network, and a search result in each search service is acquired from each search service. Then, the search processing unit 44 notifies the layout creation unit 45 that the search result has been acquired.
  • the search result may be related information regarding the character (search keyword), or may be an address (acquisition source) of a server or the like in which the related information is stored. Moreover, you may acquire the search frequency of the said relevant information with each relevant information.
  • search services for example, Google (registered trademark) search that can search websites, images, maps, etc., YouTube (registered trademark) that can search videos, Picasa (registered trademark) that can search images, etc. Search services.
  • the layout creating unit 45 differs from the center in the arrangement position where each of the plurality of related information acquired by the search processing unit 44 is arranged.
  • a virtual layout 13 (virtual plane) defined for the position is created.
  • the coordinate system of the virtual layout 13 is the same as the coordinate system on the display screen.
  • the layout creation unit 45 creates a search result table as shown in FIG. Specifically, the search keyword transmitted to the search service (“XXX” in FIG. 4) is assigned to “search keyword” in the search result table.
  • search keyword transmitted to the search service
  • search order is determined from the number of times each related information is searched.
  • search order is assigned to “search order”
  • the related information itself or the acquisition destination information is assigned to “related information acquisition destination” in association with the search order.
  • the search order is classified in units of several groups, and the classification associated with the search order is substituted into the “search group”. Note that it is not always necessary to reflect all of the search results in the search result table.
  • the top 50 search results may be reflected.
  • the upper limit value of the search result reflected in the search result table is the size and position at which the related information can be displayed together with the recognized character and the related information is displayed (the size and the arrangement position of the arrangement area in the virtual layout 13). It may be determined in consideration of the above. Further, the position coordinates (arrangement position) and the size of the arrangement area on the virtual layout 13 defined in association with “search order” or “search group” are assigned to “arrangement position” and “size”, respectively. Is done.
  • the layout creation unit 45 creates the virtual layout 13 with reference to this search result table.
  • the related information of the search rank 1st, 2nd, 6th, 11th, and 16th is respectively (x1, y1), (x2, y2), (x6) of the virtual layout 13. , Y6), (x11, y11), and (x16, y16).
  • the arrangement position of each piece of related information is defined so that the higher-level related information is arranged in the vicinity of the origin. Further, in FIG.
  • each position (x1, y1), (x2, y2), (x6, y6), (x11, y11), (x16, y16) Distances from the origin
  • the search ranks 1 to 5 are “upper” search group
  • the size of the arrangement area is defined in three stages for each of the above classifications. That is, “large” is the largest arrangement area of related information belonging to the search group “upper”, “small” is the smallest arrangement area in the case of the search group “lower” and “less than lower”, The size of the arrangement area in the case of the group “medium” is defined as “medium” which is the size between them. Then, the layout creating unit 45 creates the virtual layout 13 as shown in FIG. 3 by referring to this search result table.
  • FIGS. 10 (a) and 10 (b) A state in which the related information is displayed according to the virtual layout 13 is shown in FIGS. 10 (a) and 10 (b).
  • the pieces of related information do not overlap the recognized characters and surround the characters (that is, ripples). Arranged).
  • the virtual layout 13 is referred to as a rippled layout.
  • “Information” in FIG. 3 indicates an arrangement position where each piece of related information is arranged, and the size of each area is shown to be constant for convenience.
  • the method for defining the arrangement position and the arrangement area is not limited to this. For example, as shown in FIG. 5A, even if the arrangement position is defined so that it does not overlap the character recognition range 12 and related information is arranged around the character recognition range 12. Good. Further, when the character recognition range 12 is large and the related information is arranged so as not to overlap with the character recognition range 12, the number of related information to be displayed (the amount of information that can be displayed) is reduced and the convenience is reduced. There is a possibility of it. Therefore, when the character recognition range 12 is larger than a predetermined size, as shown in FIG.
  • the character recognition range 12 does not overlap with a certain region including the center of the character recognition range 12 (that is, the character recognition range 12
  • the arrangement position may be defined so that the related information is arranged (so as to overlap with only the peripheral area).
  • the predetermined size and the size of the certain area may be set to such a degree that a plurality of pieces of related information can be arranged and the operability and visibility of the user are not impaired.
  • the related information higher in the search group is arranged in the vicinity of the character recognition range 12 so that the arrangement area (display area) becomes larger.
  • the arrangement position and the size of the arrangement area do not need to be defined for each classification (search group), and the arrangement position and the arrangement area may be defined for each individual search order.
  • the size of the arrangement area in the case of “less than lower” may be defined to be smaller than “small”. Further, the size of the arrangement area may be constant regardless of the search order. In addition, as described above, it is not always necessary that the search result is arranged so that the higher-order related information is arranged near the origin, and it is only necessary that the arrangement area is enlarged according to the search order or classification. Good. Further, in the virtual layout 13, there is no need to define each arrangement position so that the density of related information is uniform, and for example, it is arranged below the character recognition range 12 (an area where y is a negative area).
  • each arrangement position may be defined.
  • the virtual layout 13 (so that the plurality of related information does not overlap at least a part of the character recognition range 12 and at least one of the plurality of related information is displayed in the captured image (display screen). That is, it is only necessary to define the “placement position” and “size”) of the search result table.
  • the layout creating unit 45 may create the virtual layout 13 in which the obtained plurality of related information itself is arranged at the arrangement position of each related information.
  • the display control unit 46 can display a plurality of related information in a superimposed manner on the captured image at a display position different from the display position of the recognized character. It becomes. It is also possible to display a plurality of related information so as to follow the movement of the display position of the recognized character. In this case, even if the imaging range (shooting range, through image display range of the camera unit 6) is changed, the relative information between the related information and the character recognition range 12 can be maintained and the related information can be displayed. It becomes possible.
  • the related information can be arranged outside the display screen, the user can easily move the display device 1 a little to change the imaging range, and easily related information outside the display screen (for example, It becomes possible to confirm the lower-level related information). That is, the user can easily confirm a lot of related information.
  • the display control unit 46 displays a plurality of pieces of related information so that higher-order related information is displayed in the vicinity of the character specified by the user, or the display area in which the related information is displayed is enlarged. It becomes possible to do.
  • lower related information can be displayed at a position farther from the character specified by the user, or a plurality of related information can be displayed so that a display area where the related information is displayed becomes smaller. Become.
  • the layout creating unit 45 creates a restoration virtual layout as the virtual layout 13 when the restoration image is displayed. For example, the layout creating unit 45 confirms the position of the character recognition range 12 in the restoration image, and sets each piece of related information so that a plurality of pieces of related information are arranged at positions different from the positions of the character recognition range 12. Create a virtual layout for restoration that defines the location.
  • the restoration image is a captured image (still image) that has been subjected to character recognition processing.
  • the arrangement area may be arranged so as to be aligned regardless of the search result (for example, (b) in FIG. )reference).
  • the display control unit 46 displays various images on the display unit 2.
  • the plurality of pieces of related information acquired by the search processing unit 44 are displayed in a superimposed manner on the captured image at a display position different from the display position of the character recognized by the OCR processing unit 43.
  • a plurality of related information is displayed so as to follow the movement of the display position of the recognized character.
  • the display position of the recognized character (character recognition range 12) in the captured image matches the center of the virtual layout 13 (that is, the display position and the center match).
  • the plurality of related information included in the captured image is It is displayed superimposed on the captured image.
  • This captured image includes a captured image acquired when the user designates a character, and a captured image acquired in an imaging range different from the captured range when the captured image is acquired (another captured image, a captured image after movement). )including.
  • the superimposed display of the related information on the other captured image is executed when a determination result indicating that the recognized character is included in the other captured image is received from the character presence / absence determination unit 47.
  • the imaging range of the captured image when the user designates a character is the imaging range Pa, among the plurality of related information arranged at the arrangement position defined in the virtual layout 13, As shown in 10 (a), “information a” to “information l” are displayed.
  • the imaging range is moved from the imaging range Pa to the imaging range Pb (imaging range of another captured image), among the plurality of related information, as illustrated in FIG. ”To“ Information D ”are displayed, and“ Information d ”,“ Information e ”, and“ Information l ”are not displayed.
  • the display control unit 46 receives a determination result indicating that the recognized character is not included in the other captured image from the character presence / absence determination unit 47, a plurality of pieces of related information that can be displayed on the display screen. Is present, the “restore” button 30 is displayed instead (see (c) of FIG. 10).
  • the display control unit 46 When the display control unit 46 receives position coordinates (for example, position coordinates of the four corners of the character recognition range 12) indicating the detection position from the operation acquisition unit 42, the display control unit 46 stores a captured image when the detection position is acquired. Read from 5. Then, as a result of recognizing the detection position (character recognition range 12), an image obtained by superimposing an image (for example, a shaded image) in which the character recognition range 12 is visible on the captured image is restored. Is stored in the storage unit 5 as follows. When the operation acquisition unit 42 detects that the user touches the “restoration” button 30, the display control unit 46 reads the stored restoration image and displays a plurality of related information on the restoration image. That is, when a user operation indicating redisplaying a plurality of related information is acquired, a captured image when the OCR processing unit 43 recognizes a character and displaying the plurality of related information in a superimposed manner is displayed.
  • position coordinates for example, position coordinates of the four corners of the character recognition range 12
  • the character presence / absence determination unit 47 determines whether or not a recognized character is included in the other captured image, and the determination result is displayed as a display control unit. 46.
  • the character presence / absence determination unit 47 determines that the recognized character is included in the other captured image if a part of the character recognition range 12 is included in the other captured image. Conversely, it may be determined that the character is included only when the entire captured image 12 includes the entire character recognition range 12.
  • the display control unit 46 transfers the captured image acquired from the camera unit 6 by the image acquisition unit 41 to the display unit 2 and displays the captured image on the display screen.
  • the OCR processing unit 43 displays an image indicating the character recognition range 12 (including characters designated by the user). Characters designated by the user are acquired by executing OCR processing on the image.
  • the search processing unit 44 searches the database using the character as a search keyword, and acquires a plurality of related information as a search result. Then, the display control unit 46 arranges a plurality of related information on the virtual layout 13 created by the layout creating unit 45, and superimposes and displays the virtual layout 13 on which the plurality of related information is arranged on the captured image (original image).
  • FIG. 6 is a flowchart illustrating an example of processing of the display device 1.
  • FIG. 7 is a flowchart illustrating an example of a virtual layout creation process (the process of S6 in FIG. 6).
  • FIG. 8 is a flowchart illustrating an example of the restoration process (the process of S13 in FIG. 6).
  • An example of the display state will be described with reference to FIGS. 9 to 12 in conjunction with the description of the processing of FIGS.
  • the image acquisition unit 41 acquires a captured image from the camera unit 6 and stores it in the storage unit 5 (S1).
  • the display control unit 46 displays the captured image on the display unit 2.
  • the user traces the display screen on which the character to be recognized is displayed in the captured image with his / her finger, so that the character recognition range 12 including the character is displayed. Is selected. That is, the operation acquisition unit 42 acquires the range traced with the finger as the character recognition range 12, and stores the position coordinates indicating the range on the display screen in the storage unit 5 (S2).
  • the display control unit 46 generates a restoration image using the saved captured image and position coordinates, and saves it in the storage unit 5 (S3).
  • the OCR processing unit 43 performs a character recognition process on the selected character recognition range 12, and determines the character as a search keyword (S4).
  • the search processing unit 44 acquires related information (search results) related to the search keyword from the database of the search site on the network and / or the database stored in the storage unit 5 and stores it in the storage unit 5 (S5). ).
  • the layout creation unit 45 creates the virtual layout 13 based on the search result (S6), and the display control unit 46 displays a plurality of related information arranged in the virtual layout 13 on the captured image. (S7).
  • the restoration image generated in S3 (the captured image acquired in S1 and S2 and the position coordinates indicating the character recognition range 12) and the related information acquired in S5 (created by acquiring the related information).
  • Search result table is stored in association with each other. These stored data are mainly used in the restoration process (S13).
  • a plurality of related information is superimposed and displayed on the captured image.
  • the plurality of pieces of related information are arranged in a ripple pattern so as to surround the periphery of the character recognition range 12.
  • “information a” to “information l” are arranged as a plurality of related information.
  • “information f” to “information h” and “information l” are displayed in a state where they are overlooked from the display screen.
  • the camera unit 6 continues to capture the imaging target 20 even after the process of S1, and the display control unit 46 causes the display unit 2 to display a captured image each time.
  • the character presence / absence determination unit 47 determines whether or not the image acquisition unit 41 has acquired another captured image of an imaging range different from the imaging range of the captured image acquired during the S1 process (S8). When it is determined that another captured image is acquired (YES in S8), the character presence / absence determination unit 47 specifies the position on the display screen of the character recognition range 12 selected by the user using, for example, an object detection engine. (S9) It is determined whether the character recognition range 12 is included in the display screen (that is, in another captured image) (S10).
  • the display control unit 46 recognizes the recognition result of the character recognition range 12 (for example, the character recognition range) at the position specified in S9. 12 is shaded) (S11). Then, the display control unit 46 moves the virtual layout 13 so that the position becomes the center of the virtual layout 13 created in S6, and displays the superimposed image on another captured image (S12). Return. If there is no change in the imaging range in S8 (NO in S8), the process in FIG. 6 is terminated. If the character recognition range 12 is not included in the other captured image in S10 (NO in S10), the restoration process is executed mainly by the layout creating unit 45 and the display control unit 46, and the process returns to S10. (S13).
  • an image as shown in FIG. 10B is displayed. That is, a plurality of related information to be displayed is also changed by moving the virtual layout 13 and displaying it.
  • “information A” to “information D”, which are related information that has not been displayed in the image displayed as a result of the processing of S7, are newly displayed.
  • “Information d”, “Information e”, and “Information l” are not displayed.
  • “information i” to “information k” are also displayed in a state where they are completely overlooked from the display screen.
  • the layout creation unit 45 takes out one search result (S21), and determines whether or not the search result is the highest related information (S22). That is, it is determined whether or not it belongs to the above-described search group “upper”. If it is determined that the position is the highest (YES in S22), the display control unit 46 moves the related information to a position on the virtual layout 13 where the distance from the center is “small”. It arranges with “large” (S25). That is, the related information belonging to the search group “upper” is displayed larger in the vicinity of the character recognition range 12 than the related information belonging to the other search groups. Then, it is confirmed whether or not the next search result exists (S29). If it exists (YES in S29), one next search result is taken out (S30), and the process returns to S22. On the other hand, if it does not exist (NO in S29), the layout creation process ends.
  • the search result is the second highest related information (S23). That is, it is determined whether or not it belongs to the above-described search group “medium”. If it is determined that it is the second highest (YES in S23), the display control unit 46 places the related information on the virtual layout 13 at a position where the distance from the center is “medium”. (S26). As a result, the related information belonging to the search group “middle” is displayed smaller than the related information belonging to “upper” at a position far from the character recognition range 12, but “lower” and “below lower”. Compared to related information to which it belongs, it is displayed larger at a position closer to the character recognition range 12.
  • the display control unit 46 determines whether or not the search result is the third highest related information (S24). That is, it is determined whether or not it belongs to the search group “lower”. If the display control unit 46 determines that it is the third highest rank (YES in S24), the display control unit 46 places the related information on the virtual layout 13 at a position where the distance from the center is “large”. It arrange
  • the layout creating unit 45 determines that it belongs to the above-mentioned search group “below subordinates”. In response to this determination, the display control unit 46 arranges the related information on the virtual layout 13 at a position where the distance from the center becomes “larger” with the size of the arrangement area “small” (S28). ). Thereby, the related information belonging to the search group “less than lower rank” is displayed at a position farthest from the character recognition range 12 as compared to related information belonging to other search groups. In this process, the information is displayed in the same size as the related information belonging to “lower”.
  • the display control unit 46 prepares related information to be superimposed and displayed on the restoration image (S44). Specifically, the plurality of related information stored in S5 of FIG. 6 is read from the storage unit 5, and it is determined whether or not the plurality of related information fits within the display screen (S45). If it is determined that it fits within the display screen (YES in S45), all of the plurality of related information is displayed in a superimposed manner on the restoration image (S47). On the other hand, if it is determined that it does not fit within the display screen (NO in S45), the related information for the number that can be displayed in a superimposed manner is selected, for example, in order from the related information in the upper search (S46).
  • the layout creation unit 45 may perform the preparation process in S44 and the determination process in S45. Furthermore, the layout creation unit 45 may create a restoration virtual layout in which a plurality of related information is arranged, and the display control unit 46 may superimpose and display the restoration virtual layout on the restoration image.
  • the display control unit 46 determines whether or not a cancel process has been executed (for example, whether or not it has been detected that a back key included in the display device 1 has been pressed) (S48).
  • a cancel process is executed (YES in S48)
  • the restoration process state is canceled (S49). That is, a plurality of related information is hidden, the captured image acquired by the image acquisition unit 41 at this time is displayed on the display unit 2 (through image display), and the restoration process is terminated.
  • the cancel process is not executed (NO in S48)
  • the process waits until the process is executed.
  • each piece of related information may be reduced and displayed in accordance with the arrangement area on the virtual layout 13.
  • the display control unit 46 displays the related information in an enlarged manner. May be.
  • the title information indicating the title of the moving image and the playback time may be additionally displayed during enlarged display.
  • the operation acquisition unit 42 detects contact with related information (which may be a position displayed in a reduced size or a position displayed in an enlarged manner) during the enlarged display of a moving image, display control is performed.
  • the unit 46 may start the reproduction.
  • the enlarged display is applicable not only to moving images and images but also to text and the like.
  • the display device 1 acquires a plurality of pieces of related information related to the character obtained as a search result of the character specified by the user recognized in the captured image. Then, the obtained plurality of related information is displayed in a superimposed manner on the captured image at a display position different from the display position of the recognized character. As a result, a plurality of pieces of related information obtained as a search result can be displayed in a region other than the character designated by the user in the captured image, and user convenience can be improved.
  • the display device 1 displays a plurality of related information acquired from a plurality of search services using a character designated by the user as a search keyword in a superimposed manner on the captured image.
  • the user can confirm a plurality of (many) related information at the same time, so that it is possible to reduce the user's effort to reach the desired related information (target related information). Also, new information can be passively given to the user.
  • the multiple pieces of related information are each configured in one of multiple file formats (text, images, videos, etc.).
  • a superimposed image is displayed on a captured image regardless of the file format of a plurality of related information.
  • the display control unit 46 displays related information having the file format indicated by the user operation. Display. An example of this process will be described with reference to FIGS.
  • FIG. 13 is a flowchart illustrating an example of processing of the display device 1.
  • FIG. 14 is a diagram illustrating an example of a display state.
  • the display control unit 46 converts related information (“text”, “moving image”, and “image” in the figure) configured from a plurality of file formats into the character recognition range 12.
  • the captured image is superimposed and displayed so that at least a part of the image is visible.
  • the display control unit 46 superimposes and displays the filtering button 31 on the captured image so that related information can be selected (filtered).
  • the filtering button 31 include a mixed display button 31a, a moving image display button 31b, an image display button 31c, and a text display button 31d.
  • the selected filtering button 31 may have a design that is easy for the user to visually recognize, for example, the button color is different from the color of other buttons.
  • the display control unit 46 first, when the character recognition range 12 is selected, the display control unit 46 superimposes and displays a plurality of related information configured from different file formats and the filtering button 31 on the captured image ( S61: Mixed display (initial display state)). In this display state, it is determined whether or not the user has touched any of the filtering buttons 31 (whether any of them has been pressed). That is, the operation acquisition unit 42 determines whether or not such a user operation has been detected (S62). When contact with the filtering button 31 is detected (YES in S62), the display control unit 46 determines the type of the selected filtering button 31 (S63). When contact with the filtering button 31 cannot be detected (NO in S62), the process waits until contact with the filtering button 31 is detected.
  • S61 Mixed display (initial display state)
  • the display control unit 46 determines that the mixed display button 31a has been selected (“mixed display button”)
  • the display control unit 46 displays related information (mixed information) composed of text, moving images, images, and the like in a mixed manner.
  • the current display state is maintained.
  • the display state is a state in which only relevant information (for example, only images) configured from any one of the file formats is displayed
  • the display state is changed, and text, video, image, etc.
  • the display information is switched to a display state in which related information (mixed information) configured from each is mixed and displayed (S64).
  • the display state is switched to a display state in which only related information (moving image information) composed of moving images is displayed (S65). If it is determined that the image display button 31c has been selected (“image display button”), the display state is switched to display only related information (image information) composed of images (S66). If it is determined that the text display button 31d has been selected (“text display button”), the display state is switched to display only related information (text information) composed of text (S67). Then, the display control unit 46 displays a plurality of related information corresponding to the selected filtering button 31 (S68).
  • the color of the moving image display button 31b is displayed differently from the colors of the other buttons, as shown in FIG. And only the relevant information comprised from a moving image is displayed.
  • a “next” button 32 is displayed.
  • the non-display related information is displayed by switching to the currently displayed related information.
  • the “Previous” button 33 is displayed so that the original display state can be returned.
  • the display control unit 46 acquires a user operation indicating that non-displayed related information is displayed when all of the acquired plurality of related information is not superimposed on the captured image.
  • the related information not displayed is displayed in place of the related information superimposed and displayed.
  • FIG. 15 is a flowchart showing an example of the display discrimination flow of the “Previous” button 33 and the “Next” button 32.
  • FIG. 16 is a flowchart showing an example of a processing flow when contact with the “Previous” button 33 or the “Next” button 32 is detected.
  • the display control unit 46 confirms whether there is undisplayed related information among the related information acquired in S5 of FIG. 6 in the storage unit 5 (S81). ). If it is determined that there is no undisplayed related information (NO in S81), it is checked whether there is additional information that can be additionally acquired on the network (S82). For example, the display control unit 46 is related information related to the determined search keyword (character specified by the user) by the search processing unit 44 as well as the processing in S5 of FIG. Is obtained from a database of a search site on the network, it is determined that there is additional relevant information that can be acquired on the network. Note that the processing of S81 and S82 may be executed in accordance with the file format of the related information being displayed. For example, when only related information composed of a moving image is displayed, only the related information whose file format is a moving image may be set as the processing target of S81 and S82.
  • the display control unit 46 confirms whether or not the pressing counter of the “Next” button 32 is 0 (S84).
  • the press counter indicates the result of counting the number of times of touching the “next” button 32 (number of presses).
  • the press counter “0” indicates that there is no related information displayed before the currently displayed related information. That is, even if the “Previous” button 33 is displayed and a user operation for the “Previous” button 33 is accepted, there is no related information to be displayed. Accordingly, when the display control unit 46 determines that the pressing counter is 0 (YES in S84), the “Previous” button 33 is not displayed (S86). On the other hand, when it is determined that the press counter is not 0 (when the press counter is greater than 0) (NO in S84), the “Previous” button 33 is displayed (S85).
  • the operation acquisition unit 42 determines whether or not contact with the “Previous” button 33 or the “Next” button 32 is detected (S101).
  • the display control unit 46 determines which button has been selected from the detected position (S102). If contact cannot be detected (NO in S101), the process waits until contact is detected. If it is determined that the “Next” button 32 has been selected (“Next” button in S102), the display control unit 46 replaces the displayed related information with the undisplayed related information (next related information). ) Is displayed, and the press counter is incremented.
  • the display control unit 46 replaces the related information being displayed with the related information (previous Related information) is displayed, and the press counter is decremented.
  • the “Previous” button 33 and the “Next” button 32 may be displayed in the state of FIG. In this case, when contact with the “Previous” button 33 or the “Next” button 32 is detected, for example, the related information may be replaced for each file format.
  • a plurality of related information can be displayed with the file format narrowed down.
  • the user can check various related information. Then, after the mixed display, the display is limited to the file format desired by the user (the category determined to be useful), so that the user can easily find the relevant information desired by the user.
  • the “Previous” button 33 or the “Next” button 32 it is possible to confirm all related information. That is, when the user touches the “Previous” button 33 or the “Next” button 32 and the desired related information is not displayed, the hidden related information can be further displayed. For example, by touching the “Next” button 32, the lower-level related information can be easily confirmed. Therefore, displaying these buttons can improve user convenience.
  • FIG. 17 is a diagram illustrating an example of a display state.
  • FIG. 17 shows a part of the display screen of the display unit 2 extracted for convenience of explanation.
  • the display control unit 46 determines the information amount of the related information arranged in each arrangement area according to the arrangement position. In other words, according to the distance from the character recognition range 12, the information amount of the related information displayed in each arrangement area of the virtual layout 13 is increased or decreased.
  • the display control unit 46 may determine the amount of related information according to the size of each arrangement area.
  • information such as a moving image thumbnail, a playback button, and a playback time is displayed in the disposition region R3 farthest from the character recognition range 12.
  • rating information is displayed in the additional area 51 in the arrangement area R2 adjacent to the arrangement area R3 and closer to the character recognition range 12 than the arrangement area R3.
  • comment information is displayed in the additional area 52 in addition to the above four pieces of information.
  • the information amount of the related information displayed at a position that is easy for the user to visually recognize (for example, the vicinity of the character recognition range 12) is used as the other related information.
  • the amount of information can be increased, and convenience can be improved.
  • the control block of the display device 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or using a CPU (Central Processing Unit). It may be realized by software.
  • the display device 1 includes a CPU that executes instructions of a program that is software for realizing each function, a ROM (Read (Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • a display device (1) according to aspect 1 of the present invention is a display device capable of displaying a captured image, and a character recognition unit (OCR processing unit 43) that recognizes a character specified by a user in the captured image.
  • a related information acquisition unit search processing unit 43) that acquires a plurality of related information related to the character obtained as a search result of the character recognized by the character recognition unit, and the plurality of related information acquired by the related information acquisition unit
  • a display control unit (display control unit 46) that displays the image superimposed on the captured image at a display position different from the display position of the character recognized by the character recognition unit.
  • a plurality of related information obtained as a search result can be displayed in an area other than the character designated by the user in the captured image. Therefore, for example, the user can easily confirm a plurality of pieces of related information without providing an area for displaying a search result separately from the captured image or providing a scroll bar.
  • the display control unit includes higher related information with a higher search result among the plurality of related information acquired by the related information acquisition unit. You may display in the vicinity of the said character which the said character recognition part recognized. Generally, since the recognized character is specified by the user, the user is highly likely to visually recognize the vicinity. According to the above configuration, the higher related information is displayed in the vicinity of the character, so that the user's attention can be drawn in order from the higher related information.
  • the display device is the display apparatus according to aspect 1 or 2, wherein the display control unit is the related information having the highest search result among the plurality of related information acquired by the related information acquisition unit.
  • the plurality of pieces of related information may be displayed so that the display area where the related information is displayed becomes larger.
  • the higher-level related information is displayed so that the display area becomes larger. Therefore, the user's attention can be drawn in order from the higher-level related information.
  • the display device is the display device according to any one of aspects 1 to 3, wherein the display control unit follows the movement of the display position of the character recognized by the character recognition unit.
  • a plurality of related information may be displayed.
  • several relevant information can be displayed so that the movement of the display position of the said character may be followed. That is, even when the imaging range is moved, a plurality of related information can be displayed in accordance with the movement. Therefore, the user can visually recognize more related information simply by moving the display device.
  • the display device is the display device according to any one of Aspects 1 to 4, wherein the plurality of information acquired by the related information acquisition unit when the character recognized by the character recognition unit is the center.
  • a virtual plane creation unit (layout creation unit 45) that creates a virtual plane (virtual layout 13) in which each of the related information is arranged at a position different from the center, and the character recognition unit uses the character
  • a character presence / absence determination unit that determines whether or not the character recognized by the character recognition unit is included in the other captured image when another captured image different from the captured image obtained when the character is recognized is acquired.
  • a character presence / absence determination unit 47 and the display control when the character presence determination unit determines that the character recognized by the character recognition unit is included in the other captured image.
  • a plurality of related information included in the other captured image may be displayed superimposed on the other captured image.
  • the display device acquires another captured image different from the captured image when the character recognition unit recognizes the character in any of the above aspects 1 to 5,
  • a character presence / absence determination unit that determines whether or not the character recognized by the character recognition unit is included in another captured image, and the display control unit includes the other captured image by the character presence / absence determination unit. If it is determined that the character recognized by the character recognition unit is not included therein, the plurality of related information may be hidden. According to the above configuration, when the recognized character is not included in the other captured image, a plurality of related information is not displayed.
  • the imaging range is moved so that the recognized character is not included in the other captured images. Only the related information can be hidden. Therefore, user operation (repetitive operation) when displaying related information regarding various characters can be facilitated, and user convenience can be further improved.
  • the display control unit displays the plurality of related information when the user operation indicating that the plurality of related information is redisplayed is acquired.
  • a captured image when the character recognition unit recognizes the character may be displayed in a superimposed manner. Even if a recognized character is not included in another captured image and a plurality of related information is hidden, the related information related to the recognized character is to be viewed again, or further related information is displayed. It is also assumed that you want to see. In addition, it may be assumed that the related information is hidden (erased) by moving the imaging range so that the recognized character is not included in the other captured images. According to the above configuration, when a user operation indicating that a plurality of related information is redisplayed is acquired, the related information that the user wants to visually recognize can be easily displayed. It is not necessary to perform the process. Therefore, user convenience can be further improved.
  • the display device is the display device according to any one of the aspects 1 to 7, wherein the plurality of related information is configured in any of a plurality of file formats, and the display control unit includes: When a user operation indicating that one of the plurality of file formats is selected is acquired, related information configured from the file format indicated by the user operation may be displayed. According to the above configuration, a plurality of related information can be displayed with the file format narrowed down, so that the user can quickly and easily confirm the desired related information.
  • the display device is the display device according to any one of the aspects 1 to 8, wherein the display control unit converts all of the plurality of related information acquired by the related information acquisition unit into the captured image.
  • the display control unit converts all of the plurality of related information acquired by the related information acquisition unit into the captured image.
  • the related information that is not displayed may be displayed instead of the related information displayed in a superimposed manner.
  • the user displays the related information acquired by the display device until he / she is satisfied (for example, until the necessary related information is acquired). I can confirm.
  • the display device may be realized by a computer.
  • the display device is realized by the computer by operating the computer as each unit included in the display device.
  • the display control program and a computer-readable recording medium on which the display control program is recorded also fall within the scope of the present invention.
  • the present invention can be suitably used for display devices capable of displaying captured images, for example, portable information terminals such as smartphones and tablets, and in-vehicle information terminals such as car navigation. It can also be used publicly for electrical appliances such as vacuum cleaners and refrigerators equipped with display devices capable of displaying captured images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　ユーザの利便性を向上させる。表示装置（１）は、撮像画像内においてユーザが指定した文字を認識するＯＣＲ処理部（４３）、認識された文字の検索結果として得られる、当該文字に関する関連情報を複数取得する検索処理部（４４）と、取得された複数の関連情報を、認識された文字の表示位置とは異なる表示位置に、撮像画像に重畳して表示させる表示制御部（４６）と、を備える。

Description

表示装置および表示制御プログラム
　本発明は、撮像画像を表示可能な表示装置に関する。
　近年、表示画像に表示された文字を認識し、ネットワーク上の検索サービスを用いて、当該文字に関して検索を行い、その検索結果をユーザに提示する技術が提案されている。これにより、ユーザは、表示画像内に含まれる文字に対する検索結果を容易に確認できる。このような技術は、例えば特許文献１～３に開示されている。
　特許文献１には、テレビ放送の映像から文字認識により検出された単語から、検索キーワードを決定し、当該検索キーワードに対する検索結果を取得し、表示する技術が開示されている。検索結果表示時には、表示画面は、テレビ放送表示領域とＷＷＷブラウザ領域とに分割され、ＷＷＷブラウザ領域に当該検索結果が表示される。また、検索結果を表示しきれない場合には、ＷＷＷブラウザ領域にはスクロールバーが設けられる。特許文献２には、表示させた撮像画像の中から指定された文字について、自装置が備えるメモリまたは関連情報管理装置のデータベースを検索し、その結果取得した当該文字に対する関連情報を表示部に表示する移動体端末装置が開示されている。なお、特許文献２では、取得した関連情報は上記文字の近傍に、吹き出しを用いて表示される。特許文献３には、撮影された画像データから認識された文字に対して、複数のサービスの中から指定されたサービス（例えば、検索サービス）に基づく処理を行い、その処理結果（例えば、検索結果）のデータを表示する技術が開示されている。
日本国公開特許公報「特開２０１０－３９６４７号公報（２０１０年２月１８日公開）」 日本国公開特許公報「特開２００７－１８１６６号公報（２００７年１月２５日公開）」 日本国公開特許公報「特開２００４－１７３２８９号公報（２００４年６月１７日公開）」 日本国公開特許公報「特開平１０－１４５６８７号公報（１９９８年５月２９日公開）」 日本国公開特許公報「特開２００２－３３４０９２号公報（２００２年１１月２２日公開）」 日本国公開特許公報「特開２００５－３０１９１４号公報（２００５年１０月２７日公開）」 日本国公開特許公報「特開２００９－２１９１６６号公報（２００９年９月２４日公開）」 日本国公開特許公報「特開２０１０－２１８３２２号公報（２０１０年９月３０日公開）」 日本国公開特許公報「特開２０１３－１２２６２７号公報（２０１３年６月２０日公開）」 日本国公開特許公報「特開２０１２－８３９４２号公報（２０１２年４月２６日公開）」
　しかしながら、特許文献１の技術では、表示画面を分割した狭い領域（ＷＷＷブラウザ領域）に関連情報を表示するため、一度に表示できる関連情報数が少なくなってしまう。そのため、取得したい関連情報が表示されていない場合には、ユーザは、スクロールバーを用いて当該関連情報を探し出す必要となる。また、特許文献２の技術では、検索結果を複数表示することは想定されていない。また、特許文献３の技術では、検索前に検索先をユーザに指定させている。そのため、取得したい関連情報が表示されていない場合には、当該関連情報が取得できていないものとして、検索先を再指定して、検索し直す必要がある。したがって、特許文献１～３の技術では、複数の検索結果の中から取得したい検索結果を探すための手間が発生してしまう可能性があった。すなわち、表示状況によっては、ユーザの利便性が低下してしまう可能性があった。また、特許文献１～１０の技術には、複数の検索結果を、画面分割等を行わずに表示画像に重畳して表示するときの表示方法については、一切開示されていない。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザの利便性を向上させることが可能な表示装置を実現することである。
　上記の課題を解決するために、本発明の一態様に係る表示装置は、撮像画像を表示可能な表示装置であって、上記撮像画像内においてユーザが指定した文字を認識する文字認識部と、上記文字認識部が認識した上記文字の検索結果として得られる、当該文字に関する関連情報を複数取得する関連情報取得部と、上記関連情報取得部が取得した上記複数の関連情報を、上記文字認識部が認識した上記文字の表示位置とは異なる表示位置に、上記撮像画像に重畳して表示させる表示制御部と、を備える。
　本発明の一態様によれば、ユーザの利便性を向上させることができるという効果を奏する。
本発明の実施形態１に係る表示装置の具体的構成を示すブロック図である。 上記表示装置の概略構成について説明する。 仮想レイアウトの一例を示す図である。 検索結果テーブルの一例を示す図である。 （ａ）および（ｂ）は複数の関連情報の配置例を示す図である。 上記表示装置の処理の一例を示すフローチャートである。 仮想レイアウト作成処理の一例を示すフローチャートである。 復元処理の一例を示すフローチャートである。 表示状態の一例を示す図であり、（ａ）はユーザが文字を選択するときの撮像画像が表示された状態を示す図であり、（ｂ）は文字認識範囲に認識結果が表示された状態を示す図である。 表示状態の一例を示す図であり、（ａ）は撮像画像に複数の関連情報が重畳表示された状態を示す図であり、（ｂ）は撮像範囲が移動した後の撮像画像（他撮像画像）に複数の関連情報が重畳表示された状態を示す図であり、（ｃ）は撮像範囲が移動した後の撮像画像（他撮像画像）に「復元」ボタンが重畳表示された状態を示す図である。 表示状態の一例を示す図であり、（ａ）は復元用画像を示す図であり、（ｂ）は復元用画像に複数の関連情報が重畳表示された状態を示す図である。 表示状態の一例を示す図であり、（ａ）は画像から構成される関連情報を拡大表示させたときの表示状態を示す図であり、（ｂ）は動画から構成される関連情報を拡大表示させたときの表示状態を示す図である。 本発明の実施形態２に係る表示装置の処理の一例を示すフローチャートである。 表示状態の一例を示す図であり、（ａ）は混合表示中の状態を示す図であり、（ｂ）は動画表示中の状態を示す図である。 「前」ボタンおよび「次」ボタンの表示判別の流れの一例を示すフローチャートである。 「前」ボタンまたは「次」ボタンへの接触を検知したときの処理の流れの一例を示すフローチャートである。 本発明の実施形態３に係る表示装置での表示状態の一例を示す図である。
　以下、本発明の各実施形態について、図１～図１７を参照しながら、詳細に説明する。ここで、図５、図９～図１２、図１４、図１７では、各実施形態の表示装置１における処理の結果としての表示状態の一例を示している。しかし、これらの図面は、表示装置１に表示される表示形態の一例を示しているにすぎない。例えば、後述する複数の関連情報の配置位置（表示位置）および配置領域（表示領域）の大きさのバリエーションは無数にあり、また、表示部２の表示画面内における文字認識範囲１２の表示位置および大きさによっても、その配置位置は変更される。また、撮像対象２０、撮像画像、および文字認識範囲１２も、それぞれあくまで一例を示しているにすぎない。また、図５、図９の（ｂ）、図１０の（ａ）および（ｂ）、図１１の（ｂ）および図１２に示す「情報」、「情報ａ」～「情報ｌ」、「情報Ａ」～「情報Ｄ」、「情報（上位）」、「情報（中位）」および「情報（下位）」は、すべて関連情報の表示状態を示すものである。この表示状態は、後述する検索結果や、動画であればその再生時間によって異なるため、説明の便宜上、上記のように記載しているにすぎない。また、図１４に示す「テキスト」、「動画」および「画像」、並びに、図１２に示す「画像拡大表示」、「動画サムネイル拡大表示」、「タイトル情報」および「再生時間」についても同様である。
　〔実施形態１〕
　以下、本発明の一実施形態について、図１～図１２を参照しながら、詳細に説明する。まず、図２を用いて、表示装置（表示端末）１の概略構成について説明する。図２は、表示装置１の概略構成を示す図である。
　図２に示すように、表示装置１は、表示部２およびタッチパネル３を備えた板状の筐体である。また、表示装置１は、筐体の、表示部２の表示画面とは反対側の表面には、カメラ部６（不図示）を備えており、撮像画像を表示可能な装置である。そして、例えばスマートフォン、タブレット端末等の携帯型情報端末によって実現される。表示部２は、例えば、表示装置１に装備されている各種機能（アプリケーションソフト）が実行されることに起因した画像等の各種画像を表示するものである。表示部２としては、例えばＬＣＤ（Liquid crystal display：液晶ディスプレイ）が用いられる。タッチパネル３は、ユーザの指等の接触（または接近）を検知することにより、ユーザ操作を取得するものである。タッチパネル３は、例えば、表示部２に積層された静電容量方式のタッチパネルである。カメラ部６は、撮像対象２０（例えば図９の（ａ）参照）を撮像する撮像部である。表示部２、タッチパネル３およびカメラ部６は、後述の制御部４によって制御される。
　なお、表示装置１は、携帯型情報端末でなくてもよく、少なくとも表示部２とタッチパネル３とを備えている種々の情報端末により実現可能である。当該情報端末としては、例えば、カーナビゲーションに代表される電子航法システムを備えた表示装置が挙げられる。その他、表示部およびタッチパネルを備えた情報端末を搭載した装置（物品）であってもよい。当該装置としては、例えば、冷蔵庫や掃除機等に代表される電化製品が挙げられる。また、タッチパネル３は静電容量方式でなくてもよく、タッチパネル３の代わりに光学式センサを用いてもよい。
　本実施形態の表示装置１は、例えば図９に示すような表示状態を実現するための処理を行う。具体的には、撮像対象２０をカメラ部６で撮像し、撮像された撮像画像が表示部２に表示される。ユーザは、図９の（ａ）に示すように、撮像画像中に検索したい文字を見つけると、その文字が表示された、表示部２の表示画面上の領域を指でなぞる。タッチパネル３が指でなぞられた領域を検知すると、その領域に対して文字認識処理が行い、その結果得られた文字を検索キーワードとして、ネットワーク上または記憶部５に存在するデータベースを検索し、検索結果として、当該文字に関する関連情報を複数取得する。そして、図９の（ｂ）に示すように、取得した複数の関連情報を、検索対象とした文字の表示位置とは異なる位置に、撮像画像（元画像）に重畳して表示する。なお、文字認識の対象としては、単一の文字であってもよいし、複数の文字からなる文字列であってもよい。
　なお、複数の関連情報は、検索キーワードの検索結果として得られるあらゆる情報（例えばテキスト、ブラウザ、画像または動画等の各種データ）を指す。関連情報がテキストから構成される場合、例えばウェブ検索結果に含まれるテキスト情報（ウェブ検索結果画面）が表示される。関連情報がブラウザから構成される場合、例えばウェブ検索結果画面をキャプチャしたものが表示される。関連情報が画像から構成される場合、画像そのものが縮小した状態で表示される。この場合でも、ユーザは必要とする情報であるかどうかをある程度判断できる。また、縮小表示された場合には、当該関連情報の表示位置をユーザが触れることにより、拡大表示されてもよい。関連情報が動画から構成される場合、サムネイル画像とともに、再生時間および再生ボタンが表示される。これにより、ユーザは関連情報が動画であることを即座に認識できる。また、再生時間を表示することにより、ユーザは必要とする情報であるかどうかの判断を助けることができる。また、画像と同様、当該関連情報の表示位置をユーザが触れることにより、拡大表示されてもよい。
　次に、主に図１、図３および図４を用いて、表示装置１の具体的構成について説明する。図１は、表示装置１の具体的構成を示すブロック図である。図３は、仮想レイアウト１３の一例を示す図である。図４は、検索結果テーブルの一例を示す図である。
　図１に示すように、表示装置１は、表示部２、タッチパネル３、制御部４、記憶部５およびカメラ部６を備える。制御部４は、表示装置１を統括的に制御するものであり、主として、画像取得部４１、操作取得部４２、ＯＣＲ（Optional Character Recognition）処理部４３（文字認識部）、検索処理部４４（関連情報取得部）、レイアウト作成部４５（仮想平面作成部）、表示制御部４６および文字有無判定部４７を備えている。また、記憶部５は、制御部４が実行する各種の制御プログラム等を記憶するものである。記憶部５は、例えばハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
　画像取得部４１は、カメラ部６が撮像した撮像対象２０の撮像画像を取得するたびに、当該撮像画像を記憶部５に記憶するとともに、取得したことをＯＣＲ処理部４３および文字有無判定部４７に通知する。
　操作取得部４２は、タッチパネル３が検知したユーザ操作と、当該ユーザ操作を検知位置（表示画面における位置座標）とを取得する。操作取得部４２は、撮像画像自体に対するユーザ操作か、関連情報、または後述する「復元」ボタン３０等の各種ボタンに対するユーザ操作かを判断する。関連情報または各種ボタンに対するユーザ操作かどうかは、関連情報または各種ボタンの表示位置と上記検知位置とから判断する。撮像画像自体に対するユーザ操作（表示画面を指でなぞるユーザ操作）の場合には、当該ユーザ操作の検知位置を示す位置座標を、ＯＣＲ処理部４３、レイアウト作成部４５および表示制御部４６に送信する。この検知位置（検知領域）は、ユーザが指定した、文字認識を行いたい文字（指定文字列、選択文字列）を含む文字認識範囲１２（文字認識対象領域）となる。ユーザが指定した文字列が複数行に亘る場合には、その文字列を含む矩形状の検知領域が文字認識範囲１２と認識されてもよい。一方、関連情報または各種ボタンに対するユーザ操作を取得した場合には、当該ユーザ操作の検知位置を、表示制御部４６に送信する。
　ＯＣＲ処理部４３は、上記検知領域（文字認識範囲１２）に含まれる文字を認識する。すなわち、撮像画像内においてユーザが指定した文字を認識する。そして、文字認識結果を検索処理部４４に送信する。ＯＣＲ処理部４３は、例えば、ユーザ操作による選択領域（検知領域、タッチ領域）を拡大した領域をＯＣＲ対象範囲として決定し、ＯＣＲ対象範囲をＯＣＲ処理して把握される文字（文字列）の位置と、選択領域との重なりから抽出文字（ユーザが指定した文字）を決定する。
　検索処理部４４は、ＯＣＲ処理部４３が認識した文字の検索結果として得られる、当該文字に関する関連情報を複数取得する。すなわち、ＯＣＲ処理部４３が認識した文字を、検索対象文字（検索キーワード）として決定する。そして、ネットワーク上の複数の検索サービス（例えば検索エンジン）に当該検索キーワードを送信し、各検索サービスにおける検索結果を、各検索サービスから取得する。そして、検索処理部４４は、検索結果を取得したことをレイアウト作成部４５に通知する。検索結果としては、上記文字（検索キーワード）に関する関連情報であってもよいし、関連情報が格納されているサーバ等のアドレス（取得先）であってもよい。また、各関連情報とともに、当該関連情報の検索回数を取得してもよい。検索サービスとしては、例えば、ウェブサイト、画像、地図等を検索可能なGoogle（登録商標）検索、動画を検索可能なYouTube（登録商標）、画像を検索可能なPicasa（登録商標）等の複数の検索サービスが挙げられる。
　レイアウト作成部４５は、ＯＣＲ処理部４３が認識した文字をその中心（原点）としたときに、検索処理部４４が取得した複数の関連情報のそれぞれを配置する配置位置を、当該中心とは異なる位置に規定した仮想レイアウト１３（仮想平面）を作成する。この仮想レイアウト１３の座標系は、表示画面上の座標系と同一となっている。
　レイアウト作成部４５は、例えば図４に示すような検索結果テーブルを作成する。具体的には、検索結果テーブルの「検索キーワード」に、検索サービスに送信した検索キーワード（図４では「○○○」）を代入する。複数の関連情報（関連情報自体またはその取得先を示す取得先情報）を取得すると、各関連情報の検索回数から、各関連情報の検索順位を決定する。そして、各関連情報の検索順位を「検索順位」に代入するとともに、当該検索順位に対応付けて、「関連情報取得先」に関連情報自体または取得先情報を代入する。また、検索順位は数グループ単位に分類されており、検索順位に対応付けられた分類が「検索グループ」に代入される。なお、検索結果の全てを検索結果テーブルに反映する必要は必ずしもなく、例えば検索結果の上位５０件を反映すればよい。この検索結果テーブルに反映する検索結果の上限値は、認識された文字とともに関連情報を表示でき、かつ、関連情報を表示する大きさおよび位置（仮想レイアウト１３における配置領域の大きさおよび配置位置）等を考慮して決定されればよい。さらに、「検索順位」または「検索グループ」に対応付けて規定されている、仮想レイアウト１３上の位置座標（配置位置）および配置領域の大きさが、それぞれ「配置位置」および「サイズ」に代入される。
　レイアウト作成部４５は、この検索結果テーブルを参照して仮想レイアウト１３を作成する。図４に示す検索結果テーブルでは、検索順位１位、２位、６位、１１位、１６位の関連情報が、それぞれ、仮想レイアウト１３の（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ６，ｙ６）、（ｘ１１，ｙ１１）、（ｘ１６，ｙ１６）の位置に配置されるように規定されている。図４では、検索結果が上位の関連情報ほど、原点の近傍に配置されるように、各関連情報の配置位置が規定されている。また、図４では、「検索グループ」に示された分類ごとに、各位置（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ６，ｙ６）、（ｘ１１，ｙ１１）、（ｘ１６，ｙ１６）の原点からの距離｜ｘ１，ｙ１｜、｜ｘ２，ｙ２｜、｜ｘ６，ｙ６｜、｜ｘ１１，ｙ１１｜、｜ｘ１６，ｙ１６｜が規定されている。すなわち、この距離を満たすいずれかの位置に、関連情報が配置される。例えば、図４では、検索順位１～５位は検索グループ「上位」、検索順位６～１０は「中位」、検索順位１１～１５位は「下位」、検索順位１６位以降は「下位未満」に分類されている。この場合、その距離を比較すると、｜ｘ１，ｙ１｜＝｜ｘ２，ｙ２｜＜｜ｘ６，ｙ６｜＜｜ｘ１１，ｙ１１｜＜｜ｘ１６，ｙ１６｜となっている。また、図４では、上記分類ごとに、配置領域の大きさが３段階で規定されている。すなわち、検索グループ「上位」に属する関連情報の配置領域の大きさが最も大きい「大」、検索グループ「下位」および「下位未満」の場合の配置領域の大きさが最も小さい「小」、検索グループ「中位」の場合の配置領域の大きさがこれらの間の大きさである「中」と規定されている。そして、レイアウト作成部４５は、この検索結果テーブルを参照することにより、図３に示すような仮想レイアウト１３を作成する。なお、この仮想レイアウト１３に従って関連情報が表示された状態が、図１０の（ａ）および（ｂ）に示されている。また、図３に示す仮想レイアウト１３を用いて複数の関連情報を表示させる場合、複数の関連情報は、認識された文字に重ならないように、かつ、当該文字を取り囲むように（すなわち、波紋状に）配置される。この場合、仮想レイアウト１３を波紋状レイアウトと称される。また、図３の「情報」は、各関連情報が配置される配置位置を示すものであり、各領域の大きさは、便宜上一定として示している。
　なお、この配置位置および配置領域の規定方法はこれに限らない。例えば、図５の（ａ）に示すように、文字認識範囲１２に重ならないように、かつ、当該文字認識範囲１２の周辺に関連情報が配置されるように、その配置位置が規定されてもよい。また、文字認識範囲１２が大きい場合には、文字認識範囲１２と重ならないように関連情報が配置されると、表示される関連情報数（表示できる情報量）が減少して、利便性が低下してしまう可可能性がある。そこで、文字認識範囲１２が所定の大きさよりも大きい場合には、図５の（ｂ）に示すように、文字認識範囲１２の中心を含む一定領域に重ならないように（すなわち、文字認識範囲１２の周辺領域とだけ重なるように）関連情報が配置されるように、その配置位置が規定されてもよい。上記所定の大きさおよび一定領域の大きさは、複数の関連情報を配置でき、かつ、ユーザの操作性および視認性を損なわない程度に設定されていればよい。なお、図５の（ａ）および（ｂ）においては、検索グループ上位の関連情報ほど文字認識範囲１２の近傍に、かつ、その配置領域（表示領域）が大きくなるように配置されている。また、分類（検索グループ）ごとに配置位置および配置領域の大きさが規定されている必要はなく、個々の検索順位ごとに、配置位置および配置領域の大きさが規定されていてもよい。また、図４では、大きさの種類は３種類としたが、分類数分だけ大きさの種類が存在してもよい。上記例でいえば４種類であってもよく、この場合、「下位未満」の場合の配置領域の大きさが「小」よりもさらに小さく規定されてもよい。また、配置領域の大きさについては、検索順位によらず一定であってもよい。また、上記のように検索結果が上位の関連情報ほど原点近傍に配値されるように規定されている必要は必ずしもなく、検索順位または分類に従って配置領域が大きくなるように規定されているだけでもよい。また、仮想レイアウト１３において、関連情報の密集度が均一になるように各配置位置が規定される必要もなく、例えば文字認識範囲１２の下側（ｙが負の領域となる領域）に配置されるように、各配置位置が規定されてもよい。すなわち、複数の関連情報が文字認識範囲１２の少なくとも一部と重ならないように、かつ、複数の関連情報の少なくとも１つが撮像画像内（表示画面内）に表示されるように、仮想レイアウト１３（すなわち、検索結果テーブルの「配置位置」および「サイズ」）が規定されていればよい。なお、レイアウト作成部４５は、取得した複数の関連情報自体を、各関連情報の配置位置に配置した仮想レイアウト１３を作成してもよい。
　以上のように、仮想レイアウト１３が作成されることにより、表示制御部４６が、複数の関連情報を、認識された文字の表示位置とは異なる表示位置に、撮像画像に重畳表示させることが可能となる。また、認識された文字の表示位置の移動に追従するように、複数の関連情報を表示させることも可能となる。この場合、撮像範囲（撮影範囲、カメラ部６のスルー画像表示範囲）が変更されたとしても、各関連情報と文字認識範囲１２との相対距離を維持して、当該関連情報を表示させることが可能となる。換言すれば、関連情報を表示画面外にも配置することが可能となるため、ユーザは、表示装置１を少し移動して撮像範囲を変更するだけで、容易に表示画面外の関連情報（例えば下位の関連情報）を確認することが可能となる。すなわち、ユーザは、多くの関連情報を容易に確認できる。さらに、表示制御部４６は、例えば、上位の関連情報ほど、ユーザが指定した文字の近傍に表示させたり、当該関連情報が表示される表示領域が大きくなるように、複数の関連情報を表示させたりすることが可能となる。すなわち、下位の関連情報ほど、ユーザが指定した文字から離れた位置に表示させたり、当該関連情報が表示される表示領域が小さくなるように、複数の関連情報を表示させたりすることが可能となる。
　また、レイアウト作成部４５は、復元用画像が表示された場合には、仮想レイアウト１３として復元用仮想レイアウトを作成する。例えば、レイアウト作成部４５は、復元用画像における文字認識範囲１２の位置を確認し、複数の関連情報が、その文字認識範囲１２の位置とは異なる位置に配置されるように、各関連情報の配置位置を規定した復元用仮想レイアウトを作成する。なお、復元用画像は、文字認識処理の対象となった撮像画像（静止画）である。そして、複数の関連情報をできる限り多く表示画面内に表示させるために、例えば配置領域を、検索結果によらず一定にして、整列させるように配置してもよい（例えば、図１１の（ｂ）参照）。
　表示制御部４６は、各種画像を表示部２に表示させる。特に、検索処理部４４が取得した複数の関連情報を、ＯＣＲ処理部４３が認識した文字の表示位置とは異なる表示位置に、撮像画像に重畳して表示させる。また、認識した文字の表示位置の移動に追従するように、複数の関連情報を表示させる。具体的には、撮像画像内における、認識された文字（文字認識範囲１２）の表示位置と、仮想レイアウト１３の中心とが一致させたときに（すなわち、当該表示位置と当該中心とが一致するように、撮像画像と仮想レイアウト１３とを重ね合わせたときに）、仮想レイアウト１３において規定された配置位置に配置した複数の関連情報のうち、当該撮像画像内に含まれる複数の関連情報を、当該撮像画像に重畳して表示させる。この撮像画像は、ユーザが文字を指定したときに取得した撮像画像、および、当該撮像画像を取得したときの撮像範囲と異なる撮像範囲にて取得した撮像画像（他撮像画像、移動後の撮像画像）を含む。ただし、他撮像画像への関連情報の重畳表示は、文字有無判定部４７から、他撮像画像内に認識された文字が含まれている旨の判定結果を受信した場合に実行される。例えば、図３では、ユーザが文字を指定したときの撮像画像の撮像範囲が撮像範囲Ｐａである場合には、仮想レイアウト１３において規定された配置位置に配置される複数の関連情報のうち、図１０の（ａ）に示されるように、「情報ａ」～「情報ｌ」が表示される。その後、撮像範囲Ｐａから撮像範囲Ｐｂ（他撮像画像の撮像範囲）へと撮像範囲が移動した場合には、上記複数の関連情報のうち、図１０の（ｂ）に示すように、「情報Ａ」～「情報Ｄ」が表示され、「情報ｄ」、「情報ｅ」、「情報ｌ」は非表示となる。また、表示制御部４６は、文字有無判定部４７から、他撮像画像内に認識された文字が含まれていない旨の判定結果を受信した場合には、表示画面に表示可能な複数の関連情報が存在する場合であっても、当該複数の関連情報を非表示とし、代わりに「復元」ボタン３０を表示させる（図１０の（ｃ）参照）。
　また、表示制御部４６は、操作取得部４２から検知位置を示す位置座標（例えば、文字認識範囲１２の４隅の位置座標）を受信すると、当該検知位置を取得したときの撮像画像を記憶部５から読み出す。そして、検知位置（文字認識範囲１２）を認識した結果として、文字認識範囲１２を視認可能な画像（例えば網掛けを施した画像）を、当該撮像画像に重畳表示させた画像を、復元用画像として記憶部５に保存する。表示制御部４６は、操作取得部４２が、ユーザが「復元」ボタン３０に触れたことを検知したときに、保存した復元用画像を読み出し、当該復元用画像に複数の関連情報を表示させる。すなわち、複数の関連情報を再表示することを示すユーザ操作を取得したときに、複数の関連情報を重畳表示させた、ＯＣＲ処理部４３が文字を認識したときの撮像画像を表示させる。
　文字有無判定部４７は、カメラ部６が他撮像画像を取得した場合に、当該他撮像画像内に、認識された文字が含まれているか否かを判定し、その判定結果を、表示制御部４６に送信する。文字有無判定部４７は、他撮像画像内に文字認識範囲１２の一部が含まれていれば、他撮像画像内に認識された文字が含まれていると判定する。逆に、他撮像画像内に文字認識範囲１２の全てが含まれている場合のみ当該文字が含まれると判定してもよい。
　以上のように、表示制御部４６は、画像取得部４１がカメラ部６から取得した撮像画像を表示部２に転送し、表示画面に表示させる。また、操作取得部４２が、ユーザによって、撮像画像内の文字認識範囲１２が指定されたことを検知した場合、ＯＣＲ処理部４３は、文字認識範囲１２を示す画像（ユーザが指定した文字を含む画像）に対して、ＯＣＲ処理を実行することにより、ユーザが指定した文字を取得する。検索処理部４４は、当該文字を検索キーワードとして、データベースに対して検索を行い、検索結果として複数の関連情報を取得する。そして、表示制御部４６は、レイアウト作成部４５が作成した仮想レイアウト１３上に複数の関連情報を配置し、当該複数の関連情報を配置した仮想レイアウト１３を、撮像画像（元画像）に重畳表示させる。
　次に、図６～図８を用いて、表示装置１における処理の流れについて説明する。図６は、表示装置１の処理の一例を示すフローチャートである。図７は、仮想レイアウト作成処理（図６のＳ６の処理）の一例を示すフローチャートである。図８は、復元処理（図６のＳ１３の処理）の一例を示すフローチャートである。また、図６～図８の処理の説明にあわせて、表示状態の一例について、図９～図１２を用いて説明する。
　図６に示すように、画像取得部４１は、カメラ部６から撮像画像を取得し、記憶部５に保存する（Ｓ１）。このとき、表示制御部４６は、この撮像画像を表示部２に表示させる。次に、ユーザが、図９の（ａ）に示すように、撮像画像内において、文字認識を行いたい文字が表示された表示画面上を指でなぞることにより、当該文字を含む文字認識範囲１２が選択される。すなわち、操作取得部４２は、この指でなぞられた範囲を文字認識範囲１２として取得し、表示画面における、その範囲を示す位置座標を記憶部５に保存する（Ｓ２）。そして、表示制御部４６は、保存された撮像画像および位置座標を用いて、復元用画像を生成し、記憶部５に保存する（Ｓ３）。
　その後、ＯＣＲ処理部４３は、選択された文字認識範囲１２に対する文字認識処理を行い、上記文字を検索キーワードとして決定する（Ｓ４）。検索処理部４４は、この検索キーワードに関する関連情報（検索結果）を、ネットワーク上の検索サイトが有するデータベース、および／または記憶部５に記憶されたデータベースから取得し、記憶部５に保存する（Ｓ５）。そして、レイアウト作成部４５が、この検索結果をもとに仮想レイアウト１３を作成し（Ｓ６）、表示制御部４６によって、仮想レイアウト１３に配置された複数の関連情報が、撮像画像に重畳表示される（Ｓ７）。なお、上記Ｓ３で生成された復元用画像（Ｓ１およびＳ２において取得された撮像画像および文字認識範囲１２を示す位置座標）と、Ｓ５において取得した関連情報（当該関連情報を取得することにより作成される検索結果テーブル）とは対応付けて保存されている。これらの保存されたデータは、主として、復元処理（Ｓ１３）にて用いられる。
　例えば、図９の（ｂ）および図１０の（ａ）に示すように、複数の関連情報が撮像画像に重畳表示されている。これらの図面では、複数の関連情報は、文字認識範囲１２の周辺を取り囲むように、波紋状に配置されている。また、図１０の（ａ）では、複数の関連情報として、「情報ａ」～「情報ｌ」が配置されている。そのうち、「情報ｆ」～「情報ｈ」および「情報ｌ」は、表示画面から見切れた状態で表示されている。図１０の（ｂ）に示す「情報Ｃ」および「情報ｉ」～「情報ｋ」も同様である。すなわち、図１０（ａ）および（ｂ）の場合（すなわち、文字認識範囲１２が表示画面上に表示されている場合）には、表示画面から見切れた状態であっても、関連情報は表示される。
　カメラ部６は、Ｓ１の処理後も撮像対象２０の撮像を続けており、表示制御部４６は、その都度撮像画像を表示部２に表示させる。文字有無判定部４７は、画像取得部４１が、Ｓ１処理時に取得した撮像画像の撮像範囲とは異なる撮像範囲の他撮像画像を取得したか否かを判定する（Ｓ８）。他撮像画像を取得していると判定した場合（Ｓ８でＹＥＳ）、文字有無判定部４７は、例えばオブジェクト検出エンジンを用いて、ユーザが選択した文字認識範囲１２の、表示画面における位置を特定し（Ｓ９）、文字認識範囲１２が表示画面内（すなわち、他撮像画像内）に含まれているか否かを判定する（Ｓ１０）。文字認識範囲１２が表示画面内に含まれていると判定した場合（Ｓ１０でＹＥＳ）、表示制御部４６は、Ｓ９で特定された位置に、文字認識範囲１２の認識結果（例えば、文字認識範囲１２に網掛けを施した画像）を表示する（Ｓ１１）。そして、表示制御部４６は、その位置が、Ｓ６で作成された仮想レイアウト１３の中心となるように、仮想レイアウト１３を移動して、他撮像画像に重畳表示させ（Ｓ１２）、Ｓ８の処理に戻る。なお、Ｓ８において、撮像範囲に変化がなかった場合には（Ｓ８でＮＯ）、図６の処理を終了する。また、Ｓ１０において、文字認識範囲１２が他撮像画像内に含まれていない場合には（Ｓ１０でＮＯ）、主としてレイアウト作成部４５および表示制御部４６によって復元処理が実行され、Ｓ１０の処理に戻る（Ｓ１３）。例えば、Ｓ１２の処理の結果としては、図１０の（ｂ）に示すような画像が表示される。すなわち、仮想レイアウト１３を移動して表示させた分、表示される複数の関連情報も変更されている。図１０の（ｂ）では、上述のように、Ｓ７の処理の結果として表示された画像には表示されていなかった関連情報である「情報Ａ」～「情報Ｄ」が新たに表示される一方、「情報ｄ」、「情報ｅ」、「情報ｌ」は非表示となっている。また、「情報ｉ」～「情報ｋ」も表示画面から見切れた状態での表示となっている。
　次に、図７を用いて、仮想レイアウト作成処理（図６のＳ６の処理）の一例について説明する。図７では、検索グループが４つに分類されている場合を想定している。
　レイアウト作成部４５は、検索結果を１件取り出し（Ｓ２１）、当該検索結果が最上位の関連情報であるか否かを判断する（Ｓ２２）。すなわち、上記の検索グループ「上位」に属するか否かを判断する。最上位であると判断した場合には（Ｓ２２でＹＥＳ）、表示制御部４６は、関連情報を、仮想レイアウト１３上に、その中心からの距離が「小」となる位置へ、配置領域の大きさ「大」で配置する（Ｓ２５）。すなわち、検索グループ「上位」に属する関連情報は、その他の検索グループに属する関連情報に比べて、文字認識範囲１２の最近傍に大きく表示される。そして、次の検索結果が存在するか否かを確認し（Ｓ２９）、存在する場合には（Ｓ２９でＹＥＳ）、次の検索結果を１件取り出して（Ｓ３０）、Ｓ２２の処理に戻る。一方、存在しない場合には（Ｓ２９でＮＯ）、レイアウト作成処理を終了する。
　一方、最上位の関連情報ではないと判断した場合には（Ｓ２２でＮＯ）、検索結果が２番目に上位の関連情報であるか否かを判断する（Ｓ２３）。すなわち、上記の検索グループ「中位」に属するか否かを判断する。２番目に上位であると判断した場合には（Ｓ２３でＹＥＳ）、表示制御部４６は、関連情報を、仮想レイアウト１３上に、その中心からの距離が「中」となる位置へ、配置領域の大きさ「中」で配置する（Ｓ２６）。これにより、検索グループ「中位」に属する関連情報は、「上位」に属する関連情報に比べて、文字認識範囲１２から離れた位置に小さく表示されるが、「下位」および「下位未満」に属する関連情報に比べて、文字認識範囲１２に近い位置に大きく表示される。
　一方、最上位および２番目の関連情報ではないと判断した場合には（Ｓ２３でＮＯ）、検索結果が３番目に上位の関連情報であるか否かを判断する（Ｓ２４）。すなわち、上記の検索グループ「下位」に属するか否かを判断する。３番目に上位であると判断した場合には（Ｓ２４でＹＥＳ）、表示制御部４６は、関連情報を、仮想レイアウト１３上に、その中心からの距離が「大」となる位置へ、配置領域の大きさ「小」で配置する（Ｓ２７）。これにより、検索グループ「下位」に属する関連情報は、「上位」および「中位」に属する関連情報に比べて、文字認識範囲１２から離れた位置に小さく表示されるが、「下位未満」に属する関連情報に比べて、文字認識範囲１２に近い位置に大きく表示される。
　一方、最上位～３番目の関連情報ではないと判断した場合には（Ｓ２４でＮＯ）、レイアウト作成部４５は、上記の検索グループ「下位未満」に属すると判断する。この判断を受けて、表示制御部４６は、関連情報を、仮想レイアウト１３上に、その中心からの距離が「さらに大」となる位置へ、配置領域の大きさ「小」で配置する（Ｓ２８）。これにより、検索グループ「下位未満」に属する関連情報は、その他の検索グループに属する関連情報に比べて、文字認識範囲１２から最も離れた位置に表示される。なお、この処理においては、「下位」に属する関連情報と同じ大きさで表示される。
　次に、図８を用いて、復元処理（図６のＳ１３の処理）の一例について説明する。図６のＳ１０において、文字認識範囲１２が他撮像画像内に含まれていない場合（Ｓ１０でＮＯ）、すなわち撮像範囲が移動して文字認識範囲１２がフレームアウトした場合、表示制御部４６は、「復元」ボタン３０を表示画面に表示させる（Ｓ４１）。このとき、表示制御部４６は、表示させていた複数の関連情報のすべてを非表示とする。例えば、図１０の（ｃ）に示すような画像を表示させる。その後、ユーザが「復元」ボタン３０に触れ（または「復元」ボタン３０を押し）、操作取得部４２が当該ユーザ操作を取得すると（Ｓ４２）、図６のＳ３において保存した復元用画像を読み出し、その時点で取得している撮像画像に代えて、当該復元用画像を表示部２に表示させる（Ｓ４３）。例えば、図１１の（ａ）に示すような画像（静止画）を表示させる。
　その後、表示制御部４６は、復元用画像に重畳表示させる関連情報を準備する（Ｓ４４）。具体的には、図６のＳ５において保存した複数の関連情報を記憶部５から読み出し、当該複数の関連情報が表示画面内に収まるか否かを判断する（Ｓ４５）。表示画面内に収まると判断した場合には（Ｓ４５でＹＥＳ）、複数の関連情報の全てを復元用画像に重畳表示させる（Ｓ４７）。一方、表示画面内に収まらないと判断した場合には（Ｓ４５でＮＯ）、重畳表示可能な個数分の関連情報を、例えば検索上位の関連情報から順に選択する（Ｓ４６）。このとき、レイアウト作成部４５が作成した復元用仮想レイアウトの各配置位置に関連情報を埋め込んで、復元用画像に重畳表示させる。その結果、例えば、図１１の（ｂ）に示すような画像を表示させる。すなわち、表示画面において見切れている関連情報がないように再配置し表示させる。なお、レイアウト作成部４５によって、Ｓ４４の準備処理およびＳ４５の判定処理が行われてもよい。さらに、レイアウト作成部４５が、複数の関連情報を配置した復元用仮想レイアウトを作成し、表示制御部４６が、その復元用仮想レイアウトを復元用画像に重畳表示させてもよい。
　その後、表示制御部４６は、キャンセル処理が実行されたか（例えば、表示装置１が備えるバックキーが押下されたことを検知したか）否かを判定する（Ｓ４８）。キャンセル処理が実行された場合には（Ｓ４８でＹＥＳ）、復元処理状態を解除する（Ｓ４９）。すなわち、複数の関連情報を非表示とし、この時点で画像取得部４１が取得している撮像画像を表示部２に表示させ（スルー画像表示）、復元処理を終了する。なお、キャンセル処理が実行されない場合には（Ｓ４８でＮＯ）、当該処理が実行されるまで待機する。
　なお、図６～図８の処理において、複数の関連情報を表示させた場合、各関連情報が、仮想レイアウト１３上の配置領域にあわせて縮小して表示されてもよい。ただし、この場合、ユーザは、どのような情報が含まれているのかをある程度想定することはできるものの、その細部まで認識できない可能性がある。特に、画像および動画の場合にはその可能性が高くなる。そこで、図１２に示すように、操作取得部４２が、表示された関連情報（図中の「情報」）への接触を検知した場合に、表示制御部４６は、当該関連情報を拡大表示させてもよい。動画の場合には、拡大表示時に、動画のタイトルを示すタイトル情報および再生時間を追加で表示させてもよい。また、動画の拡大表示時に、操作取得部４２が、さらに関連情報（縮小表示された位置であっても、拡大表示された位置であってもよい）への接触を検知した場合に、表示制御部４６はその再生を開始してもよい。なお、拡大表示は、動画および画像に限らず、テキスト等の場合にも適用可能である。
　以上のように、本実施形態の表示装置１では、撮像画像内において認識された、ユーザが指定した文字の検索結果として得られる、当該文字に関する関連情報を複数取得する。そして、取得された複数の関連情報を、認識された文字の表示位置とは異なる表示位置に、撮像画像に重畳して表示させる。これにより、撮像画像の、ユーザが指定した文字以外の領域に、検索結果として得られた複数の関連情報を表示でき、ユーザの利便性を向上させることができる。また、表示装置１は、ユーザが指定した文字を検索キーワードとして複数の検索サービスから取得した複数の関連情報を、撮像画像に重畳表示させているともいえる。この表示方法により、ユーザは複数の（多くの）関連情報を同時に確認できるので、自身が所望する関連情報（目的の関連情報）に辿り着くまでのユーザの手間を少なくすることができる。また、ユーザに対して受動的に新たな情報を与えることができる。
　〔実施形態２〕
　本発明の他の実施形態について、図１３～図１６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　複数の関連情報は、それぞれ複数のファイル形式（テキスト、画像、動画等）のいずれかで構成されている。実施形態１では、複数の関連情報のファイル形式によらず、撮像画像に重畳表示させている。実施形態２では、このように表示された複数の関連情報を、ユーザ指示に従って、所定のファイル形式から構成された関連情報のみを表示させることが可能である。具体的には、表示制御部４６は、操作取得部４２が、複数のファイル形式のいずれかを選択することを示すユーザ操作を取得したときに、当該ユーザ操作が示すファイル形式を有する関連情報を表示させる。図１３および図１４を用いてこの処理の一例について説明する。図１３は、表示装置１の処理の一例を示すフローチャートである。図１４は、表示状態の一例を示す図である。
　図１４の（ａ）に示すように、表示制御部４６は、複数のファイル形式から構成された関連情報（図中の「テキスト」、「動画」および「画像」）を、文字認識範囲１２の少なくとも一部が視認可能なように、撮像画像に重畳表示している。また、この表示状態において、関連情報の選択（フィルタリング）が可能なように、表示制御部４６は、フィルタリングボタン３１を撮像画像に重畳表示している。フィルタリングボタン３１としては、例えば、混合表示ボタン３１ａ、動画表示ボタン３１ｂ、画像表示ボタン３１ｃ、テキスト表示ボタン３１ｄ等が含まれる。選択されたフィルタリングボタン３１については、例えばボタンの色が、他のボタンの色とは異なる等、ユーザが視認しやすいデザインとなっていてもよい。
　図１３に示すように、まず、表示制御部４６は、文字認識範囲１２が選択されると、異なるファイル形式から構成された複数の関連情報とフィルタリングボタン３１とを、撮像画像に重畳表示させる（Ｓ６１；混合表示中（初期表示状態））。この表示状態において、ユーザがフィルタリングボタン３１のいずれかに触れた（いずれかを押下したか）否かを判断する。すなわち、操作取得部４２は、そのようなユーザ操作を検知したか否かを判断する（Ｓ６２）。フィルタリングボタン３１への接触を検知した場合（Ｓ６２でＹＥＳ）、表示制御部４６は、選択されたフィルタリングボタン３１の種別を判断する（Ｓ６３）。なお、フィルタリングボタン３１への接触が検知できない場合には（Ｓ６２でＮＯ）、フィルタリングボタン３１への接触を検知するまで待機する。
　表示制御部４６は、混合表示ボタン３１ａが選択されたと判断した場合には（「混合表示ボタン」）、テキスト、動画、画像等からそれぞれ構成される関連情報（混合情報）を混合して表示させた現在の表示状態を維持する。一方、現在の表示状態が、いずれかのファイル形式から構成された関連情報のみ（例えば画像のみ）を表示させた状態である場合には、その表示状態を変更して、テキスト、動画、画像等からそれぞれ構成される関連情報（混合情報）を混合して表示させる表示状態に切り替える（Ｓ６４）。同様に、動画表示ボタン３１ｂが選択されたと判断した場合には（「動画表示ボタン」）、動画から構成される関連情報（動画情報）のみを表示する表示状態に切り替える（Ｓ６５）。また、画像表示ボタン３１ｃが選択されたと判断した場合には（「画像表示ボタン」）、画像から構成される関連情報（画像情報）のみを表示する表示状態に切り替える（Ｓ６６）。テキスト表示ボタン３１ｄが選択されたと判断した場合には（「テキスト表示ボタン」）、テキストから構成される関連情報（テキスト情報）のみを表示する表示状態に切り替える（Ｓ６７）。そして、表示制御部４６は、選択されたフィルタリングボタン３１に対応して、複数の関連情報を表示させる（Ｓ６８）。
　例えば、動画表示ボタン３１ｂが選択されたと判断されると、図１４の（ｂ）に示すように、動画表示ボタン３１ｂの色が、他のボタンの色とは異なるように表示される。そして、動画から構成される関連情報のみが表示される。また、同図に示すように、さらに表示可能な関連情報が存在する場合には、「次」ボタン３２が表示される。「次」ボタン３２への接触が検知されると、非表示の関連情報が、現在表示されている関連情報に切り替えて表示される。また、この場合には、元の表示状態に戻ることが可能なように、「前」ボタン３３が表示される。換言すれば、表示制御部４６は、取得された複数の関連情報の全てを、撮像画像に重畳表示させていない場合には、非表示の関連情報を表示することを示すユーザ操作を取得したときに、重畳表示させた関連情報に代えて、当該非表示の関連情報を表示させる。
　次に、「前」ボタン３３および「次」ボタン３２の表示処理について、図１５および図１６を用いて説明する。図１５は、「前」ボタン３３および「次」ボタン３２の表示判別の流れの一例を示すフローチャートである。図１６は、「前」ボタン３３または「次」ボタン３２への接触を検知したときの処理の流れの一例を示すフローチャートである。
　まず、図１５に示すように、表示制御部４６は、記憶部５に、図６のＳ５にて取得された関連情報のうち、未表示の関連情報が存在するか否かを確認する（Ｓ８１）。未表示の関連情報が存在しないと判断した場合には（Ｓ８１でＮＯ）、ネットワーク上に追加で取得可能な関連情報が存在するか否かを確認する（Ｓ８２）。例えば、表示制御部４６は、検索処理部４４が、図６のＳ５の処理と同様、決定した検索キーワード（ユーザが指定した文字）に関する関連情報で、かつ、記憶部５に保存した関連情報以外の関連情報を、ネットワーク上の検索サイトが有するデータベースから取得した場合には、ネットワーク上に追加で取得可能な関連情報が存在すると判断する。なお、Ｓ８１およびＳ８２の処理は、表示されている関連情報のファイル形式にあわせて実行されればよい。例えば、動画から構成される関連情報のみが表示されている場合には、ファイル形式が動画の関連情報のみを、Ｓ８１およびＳ８２の処理対象とすればよい。
　Ｓ８１で未表示の関連情報が存在すると判断した場合（Ｓ８１でＹＥＳ）、または、Ｓ８２で、追加で取得可能な関連情報が存在すると判断した場合には（Ｓ８２でＹＥＳ）、表示制御部４６は、取得された複数の関連情報の全てを、撮像画像に重畳表示させていないと判断し、「次」ボタン３２を撮像画像に重畳表示させる。一方、未表示の関連情報も、追加で取得可能な関連情報も存在しないと判断した場合には（Ｓ８２でＮＯ）、「次」ボタン３２は表示させず、Ｓ８４の処理に移行する。
　次に、表示制御部４６は、「次」ボタン３２の押下カウンタが０であるか否かを確認する（Ｓ８４）。この押下カウンタとは、「次」ボタン３２への接触回数（押下回数）をカウントした結果を示すものである。押下カウンタ「０」は、現在表示されている関連情報以前に表示されていた関連情報が存在しないことを指す。すなわち、「前」ボタン３３を表示させ、「前」ボタン３３に対するユーザ操作を受け付けたとしても、表示させる関連情報が存在しないことを指す。従って、表示制御部４６は、押下カウンタが０であると判断した場合には（Ｓ８４でＹＥＳ）、「前」ボタン３３を非表示とする（Ｓ８６）。一方、押下カウンタが０ではないと判断した場合（押下カウンタが０より大きい場合）には（Ｓ８４でＮＯ）、「前」ボタン３３を表示させる（Ｓ８５）。
　また、図１６に示すように、操作取得部４２は、「前」ボタン３３または「次」ボタン３２への接触が検知されたか否かを判断する（Ｓ１０１）。接触を検知した場合には（Ｓ１０１でＹＥＳ）、表示制御部４６は、その検知位置から、いずれのボタンが選択されたか否かを判断する（Ｓ１０２）。なお、接触を検知できない場合には（Ｓ１０１でＮＯ）、接触を検知するまで待機する。そして、「次」ボタン３２が選択されたと判断した場合には（Ｓ１０２で「次」ボタン）、表示制御部４６は、表示中の関連情報に代えて、未表示の関連情報（次の関連情報）を表示させ、押下カウンタをインクリメントする。一方、「前」ボタン３３が選択されたと判断した場合には（Ｓ１０２で「前」ボタン）、表示制御部４６は、表示中の関連情報に代えて、前回表示していた関連情報（前の関連情報）を表示させ、押下カウンタをデクリメントする。なお、「前」ボタン３３および「次」ボタン３２は、図１４の（ａ）の状態において表示されてもよい。この場合、「前」ボタン３３または「次」ボタン３２への接触を検知した場合には、例えば、ファイル形式ごとに関連情報が入れ替えられればよい。
　以上のように、本実施形態の表示装置１によれば、フィルタリングボタン３１を表示することにより、複数の関連情報を、ファイル形式を絞って表示できる。また、複数の関連情報を混合表示させることにより、ユーザに様々な関連情報を確認させることができる。そして、混合表示後に、ユーザが所望するファイル形式（有用と判断したカテゴリ）に絞って表示することにより、ユーザは、自身が所望する関連情報を探し易くなる。また、「前」ボタン３３または「次」ボタン３２を表示することにより、全ての関連情報を確認することが可能となる。すなわち、ユーザが「前」ボタン３３または「次」ボタン３２に触れることにより、所望する関連情報が表示されていない場合に、非表示の関連情報を更に表示させることができる。例えば、「次」ボタン３２に触れることにより、下位の関連情報も容易に確認できる。従って、これらのボタンを表示することにより、ユーザの利便性を向上させることができる。
　〔実施形態３〕
　本発明の他の実施形態について、図１７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　実施形態１および２では、検索順位に対応して配置領域の大きさが変更される例について説明した。本実施形態では、個々の配置領域に配置された関連情報の情報量を、その配置位置に応じて変更する例について説明する。図１７は、表示状態の一例を示す図である。なお、図１７は、説明の便宜上、表示部２の表示画面の一部を抽出したものである。
　表示制御部４６は、個々の配置領域に配置された関連情報の情報量を、その配置位置に応じて決定する。換言すれば、文字認識範囲１２からの距離に応じて、仮想レイアウト１３の各配置領域に表示させる関連情報の情報量を増減させる。図４に示す検索結果テーブルに従って仮想レイアウト１３が作成される場合、文字認識範囲１２に近いほど（検索結果が上位の関連情報ほど）、配置領域の大きさが大きくなる。例えば、表示制御部４６は、各配置領域の大きさに合わせて関連情報の情報量を決定してもよい。
　図１７では、動画から構成される関連情報が、文字認識範囲１２に近いほど、その配置領域が大きく、かつ、当該配置領域に埋め込まれる関連情報の情報量が多くなっている。具体的には、図１７では、文字認識範囲１２から最も遠い配置領域Ｒ３には、動画のサムネイル、再生ボタンおよび再生時間といった情報が表示されている。この配置領域Ｒ３に隣接し、かつ、配置領域Ｒ３よりも文字認識範囲１２に近い配置領域Ｒ２には、上記３つの情報に加え、追加領域５１にレーティング情報が表示されている。そして、文字認識範囲１２から最も近い配置領域Ｒ１には、上記４つの情報に加え、追加領域５２にコメント情報が表示されている。
　以上のように、本実施形態の表示装置１によれば、例えば、ユーザが視認しやすい位置（例えば、文字認識範囲１２の近傍）に表示された関連情報の情報量を、それ以外の関連情報の情報量よりも多くすることができ、利便性を向上させることができる。
　〔ソフトウェアによる実現例〕
　表示装置１の制御ブロック（特に制御部４の各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、表示装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る表示装置（１）は、撮像画像を表示可能な表示装置であって、上記撮像画像内においてユーザが指定した文字を認識する文字認識部（ＯＣＲ処理部４３）と、上記文字認識部が認識した上記文字の検索結果として得られる、当該文字に関する関連情報を複数取得する関連情報取得部（検索処理部４３）と、上記関連情報取得部が取得した上記複数の関連情報を、上記文字認識部が認識した上記文字の表示位置とは異なる表示位置に、上記撮像画像に重畳して表示させる表示制御部（表示制御部４６）と、を備えている。上記構成によれば、撮像画像の、ユーザが指定した文字以外の領域に、検索結果として得られた複数の関連情報を表示できる。それゆえ、例えば、撮像画像とは別に検索結果を表示する領域を設けたり、スクロールバーを設けたりすることなく、ユーザは、複数の関連情報を容易に確認できる。また、検索結果としての複数の関連情報の容易な確認を実現するために、検索先を予め指定するといった操作をユーザに要求する必要もない。従って、本発明によれば、ユーザの利便性を向上させることができる。
　さらに、本発明の態様２に係る表示装置は、上記態様１において、上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報のうち、上記検索結果が上位の関連情報ほど、上記文字認識部が認識した上記文字の近傍に表示させてもよい。一般に、認識した文字はユーザが指定したものであるため、ユーザはその近傍を視認している可能性が高い。上記構成によれば、上位の関連情報ほど、当該文字の近傍に表示されるため、当該上位の関連情報から順に、ユーザの注意を惹くことができる。
　さらに、本発明の態様３に係る表示装置は、上記態様１または２において、上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報のうち、上記検索結果が上位の関連情報ほど、当該関連情報が表示される表示領域が大きくなるように、上記複数の関連情報を表示させてもよい。上記構成によれば、上位の関連情報ほど、表示領域が大きくなるように表示されるため、当該上位の関連情報から順に、ユーザの注意を惹くことができる。
　さらに、本発明の態様４に係る表示装置は、上記態様１から３のいずれかにおいて、上記表示制御部は、上記文字認識部が認識した上記文字の表示位置の移動に追従するように、上記複数の関連情報を表示させてもよい。上記構成によれば、上記文字の表示位置の移動に追従するように複数の関連情報を表示できる。すなわち、撮像範囲が移動した場合であっても、その移動にあわせて、複数の関連情報を表示できる。それゆえ、ユーザは、表示装置を移動させるだけで、より多くの関連情報を視認できる。
　さらに、本発明の態様５に係る表示装置は、上記態様１から４のいずれかにおいて、上記文字認識部が認識した上記文字をその中心としたときに、上記関連情報取得部が取得した上記複数の関連情報のそれぞれを配置する配置位置を、当該中心とは異なる位置に規定した仮想平面（仮想レイアウト１３）を作成する仮想平面作成部（レイアウト作成部４５）と、上記文字認識部が上記文字を認識したときの撮像画像とは異なる他撮像画像を取得した場合に、当該他撮像画像内に、上記文字認識部が認識した上記文字が含まれているか否かを判定する文字有無判定部（文字有無判定部４７）と、備え、上記文字有無判定部によって、上記他撮像画像内に、上記文字認識部が認識した上記文字が含まれていると判定された場合に、上記表示制御部は、上記他撮像画像内に含まれている上記文字の表示位置と、上記仮想平面の中心とを一致させたときに、上記仮想平面において規定された上記配置位置に配置した上記複数の関連情報のうち、上記他撮像画像内に含まれる複数の関連情報を、当該他撮像画像に重畳して表示させてもよい。上記構成によれば、他撮像画像内に認識された文字が含まれている場合には、他撮像画像内に含まれている文字の表示位置と仮想平面の中心とを一致させたときに、他撮像画像内に含まれる、仮想平面に配置された複数の関連情報が、当該他撮像画像に重畳して表示される。そのため、他撮像画像内に認識された文字が含まれている場合には、撮像範囲の移動にあわせて、複数の関連情報を表示できる。
　さらに、本発明の態様６に係る表示装置は、上記態様１から５のいずれかにおいて、上記文字認識部が上記文字を認識したときの撮像画像とは異なる他撮像画像を取得した場合に、当該他撮像画像内に、上記文字認識部が認識した上記文字が含まれているか否かを判定する文字有無判定部と、備え、上記表示制御部は、上記文字有無判定部によって、上記他撮像画像内に上記文字認識部が認識した上記文字が含まれていないと判定された場合には、当該複数の関連情報を非表示としてもよい。上記構成によれば、他撮像画像内に認識された文字が含まれていない場合には、複数の関連情報を非表示とする。それゆえ、例えば、当該文字の関連情報を取得した後、当該文字とは異なる文字に関する関連情報を取得したい場合に、他撮像画像内に認識された文字が含まれないように撮像範囲を移動するだけで、当該関連情報を非表示にすることができる。そのため、様々な文字に関する関連情報を表示させるときのユーザ操作（繰り返し操作）を容易にでき、ユーザの利便性をさらに向上させることが可能となる。
　さらに、本発明の態様７に係る表示装置は、上記態様６において、上記表示制御部は、上記複数の関連情報を再表示することを示すユーザ操作を取得したときに、上記複数の関連情報を重畳表示させた、上記文字認識部が上記文字を認識したときの撮像画像を表示させてもよい。他撮像画像内に認識された文字が含まれておらず、複数の関連情報を非表示にした場合であっても、この認識された文字に関する関連情報を再度視認したい、または更なる関連情報を視認したいことも想定される。また、誤って、他撮像画像内に認識された文字が含まれないように撮像範囲を移動して、関連情報が非表示になってしまう（消去されてしまう）場合も想定される。上記構成によれば、複数の関連情報を再表示することを示すユーザ操作を取得したときに、上記視認したい関連情報を容易に表示できるので、この認識された文字を再度指定させて、検索等の処理を行うことを要しない。それゆえ、ユーザの利便性をさらに向上させることができる。
　さらに、本発明の態様８に係る表示装置は、上記態様１から７のいずれかにおいて、上記複数の関連情報は、それぞれ複数のファイル形式のいずれかで構成されており、上記表示制御部は、上記複数のファイル形式のいずれかを選択することを示すユーザ操作を取得したときに、当該ユーザ操作が示すファイル形式から構成された関連情報を表示させてもよい。上記構成によれば、複数の関連情報を、ファイル形式を絞って表示できるので、ユーザは、所望する関連情報を迅速にかつ容易に確認することが可能となる。
　さらに、本発明の態様９に係る表示装置は、上記態様１から８のいずれかにおいて、上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報の全てを、上記撮像画像に重畳表示させていない場合には、非表示の関連情報を表示することを示すユーザ操作を取得したときに、重畳表示させた関連情報に代えて、当該非表示の関連情報を表示させてもよい。上記構成によれば、全ての関連情報が表示されていない場合には、ユーザは、自身が満足するまで（例えば、必要な関連情報を取得するまで）、表示装置が取得している関連情報を確認できる。
　さらに、本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各部として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の表示制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、撮像画像を表示可能な表示装置、例えばスマートフォン、タブレット等の携帯型情報端末、カーナビゲーション等の車載用情報端末に好適に利用することができる。また、撮像画像を表示可能な表示装置を備えた掃除機、冷蔵庫等の電化製品にも公的に利用できる。
　１　　表示装置、１３　仮想レイアウト（仮想平面）、４３　ＯＣＲ処理部（文字認識部）、４４　検索処理部（関連情報取得部）、４５　レイアウト作成部（仮想平面作成部）、４６　表示制御部、４７　文字有無判定部

Claims (10)

  1. 　撮像画像を表示可能な表示装置であって、
    　上記撮像画像内においてユーザが指定した文字を認識する文字認識部と、
    　上記文字認識部が認識した上記文字の検索結果として得られる、当該文字に関する関連情報を複数取得する関連情報取得部と、
    　上記関連情報取得部が取得した上記複数の関連情報を、上記文字認識部が認識した上記文字の表示位置とは異なる表示位置に、上記撮像画像に重畳して表示させる表示制御部と、を備えることを特徴とする表示装置。
  2. 　上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報のうち、上記検索結果が上位の関連情報ほど、上記文字認識部が認識した上記文字の近傍に表示させることを特徴とする請求項１に記載の表示装置。
  3. 　上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報のうち、上記検索結果が上位の関連情報ほど、当該関連情報が表示される表示領域が大きくなるように、上記複数の関連情報を表示させることを特徴とする請求項１または２に記載の表示装置。
  4. 　上記表示制御部は、上記文字認識部が認識した上記文字の表示位置の移動に追従するように、上記複数の関連情報を表示させることを特徴とする請求項１～３のいずれか１項に記載の表示装置。
  5. 　上記文字認識部が認識した上記文字をその中心としたときに、上記関連情報取得部が取得した上記複数の関連情報のそれぞれを配置する配置位置を、当該中心とは異なる位置に規定した仮想平面を作成する仮想平面作成部と、
    　上記文字認識部が上記文字を認識したときの撮像画像とは異なる他撮像画像を取得した場合に、当該他撮像画像内に、上記文字認識部が認識した上記文字が含まれているか否かを判定する文字有無判定部と、備え、
    　上記文字有無判定部によって、上記他撮像画像内に、上記文字認識部が認識した上記文字が含まれていると判定された場合に、
    　上記表示制御部は、上記他撮像画像内に含まれている上記文字の表示位置と、上記仮想平面の中心とを一致させたときに、上記仮想平面において規定された上記配置位置に配置した上記複数の関連情報のうち、上記他撮像画像内に含まれる複数の関連情報を、当該他撮像画像に重畳して表示させることを特徴とする請求項４に記載の表示装置。
  6. 　上記文字認識部が上記文字を認識したときの撮像画像とは異なる他撮像画像を取得した場合に、当該他撮像画像内に、上記文字認識部が認識した上記文字が含まれているか否かを判定する文字有無判定部と、備え、
    　上記表示制御部は、上記文字有無判定部によって、上記他撮像画像内に上記文字認識部が認識した上記文字が含まれていないと判定された場合には、当該複数の関連情報を非表示とすることを特徴とする請求項１～５のいずれか１項に記載の表示装置。
  7. 　上記表示制御部は、上記複数の関連情報を再表示することを示すユーザ操作を取得したときに、上記複数の関連情報を重畳表示させた、上記文字認識部が上記文字を認識したときの撮像画像を表示させることを特徴とする請求項６に記載の表示装置。
  8. 　上記複数の関連情報は、それぞれ複数のファイル形式のいずれかで構成されており、
    　上記表示制御部は、上記複数のファイル形式のいずれかを選択することを示すユーザ操作を取得したときに、当該ユーザ操作が示すファイル形式から構成された関連情報を表示させることを特徴とする請求項１～７のいずれか１項に記載の表示装置。
  9. 　上記表示制御部は、上記関連情報取得部が取得した上記複数の関連情報の全てを、上記撮像画像に重畳表示させていない場合には、非表示の関連情報を表示することを示すユーザ操作を取得したときに、重畳表示させた関連情報に代えて、当該非表示の関連情報を表示させることを特徴とする請求項１～８のいずれか１項に記載の表示装置。
  10. 　請求項１～９のいずれか１項に記載の表示装置としてコンピュータを機能させるための表示制御プログラムであって、コンピュータを上記各部として機能させるための表示制御プログラム。
PCT/JP2015/060861 2014-04-22 2015-04-07 表示装置および表示制御プログラム WO2015163140A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-088334 2014-04-22
JP2014088334 2014-04-22

Publications (1)

Publication Number Publication Date
WO2015163140A1 true WO2015163140A1 (ja) 2015-10-29

Family

ID=54332307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060861 WO2015163140A1 (ja) 2014-04-22 2015-04-07 表示装置および表示制御プログラム

Country Status (1)

Country Link
WO (1) WO2015163140A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360479B2 (en) * 2015-11-11 2019-07-23 Samsung Electronics Co., Ltd. Device and method for processing metadata
US20220068276A1 (en) * 2020-09-01 2022-03-03 Sharp Kabushiki Kaisha Information processor, print system, and control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257341A (ja) * 2007-04-02 2008-10-23 Sony Corp 検索結果表示装置、検索結果表示方法及びプログラム
JP2010128845A (ja) * 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像表示方法及び画像表示プログラム
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2011165092A (ja) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 文書画像関連情報提供装置、及び文書画像関連情報取得システム
WO2013172096A1 (ja) * 2012-05-18 2013-11-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257341A (ja) * 2007-04-02 2008-10-23 Sony Corp 検索結果表示装置、検索結果表示方法及びプログラム
JP2010128845A (ja) * 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像表示方法及び画像表示プログラム
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2011165092A (ja) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 文書画像関連情報提供装置、及び文書画像関連情報取得システム
WO2013172096A1 (ja) * 2012-05-18 2013-11-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAZUTAKA TAKEDA ET AL.: "Smart Phone de Dosa suru Real Time Bunsho Gazo Kensaku", IEICE TECHNICAL REPORT, vol. 111, no. 317, 17 November 2011 (2011-11-17), pages 31 - 36 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360479B2 (en) * 2015-11-11 2019-07-23 Samsung Electronics Co., Ltd. Device and method for processing metadata
US10558896B2 (en) 2015-11-11 2020-02-11 Samsung Electronics Co., Ltd. Device and method for processing metadata
US11328186B2 (en) 2015-11-11 2022-05-10 Samsung Electronics Co., Ltd. Device and method for processing metadata
US20220068276A1 (en) * 2020-09-01 2022-03-03 Sharp Kabushiki Kaisha Information processor, print system, and control method

Similar Documents

Publication Publication Date Title
US10579187B2 (en) Display control apparatus, display control method and display control program
CN110069189B (zh) 信息处理装置、信息处理方法和非瞬时性计算机可读介质
US8103963B2 (en) Graphical user interface, display control device, display method, and program
KR101411593B1 (ko) Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
TWI669652B (zh) 資訊處理裝置、資訊處理方法及電腦程式
US20150077362A1 (en) Terminal with fingerprint reader and method for processing user input through fingerprint reader
EP3413184B1 (en) Mobile terminal and method for controlling the same
WO2012157562A1 (ja) 表示装置、ユーザインタフェース方法及びプログラム
US20110209080A1 (en) Display method and electronic device for using the same
US20150007016A1 (en) Mobile terminal and method of operating the same
KR20130097488A (ko) 정보 제공 방법 및 이를 위한 이동 단말기
CN111857508B (zh) 任务管理方法、装置及电子设备
US20110125731A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2007317034A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN110442277B (zh) 显示预览窗口信息的方法及电子设备
US20110274346A1 (en) Information Processing Apparatus, Information Processing Method and Program
CN110286977B (zh) 显示方法及相关产品
US20180024976A1 (en) Annotation providing method and device
JP6020191B2 (ja) 表示制御装置及びプログラム
US10162507B2 (en) Display control apparatus, display control system, a method of controlling display, and program
US9753548B2 (en) Image display apparatus, control method of image display apparatus, and program
JP2010165117A (ja) 検索対象コンテンツの特徴を利用したコンテンツ表示方法
KR20120140291A (ko) 단말기 및 그 단말기에서 데이터 표시 방법
US20180188951A1 (en) Mobile terminal
WO2015163140A1 (ja) 表示装置および表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15783483

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15783483

Country of ref document: EP

Kind code of ref document: A1