WO2023176529A1 - 情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム - Google Patents

情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム Download PDF

Info

Publication number
WO2023176529A1
WO2023176529A1 PCT/JP2023/008194 JP2023008194W WO2023176529A1 WO 2023176529 A1 WO2023176529 A1 WO 2023176529A1 JP 2023008194 W JP2023008194 W JP 2023008194W WO 2023176529 A1 WO2023176529 A1 WO 2023176529A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
search result
communication terminal
terminal device
information communication
Prior art date
Application number
PCT/JP2023/008194
Other languages
English (en)
French (fr)
Inventor
禎明 前刀
直也 桑島
Original Assignee
株式会社リアルディア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リアルディア filed Critical 株式会社リアルディア
Publication of WO2023176529A1 publication Critical patent/WO2023176529A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present invention relates to an information communication terminal device adapted to an information search service, a display control method in the device, and a computer program for executing the method.
  • a so-called Internet search is an information search service on a website for searching a huge amount of information (resources) distributed on the Internet.
  • a server program called a search engine on a service provider's website performs an index search based on a search query given by a user, and provides the user with the search results. do. For example, when a user accesses a search site via a web browser and enters characters or character strings related to the resource they want to search as a search query, the search engine analyzes the search query, searches the index, and extracts The searched resources are scored based on a predetermined ranking algorithm, sorted in order of score, and the list is provided to the user as a search result.
  • Patent Document 1 discloses a technology that displays not only response results to a search query but also response results to related queries. Further, Patent Document 1 discloses that these results are arranged in order along a plurality of display axes, including at least one axis corresponding to the ordering of various search queries, and displayed in an arranged manner. Discloses technology for displaying images without displaying them. Additionally, US Pat. No. 5,090,301 discloses a technique that allows results to be translated along one or more of the display axes so that a user can browse various results.
  • Patent Document 1 can display images for related queries in addition to images for a search query, aligned or unaligned. It was not intended to encourage
  • an object of the present invention is to provide an information communication terminal device and a display control method using the same, which enable a user to seamlessly embody a thinking process and encourage thought arousal and activation. do.
  • one of the objects of the present invention is to prevent interruptions in the thinking process by realizing a series of smooth user operations from inputting a search query to displaying search results in an information search service.
  • An object of the present invention is to provide an information communication terminal device and a display control method using the same, which avoid this problem and make it possible to embody a seamless thinking process.
  • Another object of the present invention is to provide an information and communication terminal device that can display search results for a search query in a manner that makes the user feel comfortable, thereby stimulating and activating thinking.
  • An object of the present invention is to provide a display control method based on the above.
  • the present invention for solving the above problems is constituted by including the following invention specific matters or technical features.
  • the present invention is an information communication terminal device that is communicatively connected to a search server.
  • the information communication terminal device includes a user interface unit including a touch panel, a search query acquisition unit that acquires a search query, and a search result including a plurality of search result images transmitted from the search server in response to the search query.
  • the search result acquisition unit may include a search result acquisition unit that acquires the search results, and a display control unit that performs control to display each of the plurality of search result images included in the search results on a screen representing a virtual space on the touch panel.
  • the display control unit may control each of the plurality of search result images to be displayed in animation in order with a visually recognizable time difference.
  • the information communication terminal device may further include a recognition unit that performs a first recognition process based on line drawing data input by hand on the screen on the touch panel.
  • the search query acquisition unit may acquire a text (keyword) recognized by the recognition unit as the search query.
  • the recognition unit may start executing the first recognition process in response to a user's first operation action on the line drawing data on the screen on the touch panel.
  • the first operation action may be drawing a line that surrounds at least a portion of an area indicated by the line drawing data on the screen on the touch panel.
  • the recognition unit may be configured to perform a second recognition process on the image data to generate object information.
  • the search query acquisition unit may acquire the search query based on the generated object information.
  • the display control unit also controls the animation so that each of the plurality of search result images gradually appears from a first position determined for the search result image within the screen on the touch panel. Display can be controlled.
  • the animation display includes a mode in which the search result image is visually completed gradually, a mode in which the search result image is visually expressed in perspective, and a mode in which the search result image is visually emphasized. It can be at least one of them.
  • the display control unit also determines the first position within the screen for each of the plurality of search result images, and displays each of the search result images at the determined first position. It can be controlled so that
  • the first positions for each of the search result images are not geometrically aligned with each other. That is, the display control unit may randomly determine the first position for each search result image.
  • the display control unit may control the animation display so that the displayed search result image gradually disappears after a predetermined period of time has elapsed.
  • the display control unit may also be configured to display the at least one search result in response to a user's second operation action on at least one search result image of interest among the plurality of search result images on the screen on the touch panel.
  • the resulting image may be controlled to move to a second position on the screen.
  • search query acquisition unit may be configured to select the at least one search result image in response to a user's second operation action for at least one search result image of interest among the plurality of search result images on the screen on the touch panel.
  • New search queries may be obtained based on metadata associated with search result images.
  • the display control unit may also be configured to display the at least one search result in response to a user's second operation action on at least one search result image of interest among the plurality of search result images on the screen on the touch panel.
  • control may be performed to highlight the at least one search result image of interest.
  • the search query acquisition unit may acquire a new search query based on metadata associated with the at least one search result image of interest.
  • the display control unit may control the animation display to gradually increase the speed at which each of the plurality of search result images appears in response to the second operation action.
  • the display control unit may be configured to display the at least one search result image in response to a third operation action of the user on at least one non-attention search result image among the plurality of search result images on the screen on the touch panel. Control may be performed to erase uninteresting search result images from the screen.
  • the search query acquisition unit may be configured to associate search result images with some search result images other than the at least one non-attention search result image among the plurality of search result images.
  • New search queries may be obtained based on the metadata.
  • the present invention according to another aspect is a method for displaying search results by an information communication terminal device communicably connected to a search server.
  • the method includes obtaining a search query from a user's input on a touch panel of the information communication terminal device, and obtaining search results including a plurality of search result images transmitted from the search server in response to the search query. and performing display control to display each of the plurality of search result images included in the search results on a screen representing a virtual space on a touch panel of the information communication terminal device.
  • Performing the display control may include controlling each of the plurality of search result images to be displayed in an animated manner in order with a visually recognizable time difference.
  • the present invention according to another aspect provides a computer program for realizing a method for displaying search results sent from a search server in response to a search query on an information communication terminal device, or non-temporarily recording the same. It may be a computer-readable recording medium.
  • a "system” includes a logical collection of multiple devices (or functional modules that realize a specific function), and each device or functional module is physically treated as a single entity. It does not matter whether it is constituted or constituted as a separate object.
  • an information search service it is possible to realize a series of smooth operations from inputting a search query to displaying search results. This allows the user to avoid interruptions in the thinking process and realize a seamless thinking process.
  • search results for a search query can be displayed in a manner that makes the user feel comfortable. This prompts and activates the user's thinking, allowing him or her to engage in more creative activities.
  • FIG. 1 is a diagram for explaining an example of a schematic configuration of a creation support system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of the hardware configuration of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of the contents of a memory module of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing an example of a functional configuration model of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an example of processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an example of handwritten input processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 1 is a diagram for explaining an example of a schematic configuration of a creation support system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of the hardware configuration of an information communication terminal device according
  • FIG. 7 is a flowchart illustrating an example of a search process by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an example of search result display processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an example of animation display processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an example of object selection processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an example of object movement processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating an example of object deletion processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 13 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 15 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 16 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 17 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 18 is a diagram showing an example of a screen on a touch panel of an information communication terminal device according to an embodiment of the present invention.
  • FIG. 19 is a flowchart showing another example of object selection processing by the information communication terminal device according to an embodiment of the present invention.
  • FIG. 20 is a diagram showing another example of the screen on the touch panel of the information communication terminal device according to an embodiment of the present invention.
  • FIG. 1 is a diagram for explaining an example of a schematic configuration of a creation support system according to an embodiment of the present invention.
  • the creation support system 1 of the present embodiment includes, for example, a search server 20 and an information communication terminal device 30 that are communicably connected to each other via a communication network 10.
  • the search server 20 and the information communication terminal device 30 constitute a server/client model that implements an information search system.
  • the creation support system 1 may include a creation support server 40.
  • the communication network 10 may include, for example, an IP-based computer network (hereinafter referred to as "IP network").
  • IP network IP-based computer network
  • the communication network 10 is used in a broad concept including the Internet constructed by IP networks, but is not limited to IP networks, and is not intended to exclude networks using other protocols that enable communication between nodes. do not have.
  • the communication network 10 may include a wireless network (eg, Wi-Fi (registered trademark), etc.) constructed by wireless base stations or wireless access points (not shown).
  • the communication network 10 may include a mobile communication network compliant with mobile communication system standards.
  • the search server 20 is a computing device that provides information search services to users.
  • the search server 20 includes, for example, a search engine 22 and a database 24.
  • the search server 20 may also include a crawler that functions as a robot agent. The crawler visits web pages on the Internet, collects and analyzes information on the visited web pages, and thereby creates an index for referring to and searching the database 24.
  • the search server 20 Based on the search query received from the user's information communication terminal device 30, the search server 20 performs an index search using the search engine 22, extracts the corresponding resource from the database 24, and transmits it to the information communication terminal device 30.
  • Search engine 22 may be configured to perform a search by performing machine inference based on a search query and/or search history, for example.
  • the resource extracted for the search query is an image. Images may include still images and moving images.
  • the website (search site) provided by the search server 20 may be any website that can be accessed by the user using the information communication terminal device 30, and may be a known search site on the Internet.
  • the information communication terminal device 30 is a computing device operated by a user, and typically corresponds to a tablet computer, etc., but is not limited to this, and is configured to be able to realize the present invention. Any device is fine.
  • the information communication terminal device 30 is assumed to be a tablet computer capable of interactive operation using a touch panel or a touch screen.
  • the information communication terminal device 30 implements a creation support program that realizes a user interface environment that allows the user to effectively utilize his or her creative abilities.
  • the creation support server 40 is, for example, a computing device that functions as a cloud server for the information communication terminal device 30, for example.
  • the creation support server 40 manages, for example, accounts of users who operate the information communication terminal device 30. Further, the creation support server 40 can store predetermined operation actions performed by the user on the information communication terminal device 30 and a series of processes corresponding thereto as an operation history.
  • FIG. 2 is a diagram showing an example of the hardware configuration of an information communication terminal device adapted to the creation support system according to an embodiment of the present invention. In the figure, among the various hardware resources constituting the information communication terminal device 30, those particularly relevant to the present invention are shown.
  • the information communication terminal device 30 typically includes one or more processor modules 31, a chipset 32, a memory module 33, an I/O controller 34, and various types of It may be configured to include a peripheral interface 35 and various input/output devices 36 (touch panel 36a, etc.).
  • the processor module 31 includes, but is not limited to, a processor (processor core), a microcontroller, a digital signal processor, and/or a combination thereof, for example.
  • the chipset 32 is composed of a circuit that integrates a bridge for a bus connecting the processor module 31, memory module 33, I/O controller 34, etc., and other components necessary to configure the information communication terminal device 30. Chipset 32 is controlled by processor module 31, for example.
  • the processor module 31 may be simply referred to as a "processor".
  • the memory module 33 is a primary storage device made of volatile memory (for example, RAM), nonvolatile memory (for example, ROM, flash memory, etc.), and/or a combination thereof, which is used by the processor module 31.
  • Memory module 33 may also include video memory (VRAM) for touch panel 36a.
  • VRAM video memory
  • the memory module 33 may be simply referred to as "memory”.
  • the memory module 33 holds various software resources, such as device drivers, operating system (OS) programs, one or more application programs, and various data, as shown in FIG. 3, for example.
  • the application program includes a creation support program that is executed on the OS of the information communication terminal device 30 under the control of the processor module 31. Under the control of the processor module 31, the creation support program causes the information and communication terminal device 30 to realize a user interface environment that allows the user to effectively utilize his or her creative abilities. Some processes in the creation support program may be executed as different threads or processes on the processor module 31.
  • the various data include, for example, image data (still image data and moving image data). Various types of data are stored as image files in, for example, image folders that are logically configured on the memory module 33.
  • the I/O controller 34 is a circuit that controls data transfer between various peripheral interfaces 35 (for example, the I/O interface 35a and the communication interface 35b).
  • the I/O interface 35a controls the operation of the input/output devices 36 that constitute the user interface.
  • the communication interface 35b is a circuit that enables computer communication via the IP network 12.
  • the input/output device 36 includes, for example, a touch panel 36a, a speaker 36b, a camera 36c, and the like. Although not shown, the input/output device 36 may include a microphone for audio input.
  • the touch panel 36a is a display for displaying multimedia data such as text data, image data (still image data and moving image data), graphic data, etc., and a transparent touch panel formed to approximately match the size of the display. It consists of a sensor.
  • the touch panel 36a is an example of a device that implements a user interface environment.
  • the input/output device 36 may be configured to include a display and a touch pad configured separately from the display, instead of the touch panel 36a.
  • the touch panel 36a displays various screens on the display under the control of the processor module 31 and accepts interactive operations from the user. The user can provide various inputs to the touch panel 36a by operating actions using a pen (stylus) or finger, for example.
  • the speaker 36b outputs audio or sound based on an audio signal generated by a sound driver (not shown). Under the control of the processor module 31, the speaker 36b reads out text data, outputs music, sound effects, etc., for example.
  • the camera 36c generates image data using an image sensor under the control of the processor module 31.
  • Image data generated by camera 36c is stored in memory module 33 as an image file.
  • object information for example, name, etc.
  • image recognition processing is generated from such an image file through image recognition processing, and is converted into a search query based on the object information.
  • FIG. 4 is a block diagram showing an example of a functional configuration model of an information communication terminal device according to an embodiment of the present invention.
  • the information communication terminal device 30 is shown as a functional configuration model including, for example, a control section 310, a storage section 320, a user interface section 330, and a communication interface section 340.
  • a functional configuration model is realized by executing the creation support program under the control of the processor module 31 in cooperation with the various software resources and/or hardware resources described above.
  • the control unit 310 centrally controls and executes various processes (tasks) in the information communication terminal device 30.
  • the control unit 310 includes a search query acquisition unit 311, a recognition unit 312, a search request transmission unit 313, a search result acquisition unit 314, and a display control unit 315. Details of these functional configurations in the control unit 310 will be described later.
  • the storage unit 320 may include, for example, a search result storage unit 321, a screen data storage unit 322, and an operation history storage unit 323.
  • the search result storage unit 321 stores search results obtained from the search server 20 under the control of the control unit 310.
  • search results include one or more images.
  • the image is an image file according to a predetermined image format (for example, JPEG, PNG, WebP, etc.), and is associated with metadata.
  • the image file may include metadata as part of it. Metadata is, for example, text data indicating the URL of an image or its name, but is not limited to these.
  • an image as a search result may be referred to as a "search result image.”
  • the search result storage unit 321 may include a storage area that stores search result images selected by the user.
  • the search result storage unit 321 stores the search result image file selected by the user in an asset folder under the control of the control unit 310.
  • the screen data storage section 322 stores data (hereinafter referred to as "screen data") for expressing the screen provided by the user interface section 330 as a virtual space under the control of the control section 310.
  • the screen data may include objects, their coordinate information, and the like.
  • an object may be a mark or an element displayed within a screen, and includes, for example, a search result image, an icon, a line drawing, and the like.
  • the screen data stored in the screen data storage section 322 is rendered by the control section 310 (for example, a renderer) and delivered to the user interface section 330, whereby the screen data is displayed on the touch panel 36a as a screen including objects.
  • the operation history storage unit 323 stores, as an operation history, a predetermined operation action received via the touch panel 36a and a series of processes and results of a series of processes performed by the control unit 310 in response thereto. Note that such operation history may be held on the creation support server 40 under the control of the control unit 310.
  • the user interface unit 330 provides the user with an interactive operating environment via the touch panel 36a and the like. That is, the user interface unit 330 displays a screen representing a virtual space on the touch panel 36a under the control of the control unit 310, and receives various operation actions from the user on the screen. The user inputs an operation action using, for example, a pen.
  • the user interface unit 330 accepts handwritten input from the user and provides a screen on which line drawings are displayed in response.
  • the input information input by handwriting may be, for example, a line drawing indicating a character or a character string (text), a closed curve, or the like.
  • the user interface unit 330 provides a screen on which objects are displayed as animations under the control of the control unit 310.
  • the user interface unit 330 accepts a user's operation action on an object. Operation actions for objects include, but are not limited to, taps (single taps, double taps, etc.), drags, flicks, swipes, etc., for example.
  • the communication interface unit 340 controls communication so that the information communication terminal device 30 can access the search server 20 via the communication network 10. For example, the communication interface unit 340 is controlled to transmit a search request based on a search query to the search server 20 under the control of the control unit 310 . Further, for example, the communication interface unit 340 receives search results sent from the search server 20 in response to the search query of the search request, and delivers them to the control unit 310.
  • the search query acquisition unit 311 acquires search queries for the search server 20 from various channels.
  • the search query acquisition unit 311 identifies a line drawing in the screen data according to a user's predetermined operation action on the touch panel 36a, and the result of character recognition by the recognition unit 312 based on data related to the line drawing (line drawing data). Get as a search query. More specifically, as a predetermined operation action, the user, while keeping the pen in contact with the touch panel 36a, encloses at least a part of the area showing the line drawing data on the screen displayed on the touch panel 36a.
  • the search query acquisition unit 311 When the search query acquisition unit 311 moves, the search query acquisition unit 311 identifies the line drawing data surrounded by the locus of the movement and passes it to the recognition unit 312, and in response, acquires the text data output from the recognition unit 312. and set it in the search query.
  • An operation action in which the user moves the line drawing so as to surround at least a portion of the area is one mode of the first operation action.
  • the first operation action may be a series of operation actions in which the user moves the line drawing so as to surround at least a portion of the area and then makes an additional gesture (for example, a checking action).
  • the first operation action may be an operation action in which the user taps (eg, double taps) or presses the line drawing in the vicinity of the screen displayed on the touch panel 36a.
  • the search query acquisition unit 311 identifies an object in the screen data according to a user's predetermined operation action on the touch panel 36a, and acquires metadata associated with the object as a search query.
  • an operation action in which the user taps the object of interest (search result image) on the screen displayed on the touch panel 36a is one mode of the second operation action.
  • an operation action in which the user flicks or the like on a search result image that is desired to be excluded (not focused on) among the plurality of search result images on the screen displayed on the touch panel 36a is one aspect of the third operation action.
  • the search query acquisition unit 311 In response to the third operation action, the search query acquisition unit 311 generates a new search query based on the metadata associated with the search result images excluding the excluded search result image among the plurality of search result images. get.
  • the search query acquisition unit 311 selects an arbitrary object in the screen data at an arbitrary timing, and acquires metadata associated with the object as a search query.
  • the recognition unit 312 performs predetermined recognition processing on various objects within the screen displayed on the touch panel 36a, generates and outputs text data.
  • the recognition unit 312 includes a character recognition unit 3121 and an image recognition unit 3122. Further, the recognition unit 312 may include a voice recognition unit (not shown) that performs voice recognition processing to generate text data.
  • the search query acquisition unit 311 can acquire a search query based on text data obtained by voice recognition processing.
  • the character recognition unit 3121 analyzes the line drawing data using a predetermined character recognition algorithm, and generates and outputs text data that the line drawing data may indicate (first recognition process). Further, the character recognition unit 3121 may be configured to have a function of, for example, comparing generated text data with a dictionary database (not shown) and converting it into existing words. As a result, even if the data is a scribbled line drawing, what the user originally intended will be obtained as a result of character recognition.
  • the image recognition unit 3122 analyzes image data such as a photograph using a predetermined image recognition algorithm, extracts or recognizes the object that it may represent, and converts the object information (name, etc.) into text data. (second recognition process). For example, if the image data is a landscape photograph of a bridge over which cars are passing, the image recognition unit 3122 recognizes "car” and "bridge” from there, and generates and outputs text data indicating the names thereof. For example, the image recognition unit 3122 can generate object information by performing image recognition processing on image data such as a photo read out from an image folder by the user.
  • the recognition unit 312 is configured within the control unit 310, but the recognition unit 312 is not limited to this, and part or all of it may be configured on an external cloud server (for example, the creation support server 40). , the recognition result may be acquired via the communication interface section 340.
  • the recognition unit 312 may output a plurality of recognition result candidates. The user can select a desired recognition result from among the plurality of recognition result candidates displayed on the screen of the touch panel 36a.
  • the search request transmitter 313 generates and outputs a search request based on the search query acquired by the search query acquirer 311.
  • the search request output from the search request transmitting section 313 is transmitted to the search server 20 via the communication interface section 340.
  • the search result acquisition unit 314 receives and acquires the search results sent from the search server 20 in response to the search request via the communication interface unit 340. For example, the search result acquisition unit 314 divides the plurality of search result images searched and extracted by the search server 20 into a predetermined number of parts and acquires the divided images as search results. The search result acquisition unit 314 delivers the search results including the plurality of acquired search result images to the display control unit 315. The search result acquisition unit 314 also stores the search results in the search result storage unit 321.
  • the display control unit 315 controls the display of a screen representing the virtual space on the touch panel 36a. For example, the display control unit 315 responds to a user's handwritten input on the screen displayed on the touch panel 36a and controls the trajectory to be displayed on the screen.
  • the display control unit 315 performs control so that the plurality of search result images acquired by the search result acquisition unit 314 are displayed in animation on the screen on the touch panel 36a. More specifically, the display control unit 315 displays an animation so that each of the plurality of search result images appears in an arbitrary position on the screen in order with a visually recognizable time difference.
  • the display control unit 315 randomly determines the appearance position (first position) in the screen for each search result image, for example. Therefore, the appearance positions of the plurality of search result images are not geometrically aligned with each other.
  • an animation display in which a search result image appears on a screen, there is a mode in which the search result image is gradually completed from a visually blank or blurred state.
  • Another example is a mode in which the search result image is expressed as if it were moving within a virtual space.
  • the mode of expressing the image as if it were moving in a virtual space includes, for example, the mode of expressing the search result image so that it visually approaches the user in perspective.
  • Yet another example is a mode in which search result images are visually emphasized.
  • the display control unit 315 may include a physical calculation engine 3151.
  • the physical calculation engine 3151 simulates the behavior of an object (for example, a search result image) in the virtual space by performing physical calculations according to predetermined physical parameters.
  • the predetermined physical parameters include, for example, mass, velocity, external force, and fluid velocity.
  • the physical calculation engine 3151 simulates the behavior of the search result image in the virtual space by comparing it to the behavior of sparks floating in the air from a bonfire.
  • the physics engine 3151 simulates the behavior of the search result image in the virtual space by comparing it to the behavior of bubbles rising from water.
  • the display control unit 315 enables an animation display in which the search result image on the screen appears to be floating in a virtual space, for example.
  • an animation of the search result image the user feels comfortable, is stimulated and activated to think, and is able to engage in more creative activities.
  • the physical calculation engine 3151 can simulate the fluctuation of the search result image floating in the virtual space to be 1/f fluctuation.
  • the 1/f fluctuation is a fluctuation in which the power spectral density is inversely proportional to the frequency f (however, f>0).
  • the display control unit 315 controls the animation display so that the search result image gradually disappears or naturally disappears (fade out). to delete the search result images from the screen.
  • search result images do not overflow on the screen, and an appropriate number of search result images are displayed in animation, thereby preventing the user's thought process from being inhibited. Note that even if a search result image is deleted from the screen, it may remain stored without being deleted from the search result storage unit 321.
  • FIG. 5 is a flowchart illustrating an example of processing by the information communication terminal device according to an embodiment of the present invention. Such processing is realized by the information communication terminal device 30 executing the creation support program under the control of the processor module 31 and cooperating with various software resources and/or hardware resources. Note that this figure explains the flow of processing according to the user's operation action on the information communication terminal device 30 that executes the creation support program.
  • control unit 310 of the information communication terminal device 30 when the control unit 310 of the information communication terminal device 30 starts executing the creation support program, it displays a screen on the touch panel 36a as a user interface environment for support of creation to the user, and performs some actions by the user on the screen. It is monitored whether there is an input (operation action) (S501).
  • control unit 310 determines whether there is an operation action by the user on the screen (Yes in S501)
  • the control unit 310 determines whether there is a selectable object at the position on the screen corresponding to the operation action. (S502). That is, the control unit 310 determines whether or not the user is making an input to an empty area (an area where nothing is drawn) on the screen of the touch panel 36a.
  • control unit 310 determines whether there is no selectable object at the position on the screen corresponding to the user's operation action (No in S502), the control unit 310 then determines whether the user's operation action is a handwritten input. It is determined whether or not (S503).
  • Handwriting input is an operation consisting of a combination of one or more strokes in which the user moves the pen while keeping it in physical contact with the touch panel 36a.
  • control unit 310 determines that the user's operation action is a handwritten input (Yes in S503), the control unit 310 performs handwritten input processing according to the input stroke (S504). Details of the handwriting input process will be explained with reference to FIG. 6. After the handwriting input process ends, the control unit 310 returns to the process of monitoring the user's operation action (S501).
  • control unit 310 determines that the user's operation action is not a handwritten input (No in S503), in this example, the control unit 310 monitors the user's operation action as an invalid input. The process returns to step S501. For example, a very short single stroke may be considered an invalid input.
  • Operation actions include, for example, “tap”, which is the action of lightly tapping an object on the screen with a pen; “drag”, which is the action of grabbing an object on the screen with a pen and dragging it; These include, but are not limited to, “flick”, which is a quick swiping action with a pen, and “slide” and “swipe”, which are actions in which an empty area on the screen is touched with a pen and moved in a predetermined direction.
  • tap which is the action of lightly tapping an object on the screen with a pen
  • drag which is the action of grabbing an object on the screen with a pen and dragging it
  • These include, but are not limited to, “flick”, which is a quick swiping action with a pen, and “slide” and “swipe”, which are actions in which an empty area on the screen is touched with a pen and moved in a predetermined direction.
  • the control unit 310 performs a process of selecting an object (S506). Further, when the user's operation action is a drag, the control unit 310 performs a process of moving the object according to the drag (S507). Further, when the user's operation action is a flick, the control unit 310 performs a process of flicking the object out of the screen and erasing it from the screen in response to the flick (S508). Details of these processes will be explained with reference to FIGS. 6 to 11, respectively. After each process ends, the control unit 310 returns to the process of monitoring the user's operation action (S501).
  • FIG. 6 is a flowchart illustrating an example of handwritten input processing by the information communication terminal device according to an embodiment of the present invention. This figure shows details of the handwritten input process (S504) shown in FIG.
  • control unit 310 causes a line to be drawn on the screen displayed on the touch panel 36a in accordance with an input signal output from the touch panel 36a in accordance with the locus of the stroke caused by the contact movement of the user's pen. control (S601). Subsequently, the control unit 310 determines whether the user's handwritten input has been completed (S602). For example, if the next stroke is not detected within a predetermined time after the pen leaves the touch panel 36a after a certain stroke, the control unit 310 determines that handwriting input has ended. When the control unit 310 determines that the user's handwritten input has not been completed (No in S602), the control unit 310 continues line drawing (S601).
  • Line drawing data may be vector data of a set of multiple lines (regardless of whether they are straight or curved).
  • the control unit 310 determines whether the defined line drawing data indicates a predetermined graphic shape (S604).
  • the predetermined graphic shape is a closed graphic shape.
  • a closed graphic shape is not limited to a graphic shape in which the lines are completely closed, but also includes a shape that can be considered to be substantially closed even if the lines are partially separated.
  • the predetermined graphic shape may be limited to a closed graphic shape consisting of a simple curve such as a circle or an ellipse, for example.
  • the control unit 310 may determine whether the line drawing data indicates a predetermined geometric line drawing (for example, an underline, a check mark, etc.) instead of a closed figure.
  • the control unit 310 determines that the defined line drawing data does not indicate the predetermined graphic shape (No in S604), the control unit 310 temporarily stores the line drawing data in the screen data storage unit 322 (S605). . That is, the line drawing data temporarily stored in the screen data storage unit 322 can become the other line drawing data (object) mentioned above that is selected by a subsequent user operation action.
  • control unit 310 determines that the defined line drawing data indicates a predetermined graphic shape (Yes in S604), then the control unit 310 determines that the defined line drawing data indicates a predetermined graphic shape (Yes in S604). It is determined whether other line drawing data (line drawing data to be selected) exists (S606). In other words, the control unit 310 determines whether the user intentionally selected other line drawing data existing within the screen.
  • the other line drawing data here may be line drawing data previously input by hand by the user.
  • the area surrounded by the predetermined graphic shape includes an area that can be considered to be substantially surrounded. Further, if at least a portion of other line drawing data is included in the area, the control unit 310 can determine that other line drawing data exists.
  • the control unit 310 when the user draws a closed figure so as to surround at least a part of the area indicated by the line drawing data in order to select the line drawing data that was previously input by hand and is displayed on the screen, the control unit 310 , it can be determined that other line drawing data exists. In this way, the operation action of drawing line drawing data representing a predetermined graphic shape in order to select other line drawing data corresponds to the first operation action.
  • control unit 310 determines that there is no line drawing data to be selected within the area surrounded by the predetermined graphic shape (No in S606), the control unit 310 determines that the defined line drawing data is selected by the user. It is assumed that the line drawing data is not input by hand, and the line drawing data is temporarily stored in the screen data storage unit 322 (S605). This allows, for example, to save line drawing data such as a memo written by the user on the touch panel 36a. Such line drawing data can be part of screen data.
  • the character recognition unit 3121 causes the character recognition unit 3121 to recognize the character Recognition is performed (S607). That is, the character recognition unit 3121 performs character recognition processing on the line drawing data to generate text data.
  • the search result acquisition unit 314 acquires the generated text data as a search query (S608).
  • the search request transmitting unit 313 transmits a search request based on the acquired search query to the search server 20, and the search result acquiring unit 314 acquires the search result (search result image) from the search server 20. do.
  • the display control unit 315 converts the generated text data into, for example, an icon indicating the text that has been character-recognized (S609).
  • the display control unit 315 controls the converted icon to be displayed on the screen instead of the handwritten input line drawing data.
  • the generated text data may be treated as text data without being converted into an icon.
  • the information communication terminal device 30 determines whether the input is text input or selection of text that has already been input. to judge. Further, when the information communication terminal device 30 determines that the handwritten input is a text input, it temporarily stores line drawing data indicating this. Further, if the information communication terminal device 30 determines that the line drawing data indicating the already input text is selected, the information communication terminal device 30 performs character recognition processing on the line drawing data, converts it into text data, and converts it into text data. Get it as a search query.
  • FIG. 7 is a flowchart illustrating an example of search processing by the information communication terminal device according to an embodiment of the present invention. Execution of this process is started when the search query acquisition unit 311 acquires the search query.
  • the control unit 310 may execute search processing in response to acquisition of a search query in a separate thread or process. As a result, as will be described later, a new search query is acquired from the search results in response to the search request resulting from the acquisition of the first search query, and further search processing is performed in a chain or derivative manner.
  • the control unit 310 monitors whether a search query has been acquired by the search query acquisition unit 311 (S701).
  • the search request transmitting unit 313 generates a search request based on the search query and transmits it to the search server 20 (S702).
  • the search server 20 receives a search request from the information communication terminal device 30, the search server 20 extracts the corresponding resource by searching the database 24 based on the search query included in the search request, and uses this as the search result. It is transmitted to the information communication terminal device 30 as a.
  • the search results include one or more search result images.
  • the search server 20 extracts the search results, it transmits them to the information communication terminal device 30 every predetermined number, for example, in response to a fetch request from the search result acquisition unit 314 of the information communication terminal device 30.
  • the search result acquisition unit 314 receives the search results sent by the search server 20 in response to the search request (S703).
  • the search result acquisition unit 314 transmits a fetch request to a plurality of search result images searched and extracted by the search server 20, divides the images into a predetermined number of images, and acquires the images as search results.
  • the display control unit 315 performs processing to display the obtained search results (search result images) on the screen (S704). Details of the search result display process will be explained with reference to FIG. 8.
  • the control unit 310 controls each of the plurality of search result images to be displayed as an animation at an arbitrary position on the screen in order with a visually recognizable time difference.
  • Animation display can be used, for example, to show how a search result image is visually completed gradually, how a search result image visually expresses perspective on the screen, how a search result image is visually emphasized, etc. including but not limited to.
  • the control unit 310 determines whether to end the search process (S705). For example, if the user selects to pause the search, the control unit 310 ends the search process. On the other hand, when the control unit 310 determines to continue the search process (No in S705), the search query acquisition unit 311 acquires a new search query based on the search result (S706). The search query acquisition unit 311 can acquire a search query based on, for example, metadata associated with a search result image. When a new search query is acquired by the search query acquisition unit 311, the control unit 310 returns to the process of S702 and continues the search process.
  • the search request transmitter 313 transmits a search request based on the acquired new search query to the search server 20, acquires the search results in response, and displays them on the screen.
  • a new search query is obtained from the search results in response to the search request obtained by obtaining the first search query, and further search processing is performed in a chain or derivative manner.
  • FIG. 8 is a flowchart illustrating an example of search result display processing by the information communication terminal device according to an embodiment of the present invention. This figure shows details of the handwritten input process (S704) shown in FIG.
  • the display control unit 315 selects one search result image from among them (S801). Subsequently, the display control unit 315 starts animation display processing of the selected search result image (S802).
  • the display control unit 315 may, for example, execute animation display processing in a separate thread or the like.
  • the selected search result images are displayed as objects in the virtual space in an animation in which they appear one after another with visually recognizable time differences. Details of the animation display process will be explained with reference to FIG. 9. At this time, the display control unit 315 may control to display at least part of the metadata associated with the search result image in association with the animated object.
  • the display control unit 315 determines whether all of the acquired search result images have been selected (S803). When the display control unit 315 determines that all search result images have not been selected (No in S803), the process returns to S801. On the other hand, if the display control unit 315 determines that all search result images have been selected (Yes in S803), it ends the search result display process.
  • FIG. 9 is a flowchart illustrating an example of animation display processing by the information communication terminal device according to an embodiment of the present invention. This process shows details of the animation display process (S802) shown in FIG.
  • the display control unit 315 uses a physical calculation engine 3151 to adjust the behavior of each search result image in the virtual space to predetermined physical parameters (for example, mass, velocity, external force, airflow, etc.).
  • a simulation is performed by performing physical calculations based on the above (S901).
  • the display control unit 315 simulates each search result image as if it were floating in a virtual space.
  • the display control unit 315 may perform physical calculation so that the fluctuation of the search result image floating in the virtual space becomes 1/f fluctuation.
  • the display control unit 315 controls the search result image to be displayed as an animation on the screen representing the virtual space according to the result of such physical calculation (S902). That is, the display control unit 315 generates screen data according to the result of the physical calculation, and outputs this to the user interface unit 330.
  • the search result image is displayed, for example, in a manner that makes it appear as if it is floating on a screen representing a virtual space.
  • the display control unit 315 may control to display at least part of the metadata associated with the search result image in association with the animated object.
  • the display control unit 315 determines whether the animation display of the search result image satisfies a predetermined termination condition (S903).
  • the predetermined end condition is, for example, whether a predetermined time (for example, 10 seconds) has elapsed since the animation display of the search result image started, but is not limited thereto.
  • the display control unit 315 determines that the animation display of the search result image does not satisfy the predetermined end condition (No in S903), the display control unit 315 continues displaying the animation based on the simulation described above. On the other hand, if the display control unit 315 determines that the animation display of the search result image satisfies the predetermined end condition (Yes in S903), the display control unit 315 displays the search result image as if it were to disappear naturally (fade out). The animation display is controlled to erase the search result image from the screen (S904).
  • the information communication terminal device 30 obtains a search query based on handwritten input by the user, makes a search request to the search server 20, and obtains a search result (search result image) in response. Then, the search result image is controlled to be displayed as an animation on the screen representing the virtual space. Further, the information communication terminal device 30 obtains a new query based on the search results, and further obtains the search results from the search server 20.
  • various search queries are developed starting from the initial handwritten input, so a search is performed that is not limited to a single viewpoint, and it is possible to stimulate and activate the user's thinking.
  • FIG. 10 is a flowchart illustrating an example of object selection processing by the information communication terminal device according to an embodiment of the present invention. This figure shows details of the object selection process (S506) shown in FIG.
  • the control unit 310 selects the object corresponding to the tapped position as the object of interest. (S1001).
  • the object is a search result image or an icon.
  • control unit 310 reads the metadata associated with the selected object of interest (S1002), and the search query acquisition unit 311 sets the read metadata to the search query (S1003).
  • the information communication terminal device 30 can transmit a search request based on the set search query to the search server 20, and can acquire search results transmitted from the search server 20 in response.
  • the display control unit 315 changes the value of a predetermined physical parameter for displaying the animation (S1003).
  • the display control unit 315 changes the value of a predetermined physical parameter so that the moving speed of the object in the virtual space becomes faster.
  • Changing the value of a given physical parameter may affect all objects within the virtual space. As a result, the movement of the object in the virtual space becomes faster than before selection, and it is possible to give the user the feeling that the entire screen is activated.
  • the display control unit 315 may change the value of a predetermined physical parameter so that the moving speed of the object becomes faster, and then return it to the original value after a predetermined period of time has elapsed.
  • control unit 310 controls the search result image to be saved in an asset folder so that it can be distinguished from other search result images. Also good.
  • control unit 310 may control the search result image to be saved in the asset folder.
  • the information communication terminal device 30 can obtain a new search query based on the selected object and obtain further search results. can. Furthermore, the information and communication terminal device 30 can change the state from a calm state to an active state by controlling the animation display so that the moving speed of objects on the screen becomes faster when the user's tap is used as a trigger. This makes it possible to stimulate and activate the user's thinking.
  • the object selection process may include a processing step for confirmation by the user, as described later.
  • FIG. 11 is a flowchart illustrating an example of object movement processing by the information communication terminal device according to an embodiment of the present invention. This figure shows details of the object movement process (S507) shown in FIG.
  • the display control unit 315 selects the object corresponding to the drag start position as the object of interest. Then, animation display is controlled so that the object of interest moves in accordance with the drag movement (S1101). Further, the control unit 310 monitors whether the dragging is finished (S1102). That is, the user may move the object from the current position to the second position by dragging.
  • the control unit 310 determines that the dragging has ended (Yes in S1102), as described above, the control unit 310 reads the metadata associated with the dragged object of interest (S1103), and the search query acquisition unit 311 sets the read metadata to a search query (S1104). Thereby, the information communication terminal device 30 transmits a search request based on the set search query to the search server 20, and obtains the search results transmitted from the search server 20 in response. Subsequently, the display control unit 315 changes the value of a predetermined physical parameter for displaying the animation (S1105). As a result, the movement of the object in the virtual space becomes faster than before selection, and it is possible to give the user the feeling that the entire screen is activated. Note that the display control unit 315 may change the value of a predetermined physical parameter so that the moving speed of the object becomes faster, and then return it to the original value after a predetermined period of time has elapsed.
  • control unit 310 may control the search result image to be saved in the asset folder.
  • the user can move the object of interest to any location on the screen by dragging it.
  • the information communication terminal device 30 can acquire a search query based on the object for which the user has performed an operation action, and can acquire further search results.
  • the information communication terminal device 30 can produce a state of activation from a calm state by using the user's drag as a trigger to speed up the movement of objects on the screen, thereby stimulating the user's thinking. ⁇ You will be able to promote activation.
  • FIG. 12 is a flowchart illustrating an example of object deletion processing by the information communication terminal device according to an embodiment of the present invention. This figure shows details of the object deletion process (S508) shown in FIG.
  • the control unit 310 selects the object corresponding to the flicked position as a non-target object (excluded object).
  • the display control unit 315 controls animation display so that the non-attention object is pushed out of the screen (S1201).
  • control unit 310 selects at least one of the remaining objects on the screen that has not been selected as a non-target object (S1202). For example, the control unit 310 randomly selects one object from among the objects on the screen. In this case, the control unit 310 may select one object from objects that have not been set as a search query in the past.
  • the control unit 310 reads the metadata associated with the selected object (S1203), and the search query acquisition unit 311 sets the read metadata to the search query (S1204). Thereby, the information communication terminal device 30 transmits a search request based on the set search query to the search server 20, and obtains the search results transmitted from the search server 20 in response.
  • the display control unit 315 changes the value of a predetermined physical parameter for displaying the animation (S1205). As a result, the movement of the object in the virtual space becomes faster than before selection, and it is possible to give the user the feeling that the entire screen is activated. Note that the display control unit 315 may change the value of a predetermined physical parameter so that the moving speed of the object becomes faster, and then return the value to the original value after a predetermined period of time has elapsed.
  • the user can flick an object that is determined to be unnecessary to flick it off the screen and erase it.
  • the information communication terminal device 30 can acquire a search query based on objects that have not been deleted by the user, and can acquire further search results.
  • the information communication terminal device 30 can produce a state of activation from a calm state by increasing the movement speed of objects on the screen by dragging the user, thereby arousing and activating the user's thinking. You will be able to encourage
  • the user inputs, for example, a keyword or text (word) T such as "mountain” by handwriting onto a screen 1300 displayed on the touch panel 36a, as shown in FIG. 13.
  • a keyword or text (word) T such as "mountain”
  • the information communication terminal device 30 internally handles the handwritten input "entity” as line drawing data (for example, vector data).
  • line drawing data for example, vector data
  • the information communication terminal device 30 performs character recognition processing on the line drawing data corresponding to "mountain” surrounded by a circle C, generates text data corresponding to "mountain", and searches this. Get it as a query.
  • the information communication terminal device 30 converts the recognized text into an icon or a tile, as shown in screen 1500 shown in FIG. 15, for example, in order to notify the user that the character recognition for the line drawing data has been successful.
  • the word whose character has been recognized may be displayed as text data (characters in a predetermined font).
  • the information communication terminal device 30 generates a search request based on the acquired search query and transmits it to the search server 20.
  • the search server 20 refers to the database 24, extracts one or more search result images, and transmits them to the information communication terminal device 30 as the search results.
  • the plurality of search result images RESULT(1) included in the search results are displayed in order on a screen 1600, for example, as shown in FIG.
  • the object is controlled so that it gradually appears at an arbitrary position (for example, a random position) within the virtual space and is displayed as an animation so that it appears to float in the virtual space.
  • FIG. 17 shows a state (screen 1700) a little while after the state in screen 1600 shown in FIG. 16.
  • FIG. 17 shows that as a search result for "mountain", an image of a mountain in which "buffalo" is also included is also searched. This is because such images typically may include metadata such as "buffalo.”
  • the unexpected keyword "buffalo" is evoked from the keyword "mountain” to the user.
  • the user can perform operations such as selecting a search result image by tapping, moving it by dragging it, and flicking it out of the screen. can.
  • the information communication terminal device 30 can obtain a new search query and continue the search process while displaying the search result image as an animation.
  • the information communication terminal device 30 Upon receiving this, the information communication terminal device 30 refers to the metadata associated with the search result image and obtains this as a search query. In this example, it is assumed that "Buffalo" is associated with the metadata. Therefore, the information communication terminal device 30 generates a search request using "buffalo" as a search query, and transmits it to the search server 20. Thereby, the information communication terminal device 30 acquires the search result image for "Buffalo" transmitted from the search server 20, and displays the search result image RESULT (2) as shown in FIG. 18 in animation on the screen, for example. .
  • the information communication terminal device 30 when the user inputs some text by hand on the screen on the touch panel 36a and draws a trajectory surrounding the text, the information communication terminal device 30 The line drawing data in the area is subjected to character recognition processing, converted to text data, and acquired as a search query, and the search results in response to the search request based on the acquired search query are acquired from the search server 20. , there is no need to switch from pen operation to keyboard or mouse operation for Internet searches, and a smooth sequence of operations can be achieved without interrupting the thought process. Therefore, the user is able to embody a seamless thinking process, and his or her thinking is stimulated and activated.
  • the present embodiment instead of displaying a plurality of search result images included in search results in response to a search request in an arranged list, they are displayed in order with a visually recognizable time difference. Since the animation is displayed at any position on the screen, the user feels comfortable and is encouraged to think and activate, allowing for more creative activities.
  • FIG. 19 is a flowchart showing another example of object selection processing by the information communication terminal device according to an embodiment of the present invention. This figure shows a modification of the object selection process shown in FIG. Specifically, the object selection process shown in FIG. 10 is different from the object selection process shown in FIG. It is different from
  • control unit 310 selects the object corresponding to the tapped position as the object of interest (S1901).
  • FIG. 20 shows an example of a screen in which the selected object is highlighted.
  • a selected object 2001 ie, a "buffalo"
  • a selected object 2001 ie, a "buffalo"
  • the user may touch the object 2001 itself or the execution button 2002, or if the user wishes to cancel, the user may touch the search button 2002 on the screen 2000. touch an area other than the object 2001 or the cancel button 2003.
  • the control unit 310 reads the metadata associated with the selected object of interest (S1904). Subsequently, the search query acquisition unit 311 sets the read metadata to the search query (S1905). Thereby, the information communication terminal device 30 can transmit a search request based on the set search query to the search server 20, and can acquire search results transmitted from the search server 20 in response.
  • the display control unit 315 changes the value of a predetermined physical parameter for displaying the animation (S1903).
  • the display control unit 315 changes the value of a predetermined physical parameter so that the moving speed of the object in the virtual space becomes faster.
  • Changing the value of a given physical parameter may affect all objects within the virtual space. As a result, the movement of the object in the virtual space becomes faster than before selection, and it is possible to give the user the feeling that the entire screen is activated.
  • the display control unit 315 may change the value of a predetermined physical parameter so that the moving speed of the object becomes faster, and then return it to the original value after a predetermined period of time has elapsed.
  • control unit 310 ends the object selection process (S506 shown in FIG. 5).
  • the information communication terminal device 30 enlarges the object and prompts the user to confirm whether or not to execute the search. , the screen display behavior can be brought closer to what the user expects, and usability is improved.
  • steps, acts, or functions may be performed in parallel or in a different order unless the results are inconsistent.
  • the steps, acts, and functions described are provided by way of example only, and some of the steps, acts, and functions may be omitted or combined with each other without departing from the spirit of the invention.
  • other steps, operations, or functions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、検索サーバに通信可能に接続される情報通信端末装置である。前記情報通信端末装置は、タッチパネルを含むユーザインターフェース部と、検索クエリを取得する検索クエリ取得部と、前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得する検索結果取得部と、前記検索結果に含まれる前記複数の検索結果画像の各々を前記タッチパネル上の仮想空間を表現した画面に表示するための制御を行う表示制御部とを備える。前記表示制御部は、前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御する。

Description

情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム
　本発明は、情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラムに関する。
　いわゆるインターネット検索は、インターネット上に分散する膨大な情報（リソース）を検索するためのＷｅｂサイト上の情報検索サービスである。かかるインターネット検索では、典型的には、サービス提供者のＷｅｂサイト上の検索エンジンと呼ばれるサーバプログラムが、ユーザから与えられた検索クエリに基づいてインデックス検索を行って、ユーザにその検索の結果を提供する。例えば、ユーザは、Ｗｅｂブラウザを介して、検索サイトにアクセスし、検索したいリソースに関連する文字又は文字列を検索クエリとして入力すると、検索エンジンは、検索クエリを解析してインデックスを検索し、抽出されたリソースを所定のランキングアルゴリズムに基づいてスコアリングしてスコア順にソートし、その一覧を検索結果としてユーザに提供する。
　このようなインターネット検索では、ユーザは、テキストデータのみならず画像データといったマルチメディアデータをも検索することができる。画像検索では、その検索結果は、一般的には、縮小された画像の一覧としてブラウザ上に表示されるが、他の表示態様として、例えば下記特許文献１のような技術が提案されている。
　すなわち、下記特許文献１は、検索クエリに対する応答結果を表示することに加えて、関連クエリに対する応答結果も表示する技術を開示している。また、特許文献１は、これらの結果を、種々の検索クエリの順序付けに対応する少なくとも１本の軸を含む、複数の表示軸に沿って順番に並べ、整列させて表示し、或いは、整列させずに表示する技術を開示している。更に、特許文献１は、ユーザが種々の結果をブラウズすることができるように、表示軸のうちの１本以上に沿って、結果を平行移動させることができる技術を開示している。
特表２０１３－５４４４０６号公報
　多くの人々は、思い浮かんだアイデアなどをメモ用紙や手帳のような紙媒体や昨今はタブレット型コンピュータのような電子媒体に記録しながら作業することが多い。とりわけ、デザイナーやクリエーターといった創作活動に携わる人たちは、何らかのインスパイアを期待して、時として、インターネット検索を活用して、検索結果から得られるアイデアなどを各種の媒体に記録するといった作業を繰り返し行っている。
　人のこのような創作活動において、インターネット検索のために、今手にしているペン（スタイラス）からマウスに持ち替えたり、キーボードへのタイピングに切り替えたりする動きは、思考プロセスの中断を招き、シームレスな思考プロセスの妨げとなる。また、タブレット型コンピュータにはいわゆるソフトウェアキーボードが用意されているため、ユーザはペンを用いてそのままキー入力することも可能であるが、ユーザビリティの観点からシームレスな思考プロセスを体現するには十分とはいえない。
　また、現状の画像検索では、抽出された画像がブラウザ上に単に一覧として表示されるに過ぎず、人の思考を喚起しその活性化を促すことに何ら考慮されていなかった。特許文献１に開示される技術は、検索クエリに対する画像に加えて関連クエリに対する画像を整列させて或いは整列させずに表示させることができるが、シームレスな思考プロセスの体現や思考の喚起・活性化を促すことを考慮するものではなかった。
　人が聴覚や視覚への刺激によって感じる、心地良い、脳がゾワゾワするといった反応・感覚は、ＡＳＭＲ（Autonomous Sensory Meridian Response）として知られている。したがって、人の思考を喚起し活性化させるには、人が心地良く感じる聴覚や視覚への刺激が有効であると考えられる。
　そこで、本発明は、ユーザにシームレスな思考プロセスの体現を可能にし、また、思考の喚起・活性化を促すことを可能にする情報通信端末装置及びこれによる表示制御方法を提供することを目的とする。
　より具体的には、本発明の目的の一つは、情報検索サービスにおいて、検索クエリの入力から検索結果の表示までを一連のスムーズなユーザ動作の流れで実現することにより、思考プロセスの中断を回避し、シームレスな思考プロセスの体現を可能にする情報通信端末装置及びこれによる表示制御方法を提供することである。
　また、本発明の目的の一つは、検索クエリに対する検索結果を、ユーザにとって心地良く感じられる態様で表示させることにより、思考の喚起・活性化を促すことを可能にする情報通信端末装置及びこれによる表示制御方法を提供することである。
　上記課題を解決するための本発明は、以下に示す発明特定事項又は技術的特徴を含んで構成される。
　ある観点に従う本発明は、検索サーバに通信可能に接続される情報通信端末装置である。前記情報通信端末装置は、タッチパネルを含むユーザインターフェース部と、検索クエリを取得する検索クエリ取得部と、前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得する検索結果取得部と、前記検索結果に含まれる前記複数の検索結果画像の各々を前記タッチパネル上の仮想空間を表現した画面に表示するための制御を行う表示制御部とを備え得る。前記表示制御部は、前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御し得る。
　前記情報通信端末装置は、前記タッチパネル上の前記画面に対して手書き入力された線画データに基づいて第１の認識処理を行う認識部を更に備え得る。前記検索クエリ取得部は、前記認識部により認識されるテキスト（キーワード）を前記検索クエリとして取得し得る。
　前記認識部は、前記タッチパネル上の前記画面内の前記線画データに対するユーザの第１の操作アクションに応答して、前記第１の認識処理の実行を開始し得る。
　ここで、前記第１の操作アクションは、前記タッチパネル上の前記画面内の前記線画データが示す領域の少なくとも一部を囲む線の描画であり得る。
　また、前記認識部は、画像データに対する第２の認識処理を行って、物体情報を生成するように構成され得る。そして、前記検索クエリ取得部は、生成される前記物体情報に基づいて前記検索クエリを取得し得る。
　また、前記表示制御部は、前記複数の検索結果画像の各々が前記タッチパネル上の前記画面内の該検索結果画像に対して決定された第１の位置から漸次的に出現するように、前記アニメーション表示を制御し得る。
　前記アニメーション表示は、前記検索結果画像が視覚的に漸次的に完成する態様、前記検索結果画像が視覚的に遠近法で表現される態様、及び前記検索結果画像が視覚的に強調される態様のうちの少なくとも１つであり得る。
　また、前記表示制御部は、前記複数の検索結果画像の各々に対して前記画面内の前記第１の位置を決定し、前記各検索結果画像が、決定された該第１の位置に表示されるように制御し得る。
　前記各検索結果画像に対する前記第１の位置は、幾何学的に互いに整列された関係にない。すなわち、前記表示制御部は、前記各検索結果画像に対する前記第１の位置をランダムに決定し得る。
　また、前記表示制御部は、表示された前記検索結果画像が所定の時間経過後に漸次的に消滅するように前記アニメーション表示を制御し得る。
　また、前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像を前記画面における第２の位置に移動させるように制御し得る。
　また、前記検索クエリ取得部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得し得る。
　また、前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像に対する検索を実行するか否かの確認を前記ユーザに促すために、前記少なくとも１つの注目検索結果画像を強調表示するように制御し得る。
　また、前記検索クエリ取得部は、前記ユーザが検索の実行を選択する場合に、前記少なくとも１つの注目検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得し得る。
　また、前記表示制御部は、前記第２の操作アクションに応答して、前記複数の検索結果画像の各々が漸次的に出現する速度を速くする前記アニメーション表示がなされるように制御し得る。
　また、前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの非注目検索結果画像に対する前記ユーザの第３の操作アクションに応答して、前記少なくとも１つの非注目検索結果画像を前記画面から消去するように制御し得る。
　また、前記検索クエリ取得部は、前記第３の操作アクションに応答して、前記複数の検索結果画像のうちの前記少なくとも１つの非注目検索結果画像を除くいくつかの検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得し得る。
　また、別の観点に従う本発明は、検索サーバに通信可能に接続される情報通信端末装置による検索結果の表示方法である。前記方法は、前記情報通信端末装置のタッチパネルに対するユーザの入力から検索クエリを取得することと、前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得することと、前記検索結果に含まれる前記複数の検索結果画像の各々を、前記情報通信端末装置のタッチパネル上の仮想空間を表現した画面に表示するための表示制御を行うこととを含み得る。前記表示制御を行うことは、前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御することを含み得る。
　更にまた、別の観点に従う本発明は、情報通信端末装置に、検索クエリに応答して検索サーバから送信される検索結果を表示させる方法を実現させるためのコンピュータプログラム又はこれを非一時的に記録したコンピュータ読み取り可能な記録媒体であり得る。
　なお、本開示において、「手段」又は「部」とは、単に物理的手段を意味するものではなく、その手段又は部が有する機能の全部又は一部をソフトウェアによって実現する場合も含む。また、１つの手段又は部が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段又は部の機能が１つの物理的手段により実現されても良い。
　また、本開示において、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物を含み、各装置や機能モジュールが物理的に単一の物として構成されるか又は別体の物として構成されるかは問わない。
　本発明によれば、ユーザにシームレスな思考プロセスの体現を可能にし、また、思考の喚起・活性化を促すことができるようになる。
　また、本発明によれば、情報検索サービスにおいて、検索クエリの入力から検索結果の表示までを一連のスムーズな動作の流れで実現することができる。これにより、ユーザは、思考プロセスの中断を回避し、シームレスな思考プロセスの体現することができるようになる。
　更に、本発明によれば、検索クエリに対する検索結果を、ユーザにとって心地良く感じられる態様で表示させることができる。これにより、ユーザは、思考の喚起・活性化を促され、よりクリエイティブな活動ができるようになる。
　本発明の他の技術的特徴、目的、及び作用効果又は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。
図１は、本発明の一実施形態に係る創作支援システムの概略的構成の一例を説明するための図である。 図２は、本発明の一実施形態に係る情報通信端末装置のハードウェア構成の一例を示す図である。 図３は、本発明の一実施形態に係る情報通信端末装置のメモリモジュールの内容の一例を示す図である。 図４は、本発明の一実施形態に係る情報通信端末装置の機能構成モデルの一例を示すブロックダイアグラムである。 図５は、本発明の一実施形態に係る情報通信端末装置による処理の一例を示すフローチャートである。 図６は、本発明の一実施形態に係る情報通信端末装置による手書き入力処理の一例を示すフローチャートである。 図７は、本発明の一実施形態に係る情報通信端末装置による検索処理の一例を示すフローチャートである。 図８は、本発明の一実施形態に係る情報通信端末装置による検索結果の表示処理の一例を示すフローチャートである。 図９は、本発明の一実施形態に係る情報通信端末装置によるアニメーション表示処理の一例を示すフローチャートである。 図１０は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト選択処理の一例を示すフローチャートである。 図１１は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト移動処理の一例を示すフローチャートである。 図１２は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト消去処理の一例を示すフローチャートである。 図１３は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１４は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１５は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１６は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１７は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１８は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の一例を示す図である。 図１９は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト選択処理の他の例を示すフローチャートである。 図２０は、本発明の一実施形態に係る情報通信端末装置のタッチパネル上の画面の他の例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
（全体システム）
　図１は、本発明の一実施形態に係る創作支援システムの概略的構成の一例を説明するための図である。同図に示されるように、本実施形態の創作支援システム１は、例えば、通信ネットワーク１０を介して相互に通信可能に接続された、検索サーバ２０と情報通信端末装置３０とを含み構成される。検索サーバ２０と情報通信端末装置３０とは、情報検索システムを実現するサーバ／クライアントモデルを構成する。また、創作支援システム１は、創作支援サーバ４０を含み得る。
　通信ネットワーク１０は、例えばＩＰベースのコンピュータネットワーク（以下「ＩＰネットワーク」という）を含み得る。本開示において、通信ネットワーク１０は、ＩＰネットワークによって構築されたインターネットを含む広い概念で用いられているが、ＩＰネットワークに限らず、ノード間通信を可能とする他のプロトコルのネットワークを排除する趣旨ではない。また、通信ネットワーク１０は、図示されていない無線基地局又は無線アクセスポイントによって構築される無線ネットワーク（例えばＷｉ－Ｆｉ（登録商標）等）を含み得る。また、通信ネットワーク１０は、移動通信システム規格に準拠した移動通信ネットワークを含んでも良い。
　検索サーバ２０は、情報検索サービスをユーザに提供するコンピューティングデバイスである。検索サーバ２０は、例えば、検索エンジン２２とデータベース２４とを備える。また、図示されていないが、検索サーバ２０は、ロボットエージェントとして機能するクローラを含み得る。クローラは、インターネット上のＷｅｂページを巡回訪問し、訪問したＷｅｂページの情報を収集、解析し、これにより、データベース２４を参照・検索するためのインデックスを作成する。検索サーバ２０は、ユーザの情報通信端末装置３０から受信した検索クエリに基づいて、検索エンジン２２によりインデックス検索を行ってデータベース２４から該当するリソースを抽出し、これを情報通信端末装置３０に送信する。検索エンジン２２は、例えば、検索クエリ及び／又は検索履歴に基づいて機械推論を行って検索を行うように構成されても良い。本開示では、検索クエリに対して抽出されるリソースは、画像であるものとする。画像は、静止画像及び動画像を含み得る。検索サーバ２０により提供されるＷｅｂサイト（検索サイト）は、ユーザが情報通信端末装置３０によりアクセス可能なものであれば良く、インターネット上の既知の検索サイトであっても良い。
　情報通信端末装置３０は、ユーザによって操作されるコンピューティングデバイスであり、典型的には、タブレット型コンピュータ等が該当するが、これに限られず、本発明を実現することができるように構成されたデバイスであれば良い。本例では、情報通信端末装置３０は、タッチパネル又はタッチスクリーンによるインタラクティブな操作が可能なタブレット型コンピュータであるものとする。情報通信端末装置３０は、後述するように、ユーザの創作能力を効果的に発揮させるユーザインターフェース環境を実現する創作支援プログラムを実装する。
　創作支援サーバ４０は、例えば、情報通信端末装置３０に対する例えばクラウドサーバとして機能するコンピューティングデバイスである。創作支援サーバ４０は、例えば情報通信端末装置３０を操作するユーザのアカウントを管理する。また、創作支援サーバ４０は、情報通信端末装置３０上でなされるユーザの所定の操作アクションや、これに応じた一連の処理の過程を動作履歴として記憶し得る。
（情報通信端末装置のハードウェア構成）
　図２は、本発明の一実施形態に係る創作支援システムに適合された情報通信端末装置のハードウェア構成の一例を示す図である。同図では、情報通信端末装置３０を構成する各種のハードウェア資源のうち、本発明に特に関連するものが示されている。
　すなわち、同図に示すように、情報通信端末装置３０は、典型的には、１又は２以上のプロセッサモジュール３１と、チップセット３２と、メモリモジュール３３と、Ｉ／Ｏコントローラ３４と、各種のペリフェラルインターフェース３５と、各種の入出力デバイス３６（タッチパネル３６ａ等）とを含み構成され得る。
　プロセッサモジュール３１は、例えば、プロセッサ（プロセッサコア）、マイクロコントローラ、デジタル信号プロセッサ及び／又はこれらの組み合わせを含むが、これらに限られない。チップセット３２は、プロセッサモジュール３１、メモリモジュール３３、及びＩ／Ｏコントローラ３４等を接続するバスに対するブリッジや、情報通信端末装置３０を構成するために必要な他のコンポーネントを集積した回路からなる。チップセット３２は、例えば、プロセッサモジュール３１によって制御される。本開示では、プロセッサモジュール３１を単に「プロセッサ」と称することがある。
　メモリモジュール３３は、プロセッサモジュール３１の利用に供される、揮発性メモリ（例えばＲＡＭ）、不揮発性メモリ（例えばＲＯＭやフラッシュメモリ等）及び／又はこれらの組み合わせからなる１次記憶装置である。また、メモリモジュール３３は、タッチパネル３６ａのためのビデオメモリ（ＶＲＡＭ）を含み得る。本開示では、メモリモジュール３３を単に「メモリ」と称することがある。
　メモリモジュール３３は、例えば図３に示されるように、各種のソフトウェア資源、すなわち、デバイスドライバ、オペレーティングシステム（ＯＳ）プログラム、１又はそれ以上のアプリケーションプログラム及び各種のデータ等を保持する。本開示では、アプリケーションプログラムは、プロセッサモジュール３１の制御の下、情報通信端末装置３０のＯＳ上で実行される創作支援プログラムを含む。創作支援プログラムは、プロセッサモジュール３１の制御の下、情報通信端末装置３０に、ユーザの創作能力を効果的に発揮させるユーザインターフェース環境を実現させる。創作支援プログラムにおけるいくつかの処理は、プロセッサモジュール３１上で異なるスレッド又はプロセスとして実行され得る。また、各種のデータは、例えば、画像データ（静止画像データ及び動画像データ）を含む。各種のデータは、例えば、メモリモジュール３３上に論理的に構成される画像フォルダ等に画像ファイルとして格納される。
　Ｉ／Ｏコントローラ３４は、各種のペリフェラルインターフェース３５（例えば、Ｉ／Ｏインターフェース３５ａ及び通信インターフェース３５ｂ等）との間のデータ転送を制御する回路である。Ｉ／Ｏインターフェース３５ａは、ユーザインターフェースを構成する入出力デバイス３６の動作を制御する。通信インターフェース３５ｂは、ＩＰネットワーク１２を介したコンピュータ通信を可能にする回路である。
　入出力デバイス３６は、例えば、タッチパネル３６ａ、スピーカ３６ｂ、及びカメラ３６ｃ等を含み構成される。なお、図示されていないが、入出力デバイス３６は、音声入力のためのマイクロフォンを含み得る。
　タッチパネル３６ａは、テキストデータや画像データ（静止画像データ及び動画像データ）、グラフィックデータ等といったマルチメディアデータを表示するためのディスプレイ及び該ディスプレイのサイズに略一致するように形成された透過性のタッチセンサを含み構成される。タッチパネル３６ａは、ユーザインターフェース環境を実現するデバイスの一例である。入出力デバイス３６は、タッチパネル３６ａに代えて、ディスプレイ及びこれと別体に構成されるタッチパッドを含み構成されても良い。タッチパネル３６ａは、プロセッサモジュール３１の制御の下、ディスプレイに様々な画面を表示し、ユーザからのインタラクティブな操作を受け付ける。ユーザは、例えばペン（スタイラス）や指を用いた操作アクションにより、タッチパネル３６ａに対して種々の入力を与え得る。
　スピーカ３６ｂは、サウンドドライバ（図示せず）によって生成されたオーディオ信号に基づいて、オーディオ又はサウンドを出力する。スピーカ３６ｂは、プロセッサモジュール３１の制御の下、例えば、テキストデータを読み上げたり、音楽や効果音等を出力したりする。
　カメラ３６ｃは、プロセッサモジュール３１の制御の下、撮像素子により画像データを生成する。カメラ３６ｃにより生成された画像データは、画像ファイルとしてメモリモジュール３３に格納される。本開示では、このような画像ファイルは、画像認識処理により物体情報（例えば名称等）が生成され、該物体情報に基づく検索クエリに変換される。
（情報通信端末装置の機能構成モデル）
　図４は、本発明の一実施形態に係る情報通信端末装置の機能構成モデルの一例を示すブロックダイアグラムである。同図では、情報通信端末装置３０は、例えば、制御部３１０と、記憶部３２０と、ユーザインターフェース部３３０と、通信インターフェース部３４０とを含み構成される機能構成モデルとして示されている。このような機能構成モデルは、プロセッサモジュール３１の制御の下、創作支援プログラムが実行されることにより、上述した各種のソフトウェア資源及び／又はハードウェア資源と協働し、実現される。
　制御部３１０は、情報通信端末装置３０における種々の処理（タスク）を統括的に制御し実行する。本例では、制御部３１０は、検索クエリ取得部３１１と、認識部３１２と、検索要求送信部３１３と、検索結果取得部３１４と、表示制御部３１５とを含み構成されている。制御部３１０におけるこれらの機能構成の詳細については、後述する。
　記憶部３２０は、例えば、検索結果記憶部３２１と、画面データ記憶部３２２と、動作履歴記憶部３２３とを含み得る。
　検索結果記憶部３２１は、制御部３１０の制御の下、検索サーバ２０から取得される検索結果を記憶する。本開示では、検索結果は、１又はそれ以上の画像を含む。画像は、所定の画像フォーマット（例えばＪＰＥＧやＰＮＧ、ＷｅｂＰ等）に従った画像ファイルであり、メタデータが関連付けられている。画像ファイルは、その一部にメタデータを含んでいても良い。メタデータは、例えば、画像のＵＲＬやその名称を示すテキストデータ等であるが、これらに限られない。本開示では、検索結果としての画像を「検索結果画像」と称することがある。また、検索結果記憶部３２１は、ユーザによって選択された検索結果画像を保存する記憶領域を含み得る。例えば、検索結果記憶部３２１は、制御部３１０の制御の下、ユーザによって選択された検索結果画像ファイルをアセットフォルダに保存する。
　画面データ記憶部３２２は、制御部３１０の制御の下、ユーザインターフェース部３３０によって提供される画面を仮想空間として表現するためのデータ（以下「画面データ」という。）を記憶する。画面データは、オブジェクト及びその座標情報等を含み得る。本開示では、オブジェクトは、画面内に表示される標章物又は要素でいい、例えば検索結果画像やアイコン、線画等を含む。画面データ記憶部３２２に記憶された画面データは、制御部３１０（例えばレンダラー）によってレンダリングされて、ユーザインターフェース部３３０に引き渡され、これにより、タッチパネル３６ａ上にオブジェクトを含む画面として表示される。
　動作履歴記憶部３２３は、制御部３１０の制御の下、タッチパネル３６ａを介して受け付けた所定の操作アクション並びにこれに応じた制御部３１０による一連の処理の過程及び結果を動作履歴として記憶する。なお、このような動作履歴は、制御部３１０の制御の下、創作支援サーバ４０上に保持されても良い。
　ユーザインターフェース部３３０は、タッチパネル３６ａ等を介して、ユーザにインタラクティブな操作環境を提供する。すなわち、ユーザインターフェース部３３０は、制御部３１０の制御の下、タッチパネル３６ａ上に仮想空間を表現した画面を表示し、これに対するユーザの種々の操作アクションを受け付ける。ユーザは、例えば、ペンを用いて操作アクションを入力する。
　一例として、ユーザインターフェース部３３０は、ユーザによる手書き入力を受け付けるとともに、それに応じて線画が表示される画面を提供する。手書き入力による入力情報は、例えば、文字又は文字列（テキスト）や閉曲線等を示す線画であり得る。他の例として、ユーザインターフェース部３３０は、制御部３１０の制御の下、オブジェクトがアニメーション表示される画面を提供する。更に他の例として、ユーザインターフェース部３３０は、オブジェクトに対するユーザの操作アクションを受け付ける。オブジェクトに対する操作アクションは、例えば、タップ（シングルタップやダブルタップ等）、ドラッグ、フリック、スワイプ等であるが、これに限られない。
　通信インターフェース部３４０は、情報通信端末装置３０が、通信ネットワーク１０を介して、検索サーバ２０にアクセス可能なように通信を制御する。例えば、通信インターフェース部３４０は、制御部３１０の制御の下、検索クエリに基づく検索要求を検索サーバ２０に送信するように制御する。また、例えば、通信インターフェース部３４０は、検索要求の検索クエリに応答して検索サーバ２０から送信される検索結果を受信して、制御部３１０に引き渡す。
　次に、制御部３１０の機能構成の詳細について説明する。
　検索クエリ取得部３１１は、検索サーバ２０に対する検索クエリを種々のチャネルから取得する。一例として、検索クエリ取得部３１１は、タッチパネル３６ａに対するユーザの所定の操作アクションに応じて画面データにおける線画を特定し、該線画に関するデータ（線画データ）に基づいて認識部３１２によって文字認識された結果を検索クエリとして取得する。より具体的には、ユーザが、所定の操作アクションとして、タッチパネル３６ａにペンを接触させたままの状態で、タッチパネル３６ａに表示された画面内の線画データを示す領域の少なくとも一部を囲むように移動させた場合に、検索クエリ取得部３１１は、その移動の軌跡によって囲まれる線画データを特定して認識部３１２に引き渡し、これに応答して、認識部３１２から出力されるテキストデータを取得して検索クエリに設定する。ユーザが線画を示す領域の少なくとも一部を囲むように移動させる操作アクションは、第１の操作アクションの一態様である。また、この場合、ユーザが線画を示す領域の少なくとも一部を囲むように移動させた後、追加的なジェスチャ（例えばチェック動作）をした一連の操作アクションを第１の操作アクションとしても良い。或いは、ユーザがタッチパネル３６ａに表示された画面内の線画の近傍でタップ（例えばダブルタップ）したり、長押ししたりする操作アクションを第１の操作アクションとしても良い。
　また、他の例として、検索クエリ取得部３１１は、タッチパネル３６ａに対するユーザの所定の操作アクションに応じて画面データにおけるオブジェクトを特定し、該オブジェクトに関連付けられたメタデータを検索クエリとして取得する。例えば、ユーザがタッチパネル３６ａに表示された画面内の注目したオブジェクト（検索結果画像）に対してタップ等する操作アクションは第２の操作アクションの一態様である。或いは、ユーザがタッチパネル３６ａに表示された画面内の複数の検索結果画像のうちの除外したい（注目しない）検索結果画像に対してフリック等する操作アクションは、第３の操作アクションの一態様である。検索クエリ取得部３１１は、第３の操作アクションに応答して、複数の検索結果画像のうちの除外された検索結果画像を除く検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得する。
　更に他の例として、検索クエリ取得部３１１は、任意のタイミングで、画面データにおける任意のオブジェクトを選択し、該オブジェクトに関連付けられたメタデータを検索クエリとして取得する。
　認識部３１２は、タッチパネル３６ａに表示された画面内の種々のオブジェクトに対して所定の認識処理を行ってテキストデータを生成し出力する。本開示では、認識部３１２は、文字認識部３１２１と、画像認識部３１２２とを含み構成される。また、認識部３１２は、音声認識処理を行ってテキストデータを生成する音声認識部（図示せず）を含み得る。検索クエリ取得部３１１は、音声認識処理により得られるテキストデータに基づいて検索クエリを取得し得る。
　文字認識部３１２１は、所定の文字認識アルゴリズムを用いて、線画データを解析して、それが示しているであろうテキストデータを生成し出力する（第１の認識処理）。また、文字認識部３１２１は、例えば、生成したテキストデータを辞書データベース（図示せず）と照合して、存在する単語に変換する機能を有するように構成されても良い。これにより、走り書きされたような線画データであっても、ユーザが本来意図したものが文字認識の結果として得られることになる。
　画像認識部３１２２は、所定の画像認識アルゴリズムを用いて、写真等の画像データを解析して、それが示しているであろう物体を抽出又は認識し、その物体情報（名称等）をテキストデータとして出力する（第２の認識処理）。例えば、画像データが自動車が行き交う橋を撮影した風景写真であれば、画像認識部３１２２は、そこから「自動車」や「橋」を認識し、その名称を示すテキストデータを生成し出力する。例えば、画像認識部３１２２は、ユーザが画像フォルダから読み出した写真等の画像データに対して、画像認識処理を行って、物体情報を生成し得る。
　なお、本例では、認識部３１２は、制御部３１０内に構成されるものとしたが、これに限られず、その一部又は全部が外部のクラウドサーバ（例えば創作支援サーバ４０）上に構成され、通信インターフェース部３４０を介して、認識結果を取得するようにしても良い。
　また、認識部３１２は、一意に認識結果を出力する代わりに、複数の認識結果の候補を出力するようにしても良い。ユーザは、タッチパネル３６ａの画面に表示される複数の認識結果の候補の中から所望のものを選択し得る。
　検索要求送信部３１３は、検索クエリ取得部３１１によって取得された検索クエリに基づいて検索要求を生成し、出力する。検索要求送信部３１３から出力される検索要求は、通信インターフェース部３４０を介して、検索サーバ２０に送信される。
　検索結果取得部３１４は、検索要求に応答して検索サーバ２０から送信される検索結果を、通信インターフェース部３４０を介して、受信し取得する。検索結果取得部３１４は、例えば、検索サーバ２０によって検索され抽出された複数の検索結果画像を、所定の数ごとに分割して、検索結果として取得する。検索結果取得部３１４は、取得された複数の検索結果画像を含む検索結果を表示制御部３１５に引き渡す。また、検索結果取得部３１４は、検索結果を検索結果記憶部３２１に保存する。
　表示制御部３１５は、タッチパネル３６ａ上の仮想空間を表現した画面の表示を制御する。例えば、表示制御部３１５は、タッチパネル３６ａ上に表示された画面に対するユーザの手書き入力に応答してその軌跡を画面に表示するように制御する。
　また、例えば、表示制御部３１５は、検索結果取得部３１４により取得された複数の検索結果画像がタッチパネル３６ａ上の画面内でアニメーション表示されるように制御を行う。より具体的には、表示制御部３１５は、複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、画面内の任意の位置に出現するようにアニメーション表示する。表示制御部３１５は、検索結果画像ごとの画面内の出現位置（第１の位置）を例えばランダムに決定する。したがって、複数の検索結果画像の各々の出現位置は、幾何学的に互いに整列された関係にない。検索結果画像を画面に出現させるアニメーション表示の一例として、視覚的に何もない又はぼやけた状態から検索結果画像が漸次的に完成する態様がある。他の例として、検索結果画像が仮想空間内を移動しているように表現する態様がある。仮想空間内を移動しているように表現する態様は、例えば、検索結果画像が視覚的に遠近法により近づいてくるように表現する態様を含む。更に他の例として、検索結果画像が視覚的に強調される態様がある。
　また、表示制御部３１５は、物理演算エンジン３１５１を含み得る。物理演算エンジン３１５１は、仮想空間におけるオブジェクト（例えば検索結果画像）の挙動を、所定の物理パラメータに従って物理演算することにより、シミュレートする。所定の物理パラメータは、例えば、質量、速度、外力、及び流体速度等である。一例として、物理演算エンジン３１５１は、仮想空間における検索結果画像の挙動をたき火で空中を漂う火の粉の挙動に例えてシミュレートする。他の例として、物理演算エンジン３１５１は、仮想空間における検索結果画像の挙動を水中から湧き上がる気泡の挙動に例えてシミュレートする。これにより、表示制御部３１５は、上記のアニメーション表示に代えて又は追加的に、画面内の検索結果画像が例えば仮想空間内をあたかも漂うようなアニメーション表示を可能にする。このような検索結果画像のアニメーション表示により、ユーザは、心地良さを感じ、思考の喚起・活性化を促され、よりクリエイティブな活動ができるようになる。
　また、物理演算エンジン３１５１は、仮想空間内を漂う検索結果画像のゆらぎが１／ｆゆらぎとなるようにシミュレートし得る。１／ｆゆらぎは、パワースペクトル密度が周波数ｆ（ただし、ｆ＞０）に反比例するゆらぎである。このような１／ｆゆらぎを持つ検索結果画像の挙動を表現したアニメーション表示により、ユーザは、自身の生体リズムと共鳴することで、精神が安定し、より一層のクリエイティブな活動ができるようになる。
　また、表示制御部３１５は、検索結果画像のアニメーション表示が所定の時間（例えば１０秒）経過した場合、検索結果画像があたかも漸次的消滅又は自然消滅（フェードアウト）するかのようにアニメーション表示を制御して、検索結果画像を画面から消去する。これにより、画面内に検索結果画像が溢れることがなく、適度の数の検索結果画像のアニメーション表示が行われるため、ユーザの思考プロセスを阻害することが防止される。なお、画面から消去された検索結果画像であっても、検索結果記憶部３２１からは消去されずに保存されたままであって良い。
（情報通信端末装置の処理）
　図５は、本発明の一実施形態に係る情報通信端末装置による処理の一例を示すフローチャートである。かかる処理は、情報通信端末装置３０が、プロセッサモジュール３１の制御の下、創作支援プログラムを実行し、各種のソフトウェア資源及び／又はハードウェア資源と協働することにより、実現される。なお、同図は、創作支援プログラムを実行する情報通信端末装置３０に対するユーザの操作アクションに応じた処理の流れを説明している。
　すなわち、情報通信端末装置３０の制御部３１０は、創作支援プログラムの実行を開始すると、ユーザへの創作支援のためのユーザインターフェース環境としての画面をタッチパネル３６ａ上に表示し、該画面に対するユーザによる何らかの入力（操作アクション）があったか否かを監視する（Ｓ５０１）。
　制御部３１０は、画面に対するユーザによる操作アクションがあったと判断する場合（Ｓ５０１のＹｅｓ）、続いて、制御部３１０は、該操作アクションに対応する画面の位置に選択可能なオブジェクトがあるか否かを判断する（Ｓ５０２）。つまり、制御部３１０は、ユーザがタッチパネル３６ａの画面内の空き領域（何も描かれていない領域）に対して入力をしているか否かを判断する。
　制御部３１０は、ユーザの操作アクションに対応する画面の位置に選択可能なオブジェクトがないと判断する場合（Ｓ５０２のＮｏ）、続いて、制御部３１０は、ユーザの操作アクションが手書き入力であるか否かを判断する（Ｓ５０３）。手書き入力は、ユーザがペンをタッチパネル３６ａに物理的に接触させたまま移動させる、１以上のストロークの組み合わせからなる動作である。
　制御部３１０は、ユーザの操作アクションが手書き入力であると判断する場合（Ｓ５０３のＹｅｓ）、入力されるストロークに応じて手書き入力処理を行う（Ｓ５０４）。手書き入力処理の詳細は、図６を参照して説明される。手書き入力処理の終了後は、制御部３１０は、ユーザの操作アクションを監視する処理（Ｓ５０１）に戻る。
　これに対して、制御部３１０は、ユーザの操作アクションが手書き入力でないと判断する場合（Ｓ５０３のＮｏ）、本例では、無効な入力であるとして、制御部３１０は、ユーザの操作アクションを監視する処理（Ｓ５０１）に戻る。例えば、非常に短い単一のストロークの場合、無効な入力であるとみなされ得る。
　一方、制御部３１０は、ユーザの操作アクションに対応する画面の位置に選択可能なオブジェクトがあると判断する場合（Ｓ５０２のＹｅｓ）、該操作アクションを判別して（Ｓ５０５）、それに応じた処理を行う。操作アクションには、例えば、画面内のオブジェクトをペンで軽く叩くような動作である「タップ」、画面内のオブジェクトをペンで捕まえてそのまま引きずるような動作である「ドラッグ」、画面内のオブジェクトをペンで素早く払うような動作である「フリック」、及び画面内の何もない領域をペンで触れて所定の方向に移動させる「スライド」や「スワイプ」等があるが、これに限られない。本開示では、操作アクションのうち、タップ、ドラッグ、及びフリックに基づく処理について説明される。なお、以下の例では、画面内の選択可能なオブジェクトに対する操作アクションは、第２の操作アクション又は第３の操作アクションに対応する。
　すなわち、制御部３１０は、ユーザの操作アクションがタップである場合、オブジェクトを選択する処理を行う（Ｓ５０６）。また、制御部３１０は、ユーザの操作アクションがドラッグである場合、オブジェクトをドラッグに応じて移動させる処理を行う（Ｓ５０７）。更に、制御部３１０は、ユーザの操作アクションがフリックである場合、フリックに応じてオブジェクトを画面の外に弾き出して画面から消去する処理を行う（Ｓ５０８）。これらの処理の詳細は、図６～図１１を各々参照して説明される。各処理の終了後、制御部３１０は、ユーザの操作アクションを監視する処理（Ｓ５０１）に戻る。
　図６は、本発明の一実施形態に係る情報通信端末装置による手書き入力処理の一例を示すフローチャートである。同図は、図５に示した手書き入力処理（Ｓ５０４）の詳細を示している。
　すなわち、同図に示すように、制御部３１０は、ユーザのペンの接触移動によるストロークの軌跡に応じてタッチパネル３６ａが出力する入力信号に従ってタッチパネル３６ａに表示された画面に線が描画されるように制御する（Ｓ６０１）。続いて、制御部３１０は、ユーザの手書き入力が終了したか否かを判断する（Ｓ６０２）。例えば、制御部３１０は、あるストロークの後にペンがタッチパネル３６ａから離れてから所定の時間内に次のストロークを検出しなかった場合、手書き入力が終了したと判断する。制御部３１０は、ユーザの手書き入力が終了していないと判断する場合（Ｓ６０２のＮｏ）、線描画を継続する（Ｓ６０１）。
　一方、制御部３１０は、ユーザの手書き入力が終了したと判断する場合（Ｓ６０２のＹｅｓ）、ユーザの手書き入力による線画データを画定する（Ｓ６０３）。線画データは、複数の線（直線であるか曲線であるか問わない。）の集合のベクトルデータであり得る。
　続いて、制御部３１０は、画定された線画データが所定の図形形状を示すか否かを判断する（Ｓ６０４）。本例では、所定の図形形状とは閉図形形状であるものとする。閉図形形状は、線が完全に閉じた図形形状に限られず、線の一部が離れていても実質的に閉図形形状とみなせるものも含む。また、所定の図形形状は、例えば、円や楕円といった単純な曲線からなる閉図形形状に限定されても良い。或いは、制御部３１０は、閉図形に代えて、線画データが所定の幾何学的線画（例えば、アンダーラインやレ点記号（チェックマーク）等）を示すか否かを判断しても良い。
　制御部３１０は、画定された線画データが所定の図形形状を示さないと判断する場合（Ｓ６０４のＮｏ）、制御部３１０は、線画データを画面データ記憶部３２２に一時的に保存する（Ｓ６０５）。すなわち、画面データ記憶部３２２に一時的に保存された線画データは、以降のユーザの操作アクションによって選択される上記の他の線画データ（オブジェクト）になり得る。
　一方、制御部３１０は、画定された線画データが所定の図形形状を示すと判断する場合（Ｓ６０４のＹｅｓ）、続いて、制御部３１０は、所定の図形形状に囲まれる領域（範囲）内に他の線画データ（選択対象となる線画データ）が存在するか否かを判断する（Ｓ６０６）。つまり、制御部３１０は、画面内に存在する他の線画データをユーザが意図的に選択したか否かを判断している。ここでいう他の線画データは、ユーザが以前に手書き入力した線画データであり得る。所定の図形形状に囲まれる領域とは、実質的に囲まれているとみなすことができる領域を含む。また、該領域内に他の線画データの少なくとも一部が含まれれば、制御部３１０は、他の線画データが存在すると判断し得る。言い換えれば、ユーザが、以前に手書き入力し画面に表示されている線画データを選択するために、該線画データが示す領域の少なくとも一部を囲むように閉図形を描画した場合、制御部３１０は、他の線画データが存在すると判断し得る。このように、他の線画データを選択するために所定の図形形状を示す線画データを描く操作アクションは第１の操作アクションに対応する。
　制御部３１０は、所定の図形形状に囲まれる領域内に選択対象となる線画データが存在しないと判断する場合（Ｓ６０６のＮｏ）、制御部３１０は、画定された線画データはユーザが選択するために手書き入力したものでないとみなして、該線画データを画面データ記憶部３２２に一時的に保存する（Ｓ６０５）。これは、例えば、ユーザがタッチパネル３６ａにメモ書きしたような線画データを保存できるようにしたものである。このような線画データは、画面データの一部となり得る。
　一方、制御部３１０は、所定の図形形状に囲まれる領域内に他の線画データが存在すると判断する場合（Ｓ６０６のＹｅｓ）、文字認識部３１２１によって、領域内の他の線画データに対して文字認識を行う（Ｓ６０７）。すなわち、文字認識部３１２１は、該線画データに対して文字認識処理を行って、テキストデータを生成する。続いて、検索結果取得部３１４は、生成されたテキストデータを検索クエリとして取得する（Ｓ６０８）。後述するように、検索要求送信部３１３は、取得された検索クエリに基づく検索要求を検索サーバ２０に送信し、検索結果取得部３１４は、検索サーバ２０からその検索結果（検索結果画像）を取得する。
　続いて、表示制御部３１５は、生成されたテキストデータを、文字認識されたテキストを示す例えばアイコンに変換する（Ｓ６０９）。表示制御部３１５は、手書き入力された線画データに代えて、変換されたアイコンが画面に表示されるように制御する。或いは、生成されたテキストデータは、アイコンに変換されることなく、そのままテキストデータとして扱われても良い。
　以上のように、ユーザがタッチパネル３６ａ上の画面内の空き領域に対して手書き入力した場合、情報通信端末装置３０は、それがテキストの入力であるのか、既に入力されたテキストの選択であるのかを判断する。また、情報通信端末装置３０は、手書き入力がテキストの入力であると判断する場合には、それを示す線画データを一時的に保存する。更に、情報通信端末装置３０は、既に入力されたテキストを示す線画データの選択であると判断する場合には、該線画データに対して文字認識処理を行って、テキストデータに変換し、これを検索クエリとして取得する。
　図７は、本発明の一実施形態に係る情報通信端末装置による検索処理の一例を示すフローチャートである。かかる処理は、検索クエリ取得部３１１によって検索クエリが取得されると、実行が開始される。例えば、制御部３１０は、検索クエリの取得に応答した検索処理を別のスレッド又はプロセスで実行し得る。これにより、後述するように、最初の検索クエリの取得による検索要求に応答した検索結果から新たな検索クエリが取得され、更に検索処理が連鎖的又は派生的に行われるようになる。
　すなわち、同図に示すように、制御部３１０は、検索クエリ取得部３１１によって検索クエリが取得されたか否かを監視している（Ｓ７０１）。制御部３１０は、検索クエリが取得されたと判断すると（Ｓ７０１のＹｅｓ）、検索要求送信部３１３は、検索クエリに基づく検索要求を生成し、検索サーバ２０に送信する（Ｓ７０２）。検索サーバ２０は、情報通信端末装置３０から検索要求を受信すると、検索要求に含まれる検索クエリに基づいて、データベース２４を参照して検索を行うことにより該当するリソースを抽出し、これを検索結果として情報通信端末装置３０に送信する。検索結果は、１以上の検索結果画像を含む。検索サーバ２０は、検索結果を抽出すると、例えば、情報通信端末装置３０の検索結果取得部３１４によるフェッチ要求に応じて、所定の数ごとに情報通信端末装置３０に送信する。
　これにより、検索結果取得部３１４は、検索要求に応答して検索サーバ２０が送信する検索結果を受信する（Ｓ７０３）。例えば、検索結果取得部３１４は、検索サーバ２０によって検索され抽出された複数の検索結果画像に対してフェッチ要求を送信して、所定の数ごとに分割して、検索結果として取得する。
　続いて、表示制御部３１５は、取得した検索結果（検索結果画像）を画面に表示するための処理を行う（Ｓ７０４）。検索結果の表示処理の詳細は、図８を参照して説明される。概略的には、制御部３１０は、複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、画面内の任意の位置に、アニメーション表示されるように、制御する。アニメーション表示は、例えば、検索結果画像が視覚的に漸次的に完成する態様、検索結果画像が画面において視覚的に遠近感を表現する態様、及び検索結果画像が視覚的に強調される態様等を含むが、これに限られない。
　表示制御部３１５による検索結果の表示を終えた制御部３１０は、検索処理を終了するか否かを判断する（Ｓ７０５）。例えば、ユーザが、検索の一時停止を選択した場合、制御部３１０は、検索処理を終了する。一方、制御部３１０は、検索処理を継続すると判断する場合（Ｓ７０５のＮｏ）、検索クエリ取得部３１１によって、検索結果に基づいて新たな検索クエリを取得する（Ｓ７０６）。検索クエリ取得部３１１は、例えば、検索結果画像に関連付けられたメタデータに基づいて検索クエリを取得し得る。制御部３１０は、検索クエリ取得部３１１により新たな検索クエリが取得されると、Ｓ７０２の処理に戻り、検索処理を継続する。すなわち、検索要求送信部３１３は、取得した新たな検索クエリに基づく検索要求を検索サーバ２０に送信し、これに応答する検索結果を取得し画面に表示する。このように、最初の検索クエリの取得による検索要求に応答した検索結果から新たな検索クエリが取得され、更に検索処理が連鎖的又は派生的に行われる。
　図８は、本発明の一実施形態に係る情報通信端末装置による検索結果の表示処理の一例を示すフローチャートである。同図は、図７に示した手書き入力処理（Ｓ７０４）の詳細を示している。
　同図に示すように、検索結果取得部３１４が、検索サーバ２０から検索結果画像を一括又は分割で取得すると、表示制御部３１５は、その中から一の検索結果画像を選択する（Ｓ８０１）。続いて、表示制御部３１５は、選択した一の検索結果画像のアニメーション表示処理を開始する（Ｓ８０２）。表示制御部３１５は、例えば、アニメーション表示処理を別のスレッド等で実行し得る。これにより、選択された検索結果画像は、仮想空間におけるオブジェクトとして、視覚的に認識される時間差をもって順次に漸次的に出現するといったアニメーション表示されるようになる。アニメーション表示処理の詳細は、図９を参照して説明される。このとき、表示制御部３１５は、検索結果画像に関連付けられたメタデータの少なくとも一部をアニメーション表示されるオブジェクトに関連付けて表示するように制御しても良い。
　続いて、表示制御部３１５は、取得した検索結果画像の全てが選択されたか否かを判断する（Ｓ８０３）。表示制御部３１５は、全ての検索結果画像が選択されていないと判断する場合（Ｓ８０３のＮｏ）、Ｓ８０１の処理に戻る。一方、表示制御部３１５は、全ての検索結果画像がまだ選択されたと判断する場合（Ｓ８０３のＹｅｓ）、検索結果の表示処理を終了する。
　図９は、本発明の一実施形態に係る情報通信端末装置によるアニメーション表示処理の一例を示すフローチャートである。かかる処理は、図８に示したアニメーション表示処理（Ｓ８０２）の詳細を示している。
　同図に示すように、表示制御部３１５は、仮想空間における各検索結果画像の挙動を、物理演算エンジン３１５１を用いて、所定の物理パラメータ（例えば、質量、速度、外力、及び気流等）に基づいて物理演算することにより、シミュレートする（Ｓ９０１）。例えば、表示制御部３１５は、各検索結果画像が仮想空間内をあたかも漂うようにシミュレートする。また、この場合、表示制御部３１５は、仮想空間内を漂う検索結果画像のゆらぎが１／ｆゆらぎとなるように物理演算しても良い。
　続いて、表示制御部３１５は、このような物理演算の結果に従って、仮想空間を表現した画面に検索結果画像がアニメーション表示されるように制御する（Ｓ９０２）。すなわち、表示制御部３１５は、物理演算の結果に従った画面データを生成し、これをユーザインターフェース部３３０に出力する。これにより、検索結果画像が、例えば、仮想空間を表現した画面においてあたかも漂うような挙動で表示される。このとき、表示制御部３１５は、検索結果画像に関連付けられたメタデータの少なくとも一部をアニメーション表示されるオブジェクトに関連付けて表示するように制御しても良い。
　続いて、表示制御部３１５は、検索結果画像のアニメーション表示が所定の終了条件を満たすか否かを判断する（Ｓ９０３）。所定の終了条件は、例えば、検索結果画像のアニメーション表示が開始から所定の時間（例えば１０秒）経過したか否かであるが、これに限られない。
　表示制御部３１５は、検索結果画像のアニメーション表示が所定の終了条件を満たしていないと判断する場合（Ｓ９０３のＮｏ）、上記のシミュレーションによるアニメーションの表示を継続する。一方、表示制御部３１５は、検索結果画像のアニメーション表示が所定の終了条件を満たしたと判断する場合（Ｓ９０３のＹｅｓ）、表示制御部３１５は、検索結果画像があたかも自然消滅（フェードアウト）するかのようにアニメーション表示を制御して、検索結果画像を画面から消去する（Ｓ９０４）。
　以上のように、情報通信端末装置３０は、ユーザによる手書き入力に基づいて検索クエリを取得し、検索サーバ２０に対して検索要求を行い、これに応答した検索結果（検索結果画像）を取得して、仮想空間を表現した画面に検索結果画像がアニメーション表示されるように制御を行う。また、情報通信端末装置３０は、検索結果に基づいて新たなクエリを取得して、更に、検索サーバ２０から検索結果を取得する。これにより、最初の手書き入力を発端として、種々の検索クエリが展開されるので、一つの観点にとらわれない検索が行われ、ユーザの思考の喚起・活性化を促すことできる。
　図１０は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト選択処理の一例を示すフローチャートである。同図は、図５に示したオブジェクト選択処理（Ｓ５０６）の詳細を示している。
　すなわち、図５に示したように、ユーザが、操作アクションとして、画面内の選択可能なオブジェクト上でタップをした場合、制御部３１０は、タップされた位置に対応するオブジェクトを注目オブジェクトとして選択する（Ｓ１００１）。ここでは、オブジェクトは、検索結果画像やアイコンであるものとする。
　続いて、制御部３１０は、選択された注目オブジェクトに関連付けられたメタデータを読み込み（Ｓ１００２）、検索クエリ取得部３１１は、読み込まれたメタデータを検索クエリに設定する（Ｓ１００３）。これにより、情報通信端末装置３０は、設定された検索クエリに基づく検索要求を検索サーバ２０に送信し、これに応答して検索サーバ２０から送信される検索結果を取得することができる。
　続いて、表示制御部３１５は、アニメーション表示のための所定の物理パラメータの値を変更する（Ｓ１００３）。例えば、表示制御部３１５は、仮想空間内のオブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更する。所定の物理パラメータの値の変更は、仮想空間内の全てのオブジェクトに影響し得る。これにより、仮想空間内のオブジェクトの移動は、選択前よりも速くなり、ユーザに画面全体が活性化したような感じを与えることができる。なお、表示制御部３１５は、オブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更した後、所定の時間経過後、元の値に戻すようにしても良い。
　なお、制御部３１０は、ユーザのタップにより検索結果画像が注目オブジェクトとして選択された場合、該検索結果画像を他の検索結果画像と区別し得るように、アセットフォルダに保存するように制御しても良い。或いは、ユーザの操作アクションが検索結果画像に対するダブルタップである場合に、制御部３１０は、該検索結果画像をアセットフォルダに保存するように制御しても良い。
　以上のように、情報通信端末装置３０は、ユーザが画面内のオブジェクトをタップすることにより選択した場合、選択されたオブジェクトに基づく新たな検索クエリを取得し、更なる検索結果を取得することができる。また、情報通信端末装置３０は、ユーザのタップをトリガにして、画面内のオブジェクトの移動速度が速くなるようにアニメーション表示を制御することで、落ち着いた状態から活性化した状態を演出することができ、ユーザの思考の喚起・活性化を促すことできるようになる。
　なお、オブジェクト選択処理は、後述されるように、ユーザによる確認のための処理ステップを含んでいても良い。
　図１１は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト移動処理の一例を示すフローチャートである。同図は、図５に示したオブジェクト移動処理（Ｓ５０７）の詳細を示している。
　すなわち、図５に示したように、ユーザが、操作アクションとして、画面内の選択可能なオブジェクトに対してドラッグした場合、表示制御部３１５は、ドラッグの開始位置に対応するオブジェクトを注目オブジェクトとして選択して、ドラッグの移動に応じて該注目オブジェクトが移動するようにアニメーション表示を制御する（Ｓ１１０１）。また、制御部３１０は、ドラッグが終了したか否かを監視する（Ｓ１１０２）。つまり、ユーザは、ドラッグによって、オブジェクトを現在の位置から第２の位置まで移動し得る。
　制御部３１０は、ドラッグが終了したと判断する場合（Ｓ１１０２のＹｅｓ）、上述したように、制御部３１０は、ドラッグされた注目オブジェクトに関連付けられたメタデータを読み込み（Ｓ１１０３）、検索クエリ取得部３１１は、読み込んだメタデータを検索クエリに設定する（Ｓ１１０４）。これにより、情報通信端末装置３０は、設定された検索クエリに基づく検索要求を検索サーバ２０に送信し、これに応答して検索サーバ２０から送信される検索結果を取得する。続いて、表示制御部３１５は、アニメーション表示のための所定の物理パラメータの値を変更する（Ｓ１１０５）。これにより、仮想空間内のオブジェクトの移動は、選択前よりも速くなり、ユーザに画面全体が活性化したような感じを与えることができる。なお、表示制御部３１５は、オブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更した後、所定の時間経過後、元の値に戻すようにしても良い。
　なお、例えば、ユーザが検索結果画像を他のアイコン（例えばアセットフォルダを示すアイコン）上までドラッグした場合、制御部３１０は、該検索結果画像をアセットフォルダに保存するように制御しても良い。
　以上のように、ユーザは、注目したいオブジェクトをドラッグにより、画面内の任意の場所に移動させることができる。情報通信端末装置３０は、ユーザによる操作アクションがあったオブジェクトに基づいて検索クエリを取得し、更なる検索結果を取得することができる。また、情報通信端末装置３０は、ユーザのドラッグをトリガにして、画面内のオブジェクトの移動速度を速くすることで、落ち着いた状態から活性化した状態を演出することができ、ユーザの思考の喚起・活性化を促すことできるようになる。
　図１２は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト消去処理の一例を示すフローチャートである。同図は、図５に示したオブジェクト消去処理（Ｓ５０８）の詳細を示している。
　すなわち、図５に示したように、ユーザが、操作アクションとして、画面内の選択可能なオブジェクト上でフリックをした場合、制御部３１０は、フリックされた位置に対応するオブジェクトを非注目オブジェクト（除外オブジェクト）として選択し、表示制御部３１５は、これを受けて、該非注目オブジェクトを画面の外に弾き出されるようにアニメーション表示を制御する（Ｓ１２０１）。
　続いて、制御部３１０は、画面内のオブジェクトのうち、非注目オブジェクトとして選択されなかった残りのオブジェクトの少なくとも１つを選択する（Ｓ１２０２）。例えば、制御部３１０は、画面内のオブジェクトの中からランダムで一のオブジェクトを選択する。この場合、制御部３１０は、一のオブジェクトを過去に検索クエリとして設定されていないオブジェクトの中から選択しても良い。
　続いて、制御部３１０は、選択されたオブジェクトに関連付けられたメタデータを読み込み（Ｓ１２０３）、検索クエリ取得部３１１は、読み込んだメタデータを検索クエリに設定する（Ｓ１２０４）。これにより、情報通信端末装置３０は、設定された検索クエリに基づく検索要求を検索サーバ２０に送信し、これに応答して検索サーバ２０から送信される検索結果を取得する。続いて、表示制御部３１５は、アニメーション表示のための所定の物理パラメータの値を変更する（Ｓ１２０５）。これにより、仮想空間内のオブジェクトの移動は、選択前よりも速くなり、ユーザに画面全体が活性化したような感じを与えることができる。なお、表示制御部３１５は、オブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更した後、所定の時間経過後、元の値を戻すようにしても良い。
　以上のように、ユーザは、不要と判断したオブジェクトをフリックにより、画面の外に弾き出すようにして消去させることができる。情報通信端末装置３０は、ユーザにより消去されなかったオブジェクトに基づいて検索クエリを取得し、更なる検索結果を取得することができる。また、情報通信端末装置３０は、ユーザのドラッグにより、画面内のオブジェクトの移動速度を速くすることで、落ち着いた状態から活性化した状態を演出することができ、ユーザの思考の喚起・活性化を促すことできるようになる。
（具体例）
　次に、上記のように構成される情報通信端末装置３０に対するユーザの操作アクションによる動作の具体例を説明する。
　すなわち、ユーザは、図１３に示すように、タッチパネル３６ａに表示された画面１３００に対して、例えば、「ｍｏｕｎｔａｉｎ」というキーワード又はテキスト（単語）Ｔを手書き入力したとする。上述したように、情報通信端末装置３０は、この時点では、手書き入力された「もの（エンティティ）」を線画データ（例えばベクトルデータ）として内部的に扱っている。続いて、ユーザは、図１４に示すように、画面１４００に対して、手書き入力された「ｍｏｕｎｔａｉｎ」というテキストＴを囲むように丸Ｃを描く。
　情報通信端末装置３０は、これを受けて、丸Ｃで囲まれた「ｍｏｕｎｔａｉｎ」に対応する線画データについて、文字認識処理を行って、「ｍｏｕｎｔａｉｎ」に対応するテキストデータを生成し、これを検索クエリとして取得する。このとき、情報通信端末装置３０は、線画データに対する文字認識が成功したことをユーザに知らせるため、例えば、図１５に示す画面１５００のように、文字認識されたテキストをアイコン化又はタイル化する。或いは、図示されていないが、文字認識された単語は、テキストデータ（所定のフォント文字）で表示されても良い。続いて、情報通信端末装置３０は、取得した検索クエリに基づく検索要求を生成し、検索サーバ２０に送信する。検索サーバ２０は、これに応答して、データベース２４を参照し、１つ又はそれ以上の検索結果画像を抽出して検索結果として、情報通信端末装置３０に送信する。
　情報通信端末装置３０は、検索サーバ２０から送信される検索結果を取得すると、検索結果に含まれる複数の検索結果画像ＲＥＳＵＬＴ（１）が、例えば、図１６に示すように、順番に、画面１６００内の任意の位置（例えばランダムな位置）に漸次的に出現し、仮想空間を漂うように、アニメーション表示するように制御する。図１７は、図１６に示した画面１６００内の状態から少し時間が経過した様子（画面１７００）を示している。図１７では、「ｍｏｕｎｔａｉｎ」に対する検索結果として、「バッファロー」が写っている山の画像も検索された様子が示されている。このような画像は、典型的には、「バッファロー」というようなメタデータを含み得るからである。これにより、ユーザは、「ｍｏｕｎｔａｉｎ」というキーワードから「バッファロー」という予期しないキーワードが喚起されることになる。
　ユーザは、図１６や図１７に示したようなアニメーション表示されている画面において、検索結果画像をタップにより選択したり、ドラッグにより移動させたり、フリックにより画面の外に弾き出すといった操作をすることができる。一方で、情報通信端末装置３０は、検索結果画像をアニメーション表示している間、新たな検索クエリを取得して、検索処理を継続することができる。
　例えば、ユーザは、図１７に示した画面１７００における左下の「バッファロー」が写っている検索結果画像をペンでタップしたとする。情報通信端末装置３０は、これを受けて、該検索結果画像に関連付けられたメタデータを参照し、これを検索クエリとして取得する。本例では、メタデータに「バッファロー」が関連付けられているものとする。したがって、情報通信端末装置３０は、「バッファロー」を検索クエリとする検索要求を生成し、検索サーバ２０に送信する。これにより、情報通信端末装置３０は、検索サーバ２０から送信される「バッファロー」に対する検索結果画像を取得し、例えば、図１８に示すような検索結果画像ＲＥＳＵＬＴ（２）を画面内にアニメーション表示する。
　以上のように、本実施形態によれば、ユーザがタッチパネル３６ａ上の画面に何らかのテキストを手書き入力し、これを囲むような軌跡を描いた場合、情報通信端末装置３０は、軌跡で囲まれた領域内の線画データに対して文字認識処理を行ってテキストデータに変換して検索クエリとして取得し、取得した検索クエリに基づく検索要求に応答した検索結果を検索サーバ２０から取得するので、ユーザは、インターネット検索のために、ペン操作からキーボードやマウスの操作に切り替える必要がなく、一連のスムーズな動作の流れを実現でき、思考プロセスが中断されることがない。したがって、ユーザは、シームレスな思考プロセスを体現でき、思考の喚起・活性化が促されるようになる。
　また、本実施形態によれば、検索要求に応答した検索結果に含まれる複数の検索結果画像を、整列された状態で一覧表示するのではなく、各々、視覚的に認識される時間差をもって順番に、画面内の任意の位置に、アニメーション表示するので、心地良さを感じ、ユーザは、思考の喚起・活性化を促され、よりクリエイティブな活動ができるようになる。
（変形例）
　図１９は、本発明の一実施形態に係る情報通信端末装置によるオブジェクト選択処理の他の例を示すフローチャートである。同図は、図１０に示したオブジェクト選択処理の変形例を示している。具体的には、同図に示すオブジェクト選択処理は、選択されたオブジェクトに対する検索を実行するか否かについて、ユーザによる確認に関する処理ステップが追加されている点で、図１０に示したオブジェクト選択処理と異なっている。
　上述したように、ユーザが、図１７に示した画面において、画面左下の「バッファロー」が写っている検索結果画像をペンでタップしたとする。これを受けて、制御部３１０は、タップされた位置に対応するオブジェクトを注目オブジェクトとして選択する（Ｓ１９０１）。
　次に、表示制御部３１５は、制御部３１０の制御の下、選択されたオブジェクトを強調表示して（Ｓ１９０２）、アニメーション表示を一旦停止するように制御し、制御部３１の制御の下、該オブジェクトに従って検索を実行するか否かの選択をユーザに促す（Ｓ１９０３）。図２０は、選択されたオブジェクトが強調表示された画面の一例を示している。同図では、画面２０００の略中央下の領域に、選択されたオブジェクト２００１（すなわち、「バッファロー」）が拡大表示されている例が示されている。ユーザは、選択したオブジェクト２００１について検索を実行することを希望する場合には、例えばオブジェクト２００１そのもの又は実行ボタン２００２をタッチし、或いは、ユーザは、キャンセルすることを希望する場合には、画面２０００内のオブジェクト２００１以外の領域又はキャンセルボタン２００３をタッチする。
　ユーザが選択されたオブジェクトに従って検索を実行することを選択した場合（Ｓ１９０２のＹｅｓ）、制御部３１０は、選択された注目オブジェクトに関連付けられたメタデータを読み込み（Ｓ１９０４）。続いて、検索クエリ取得部３１１は、読み込まれたメタデータを検索クエリに設定する（Ｓ１９０５）。これにより、情報通信端末装置３０は、設定された検索クエリに基づく検索要求を検索サーバ２０に送信し、これに応答して検索サーバ２０から送信される検索結果を取得することができる。
　続いて、表示制御部３１５は、アニメーション表示のための所定の物理パラメータの値を変更する（Ｓ１９０３）。例えば、表示制御部３１５は、仮想空間内のオブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更する。所定の物理パラメータの値の変更は、仮想空間内の全てのオブジェクトに影響し得る。これにより、仮想空間内のオブジェクトの移動は、選択前よりも速くなり、ユーザに画面全体が活性化したような感じを与えることができる。なお、表示制御部３１５は、オブジェクトの移動速度が速くなるように所定の物理パラメータの値を変更した後、所定の時間経過後、元の値に戻すようにしても良い。
　一方、ユーザが選択されたオブジェクトに従って検索を実行しないことを選択した場合（Ｓ１９０３のＮｏ）、制御部３１０は、オブジェクト選択処理（図５に示したＳ５０６）の処理を終了する。
　以上のように、情報通信端末装置３０は、ユーザが画面内のオブジェクトをタップすることにより選択した場合、該オブジェクトを拡大表示して、検索を実行するか否かの確認ユーザに促しているので、ユーザが期待する画面表示の挙動により近づけることができ、ユーザビリティが向上するようになる。
　上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、様々な形態で実施することができる。
　例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしても良く、また、他のステップ、動作又は機能を追加しても良い。
　また、本明細書では、様々な実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。
１…創作支援システム
１０…通信ネットワーク
２０…検索サーバ
　２２…検索エンジン
　２４…データベース
３０…情報通信端末装置
　３１…プロセッサモジュール
　３２…チップセット
　３３…メモリモジュール
　３４…Ｉ／Ｏコントローラ
　３５…ペリフェラルインターフェース
　　３５ａ…Ｉ／Ｏインターフェース
　　３５ｂ…通信インターフェース
　３６…入出力デバイス
　　３６ａ…タッチパネル
　　３６ｂ…スピーカ
　　３６ｃカメラ
　３１０…制御部
　　３１１…検索クエリ取得部
　　３１２…認識部
　　３１３…検索要求送信部
　　３１４…検索結果取得部
　　３１５…表示制御部
　３２０…記憶部
　　３２１…検索結果記憶部
　　３２２…画面データ記憶部
　　３２３…動作履歴記憶部
　３３０…ユーザインターフェース部
　３４０…通信インターフェース部
４０…創作支援サーバ
 

Claims (20)

  1. 　検索サーバに通信可能に接続される情報通信端末装置であって、
    　タッチパネルを含むユーザインターフェース部と、
    　検索クエリを取得する検索クエリ取得部と、
    　前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得する検索結果取得部と、
    　前記検索結果に含まれる前記複数の検索結果画像の各々を前記タッチパネル上の仮想空間を表現した画面に表示するための制御を行う表示制御部と、を備え、
    　前記表示制御部は、
    　前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御する、
    情報通信端末装置。
  2. 　前記タッチパネル上の前記画面に対して手書き入力された線画データに基づいて第１の認識処理を行う認識部を更に備え、
    　前記検索クエリ取得部は、前記認識部により認識されるテキストを前記検索クエリとして取得する、
    請求項１に記載の情報通信端末装置。
  3. 　前記認識部は、前記タッチパネル上の前記画面内の前記線画データに対するユーザの第１の操作アクションに応答して、前記第１の認識処理の実行を開始する、
    請求項２に記載の情報通信端末装置。
  4. 　前記第１の操作アクションは、前記タッチパネル上の前記画面内の前記線画データが示す領域の少なくとも一部を囲む線の描画である、
    請求項３に記載の情報通信端末装置。
  5. 　前記認識部は、画像データに対する第２の認識処理を行って、物体情報を生成するように構成され、
    　前記検索クエリ取得部は、生成される前記物体情報に基づいて前記検索クエリを取得する、
    請求項２に記載の情報通信端末装置。
  6. 　前記表示制御部は、前記複数の検索結果画像の各々が前記タッチパネル上の前記画面内の該検索結果画像に対して決定された第１の位置から漸次的に出現するように、前記アニメーション表示を制御する、
    請求項１に記載の情報通信端末装置。
  7. 　前記アニメーション表示は、前記検索結果画像が視覚的に漸次的に完成する態様、前記検索結果画像が視覚的に遠近法で表現される態様、及び前記検索結果画像が視覚的に強調される態様のうちの少なくとも１つである、
    請求項６に記載の情報通信端末装置。
  8. 　前記表示制御部は、前記複数の検索結果画像の各々に対して前記画面内の前記第１の位置を決定し、各前記検索結果画像が、決定された該第１の位置に表示されるように制御する、
    請求項６に記載の情報通信端末装置。
  9. 　前記各検索結果画像に対する前記第１の位置は、幾何学的に互いに整列された関係にない、
    請求項８に記載の情報通信端末装置。
  10. 　前記表示制御部は、前記各検索結果画像に対する前記第１の位置をランダムに決定する、
    請求項８に記載の情報通信端末装置。
  11. 　前記表示制御部は、表示された前記検索結果画像が所定の時間経過後に漸次的に消滅するように前記アニメーション表示を制御する、
    請求項１に記載の情報通信端末装置。
  12. 　前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像を前記画面における第２の位置に移動させるように制御する、
    請求項１に記載の情報通信端末装置。
  13. 　前記検索クエリ取得部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得する、
    請求項１に記載の情報通信端末装置。
  14. 　前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの注目検索結果画像に対するユーザの第２の操作アクションに応答して、前記少なくとも１つの注目検索結果画像に対する検索を実行するか否かの確認を前記ユーザに促すために、前記少なくとも１つの注目検索結果画像を強調表示するように制御する、
    請求項１に記載の情報通信端末装置。
  15. 　前記検索クエリ取得部は、前記ユーザが検索の実行を選択する場合に、前記少なくとも１つの注目検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得する、
    請求項１４に記載の情報通信端末装置。
  16. 　前記表示制御部は、前記第２の操作アクションに応答して、前記複数の検索結果画像の各々が漸次的に出現する速度を速くする前記アニメーション表示がなされるように制御する、
    請求項１２に記載の情報通信端末装置。
  17. 　前記表示制御部は、前記タッチパネル上の前記画面における前記複数の検索結果画像のうちの少なくとも１つの非注目検索結果画像に対するユーザの第３の操作アクションに応答して、前記少なくとも１つの非注目検索結果画像を前記画面から消去するように制御する、
    請求項１に記載の情報通信端末装置。
  18. 　前記検索クエリ取得部は、前記第３の操作アクションに応答して、前記複数の検索結果画像のうちの前記少なくとも１つの非注目検索結果画像を除くいくつかの検索結果画像に関連付けられたメタデータに基づいて、新たな検索クエリを取得する、
    請求項１７に記載の情報通信端末装置。
  19. 　検索サーバに通信可能に接続される情報通信端末装置による検索結果の表示方法であって、
    　前記情報通信端末のタッチパネルに対するユーザの入力から検索クエリを取得することと、
    　前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得することと、
    　前記検索結果に含まれる前記複数の検索結果画像の各々を、前記情報通信端末装置のタッチパネル上の仮想空間を表現した画面に表示するための制御を行うことと、を含み、
    　前記制御を行うことは、前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御することを含む、
    検索結果の表示方法。
  20. 　情報通信端末装置に、検索クエリに応答して検索サーバから送信される検索結果を表示させる方法を実現させるためのコンピュータプログラムであって、
    　前記方法は、
    　前記情報通信端末装置のタッチパネルに対するユーザの入力から前記検索クエリを取得することと、
    　前記検索クエリに応答して前記検索サーバから送信される複数の検索結果画像を含む検索結果を取得することと、
    　前記検索結果に含まれる前記複数の検索結果画像の各々を、前記タッチパネル上の仮想空間を表現した画面に表示するための表示制御を行うことと、を含み、
    　前記表示制御を行うことは、
    　前記複数の検索結果画像の各々を、視覚的に認識される時間差をもって順番に、アニメーション表示するように制御することを含む、
    コンピュータプログラム。
     
     
PCT/JP2023/008194 2022-03-18 2023-03-03 情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム WO2023176529A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-044379 2022-03-18
JP2022044379 2022-03-18

Publications (1)

Publication Number Publication Date
WO2023176529A1 true WO2023176529A1 (ja) 2023-09-21

Family

ID=88023005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008194 WO2023176529A1 (ja) 2022-03-18 2023-03-03 情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2023176529A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253961A (ja) * 2012-05-07 2013-12-19 Denso Corp 画像表示システム
JP2018128850A (ja) * 2017-02-08 2018-08-16 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253961A (ja) * 2012-05-07 2013-12-19 Denso Corp 画像表示システム
JP2018128850A (ja) * 2017-02-08 2018-08-16 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置

Also Published As

Publication number Publication date
TW202345015A (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
CN107491181B (zh) 语言输入的动态短语扩展
US11386266B2 (en) Text correction
RU2632144C1 (ru) Компьютерный способ создания интерфейса рекомендации контента
WO2021232930A1 (zh) 应用分屏方法、装置、存储介质及电子设备
KR102096513B1 (ko) 터치 입력 커서 조작
US11656758B2 (en) Interacting with handwritten content on an electronic device
CN1758205B (zh) 轻击手势
US10503255B2 (en) Haptic feedback assisted text manipulation
RU2633115C2 (ru) Формирование поискового запроса на основе контекста
JP5789608B2 (ja) 触覚強化テキストインターフェースのためのシステム及び方法
US8949109B2 (en) Device, method, and program to display, obtain, and control electronic data based on user input
EP3155501B1 (en) Accessibility detection of content properties through tactile interactions
US11200293B2 (en) Method and system for controlling presentation of web resources in a browser window
US10331297B2 (en) Device, method, and graphical user interface for navigating a content hierarchy
WO2016025525A1 (en) Smart scrubber in an ebook navigation interface
US9569420B2 (en) Image processing device, information processing method, and information processing program
JP2003531428A (ja) ユーザインターフェースおよびデジタルドキュメントの処理および見る方法
Liao et al. Pen-top feedback for paper-based interfaces
KR20230107690A (ko) 다수의 아이템 복사 및 붙여넣기의 운영 체제 수준관리
JP2004206701A (ja) 自由形状ペースト処理システム、方法及びプログラム
CN103797481A (zh) 基于手势的搜索
KR20140132731A (ko) 웹 페이지 애플리케이션 제어 기법
CN105359131B (zh) 栓系选择句柄
Costagliola et al. A technique for improving text editing on touchscreen devices
WO2023176529A1 (ja) 情報検索サービスに適合された情報通信端末装置及び該装置における表示制御方法並びに該方法を実行するためのコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770486

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2024507749

Country of ref document: JP

Kind code of ref document: A