WO2014064897A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2014064897A1
WO2014064897A1 PCT/JP2013/006039 JP2013006039W WO2014064897A1 WO 2014064897 A1 WO2014064897 A1 WO 2014064897A1 JP 2013006039 W JP2013006039 W JP 2013006039W WO 2014064897 A1 WO2014064897 A1 WO 2014064897A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
input
image
input image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/006039
Other languages
English (en)
French (fr)
Inventor
尚司 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US14/437,888 priority Critical patent/US9460119B2/en
Priority to JP2014543136A priority patent/JPWO2014064897A1/ja
Publication of WO2014064897A1 publication Critical patent/WO2014064897A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and an information processing program for executing information processing using an image photographed using a camera.
  • NFC Near Field Communication
  • an application is started by bringing a wireless communication terminal using NFC close to a predetermined object, or information related to a place where the terminal is close is displayed.
  • Patent Document 1 describes a portable information terminal that simplifies Internet connection processing and Web page search processing.
  • the portable information terminal described in Patent Document 1 includes detection means for detecting a logo mark that includes either a graphic or a character, and registration data in which a web page address corresponding to the logo mark is registered. keeping.
  • the portable information terminal described in Patent Literature 1 accesses a pre-registered Web page address when detecting a logo mark in which an image input from a camera is registered.
  • Patent Document 2 describes an image display device that improves visibility even under a situation in which vibration occurs in the device.
  • the vibration applied to the image display device is detected, and the display position of the image displayed on the display unit is moved in the direction opposite to the movement of the vibration.
  • Patent Document 3 describes a mobile phone device that reduces current consumption during a voice call. In the device described in Patent Document 3, it is detected that the mobile phone device is arranged in the vicinity of the user's ear based on the brightness and contour of the image data acquired by the camera unit.
  • Patent Document 4 describes a camera-equipped mobile terminal device that calls a function using an image generated by a camera.
  • the camera-equipped mobile terminal device described in Patent Literature 4 detects a feature that is processed by an application from a preview image acquired by the camera. Then, a state for accepting a selection operation is set for each of the applications having the detected feature as a processing target, and information indicating the function and the method of the selection operation is displayed on the display unit for each application.
  • Patent Document 5 describes a mobile phone that can be easily found when receiving a call when placed on a desk or floor.
  • the mobile phone described in Patent Document 5 detects a state where the terminal is placed on a floor or a desk with a rear camera, and changes the notification method at the time of incoming call by the detection.
  • the apparatus described in Patent Document 1 has a problem in that when a pre-registered image is detected, the detected image transitions to a registered Web page regardless of the user's intention. .
  • the present invention provides an information processing apparatus, an information processing method, and an information processing program capable of performing an execution instruction more reflecting a user's intention when performing an information processing execution instruction using an image.
  • the purpose is to do.
  • An information processing apparatus includes camera image input means for inputting captured image data, and input image data input by the camera image input means matches image data registered in advance or a feature amount of the image data.
  • Image collating means for storing in memory at least one of the input image data determined to match or information representing the input image data, complexity calculating means for calculating the complexity of the image data, Based on the calculated complexity of the image data, an image flatness determining unit that determines whether the image data is data indicating a flat image, and data in which new input image data indicates a flat image by the image flatness determining unit, When it is determined, when the input image data or information representing the input image data is stored in the memory, the data is stored in the memory. Characterized by comprising an information processing execution means for executing information processing specified by the input image data or information indicating the input image data.
  • the information processing method determines whether the input image data from the camera image input means for inputting the captured image data matches with the pre-registered image data or the feature amount of the image data. Then, at least one of the determined input image data or information representing the input image data is stored in a memory, the complexity of the image data is calculated, and the image data is flattened based on the calculated complexity of the image data.
  • the input image data or information representing the input image data is stored in the memory. The information processing specified by the input image data stored in or information representing the input image data is executed.
  • An information processing program determines whether input image data from camera image input means for inputting captured image data to a computer matches image data registered in advance or a feature amount of the image data.
  • Image matching processing for storing in memory at least one of the input image data determined to match or information representing the input image data, complexity calculation processing for calculating the complexity of the image data, and complexity of the calculated image data
  • the image flatness determination process for determining whether or not the image data is data indicating a flat image based on the degree, and if the new input image data is determined to be data indicating a flat image in the image flatness determination process, the memory
  • an execution instruction more reflecting the user's intention can be performed.
  • the user of the information processing apparatus starts photographing an object associated with an application to be activated or an object for which additional information is to be obtained.
  • the user moves the information processing apparatus toward the object. Since the content of the captured image changes due to the movement, when the change is detected, the application is started and additional information on the object is presented.
  • These operations execute information processing using images, and can be said to be operations that further reflect the user's intention.
  • FIG. FIG. 1 is a block diagram showing a configuration example of a first embodiment of an information processing apparatus according to the present invention.
  • the information processing apparatus of the present embodiment is referred to as an information terminal.
  • the information terminal 1 of this embodiment includes a camera image input unit 101, a central processing unit 102, a temporary storage unit 103, a storage unit 104, and a display unit 105.
  • the information terminal 1 is a device that provides various applications and additional information to the user.
  • the camera image input means 101 inputs an image to the information terminal 1.
  • the camera image input unit 101 is realized by an imaging device such as a camera, for example, and inputs an image captured by the imaging device to the information terminal.
  • an image input by the camera image input unit 101 may be referred to as a camera image or an input image.
  • data indicating an input image may be referred to as input image data or camera image data depending on the input format.
  • the central processing means 102 performs various information processing. Specifically, the central processing unit 102 performs image processing of an input camera image, operation processing based on an application, processing for presenting additional information, and the like. The processing performed by the central processing means 102 will be described later.
  • Temporary storage unit 103 temporarily stores the calculation result by central calculation unit 102 and the input image.
  • the storage unit 104 stores pre-registered image features, application execution files, and the like.
  • the temporary storage unit 103 and the storage unit 104 are realized by, for example, a memory or a magnetic disk device. In the present embodiment, the temporary storage unit 103 and the storage unit 104 are realized by separate devices, but the temporary storage unit 103 and the storage unit 104 may be realized by a single device. Further, the storage areas stored in the temporary storage unit 103 and the storage unit 104 may be divided into a plurality of pieces of information, and information having different contents may be stored for each divided storage area.
  • Display unit 105 displays input images, calculation results, application execution results, and additional information to be presented.
  • the display unit 105 is realized by, for example, a touch panel device or a display device.
  • the central processing unit 102 determines whether or not the input image data input by the camera image input unit 101 matches the image data registered in advance or the feature amount of the image data.
  • the central processing means 102 stores in the temporary storage means 103 at least one of the input image data determined to match or information representing the input image data.
  • this process may be referred to as an image collation process P101.
  • the name of an application related to the input image may be used, or the name of an object (object) specified by the input image may be used.
  • the central processing unit 102 calculates the feature amount of the image data input from the camera image input unit 101. Then, the central processing means 102 compares the calculated feature quantity with a pre-registered feature quantity, detects an image with the matching feature quantity from the storage means 104, and stores the detection result in the temporary storage means 103. To do.
  • the feature amount to be compared with the feature amount of the input image is stored in the storage unit 104, for example.
  • the central processing means 102 determines not only the input image determined to match, but also the determination result (hereinafter referred to as the image matching result) that the feature amount of the input image data and the feature amount of the image registered in advance match. May be stored in the temporary storage means 103. Further, the image collation result may include information on the link destination of the registered image or information instructing other image information. The image collation result may include information representing input image data.
  • the central processing means 102 can calculate the feature amount of the image data by any method such as SIFT (Scale-Invariant Feature Transform) feature, HOG (Histograms of Oriented Gradients) feature, SURF (Speed-Up Robust Features) feature, etc.
  • SIFT Scale-Invariant Feature Transform
  • HOG Hemograms of Oriented Gradients
  • SURF Speed-Up Robust Features
  • the central processing means 102 may determine that the feature amounts match when the feature amounts of the two image data completely match, and when the difference between the feature amounts of the two image data is within a predetermined range. Also, it may be determined that the feature amounts match.
  • the central processing unit 102 calculates the complexity of the image data, and determines whether the image data is data indicating a flat image based on the calculated complexity of the image data.
  • the complexity of the image data is a degree indicating the complexity of the picture pattern of the image, and is sometimes referred to as an activity. For example, the complexity of an image taken in an out-of-focus state or an image taken in a blacked-out state is small.
  • the central processing unit 102 calculates the activity of the input image data and presets the calculated activity in order to detect a flat image. Compare the threshold value.
  • this processing may be referred to as image processing P102.
  • the activity can be expressed by the root mean square of the difference between pixel values (luminance values) for adjacent pixels. Therefore, the central processing means 102 may calculate the mean square of the difference between pixel values between pixels as an activity.
  • this calculation method is an example of a method for calculating an activity, and the activity may be calculated using another method.
  • the threshold value may be set to about 1/20 (specifically, 13 or less) of the entire scale value.
  • the central processing means 102 determines whether or not the input image data has become a flat image. Hereinafter, this process may be referred to as an image flatness determination process P103.
  • the central processing means 102 may determine that the target image has become flat when the above-mentioned mean square is equal to or less than a predetermined threshold.
  • the central processing means 102 determines whether or not the image matching result is stored in the temporary storage means 103. That is, the fact that the image comparison result is stored in the temporary storage means 103 indicates that an input image that matches the registered image has been input to the information terminal.
  • this process may be referred to as a collation result confirmation process P104.
  • the central processing means 102 is a case where the new input image data is determined to be data indicating a flat image, and the temporary storage means 103 stores the input image data or information representing the input image data. Sometimes, information processing specified by the input image data stored in the temporary storage means 103 or information representing the input image data is executed.
  • the central processing unit 102 determines that the input image data has become a flat image, and if the image matching result already exists in the temporary storage unit 103, the input image corresponding to the latest image matching result is displayed.
  • An application related to data may be activated.
  • the central processing means 102 may present additional information of the input image data.
  • this process may be referred to as a related application activation process P105.
  • the central processing means 102 is realized by a CPU of a computer that operates according to a program (information processing program).
  • the program may be stored in a storage unit (not shown) of the information terminal 1, and the CPU may read the program and operate as the central processing unit 102 according to the program.
  • FIG. 2 is a flowchart illustrating an operation example of the information processing apparatus of the present embodiment.
  • the central processing unit 102 determines whether or not the input image data matches pre-registered image data or feature amounts, and the input image determined to match.
  • Image collation processing for storing data, image collation information, and the like in the temporary storage means 103 is performed (step P101).
  • the central processing means 102 performs image processing for calculating the complexity of the input image data (step P102).
  • the central processing means 102 performs image flatness determination processing for determining whether the image data is data indicating a flat image based on the calculated complexity of the image data (step P103).
  • step P103 If it is determined that the new input image is not a flat image (NO in step P103), the processing after step P101 is repeated. On the other hand, when it is determined that the input image is a flat image (YES in step P103), the central processing unit 102 performs a matching result confirmation process for confirming whether image matching information is stored in the temporary storage unit 103 (step S103). P104).
  • step P104 If the image collation information is not stored in the temporary storage unit 103 (NO in step P104), the central processing unit 102 ends the process. On the other hand, when the image collation information is stored in the temporary storage unit 103 (YES in step P104), the central processing unit 102 performs the information processing specified by the image collation information stored in the temporary storage unit 103. Application activation processing is performed (step P105).
  • the central processing unit 102 displays the image data in which the input image data is registered in advance (or the feature amount of the image data). ) And the image collation information representing the contents of the input image data determined to match is stored in the temporary storage means 103.
  • the central processing unit 102 calculates the complexity of the image data, and determines whether the image data is data indicating a flat image based on the calculated complexity of the image data. As a result, when it is determined that the new input image data is data indicating a flat image, and the image collation information is stored in the temporary storage unit 103, the central processing unit 102 is stored in the temporary storage unit 103. Information processing specified by image collation information indicating the contents of the stored input image data is executed.
  • an execution instruction for information processing is performed using an image
  • an execution instruction more reflecting the user's intention can be performed. According to the present embodiment, it is possible to recognize a series of operations of photographing an object and bringing the information terminal 1 close to the object as operations for executing an application.
  • the operator refers to the page and photographs a place where an icon and an operation description of an application associated with the icon are described with a camera.
  • the information terminal calculates an image feature from the image data of the taken place and collates it with the image feature stored in the information terminal.
  • the information terminal determines that there is an image having similar image characteristics, the information terminal temporarily stores image collation information indicating an application name or the like as a collation result.
  • the operator performs an operation to bring the information terminal closer to the page.
  • the activity of the input image decreases (that is, the activity of the input image falls below a predetermined threshold). Therefore, when the activity of the input image falls below the threshold value, the information terminal determines that the information terminal has been placed on or close to the paper surface, and is specified by the temporarily stored image verification information. Start the application.
  • the operator can start an application preinstalled in the information terminal by placing the information terminal close to or on the paper surface on which the image of the application that the user wants to operate is drawn. Can do. Therefore, it is not necessary to find a desired application from a very large number of application groups, and an operation for starting an application of an information terminal can be easily performed.
  • the registered image data plays a role of an icon for starting the application. It is also possible for the user to define an arbitrary mark as an image that serves as the icon.
  • FIG. FIG. 3 is a block diagram showing a configuration example of the second embodiment of the information processing apparatus according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the information processing apparatus of this embodiment is also referred to as an information terminal.
  • the information terminal 1 of this embodiment includes a camera image input unit 101, a central processing unit 102, a temporary storage unit 103, a storage unit 104, a display unit 105, and a vibration detection unit 106. That is, the information terminal according to the present embodiment is different from the information terminal according to the first embodiment in that the information terminal further includes a vibration detection unit 106.
  • the vibration detection means 106 detects the movement of the information terminal 1.
  • the vibration detection unit 106 inputs, for example, a signal (vibration signal) indicating the detected vibration to the central processing unit 102.
  • the vibration detection means 106 is realized by, for example, an acceleration sensor.
  • the mode of the vibration detection unit 106 is not limited to the acceleration sensor. Since a method for detecting vibration is widely known, detailed description thereof is omitted here.
  • the central processing means 102 of this embodiment determines whether or not the information terminal 1 (specifically, the camera image input means 101) is in a stationary state. For example, the central processing unit 102 may determine that the information terminal 1 is in a stationary state based on a vibration signal input from the vibration detection unit 106. Note that the central processing means 102 is not only when the information terminal 1 is completely stationary, but also when the vibration is within a predetermined range (that is, when the information terminal 1 is substantially stationary). You may determine with being in a state. Hereinafter, this process may be referred to as a terminal stationary state determination process P106.
  • the central processing unit 102 temporarily stores data when it is determined that the new input image data is data indicating a flat image, and when the camera image input unit 101 is determined to be stationary. Information processing specified by the input image data stored in the means 103 or information representing the input image data is executed.
  • the central processing means 102 executes this process in the related application activation process P105 shown in the first embodiment. That is, the central processing unit 102 determines that the input image data has become a flat image, determines that the information terminal 1 is in a stationary state, and if the image collation result exists in the temporary storage unit 103, the central processing unit 102 An application related to input image data corresponding to the image collation result may be activated. In this case, the central processing means 102 may present additional information of the input image data.
  • the vibration detection means 106 detects vibration. Therefore, when the information terminal is moving greatly, it can be controlled not to start the application related to the collation result image, so that an erroneous operation of the information terminal can be prevented.
  • FIG. 4 is a flowchart illustrating an operation example of the information processing apparatus according to the present embodiment. Note that the image collating process and the process from calculating the complexity to determining whether the image is flat are the same as the processes from step P101 to step P103 illustrated in FIG.
  • the central processing means 102 determines whether or not the information terminal 1 is in a stationary state (step P106). When it is determined that the information terminal 1 is not in a stationary state (NO in step P106), the processes after step P101 are repeated. On the other hand, when it is determined that the information terminal 1 is in a stationary state (YES in step P106), a collation result confirmation process and a related application activation process shown in steps P104 and S105 are performed.
  • the terminal stationary state determination process P106 for determining whether or not the information terminal 1 is in the stationary state is performed.
  • the image flatness determination process P103 may be performed after the terminal stationary state determination process P106. That is, the image flatness determination process P103 may be performed when the central processing unit 102 determines that the terminal is in the stationary state in the terminal stationary state determination process P106.
  • the central processing means 102 determines whether or not the information terminal 1 is in a stationary state based on the vibration detected by the vibration detecting means 106. Then, when the central processing unit 102 determines that the new input image data is data indicating a flat image and the information terminal 1 is determined to be in a stationary state, the central processing unit 102 stores it in the temporary storage unit 103. Information processing specified by the image collation information indicating the contents of the input image data is executed.
  • FIG. FIG. 3 is a block diagram showing a configuration example of the third embodiment of the information processing apparatus according to the present invention.
  • symbol same as FIG. 3 is attached
  • subjected and description is abbreviate
  • the information processing apparatus of this embodiment is also referred to as an information terminal.
  • the information terminal 1 of the present embodiment includes a camera image input unit 101, a central processing unit 102, a temporary storage unit 103, a storage unit 104, a display unit 105, a vibration detection unit 106, and a communication unit 107. ing. That is, the information terminal according to the present embodiment is different from the information terminal according to the second embodiment in that the communication terminal 107 is further provided.
  • the communication means 107 connects the information terminal 1 to the server 2 via a communication network.
  • the server 2 is a device that can search various information required when the information terminal 1 executes information processing based on an input image. Since the server 2 is an apparatus capable of performing a larger-scale search than the information terminal 1, it can search related information from images that are not registered in the information terminal 1. That is, the server 2 performs a large-scale search for related applications or related information.
  • the central processing unit 102 stores the pre-registered image data or input image data that matches the feature amount of the image data in the temporary storage unit 103.
  • the central processing unit 102 temporarily stores the input image data even if the input image data is not determined to match if the information terminal 1 is determined to be in a stationary state. save.
  • this input image data may be referred to as temporarily stored data.
  • this process may be referred to as an image storage process P107.
  • the central processing unit 102 may store temporarily stored data in the temporary storage unit 103, for example.
  • the central processing means 102 may store the input image data determined to match and the temporarily stored data in separate areas.
  • the central processing means 102 is a case where the new input image data is determined to be data indicating a flat image, and the temporary storage means 103 stores the input image data or information representing the input image data (that is, the image data).
  • the temporarily stored input image data (temporarily stored data) is transmitted to the server 2.
  • this process may be referred to as an image transmission process P108.
  • the server 2 notifies the information terminal 1 of information necessary for the information terminal 1 to execute information processing based on the notified temporarily stored data.
  • Examples of information necessary for executing information processing include an application name to be executed by the information terminal 1 and information for explaining the contents of the notified temporarily stored data.
  • this process may be referred to as an image search process P110.
  • the central processing means 102 executes information processing specified by the information notified from the server 2. For example, when the application name is notified from the server 2, the central processing means 102 may activate the application. Further, for example, when information describing the contents of the temporarily stored data is notified from the server 2, the central processing means 102 may display the information.
  • the central processing unit 102 performs the image processing P102 again. The process itself may be terminated.
  • the central processing unit 102 may calculate the feature amount of the input image data and temporarily store the feature amount. In this case, the central processing means 102 may transmit the feature amount to the server 2 to obtain necessary information.
  • FIG. 6 is a flowchart illustrating an operation example of the information processing apparatus according to the present embodiment. Note that the image collation processing and the processing until the complexity is calculated are the same as the processing from step P101 to step P102 illustrated in FIG.
  • the central processing means 102 performs terminal stationary state determination processing for determining whether or not the information terminal 1 is in a stationary state (step P106).
  • the central processing unit 102 determines whether the image data represents a flat image based on the calculated complexity of the image data. Image flatness determination processing is performed to determine whether or not (step P103).
  • the central processing means 102 temporarily stores the input image (step P107) and repeats the processing from step P101 onward.
  • the input image temporarily stored here can be said to be an image taken by the information terminal 1 in a stationary state (that is, an image without motion blur). If there is an image temporarily stored, the central processing unit 102 replaces the stored image with a new input image to make the latest image.
  • the central processing unit 102 performs a verification result confirmation process for confirming whether the image verification information is stored in the temporary storage unit 103. (Step P104).
  • the central processing unit 102 transmits the temporarily stored image (temporarily stored data) to the server 2 via the communication network.
  • the server 2 to which the temporarily stored data is transmitted performs an information search process and notifies the information terminal 1 of information indicating the search result (step P110).
  • step P104 When image collation information is stored in temporary storage unit 103 (YES in step P104), or when information is received from server 2, central processing unit 102 uses the image collation information stored in temporary storage unit 103.
  • the specified information processing or the information processing specified by the information notified by the server 2 is executed (step P105).
  • the central processing unit 102 determines that the image data matches the pre-registered image data or the feature amount of the image data.
  • the missing input image data (or the feature amount of the input image data) is temporarily stored.
  • the central processing unit 102 determines that the new input image data is determined to be data indicating a flat image, and the input image data or information representing the input image data is not stored in the temporary storage unit 103.
  • the temporarily stored input image data is transmitted to the server 2, and information processing specified by the information notified by the server 2 is executed.
  • the information processing apparatus described below is an example using the information processing apparatus of the third embodiment. It is assumed that an application installed in the information terminal 1a owned by the user A is used in the information terminal 1b owned by another user B. At this time, it is assumed that the user A activates an application installed in the information terminal 1a based on a notation on a certain page. At this time, when the user B holds the information terminal 1b over the paper used at that time and brings the information terminal 1b close to the paper, an inquiry is made to the server 2 via the communication network. Based on the information notified from the server 2, the information terminal 1b displays an inquiry screen indicating whether or not to install an application. When the user B installs the application, the user B can easily own the same application by proceeding according to the instructions on the screen.
  • FIG. 7 is an explanatory diagram illustrating an example of a situation in which the information processing apparatus of this specific example is used.
  • a display device is provided on a surface referred to by a user, and a camera (not shown) is provided on the back surface of the display device.
  • the user activates the program of the present invention on the information terminal 1 in a bookstore or library. Then, as shown in FIG. 7A, the user takes an image of the cover by holding the information terminal 1 over the cover of the book or magazine that is of interest, and temporarily stores the taken image on the information terminal.
  • the information terminal 1 determines that a flat image is input by inputting a completely dark image. Therefore, the information terminal 1 transmits the image of the cover that is held up to a server provided in the bookstore or library.
  • the server performs image collation between the transmitted cover image and the registered image, and returns the electronic book data of the matched book or magazine to the information terminal 1.
  • the information terminal 1 activates an electronic book reader application based on the returned data, and displays the electronic book data. Therefore, the user can browse the contents of the book or magazine by simply placing the information terminal 1 on the cover of the book or magazine.
  • the information terminal 1 may be limited so that the electronic book data can be browsed only when the information terminal 1 exists within a predetermined range. For example, when the user completes the purchase procedure at the bookstore or completes the loan procedure at the library, the information terminal 1 can continue to view the electronic book data even if it is taken out of the area. You may control. In addition, when the user has not completed each procedure, the information terminal 1 may be controlled so that the electronic book data cannot be browsed outside the area when it is taken out of the area.
  • FIG. 8 is a block diagram showing an outline of the information processing apparatus according to the present invention.
  • the information processing apparatus according to the present invention includes a camera image input unit 81 (for example, a camera image input unit 101) for inputting captured image data, and an image in which input image data input by the camera image input unit 81 is registered in advance. It is determined whether or not the data or the feature amount of the image data matches, and at least one of the input image data determined to match or information representing the input image data (for example, image collation information) is stored in memory.
  • a camera image input unit 81 for example, a camera image input unit 101
  • an image in which input image data input by the camera image input unit 81 is registered in advance. It is determined whether or not the data or the feature amount of the image data matches, and at least one of the input image data determined to match or information representing the input image data (for example, image collation information) is stored in memory.
  • An image collating unit 82 (for example, central processing unit 102) stored in (for example, temporary storage unit 103) and a complexity calculating unit 83 (for example, central processing unit 102) for calculating the complexity (for example, activity) of image data. ) And the calculated complexity of the image data, it is determined whether or not the image data is data indicating a flat image.
  • the image flatness determining means 84 (for example, the central processing means 102) and the image flatness determining means 84 determine that the new input image data is data indicating a flat image
  • the input image data or the input image data is stored in the memory.
  • Information stored in the memory or information processing specified by the information representing the input image data for example, application execution processing, additional information presentation processing
  • Information processing execution means 85 (for example, central processing means 102).
  • the information terminal has a large storage capacity, and many applications can be installed. However, when many applications are installed, it tends to be difficult to find an application that you want to use. For this reason, the operation summary manual is not read, and applications that are not used at all are often held in the information terminal.
  • the application when the user reads the manual and finds a favorite application, the application can be started by placing or moving the information terminal on the page. Furthermore, in this case, an effect that the operation of the application can be easily learned by operating according to the description of the manual as it is can be obtained. Therefore, an application that occupies a storage unit in the information terminal even though it is not used can be effectively used.
  • the camera image input means 81 may be provided with a stationary state determination means (for example, vibration detection means 106) for determining whether or not the camera image input means 81 is in a stationary state. Then, the information processing execution means 85 is stored in the memory when it is determined that the new input image data is data indicating a flat image and the camera image input means 81 is in a stationary state. Information processing specified by the input image data or information representing the input image data may be executed.
  • a stationary state determination means for example, vibration detection means 106
  • the information processing execution means 85 is stored in the memory when it is determined that the new input image data is data indicating a flat image and the camera image input means 81 is in a stationary state.
  • Information processing specified by the input image data or information representing the input image data may be executed.
  • the image matching unit 82 temporarily stores the input image data that has not been determined to match or the feature amount of the input image data (for example, Temporary storage data may be stored).
  • the information processing execution means 85 is a case where the new input image data is determined to be data indicating a flat image, and when the input image data or information representing the input image data is not stored in the memory, Various information (for example, information required for the information processing apparatus (for example, the information terminal 1) to execute information processing on the input image data temporarily stored based on the input image or the feature amount of the image) , An application name or information to be presented) may be transmitted to a searchable server (for example, server 2), and information processing specified by information notified by the server may be executed.
  • a searchable server for example, server 2
  • the image collating unit 82 may calculate the feature amount of the input image data input by the camera image input unit 81 and determine whether or not it matches the feature amount of the image data registered in advance.
  • the image flatness determining unit 84 may determine that the image data is data indicating a flat image when the calculated complexity of the image data is equal to or less than a predetermined threshold.
  • the information processing execution means 85 performs processing for starting an application related to the latest input image data stored in the memory as information processing to be executed, or processing for displaying additional information related to the input image data. May be.
  • the present invention is suitably applied to a user interface that operates an application associated with an object such as a poster or a magazine by bringing the information terminal close to an object such as a poster or magazine on an information terminal equipped with a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

　画像照合手段８２は、入力画像データが予め登録された画像データ、または、その画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データ、または、その入力画像データを表わす情報の少なくとも一方をメモリに記憶する。複雑度算出手段８３は、画像データの複雑度を算出する。画像平坦判定手段８４は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データ、または、その入力画像データを表わす情報が記憶されているときに、そのメモリに記憶された入力画像データ等により特定される情報処理を実行する。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、カメラを用いて撮影される画像を利用して情報処理を実行する情報処理装置、情報処理方法および情報処理プログラムに関する。
　近年、情報処理を行うための様々なユーザインタフェースが提案されている。その一例として、ＮＦＣ（Near Field Communication）などの近距離無線通信技術が用いられることがある。例えば、ＮＦＣを利用した無線通信端末を所定の物に近づけることでアプリケーションを起動したり、端末を近づけた場所に関連する情報を表示したりする。
　特許文献１には、インターネット接続処理およびＷｅｂページの検索処理を簡単化する携帯情報端末が記載されている。特許文献１に記載された携帯情報端末は、図形か文字のどちらか一方を含むロゴマークを検出する検出手段を備えており、また、そのロゴマークに対応したＷｅｂページアドレスを登録した登録データを保持している。特許文献１に記載された携帯情報端末は、カメラから入力された画像が登録されているロゴマークを検出した際に、予め登録されたＷｅｂページアドレスにアクセスする。
　なお、特許文献２には、装置に振動が発生する状況下においても視認性を良好にする画像表示装置が記載されている。引用文献２に記載された画像表知装置では、画像表示装置に対して与えられた振動を検出して、表示部に表示する画像の表示位置をその振動の動きと反対方向に移動させる。
　特許文献３には、音声通話中における消費電流を低減させる携帯電話装置が記載されている。特許文献３に記載された装置では、カメラ部が取得した画像データの明度や輪郭などに基づいて携帯電話装置が使用者の耳近傍に配置されていることを検知する。
　特許文献４には、カメラにより生成された画像を利用して機能を呼び出すカメラ付き携帯端末装置が記載されている。特許文献４に記載されたカメラ付き携帯端末装置は、カメラによって取得されたプレビュー画像からアプリケーションが処理対象とする特徴を検出する。そして、検出された特徴を処理対象とする全てのアプリケーションについて、それぞれ選択操作を受け付ける状態を設定すると共に、これらのアプリケーションごとにその機能および選択操作の方法を示す情報を表示部に表示する。
　特許文献５には、机や床等に置いた場合に、着信時に容易に見つけることができる携帯電話機が記載されている。特許文献５に記載された携帯電話機は、端末が床や机に置かれた状態を背面カメラで検知し、その検知によって着信時の通知方法を変更する。
特開２００３－０３６２１２号公報 特開２００６－１４５６１６号公報 特開２００７－２５９１３４号公報 特開２０１０－２１７９６２号公報 特開２０１２－０５０１４８号公報
　また、近年、スマートフォンやタブレットＰＣといった情報端末が普及してきており、様々なアプリケーションが、手の平の上で操作される情報端末で動作するようになってきている。このような情報端末は、アプリケーションが付属した状態（バンドルされた状態）で販売されることが多い。このとき、付属のアプリケーションの数やその後に購入したアプリケーションの数が増加すると、そのアプリケーションを起動させるためのアイコンが情報端末の画面に入りきらなくなってしまう。その結果、複数のページにまたがって様々なアプリケーションのアイコンが表示されてしまい、目的のアプリケーションを起動させるアイコンを探すために多くの時間を費やしてしまうという課題があった。
　一方、特許文献１に記載された装置を用いることで、アプリケーションを起動させる時間を低減させることは可能である。しかし、特許文献１に記載された装置では、予め登録された画像を検出してしまうと、使用者の意図によらず検出した画像について登録されたＷｅｂページに遷移してしまうという課題があった。
　そこで、本発明は、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
　本発明による情報処理装置は、撮像された画像データを入力するカメラ画像入力手段と、カメラ画像入力手段により入力される入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合手段と、画像データの複雑度を算出する複雑度算出手段と、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段と、画像平坦判定手段によって新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行する情報処理実行手段とを備えたことを特徴とする。
　本発明による情報処理方法は、撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶し、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定し、新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行することを特徴とする。
　本発明による情報処理プログラムは、コンピュータに、撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合処理、画像データの複雑度を算出する複雑度算出処理、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理、および、画像平坦判定処理で新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行する情報処理実行処理を実行させることを特徴とする。
　本発明によれば、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。
本発明による情報処理装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態の情報処理装置の動作例を示すフローチャートである。 本発明による情報処理装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の情報処理装置の動作例を示すフローチャートである。 本発明による情報処理装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の情報処理装置の動作例を示すフローチャートである。 具体例で示す情報処理装置が用いられる状況の例を示す説明図である。 本発明による情報処理装置の概要を示すブロック図である。
　まず、本発明の情報処理装置を用いた操作方法を説明する。まず、情報処理装置の使用者は、起動させたいアプリケーションに関連付けられた対象物または付加情報を得たい対象物の撮影を開始する。所望の対象物を撮影できた場合、使用者は、その対象物に向けて情報処理装置を移動させる。移動させたことにより撮影される画像の内容が変化するため、その変化が検知されたときに、アプリケーションの起動や、対象物の付加情報の提示が行われる。これらの操作は、画像を利用して情報処理を実行するものであり、さらに、使用者の意図をより反映させた操作であると言える。以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明による情報処理装置の第１の実施形態の構成例を示すブロック図である。以下、本実施形態の情報処理装置を情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５とを備えている。情報端末１は、使用者に様々なアプリケーションや付加情報を提供する装置である。
　カメラ画像入力手段１０１は、画像を情報端末１に入力する。カメラ画像入力手段１０１は、例えば、カメラなどの撮像装置により実現され、その撮像装置で撮影した画像を情報端末に入力する。以下、カメラ画像入力手段１０１により入力される画像をカメラ画像、または、入力画像と記すこともある。また、入力される形式に応じて、入力される画像を示すデータを入力画像データ、または、カメラ画像データと記すこともある。
　中央演算手段１０２は、各種情報処理を行う。具体的には、中央演算手段１０２は、入力されたカメラ画像の画像処理や、アプリケーションに基づく動作処理、付加情報の提示処理などを行う。なお、中央演算手段１０２が行う処理は、後述される。
　一時記憶手段１０３は、中央演算手段１０２による演算結果や、入力画像を一時的に記憶する。記憶手段１０４は、予め登録しておいた画像特徴や、アプリケーションの実行ファイルなどを記憶する。一時記憶手段１０３および記憶手段１０４は、例えば、メモリや磁気ディスク装置などにより実現される。なお、本実施形態では、一時記憶手段１０３と記憶手段１０４とを別々の装置で実現しているが、一時記憶手段１０３と記憶手段１０４は、まとめて１つの装置で実現されていてもよい。また、一時記憶手段１０３および記憶手段１０４が記憶する記憶領域を複数に分割し、分割された記憶領域ごとに異なる内容の情報を記憶するようにしてもよい。
　表示手段１０５は、入力画像や演算結果、アプリケーションの実行結果及び提示する付加情報などの表示を行う。表示手段１０５は、例えば、タッチパネル装置や、ディスプレイ装置などにより実現される。
　以下、中央演算手段１０２の動作を説明する。中央演算手段１０２は、カメラ画像入力手段１０１により入力される入力画像データが予め登録された画像データ、またはその画像データの特徴量と一致するか否かを判定する。そして、中央演算手段１０２は、一致すると判定された入力画像データ、またはその入力画像データを表わす情報の少なくとも一方を一時記憶手段１０３に記憶する。以下、この処理を、画像照合処理Ｐ１０１と記すこともある。
　入力画像データを表わす情報として、その入力画像に関連するアプリケーションの名称を利用してもよく、また、その入力画像により特定される対象物（オブジェクト）の名称を利用してもよい。
　具体的には、中央演算手段１０２は、カメラ画像入力手段１０１から入力された画像データの特徴量を算出する。そして、中央演算手段１０２は、算出した特徴量と予め登録されていた特徴量とを比較して、特徴量が一致する画像を記憶手段１０４から検出し、その検出結果を一時記憶手段１０３に記憶する。入力画像の特徴量と比較される特徴量は、例えば、記憶手段１０４に記憶される。
　中央演算手段１０２は、一致すると判定された入力画像だけでなく、入力された画像データの特徴量と予め登録されていた画像の特徴量とが一致すると判定された判定結果（以下、画像照合結果と記すこともある。）を一時記憶手段１０３に記憶してもよい。また、画像照合結果は、登録画像のリンク先の情報や、他の画像情報が指示された情報を含んでいてもよい。また、画像照合結果は、入力画像データを表わす情報を含んでいてもよい。
　中央演算手段１０２は、画像データの特徴量を算出する方法として、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform ）特徴やＨＯＧ（Histograms of Oriented Gradients）特徴やＳＵＲＦ（Speed-Up Robust Features）特徴など、如何なる特徴量演算方法を用いて良い。
　また、中央演算手段１０２は、両画像データの特徴量が完全に一致する場合に、特徴量が一致すると判断してもよく、両画像データの特徴量の差が所定の範囲内である場合にも特徴量が一致すると判断してもよい。
　また、中央演算手段１０２は、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。画像データの複雑度は、画像の絵柄の複雑性を示す度合いであり、アクティビティと言うこともある。例えば、ピントが合わない状態で撮影された画像や、ブラックアウトした状態を撮影した画像は、複雑度が小さくなる。
　具体的には、カメラ画像入力手段１０１から随時画像データが入力されるため、中央演算手段１０２は、入力画像データのアクティビティを算出し、平坦画像を検出するために、算出したアクティビティと予め設定していた閾値とを比較する。以下、この処理を、画像処理Ｐ１０２と記すこともある。
　一般に、アクティビティは、隣り合う画素について画素値（輝度値）の差分の二乗平均で表わすことができる。そこで、中央演算手段１０２は、画素間における画素値の差分の二乗平均をアクティビティとして算出してもよい。ただし、この算出方法は、アクティビティを算出する方法の一例であり、他の方法を用いてアクティビティを算出してもよい。
　例えば、輝度値が８ビットで表現されている場合、閾値を、全スケール値の１／２０程度（具体的には１３以下）に設定してもよい
　そして、中央演算手段１０２は、入力された画像データが平坦画像になったか否かを判定する。以下、この処理を、画像平坦判定処理Ｐ１０３と記すこともある。中央演算手段１０２は、上述する二乗平均が予め定めた閾値以下である場合に、対象とする画像が平坦になったと判定してもよい。
　一方、中央演算手段１０２は、画像照合結果が一時記憶手段１０３に記憶されているか否かを判定する。すなわち、画像照合結果が一時記憶手段１０３に記憶されていると言うことは、登録画像に一致する入力画像が情報端末に入力されたことを示す。以下、この処理を、照合結果確認処理Ｐ１０４と記すこともある。
　そして、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に入力画像データ、またはその入力画像データを表わす情報が記憶されているときに、一時記憶手段１０３に記憶された入力画像データ、またはその入力画像データを表わす情報により特定される情報処理を実行する。
　具体的には、中央演算手段１０２は、入力画像データが平坦画像になったと判断され、かつ、すでに、画像照合結果が一時記憶手段１０３に存在する場合、最新の画像照合結果に対応する入力画像データに関連したアプリケーションを起動させてもよい。また、中央演算手段１０２は、この場合、入力画像データの付加情報を提示してもよい。以下、この処理を、関連アプリケーション起動処理Ｐ１０５と記すこともある。
　なお、中央演算手段１０２は、プログラム（情報処理プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、情報端末１の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、中央演算手段１０２として動作してもよい。
　次に、本実施形態の動作を説明する。図２は、本実施形態の情報処理装置の動作例を示すフローチャートである。
　カメラ画像入力手段１０１から入力データが入力されると、中央演算手段１０２は、入力画像データが予め登録された画像データまたは特徴量と一致するか否かを判定し、一致すると判定された入力画像データや画像照合情報等を一時記憶手段１０３に記憶するための画像照合処理を行う（ステップＰ１０１）。
　次に、中央演算手段１０２は、入力画像データの複雑度を算出する画像処理を行う（ステップＰ１０２）。
　そして、中央演算手段１０２は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理を行う（ステップＰ１０３）。
　新たな入力画像が平坦画像ではないと判定された場合（ステップＰ１０３におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、入力画像が平坦画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に画像照合情報が記憶されているか否か確認する照合結果確認処理を行う（ステップＰ１０４）。
　一時記憶手段１０３に画像照合情報が記憶されていない場合（ステップＰ１０４におけるＮＯ）、中央演算手段１０２は、処理を終了する。一方、一時記憶手段１０３に画像照合情報が記憶されている場合（ステップＰ１０４におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に記憶された画像照合情報により特定される情報処理を実行する関連アプリケーション起動処理を行う（ステップＰ１０５）。
　以上のように、本実施形態によれば、カメラ画像入力手段１０１が撮像された画像データを入力すると、中央演算手段１０２が、入力画像データが予め登録された画像データ（または画像データの特徴量）と一致するか否かを判定し、一致すると判定された入力画像データの内容を表わす画像照合情報を一時記憶手段１０３に記憶する。また、中央演算手段１０２は、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。その結果、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に画像照合情報が記憶されているときに、中央演算手段１０２が、一時記憶手段１０３に記憶された入力画像データの内容を示す画像照合情報により特定される情報処理を実行する。
　よって、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。本実施形態によれば、対象物を撮影して、その対象物に情報端末１を近づけるという一連の操作をアプリケーションを実行させる操作として認識することができる。
　以下、本実施形態の情報端末の操作と、その操作による情報端末の動作を説明する。まず、操作者は、紙面を参照し、アイコンとそのアイコンに関連付けられたアプリケーションの動作説明を記載した場所をカメラで撮影する。情報端末は、撮影された場所の画像データから画像特徴を算出し、情報端末の内部に記憶している画像特徴と照合する。情報端末は、画像特徴が近い画像が存在すると判断したとき、照合結果としてアプリケーション名などを示す画像照合情報を一時記憶する。
　次に、操作者が情報端末を紙面に近づける操作を行う。すると、カメラはフォーカスを合わせることができなくなるため、入力画像のアクティビティが低下する（すなわち、入力画像のアクティビティが所定の閾値以下になる）。そこで、情報端末は、入力画像のアクティビティが閾値以下になったとき、操作者によって情報端末が紙面に置かれる、または、近づける動作が行われたと判定し、一時記憶された画像照合情報により特定されるアプリケーションを起動する。
　情報端末がこのように動作することで、操作者は、情報端末を自分が動作させたいアプリケーションの画像が描かれた紙面に近づけるか置くことにより、情報端末に予めインストールされたアプリケーションを起動させることができる。そのため、非常に多くのアプリケーション群から所望のアプリケーションを見つけ出す必要がなく、簡便に情報端末のアプリケーションを起動させる操作を行うことが可能になる。
　一般的な情報端末では、アイコンを指定してアプリケーションを起動させる。本実施形態では、登録された画像データが、アプリケーションを起動させるためのアイコンの役割を果たしているといえる。このアイコンとしての役割を果たす画像として、使用者が任意のマークを定めることも可能である。
実施形態２．
　図３は、本発明による情報処理装置の第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。以下、本実施形態の情報処理装置も情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５と、振動検出手段１０６を備えている。すなわち、本実施形態の情報端末は、振動検出手段１０６をさらに備えている点において第１の実施形態の情報端末と異なる。
　振動検出手段１０６は、情報端末１の動きを検出する。振動検出手段１０６は、例えば、検出した振動を示す信号（振動信号）を中央演算手段１０２に入力する。振動検出手段１０６は、例えば、加速度センサなどにより実現される。ただし、情報端末１の動作状態を検出できるものであれば、振動検出手段１０６の態様は、加速度センサに限定されない。なお、振動を検知する方法は広く知られているため、ここでは詳細な説明は省略する。
　本実施形態の中央演算手段１０２は、情報端末１（具体的には、カメラ画像入力手段１０１）が静止状態にあるか否かを判定する。中央演算手段１０２は、例えば、振動検出手段１０６から入力される振動信号をもとに情報端末１が静止状態にあることを判定してもよい。なお、中央演算手段１０２は、情報端末１が完全に静止した場合だけでなく、振動が予め定めた範囲内に収まっている場合（すなわち、ほぼ静止状態にある場合）に、情報端末１が静止状態にあると判定してもよい。以下、この処理を、端末静止状態判定処理Ｐ１０６と記すこともある。
　本実施形態では、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段１０１が静止状態にあると判定された場合に、一時記憶手段１０３に記憶された入力画像データ、またはその入力画像データを表わす情報により特定される情報処理を実行する。
　具体的には、中央演算手段１０２は、第１の実施形態で示した関連アプリケーション起動処理Ｐ１０５において、本処理を実行する。すなわち、中央演算手段１０２は、入力画像データが平坦画像になったと判断され、かつ、情報端末１が静止状態であると判定され、さらに、画像照合結果が一時記憶手段１０３に存在する場合、最新の画像照合結果に対応する入力画像データに関連したアプリケーションを起動させてもよい。また、中央演算手段１０２は、この場合、入力画像データの付加情報を提示してもよい。
　動くものをカメラで撮影した場合、モーションブラーと呼ばれるぶれや残像が発生することがある。動きが激しい場合に撮影される画像や、手ぶれ画像は、非常にぼけた画像になることが知られている。この場合、画像平坦判定処理Ｐ１０３において、このような画像が平坦画像になったと判定される可能性がある。しかし、本実施形態では、振動検出手段１０６が振動を検出する。そのため、情報端末が大きく動いている場合には照合結果画像に関連したアプリケーションの起動を行わないように制御できるため、情報端末の誤操作を防止できる。
　次に、本実施形態の動作を説明する。図４は、本実施形態の情報処理装置の動作例を示すフローチャートである。なお、画像照合処理、および複雑度を算出して画像が平坦か否かを判定するまでの処理は、図２に例示するステップＰ１０１からステップＰ１０３までの処理と同様である。
　入力された画像が平坦な画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、情報端末１が静止状態にあるか否かを判定する（ステップＰ１０６）。情報端末１が静止状態ではないと判定された場合（ステップＰ１０６におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、情報端末１が静止状態であると判定された場合（ステップＰ１０６におけるＹＥＳ）、ステップＰ１０４およびステップＳ１０５で示される照合結果確認処理および関連アプリケーション起動処理が行われる。
　なお、図４に示すフローチャートでは、画像が平坦か否かを判定する画像平坦判定処理Ｐ１０３を実施した後で、情報端末１が静止状態にあるか否かを判定する端末静止状態判定処理Ｐ１０６を実施する場合を例示した。ただし、端末静止状態判定処理Ｐ１０６を実施した後に、画像平坦判定処理Ｐ１０３を実施してもよい。すなわち、中央演算手段１０２が、端末静止状態判定処理Ｐ１０６で、静止状態にあると判定した場合に画像平坦判定処理Ｐ１０３を実施してもよい。
　以上のように、本実施形態によれば、中央演算手段１０２が、振動検出手段１０６によって検出される振動に基づいて情報端末１が静止状態にあるか否かを判定する。そして、中央演算手段１０２が、新たな入力画像データが平坦画像を示すデータと判定された場合であって、情報端末１が静止状態にあると判定された場合に、一時記憶手段１０３に記憶された入力画像データの内容を示す画像照合情報により特定される情報処理を実行する。
　よって、第１の実施形態の効果に加え、ぶれによる画像変化を検知できるため、情報端末１の誤動作を防止できる。また、本実施形態によれば、対象物を撮影して、その対象物に情報端末１を近づけて止めるという一連の操作をアプリケーションを実行させる操作として認識することができる。
実施形態３．
　図３は、本発明による情報処理装置の第３の実施形態の構成例を示すブロック図である。なお、第２の実施形態と同様の構成については、図３と同一の符号を付し、説明を省略する。以下、本実施形態の情報処理装置も情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５と、振動検出手段１０６と、通信手段１０７とを備えている。すなわち、本実施形態の情報端末は、通信手段１０７をさらに備えている点において第２の実施形態の情報端末と異なる。
　通信手段１０７は、通信ネットワーク網を介して情報端末１をサーバ２に接続する。サーバ２は、入力される画像に基づいて情報端末１が情報処理を実行する際に必要とされる各種情報を検索可能な装置である。サーバ２は、情報端末１よりも大規模な検索が可能な装置であるため、情報端末１に登録されていない画像からも関連する情報を検索できる。すなわち、サーバ２では、関連アプリケーションもしくは関連情報の検索が大規模に行われる。
　なお、第１の実施形態および第２の実施形態の説明では、中央演算手段１０２が、予め登録された画像データまたはその画像データの特徴量と一致する入力画像データを一時記憶手段１０３に記憶する場合を説明した。本実施形態では、中央演算手段１０２は、一致すると判定されなかった入力画像データであっても、情報端末１が静止状態にあると判定されている場合には、その入力画像データを一時的に保存する。以下、この入力画像データを一時保存データと記すこともある。また、以下、この処理を、画像記憶処理Ｐ１０７と記すこともある。
　なお、中央演算手段１０２は、例えば、一時記憶手段１０３に一時保存データを保存してもよい。この場合、中央演算手段１０２は、一致すると判断された入力画像データと一時保存データとを別々の領域に記憶すればよい。
　本実施形態では、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に入力画像データまたは入力画像データを表わす情報（すなわち、画像照合情報）が記憶されていないときに、一時的に保存した入力画像データ（一時保存データ）をサーバ２に送信する。以下、この処理を、画像送信処理Ｐ１０８と記すこともある。
　サーバ２は、通知された一時保存データをもとに、情報端末１が情報処理を実行するために必要な情報を情報端末１に通知する。情報処理を実行するために必要な情報の例として、情報端末１に実行させるアプリケーション名や、通知された一時保存データの内容を説明する情報などが挙げられる。以下、この処理を、画像検索処理Ｐ１１０と記すこともある。
　そして、中央演算手段１０２は、サーバ２から通知される情報により特定される情報処理を実行する。例えば、サーバ２からアプリケーション名が通知された場合、中央演算手段１０２は、そのアプリケーションを起動してもよい。また、例えば、サーバ２から一時保存データの内容を説明する情報が通知された場合、中央演算手段１０２は、その情報を表示するようにしてもよい。
　なお、画像データが平坦画像を示すデータか否かを判定する画像処理Ｐ１０２において、一時保存データが存在せず、また、画像照合情報も存在しない場合、中央演算手段１０２は、画像処理Ｐ１０２を再度行ってもよいし、処理自体を終了させてもよい。
　また、上記説明では、一致すると判定されなかった入力画像データについて、中央演算手段１０２がその入力画像データそのものを一時的に保存する場合を説明した。ほかにも、中央演算手段１０２は、その入力画像データの特徴量を算出し、その特徴量を一時的に保存するようにしてもよい。この場合、中央演算手段１０２は、その特徴量をサーバ２に送信して、必要な情報を得るようにしてもよい。
　次に、本実施形態の動作を説明する。図６は、本実施形態の情報処理装置の動作例を示すフローチャートである。なお、画像照合処理、および複雑度を算出するまでの処理は、図２に例示するステップＰ１０１からステップＰ１０２までの処理と同様である。
　次に、中央演算手段１０２は、情報端末１が静止状態にあるか否かを判定する端末静止状態判定処理を行う（ステップＰ１０６）。情報端末１が静止状態ではないと判定された場合（ステップＰ１０６におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、情報端末１が静止状態であると判定された場合（ステップＰ１０６におけるＹＥＳ）、中央演算手段１０２は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理を行う（ステップＰ１０３）。
　新たな入力画像が平坦画像ではないと判定された場合（ステップＰ１０３におけるＮＯ）、中央演算手段１０２は、その入力画像を一時的に保存したうえで（ステップＰ１０７）、ステップＰ１０１以降の処理を繰り返す。なお、ここで一時的に保存される入力画像は、情報端末１が静止状態で撮影した画像（すなわち、モーションブラーがない画像）といえる。また、すでに一時的に保存された画像が存在する場合、中央演算手段１０２は、保存されている画像を新たな入力画像で置き換えて最新の画像にする。
　一方、新たな入力画像が平坦画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に画像照合情報が記憶されているか否か確認する照合結果確認処理を行う（ステップＰ１０４）。
　一時記憶手段１０３に画像照合情報が記憶されていない場合（ステップＰ１０４におけるＮＯ）、中央演算手段１０２は、一時的に保存した画像（一時保存データ）を通信ネットワークを介してサーバ２に送信する。一時保存データが送信されたサーバ２は、情報検索処理を実施し、検索結果を示す情報を情報端末１に通知する（ステップＰ１１０）。
　一時記憶手段１０３に画像照合情報が記憶されている場合（ステップＰ１０４におけるＹＥＳ）、または、サーバ２から情報を受信した場合、中央演算手段１０２は、一時記憶手段１０３に記憶された画像照合情報により特定される情報処理、または、サーバ２により通知される情報により特定される情報処理を実行する（ステップＰ１０５）。
　以上のように、本実施形態によれば、中央演算手段１０２が、情報端末１が静止状態にあると判定された場合に、予め登録された画像データまたは画像データの特徴量に一致すると判定されなかった入力画像データ（または、その入力画像データの特徴量）を一時的に保存する。そして、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、入力画像データまたは入力画像データを表わす情報が一時記憶手段１０３に記憶されていないときに、一時的に保存した入力画像データをサーバ２に送信し、サーバ２により通知される情報により特定される情報処理を実行する。
　そのため、第２の実施形態の効果に加え、入力画像に一致する画像（または画像の特徴量）が情報端末１に登録されていない場合であっても、サーバ２から情報処理に必要な情報を取得することが可能になる。
　次に、本発明の情報処理装置を利用した一態様を説明する。以下に説明する情報処理装置は、第３の実施形態の情報処理装置を利用した例である。使用者Ａが所有する情報端末１ａにインストールされているアプリケーションを、他の使用者Ｂが自ら所有する情報端末１ｂで使用する場合を想定する。この時、使用者Ａは、情報端末１ａにインストールされているアプリケーションを、ある紙面の表記をもとに起動させたとする。この時、使用者Ｂは、その際に使用された紙面に対して情報端末１ｂをかざし、その紙面上に情報端末１ｂを近づけると、通信ネットワークを介してサーバ２に問い合わせが行われる。サーバ２から通知される情報をもとに、情報端末１ｂは、アプリケーションのインストールを行うか否かを示す問い合わせ画面を表示する。使用者Ｂは、そのアプリケーションをインストールする場合、画面の指示に従って進むことにより、容易に同じアプリケーションを所有することが可能になる。
　また、例えば、情報端末１が備える電卓機能を呼び出す際に、実際の電卓に情報端末を近づけてかざすことにより、電卓のアプリケーションを起動させることも可能になる。なお、このとき、使用者が決めたマークのような画像データを新しくアイコンとして登録しておいてもよい。こうすることにより、以降その画像に対して情報端末１をかざすことで、使用者が望むアプリケーションを起動させることが可能になる。
　このことを利用すると、あるアプリケーションを販売する際、アプリケーションを起動させるためのアイコンを示したシールを配布することで、容易にアプリケーション販売サイトへ誘導することが可能になる。また、使用者は、配布されたシールに情報端末をかざすことでアプリケーションを容易に起動できるため、その販売サイトの利用頻度が増加することで、結果的にメリットが得られる可能性がある。
　以下、具体例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。本具体例では、書籍の内容を閲覧するアプリケーションを起動させる操作を説明する。図７は、本具体例の情報処理装置が用いられる状況の例を示す説明図である。図７に例示する情報処理装置は、使用者が参照する面にディスプレイ装置が設けられ、ディスプレイ装置の背面にカメラ（図示せず）が設けられている。
　まず、使用者は、書店や図書館において、情報端末１で本発明のプログラムを起動させる。そして、使用者は、図７（ａ）に示すように、気になる書籍や雑誌の表紙に情報端末１をかざすことにより表紙の画像を撮影し、情報端末に撮影した画像を一時記憶させる。
　次に、使用者は、図７（ｂ）に示すように、その書籍や雑誌の表紙にカメラを接触させるように情報端末１を置くと、カメラが撮影する画像（入力画像）が真っ暗になる。すなわち、情報端末１は、真っ暗な画像の入力により、平坦な画像が入力されたと判断する。そこで、情報端末１は、かざした表紙の画像を書店や図書館に備えられたサーバに送信する。
　サーバでは、送信された表紙の画像と登録された画像とで画像照合を行い、一致した書籍や雑誌の電子書籍データを情報端末１に返送する。情報端末１は、返送されたデータに基づいて電子書籍リーダのアプリケーションを起動させ、電子書籍データを表示する。そのため、使用者は、書籍や雑誌の表紙に情報端末１を置くだけで、その書籍や雑誌の中身を情報端末１で閲覧することができる。
　さらに、情報端末１は、所定の範囲内に情報端末１が存在する場合にのみ、電子書籍データを閲覧できるように制限してもよい。例えば、使用者が書店で購入手続きを完了させるか、図書館で貸出手続きを完了させた場合、情報端末１は、エリア外に持ち出された場合であっても、引き続き電子書籍データを閲覧できるように制御してもよい。また、使用者が各手続きを完了させていない場合、情報端末１は、エリア外に持ち出された場合には、そのエリア外で電子書籍データの閲覧ができなくなるように制御してもよい。
　次に、本発明による情報処理装置の概要を説明する。図８は、本発明による情報処理装置の概要を示すブロック図である。本発明による情報処理装置は、撮像された画像データを入力するカメラ画像入力手段８１（例えば、カメラ画像入力手段１０１）と、カメラ画像入力手段８１により入力される入力画像データが予め登録された画像データ、または、その画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データ、または、その入力画像データを表わす情報の少なくとも一方（例えば、画像照合情報）をメモリ（例えば、一時記憶手段１０３）に記憶する画像照合手段８２（例えば、中央演算手段１０２）と、画像データの複雑度（例えば、アクティビティ）を算出する複雑度算出手段８３（例えば、中央演算手段１０２）と、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段８４（例えば、中央演算手段１０２）と、画像平坦判定手段８４によって新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データ、または、その入力画像データを表わす情報が記憶されているときに、そのメモリに記憶された入力画像データ、または、その入力画像データを表わす情報により特定される情報処理（例えば、アプリケーションの実行処理、付加情報の提示処理）を実行する情報処理実行手段８５（例えば、中央演算手段１０２）とを備えている。
　そのような構成により、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。
　また、一般に、情報端末は記憶容量が大きくなり、多くのアプリケーションをインストールすることが可能である。しかし、多くのアプリケーションがインストールされると、使いたいアプリケーションを探すことが困難になりがちである。そのため、動作概要説明書が読まれることなく、全く使用されないアプリケーションが情報端末に保持されていることも多い。
　このような状況において、使用者が説明書を読んで気に入ったアプリケーションを見つけた場合に、そのページに情報端末を置く、または、近付けることでアプリケーションを起動させることができる。さらに、この場合、そのまま説明書の説明に従って操作することで、容易にアプリケーションの操作を習得できるという効果も得られる。よって、使用されないにもかかわらず情報端末内の記憶部を占有しているようなアプリケーションも、有効に活用されるようになる。
　また、カメラ画像入力手段８１が静止状態にあるか否かを判定する静止状態判定手段（例えば、振動検出手段１０６）を備えていてもよい。そして、情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段８１が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行してもよい。
　また、画像照合手段８２は、カメラ画像入力手段８１が静止状態にあると判定された場合に、一致すると判定されなかった入力画像データまたはその入力画像データの特徴量を一時的に保存（例えば、一時保存データを保存）してもよい。そして、情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されていないときに、一時的に保存した入力画像データを、入力される画像またはその画像の特徴量に基づいて自情報処理装置（例えば、情報端末１）が情報処理を実行する際に必要とされる各種情報（例えば、アプリケーション名や提示する情報）を検索可能なサーバ（例えば、サーバ２）に送信し、そのサーバにより通知される情報により特定される情報処理を実行してもよい。
　また、画像照合手段８２は、カメラ画像入力手段８１により入力される入力画像データの特徴量を算出し、予め登録された画像データの特徴量と一致するか否かを判定してもよい。
　また、画像平坦判定手段８４は、算出された画像データの複雑度が予め定めた閾値以下である場合、画像データが平坦画像を示すデータであると判定してもよい。
　また、情報処理実行手段８５は、実行する情報処理としてメモリに記憶された最新の入力画像データに関連したアプリケーションを起動する処理、または、その入力画像データに関連した付加情報を表示する処理を行ってもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１０月２５日に出願された日本特許出願２０１２－２３５３３６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、カメラを搭載した情報端末で、ポスターや雑誌といった物体にその情報端末を近づけることにより、その物体に対応づけられたアプリケーションを動作させるユーザインタフェースに好適に適用される。
　１　情報端末
　２　サーバ
　１０１　カメラ画像入力手段
　１０２　中央演算手段
　１０３　一時記憶手段
　１０４　記憶手段
　１０５　表示手段
　１０６　振動検出手段
　１０７　通信手段

Claims (10)

  1. 　撮像された画像データを入力するカメラ画像入力手段と、
    　前記カメラ画像入力手段により入力される入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合手段と、
    　画像データの複雑度を算出する複雑度算出手段と、
    　算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段と、
    　前記画像平坦判定手段によって新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する情報処理実行手段とを備えた
    　ことを特徴とする情報処理装置。
  2. 　カメラ画像入力手段が静止状態にあるか否かを判定する静止状態判定手段を備え、
    　情報処理実行手段は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
    　請求項１記載の情報処理装置。
  3. 　画像照合手段は、カメラ画像入力手段が静止状態にあると判定された場合に、一致すると判定されなかった入力画像データまたは当該入力画像データの特徴量を一時的に保存し、
    　情報処理実行手段は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されていないときに、一時的に保存した入力画像データを、入力される画像または当該画像の特徴量に基づいて自情報処理装置が情報処理を実行する際に必要とされる各種情報を検索可能なサーバに送信し、当該サーバにより通知される情報により特定される情報処理を実行する
    　請求項２記載の情報処理装置。
  4. 　画像照合手段は、カメラ画像入力手段により入力される入力画像データの特徴量を算出し、予め登録された画像データの特徴量と一致するか否かを判定する
    　請求項１から請求項３のうちのいずれか１項に記載の情報処理装置。
  5. 　画像平坦判定手段は、算出された画像データの複雑度が予め定めた閾値以下である場合、画像データが平坦画像を示すデータであると判定する
    　請求項１から請求項４のうちのいずれか１項に記載の情報処理装置。
  6. 　情報処理実行手段は、実行する情報処理としてメモリに記憶された最新の入力画像データに関連したアプリケーションを起動する処理、または、当該入力画像データに関連した付加情報を表示する処理を行う
    　請求項１から請求項５のうちのいずれか１項に記載の情報処理装置。
  7. 　撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、
    　一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶し、
    　画像データの複雑度を算出し、
    　算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定し、
    　新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
    　ことを特徴とする情報処理方法。
  8. 　カメラ画像入力手段が静止状態にあるか否かを判定し、
    　新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
    　請求項７記載の情報処理方法。
  9. 　コンピュータに、
    　撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合処理、
    　画像データの複雑度を算出する複雑度算出処理、
    　算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理、および、
    　前記画像平坦判定処理で新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する情報処理実行処理
    　を実行させるための情報処理プログラム。
  10. 　コンピュータに、
    　カメラ画像入力手段が静止状態にあるか否かを判定する静止状態判定処理を実行させ、
    　情報処理実行処理で、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行させる
    　請求項９記載の情報処理プログラム。
PCT/JP2013/006039 2012-10-25 2013-10-10 情報処理装置、情報処理方法および情報処理プログラム Ceased WO2014064897A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/437,888 US9460119B2 (en) 2012-10-25 2013-10-10 Information processing device, information processing method, and recording medium
JP2014543136A JPWO2014064897A1 (ja) 2012-10-25 2013-10-10 情報処理装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-235336 2012-10-25
JP2012235336 2012-10-25

Publications (1)

Publication Number Publication Date
WO2014064897A1 true WO2014064897A1 (ja) 2014-05-01

Family

ID=50544283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006039 Ceased WO2014064897A1 (ja) 2012-10-25 2013-10-10 情報処理装置、情報処理方法および情報処理プログラム

Country Status (3)

Country Link
US (1) US9460119B2 (ja)
JP (1) JPWO2014064897A1 (ja)
WO (1) WO2014064897A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238964B2 (ja) * 2019-03-19 2023-03-14 日本電気株式会社 検品装置、検品方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036212A (ja) * 2001-07-23 2003-02-07 Funai Electric Co Ltd カメラ機能付き携帯情報端末
JP2005031827A (ja) * 2003-07-09 2005-02-03 Hitachi Ltd 情報処理装置、情報処理方法及びソフトウェア
JP2012059263A (ja) * 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556783B1 (en) * 1997-01-16 2003-04-29 Janet L. Gelphman Method and apparatus for three dimensional modeling of an object
JP2006145616A (ja) 2004-11-16 2006-06-08 Konica Minolta Photo Imaging Inc 画像表示装置、電子機器、画像表示方法
US8363717B2 (en) * 2005-05-17 2013-01-29 Canon Kabushiki Kaisha Image processing apparatus
JP2007259134A (ja) 2006-03-23 2007-10-04 Nec Saitama Ltd 携帯電話装置及び該携帯電話装置における消費電力低減方法
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
JP4783830B2 (ja) * 2007-01-11 2011-09-28 富士通株式会社 画像補正プログラム、画像補正方法、画像補正装置
JP2010217962A (ja) 2009-03-13 2010-09-30 Omron Corp カメラ付き携帯端末装置用のプログラムおよびカメラ付き携帯端末装置
JP5253560B2 (ja) 2011-12-07 2013-07-31 京セラ株式会社 携帯電話機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036212A (ja) * 2001-07-23 2003-02-07 Funai Electric Co Ltd カメラ機能付き携帯情報端末
JP2005031827A (ja) * 2003-07-09 2005-02-03 Hitachi Ltd 情報処理装置、情報処理方法及びソフトウェア
JP2012059263A (ja) * 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法

Also Published As

Publication number Publication date
US9460119B2 (en) 2016-10-04
JPWO2014064897A1 (ja) 2016-09-08
US20150278250A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
US9998651B2 (en) Image processing apparatus and image processing method
US9172879B2 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
US10706214B2 (en) Computer readable recording medium, information processing terminal device, and control method of information processing terminal device
US20150324082A1 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
US9030577B2 (en) Image processing methods and systems for handheld devices
CN104050226A (zh) 移动终端的应用信息处理方法和装置
US20130120289A1 (en) Information processing apparatus and method of controlling same
US20170322680A1 (en) Method and apparatus for setting background of ui control, and terminal
US20160196284A1 (en) Mobile terminal and method for searching for image
CN1842127B (zh) 图像处理装置
CN113190143A (zh) 界面显示方法、装置、电子设备及介质
CN105074725B (zh) 移动终端及其控制方法
US20120002094A1 (en) Image pickup apparatus for providing reference image and method for providing reference image thereof
JP6269006B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN110851202A (zh) 移动终端功能页面启动方法、装置、移动终端及存储介质
WO2014096518A1 (en) Apparatus and method for using interaction history to manipulate content
CN112383708B (zh) 拍摄方法、装置、电子设备及可读存储介质
JP6010303B2 (ja) 画像再生装置
CN102402570B (zh) 数据管理设备和记录介质
JP5632733B2 (ja) 表示装置、画面画像転送方法、及びプログラム
WO2014064897A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN118869857A (zh) 导览图提供方法和支持其的电子设备
US9396405B2 (en) Image processing apparatus, image processing method, and image processing program
CN111796733B (zh) 图像显示方法、图像显示装置和电子设备
CN108108098A (zh) 一种图像选取方法及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13848567

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014543136

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14437888

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13848567

Country of ref document: EP

Kind code of ref document: A1