WO2010070870A1 - 情報取得装置、情報取得方法およびプログラム - Google Patents

情報取得装置、情報取得方法およびプログラム Download PDF

Info

Publication number
WO2010070870A1
WO2010070870A1 PCT/JP2009/006854 JP2009006854W WO2010070870A1 WO 2010070870 A1 WO2010070870 A1 WO 2010070870A1 JP 2009006854 W JP2009006854 W JP 2009006854W WO 2010070870 A1 WO2010070870 A1 WO 2010070870A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
information acquisition
identification target
display information
Prior art date
Application number
PCT/JP2009/006854
Other languages
English (en)
French (fr)
Inventor
宮田美知太郎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2010070870A1 publication Critical patent/WO2010070870A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Definitions

  • the present invention relates to an information acquisition device, an information acquisition method, and a program.
  • a method of capturing an image with a camera and selecting and displaying related information based on the captured image For example, when a two-dimensional code is imaged, there is a method of displaying a web page corresponding to a URL (Uniform Resource Locator) obtained by decoding the two-dimensional code.
  • URL Uniform Resource Locator
  • a device for selecting information recognizes in advance the identification objects shown on the image, and assigns the order to each identification object. Each time the selection button is pressed, the identification objects to be selected are changed in order. The user presses the selection button until the desired identification target is selected, and the desired identification target is selected and the determination button is pressed. It is detected that the user has pressed the decision button, and the identification target at that time is selected.
  • the related information acquisition methods such as the above-described method have a problem that an operation for selecting only one when there are a plurality of identification targets is complicated, or advance preparation is necessary.
  • there is the above-described method for selecting one of a plurality of two-dimensional codes by causing only one two-dimensional code to be reflected on the camera which is often used in a method of imaging a two-dimensional code with a camera. .
  • this method it is necessary to adjust the position of the camera so that only one two-dimensional code is reflected on the camera. In particular, when the position of the camera is far from the identification target and the zoom function of the camera is not sufficient, one identification target cannot be selected.
  • An object of the present invention is to provide an information acquisition apparatus that can easily select an identification target when there are a plurality of identification targets.
  • the information acquisition apparatus captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and is a captured image of the imaging result.
  • An imaging unit that outputs the image
  • an area setting unit that designates an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the identification target is detected from within the area of the captured image.
  • a display information acquisition unit that acquires the display information associated with the identification target and sets the acquired display information as information to be displayed.
  • the region setting unit is a region of the captured image corresponding to the region on the subject, which is indicated by a pointing device capable of indicating the region on the subject. May be designated as the region.
  • the information acquisition apparatus may further include a coordinate storage unit that stores a plurality of detected coordinates, and the region specifying unit reads the coordinates from the coordinate storage unit. Then, a trajectory that is a set of the coordinates may be generated, and an area in the captured image may be designated based on the generated trajectory.
  • the trajectory may be a set of coordinates detected within a predetermined time, and the region designating unit approximates the trajectory.
  • An ellipse may be calculated, and the calculated ellipse may be used as the area to be specified.
  • the region setting unit is a region of the captured image corresponding to the region on the subject, which is indicated by a pointing device capable of indicating the region on the subject. May be designated as the region.
  • the information acquisition apparatus may further include an information storage unit that stores the information for display in association with information for identifying the identification target, the display information acquisition unit Detects the identification target from within the region of the captured image, acquires the display information associated with the information for identifying the identification target from the information storage unit, and acquires the display information acquired May be information to be displayed.
  • the identification target may be a visually identifiable information code that encodes the display information
  • the display information acquisition unit includes: The display information associated with the identification information may be acquired by performing decoding corresponding to the encoding on the detected identification target.
  • the identification target may be a visually identifiable information code encoded with location information indicating the location of the display information.
  • the display information acquisition unit acquires the location information associated with the identification information by performing decoding corresponding to the encoding with respect to the detected identification target, and displays the location information based on the location information. May be obtained.
  • the display information may be information indicating a state of the managed device, and the identification target is information indicating the state of the managed device.
  • the display information acquisition unit may detect the identification target from within the area of the captured image, and the managed information associated with the identification target may be associated with identification information of a target managed device. Obtaining the identification information of the device, obtaining information indicating the state of the managed device using the identification information from a management server having information indicating the state of the managed device, and obtaining the acquired information on the managed device A display information acquisition unit that uses information indicating a state as information to be displayed may be included.
  • the information acquisition apparatus captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and is a captured image of the imaging result.
  • An area setting unit for designating an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the identification target is selected from within the area of the captured image.
  • a display information acquisition unit that detects, acquires the display information associated with the identification target, and sets the acquired display information as information to be displayed.
  • the information acquisition device images a subject having an identification target that is visually identifiable and is associated with display information, and the imaging result An imaging process for outputting the captured image, an area setting process for designating an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the information acquisition apparatus , Detecting the identification target from within the region of the captured image, acquiring the display information associated with the identification target, and obtaining the display information as the information to be displayed Process.
  • the program according to the present invention is connected to an imaging unit that captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and outputs a captured image of the imaging result.
  • the display information associated with the identification target is acquired, and a display information acquisition process is performed in which the acquired display information is information to be displayed.
  • the user when there are a plurality of identification objects, the user can easily select the identification object using the pointing device and call the corresponding information.
  • FIG. 6 is a diagram illustrating an example in which a certain position on a subject is indicated by a pointing device in the first embodiment.
  • a 1st embodiment it is a key map showing an example of a storage area which constitutes an indication position storage part.
  • a spot moves when a user operates a pointing device.
  • FIG. 6 is a conceptual diagram in which spot images that are picked up when the designated position moves as shown in FIG. 5 are superimposed in the first embodiment.
  • FIG. 6 is a conceptual diagram illustrating an example in which a region for pattern recognition is extracted from a captured image using a mask created by a region specifying unit in the first embodiment.
  • FIG. 6 is a key map showing an example of a pattern picture and a pattern number which a pattern storage part memorizes.
  • 1st Embodiment it is a conceptual diagram showing the memory content of an information storage part.
  • 1st Embodiment it is a figure showing the example which the display part displayed display information.
  • movement of the information acquisition apparatus in 1st Embodiment It is a block diagram which shows the structure of the information acquisition apparatus by 2nd Embodiment of this invention.
  • 3rd Embodiment it is a conceptual diagram showing the example of the pattern image memorize
  • 3rd Embodiment it is a conceptual diagram showing the example of the information generation rule which an information generation rule memory
  • 4th Embodiment it is a conceptual diagram showing the example of the information generation rule which an information generation rule memory
  • 5th Embodiment it is a conceptual diagram showing the example of the status information of the managed apparatus which a management server has.
  • FIG. 1 is a schematic block diagram showing the configuration of the information acquisition device in the first embodiment of the present invention.
  • the information acquisition apparatus 1a of FIG. 1 includes an imaging unit 10, a processing unit 11a, a storage unit 12a, and a display unit 13.
  • the processing unit 11a includes an area setting unit 15a, a pattern recognition unit 114a, and a display information acquisition unit 115a.
  • the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a.
  • the storage unit 12a includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123a, and an information storage unit 124a.
  • the information acquisition device 1a images the subject 20a.
  • the subject 20a has four identification objects 2a, 2b, 2c, and 2d.
  • the identification target is a symbol visually identifiable from outside the subject, such as a pattern attached to the surface of the subject, and is associated with information (display information) to be displayed by the information acquisition device 1a. Symbol. A certain position (point) on the subject 20a is indicated by the user operating the pointing device 3a.
  • the number of identification objects is not limited to four, but may be plural.
  • FIG. 2 is a diagram illustrating an example of a subject in the present embodiment.
  • the subject 20a has four identification objects 2a, 2b, 2c, and 2d.
  • the subject 20a is, for example, a layout diagram of devices in a certain factory.
  • the identification objects 2a, 2b, 2c, and 2d are, for example, symbols representing one device (device names “aaa”, “bbb”, “ccc”, “ddd”).
  • FIG. 3 is a diagram illustrating an example in which a certain position on the subject 20a is indicated by the pointing device 3a.
  • a point formed on the subject by the pointing device is referred to as a spot
  • a position on the subject indicated by the spot is referred to as an instruction position.
  • the pointing device 3a is a laser pointer
  • the light spot P formed by the laser beam on the subject 20a is a spot.
  • the tip of the pointer is a spot.
  • the imaging unit 10 periodically images the subject 20a at a predetermined time interval, and writes a still image obtained as a result of the imaging in the image storage unit 121 as a captured image.
  • the image storage unit 121 stores the latest captured image captured by the imaging unit 10.
  • the designated position detection unit 111 detects a spot image on a captured image (hereinafter simply referred to as “captured image”) stored in the image storage unit 121.
  • the designated position detection unit 111 detects a spot image, detects coordinates on the captured image corresponding to the designated position, and writes the detected coordinates in the designated position storage unit 122.
  • the coordinates on the captured image are uniquely determined according to a coordinate system provided in advance. For example, a coordinate system in which the upper left of the captured image is the origin, the X axis is the right direction, the Y axis is the lower direction, and one pixel of the image is a coordinate unit is provided in advance.
  • a method for detecting a spot image an existing method can be used.
  • the pointing device is a laser pointer
  • a method of extracting only a spot color using a hue filter or a method of extracting a region moving at a certain speed by taking a temporal difference can be used.
  • the designated position detection unit 111 writes information indicating that the designated position is not detected in the designated position storage unit 122.
  • the designated position storage unit 122 stores, in a time series, coordinates for a fixed time from the latest coordinates among the coordinates written by the designated position detection unit 111.
  • FIG. 4 is a conceptual diagram illustrating an example of a storage area that constitutes the designated position storage unit 122.
  • the designated position storage unit 122 stores coordinates of designated positions for 30 imaging operations.
  • the designated position storage unit 122 stores a time stamp, an X coordinate, and a Y coordinate in association with each other.
  • the X coordinate value “152” and the Y coordinate value “21” are stored in association with the time stamp “1”
  • the X coordinate “120” is stored in association with the time stamp “2”.
  • the indicated position detection unit 111 writes the detection results in order from the time stamp 1 line, and after writing up to the time stamp 30 line, writes the detection result again in order from the time stamp 1 line.
  • information indicating that the indicated position has not been detected for example, information in which the value of the X coordinate is a negative value is used.
  • FIG. 5 is a diagram illustrating an example in which the spot P moves when the user operates the pointing device.
  • the information acquisition apparatus 1a selects the one identification object.
  • the surrounding operation may be incomplete as shown in FIG.
  • FIG. 6 is a conceptual diagram in which spot images that are captured when the designated position moves as shown in FIG. 5 are superimposed.
  • P1, P2,..., Pn-1, and Pn are spots.
  • the determined number of coordinates are read out and output to the area designating unit 113a as a set of coordinates.
  • a set of coordinates output by the trajectory extraction unit 112 is referred to as a “trajectory”.
  • the number of coordinates that the trajectory extraction unit 112 reads out the coordinates is, for example, a certain number preset by the user. Since the imaging unit 10 periodically performs imaging, by performing such processing, the coordinates of the designated position within a certain time can be obtained. In this case, the user sets a smaller number as the speed at which the pointing device is operated is higher. With this setting, a trajectory that does not include the coordinates detected during the operation before the operation surrounding the identification target can be output to the region specifying unit 113a.
  • the area designating unit 113a uses the trajectory input from the trajectory extracting unit 112 to obtain an area where the user has performed an operation, and designates the obtained area as an area for pattern recognition.
  • the center representing the ellipse that approximates the input trajectory by using an existing method such as an ellipse approximation method by the least square method or an ellipse approximation method by the Hough transform, for example.
  • the inclination, axial length can be obtained, and the center, inclination, and axial length of this ellipse can be used.
  • the area designating unit 113a creates a mask for extracting the obtained elliptical area on the captured image, and outputs the mask to the pattern recognition unit 114a.
  • the mask is, for example, a set of bits corresponding to each pixel of the captured image, and the bit value “1” indicates that the corresponding pixel is in an area where pattern recognition is performed, and the bit value “0”. "Represents that the corresponding pixel is outside the region where pattern recognition is performed.
  • FIG. 7 is a diagram illustrating an example when the identification target is elongated.
  • An ellipse L1 shown in FIG. 7 represents an approximation of the locus by an ellipse.
  • the ellipse L1 surrounds the entire identification target (B) surrounded by the trajectory and does not surround the other identification targets (A, C).
  • FIG. 7 represents approximation by a circle of the locus.
  • the circle L2 surrounds only a part of the identification object (B) surrounded by the trajectory, and also surrounds a part of the other identification objects (A, C). If the locus is approximated by an ellipse in this way, even if the identification objects are elongated and the identification objects are close to each other, one identification object can be surrounded. Therefore, an ellipse is more suitable as a figure that approximates the locus.
  • FIG. 8 is a diagram illustrating a state in the middle of the operation surrounding the identification target. A rectangle L4 shown in FIG. 8 represents the approximation by the rectangle of the locus. In FIG.
  • an ellipse L3 shown in FIG. 8 represents an approximation of the locus by an ellipse.
  • An ellipse L3 surrounds the entire identification target. If the trajectory is approximated by an ellipse in this way, the entire identification target can be surrounded even when a part of the identification target is located above the trajectory. Therefore, an ellipse is more suitable as a figure that approximates the locus.
  • FIG. 9A is a conceptual diagram illustrating an example of a mask created by the area designating unit 113a.
  • a hatched portion corresponds to a region in the captured image where pattern recognition is not performed.
  • the value of the bit of the mask M in this part is “0”.
  • a portion without hatching corresponds to a region for pattern recognition in the captured image.
  • the value of the bit of the mask M in this part is “1”.
  • FIG. 9B is a conceptual diagram illustrating an example in which the pattern recognition unit 114a extracts a region for pattern recognition from a captured image using the mask M created by the region specification unit 113a.
  • the pattern recognition unit 114a performs pattern recognition on a region including the identification target 2a in the captured image corresponding to the portion where the bit value in the mask M is “1”.
  • FIG. 10 is a conceptual diagram showing an example of pattern images and pattern numbers stored in the pattern storage unit 123a.
  • the pattern storage unit 123a stores in advance each of the plurality of pattern images used for pattern recognition by the pattern recognition unit 114a in association with the pattern number. For example, pattern number “1” and pattern image G1, pattern number “2”, pattern image G2, pattern number “3” and pattern image G3, pattern number “4” and pattern image G4 are stored in association with each other. Yes.
  • the pattern recognition unit 114a calculates the similarity between each pattern image stored in the pattern storage unit 123a and the image in the region determined by the region designating unit 113a by pattern recognition, and is greater than or equal to a predetermined similarity. Then, the pattern image having the highest similarity is selected.
  • a pattern recognition method an existing method such as a method of obtaining similarity between an image in a region and each image pattern using template matching can be used.
  • the pattern recognition unit 114a refers to the pattern storage unit 123a, acquires a pattern number corresponding to the pattern image selected as a result of pattern recognition, and outputs the pattern number to the display information acquisition unit 115a.
  • FIG. 11 is a conceptual diagram showing the storage contents of the information storage unit 124a.
  • the information storage unit 124a stores a pattern number and display information in association with each other in advance.
  • the display information is a display character string representing the name of the device.
  • the information storage unit 124a displays a display character string “device aaa” and a pattern number “1” representing the name of the device aaa, a display character string “device bb” and a pattern number “2” representing the name of the device bbb.
  • each piece of display information is associated with a pattern image in the pattern storage unit 123a, which is identification information.
  • a display character string “Is device aaa” indicating the name of the device aaa shown in FIG. 11 is associated with the pattern image G1 of FIG. 10 and the pattern number “1”.
  • the display information acquisition unit 115a refers to the information storage unit 124a and acquires display information corresponding to the pattern number input from the pattern recognition unit 114a. Furthermore, the display information acquisition unit 115a determines the information to be displayed as information to be displayed (display information).
  • the display unit 13 displays the display information determined by the display information acquisition unit 115a.
  • FIG. 12 is a diagram illustrating an example in which the display unit 13 displays display information.
  • a screen D displayed by the display unit 13 is a screen representing a display character string “device aaa” in the information storage unit 124 a acquired by the display information acquisition unit 115 a as display information.
  • FIG. 13 is a flowchart showing the operation of the information acquisition apparatus 1a in the present embodiment.
  • the imaging unit 10 images the subject 20a and outputs the captured still image to the image storage unit 121 (S1).
  • the designated position detection unit 111 attempts to detect the designated position in the captured image (S2), and determines whether the designated position has been successfully detected (S3). If it is determined in step S3 that the designated position has not been detected, the designated position detection unit 111 stores information indicating that the designated position has not been detected in the designated position storage unit 122 (S5), and then returns to step S1. “Imaging (S1)” The following steps are repeated. If it is determined in step S3 that the designated position has been detected, the designated position detection unit 111 stores the detected designated position in the designated position storage unit 122 (S4).
  • the trajectory extraction unit 112 extracts an indicated position within a predetermined time as a trajectory from the indicated positions stored in the indicated position storage unit 122, and outputs it to the area specifying unit 113a (S6).
  • the area designating unit 113a designates an area for pattern recognition based on the extracted trajectory (S7).
  • the pattern recognition unit 114a attempts pattern recognition between the image in the captured image in the region determined in step S6 and the pattern image stored in the pattern storage unit 123a (S8), and the pattern that has succeeded in pattern recognition It is determined whether there is an image (S9). If it is determined in step S9 that the pattern recognition has failed for all pattern images, the steps after step S1 are repeated. If it is determined that pattern recognition has succeeded for any one of the pattern images, the pattern recognition unit 114a refers to the pattern storage unit 123a and acquires a pattern number associated with the pattern image that has been successfully recognized. Further, the pattern recognition unit 114a outputs the pattern number to the display information acquisition unit 115a.
  • the display information acquisition unit 115a refers to the information storage unit 124a, acquires information associated with the pattern number input from the display information acquisition unit 115a as display information (S10), and displays the information. It is displayed on the part 13 (S11). Thereafter, the steps after step S1 are repeated.
  • the present embodiment when there are a plurality of identification objects, one identification object is detected from the area designated by the pointing device. With this configuration, it is not necessary to adjust the position of the camera so that only one identification target is imaged. Further, it is not necessary to prepare in advance such as recognizing the identification target in advance on the image. Further, even when there are many identification objects, the time required to select a desired identification object is the same as when there are few identification objects. Moreover, since the area
  • the pointing device used in this embodiment may be a pointing device that can point to one point, such as a pointer or a human finger, in addition to a laser pointer.
  • the designated position detection unit 111 detects the designated position according to the pointing device to be used. For example, the color of the tip of the pointer is detected and used as the designated position, or the shape of a human hand is recognized by image recognition and the tip is used as the designated position.
  • the imaging unit 10, the storage unit 12 a, and the display unit 13 are independent imaging devices, storage devices, and monitors, and the information acquisition device 1 a is realized by connecting these to the information acquisition device. May be.
  • the storage unit 12a may be configured by a nonvolatile memory such as a hard disk device, a magneto-optical disk device, or a flash memory, a volatile memory such as a RAM (Random Access Memory), or a combination thereof.
  • the processing unit 11a may be realized by dedicated hardware, or may be realized by a memory and a microprocessor.
  • FIG. 14 is a schematic block diagram showing the configuration of the information acquisition device 1b in the second embodiment of the present invention.
  • the information acquisition device 1b includes an imaging unit 10, a processing unit 11b, a storage unit 12b, and a display unit 13.
  • the processing unit 11b includes an area setting unit 15b, a pattern recognition unit 114a, and a display information acquisition unit 115a.
  • the storage unit 12b includes an image storage unit 121, a pattern storage unit 123a, and an information storage unit 124a.
  • the area setting unit 15b includes an instruction area detection unit 113b. In the information acquisition apparatus 1b of FIG.
  • the same reference numerals (10, 13, 114a, 115a, 121, 123a, 124a) are assigned to the portions corresponding to the respective parts of the information acquisition apparatus 1a of FIG. To do.
  • the subject in the present embodiment corresponds to the subject in FIG. 1, and the same reference numerals (2a, 2b, 2c, 2d, 20a) as those in FIG.
  • the second embodiment of the present invention shown in FIG. 14 is that the pointing device 3b has a configuration as described later, the area setting unit 15b does not include the indicated position detection unit 111 and the locus extraction unit 112, 1 is different from the first embodiment of the present invention shown in FIG. 1 in that the storage unit 12b does not include the indication position storage unit 122.
  • FIG. 15 is a diagram illustrating an example of the pointing device of the present embodiment.
  • the pointing device 3b can indicate an area (instruction area) R on the subject 20a.
  • an area (instruction area) R on the subject 20a.
  • the instruction area detection unit 113b detects an image of the instruction area from the captured image stored in the image storage unit 121, and creates a mask for extracting the area. Further, the instruction area detection unit 113b outputs the mask to the pattern recognition unit 114a as an area for pattern recognition.
  • the display information acquisition unit 115a acquires the display information, and the display unit 13 displays the display information.
  • an existing method is used such as extracting only the image of the area corresponding to the color of the light circle 31 using a hue filter. Can do.
  • FIG. 16 is a block diagram showing the configuration of the information acquisition device 1c in the third embodiment of the present invention.
  • the information acquisition device 1c includes an imaging unit 10, a processing unit 11c, and a storage unit 12c.
  • the processing unit 11c includes an area setting unit 15a, a pattern recognition unit 114b, and a display information acquisition unit 115b.
  • the storage unit 12c includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123b, and an information generation rule storage unit 124b.
  • the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a. In the information acquisition device 1c of FIG.
  • FIG. 17 is a diagram illustrating an example of the subject 20b in the present embodiment.
  • a subject 20b has four identification objects 2e, 2f, 2g, and 2h, which are two-dimensional codes in which display information is encoded.
  • the number of identification objects is not limited to four, and may be any number.
  • the area specifying unit 113a performs pattern recognition on the area including the image of the identification target 2e, as in the first embodiment. Is specified.
  • the pattern recognition unit 114b performs pattern recognition on the area where pattern recognition is performed. If the recognition is successful, the pattern recognition unit 114b determines that the identification target 2e in the pattern recognition region is a two-dimensional code, and outputs an image of the two-dimensional code part to the display information acquisition unit 115b.
  • FIG. 18 is a conceptual diagram illustrating an example of a pattern image stored in the pattern storage unit 123b in the present embodiment. The pattern image shown in FIG. 18 is only the outer frame portion. The blank part in the frame is a part where the two-dimensional code is displayed and is not subject to pattern recognition. The pattern recognition unit 114b attempts pattern recognition between the image of the area specified by the area specifying unit 113a and the pattern image stored in the pattern storage unit 123b.
  • the pattern recognition unit 114b recognizes that the image of the region specified by the region specifying unit 113a includes a two-dimensional code, and the image of the part inside the frame that has succeeded in pattern recognition is The two-dimensional code image is output to the display information acquisition unit 115b.
  • a pattern recognition method an existing method such as template matching can be used as in the first embodiment. In this case, for example, when the obtained similarity is equal to or greater than a predetermined value, it is determined that the pattern recognition is successful.
  • FIG. 19 is a conceptual diagram illustrating an example of information indicating an information generation rule stored in the information generation rule storage unit 124b.
  • the information indicating the information generation rule shown in FIG. 19 includes information indicating the rule “text obtained by decoding the two-dimensional code in the pattern is used as display information” and the encoding used to generate the two-dimensional code. And a corresponding decoding rule (a rule for converting a two-dimensional code into text).
  • the display information acquisition unit 115b decodes the image of the two-dimensional code input from the pattern recognition unit 114b into text according to the decoding rule of the information generation rule storage unit 124b.
  • the display information acquisition unit 115b uses the decoding result text as display information in accordance with the rule “uses the text obtained by decoding the two-dimensional code in the pattern as display information” in the information generation rule storage unit 124b. Output to the display unit 13.
  • the display unit 13 displays the display information input from the display information acquisition unit 115b.
  • display information is generated based on a decoding rule, so that new information can be added without adding information to the pattern storage unit 123b and the information generation rule storage unit 124b.
  • An identification object can be used.
  • the symbols representing the two-dimensional code used in the present embodiment may be symbols other than the format shown in FIG.
  • the pattern storage unit 123b stores a pattern for identifying the two-dimensional code.
  • the pattern recognition unit 114b uses the pattern stored in the pattern storage unit 123b to determine whether the image input from the region specifying unit 113a is a two-dimensional code, and outputs the two-dimensional code image to the display information acquisition unit 115b. .
  • FIG. 20 is a block diagram showing the configuration of the information acquisition device 1d in the fourth embodiment of the present invention.
  • the information acquisition device 1d includes an imaging unit 10, a processing unit 11d, a storage unit 12c, a display unit 13, and a communication unit 14a.
  • the processing unit 11d includes an area setting unit 15a, a pattern recognition unit 114b, and a display information acquisition unit 115c.
  • the storage unit 12c includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123b, and an information generation rule storage unit 124c.
  • the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a.
  • the same reference numerals (10, 12c, 13, 111, 112, 113a, 114b, 121, 122) are given to the portions corresponding to the information acquisition apparatus 1c of FIG. Is omitted.
  • the pointing device in FIG. 20 corresponds to the pointing device in FIG.
  • the pointing device of FIG. 20 is denoted by the same reference numeral (3a) as that of FIG.
  • the information acquisition device 1d includes a communication unit 14a and is connected to the network 50.
  • the communication unit 14 a is an interface that communicates with the network 50.
  • the network 50 is, for example, the Internet, and includes a web server group connected to the network.
  • the subject 20c has identification objects 2i, 2j, 2k, and 2l.
  • the identification objects 2i, 2j, 2k, and 2l include, for example, a two-dimensional code in which URL (Uniform Resource Locator) information of a web page included in a web server placed in the network 50 is encoded.
  • URL Uniform Resource Locator
  • the pattern recognition unit 114b transmits the region in the frame to the display information acquisition unit 115c as an image of a two-dimensional code, as in the third embodiment. Output.
  • FIG. 21 is a conceptual diagram illustrating an example of information representing an information generation rule stored in the information generation rule storage unit 124c.
  • the information representing the information generation rule shown in FIG. 21 includes information representing a rule of “calling a web page of a URL obtained by decoding a two-dimensional code in a pattern” and a decoding rule (two-dimensional code, URL Information representing rules for conversion to text to represent.
  • the display information acquisition unit 115c decodes the two-dimensional code image input from the pattern recognition unit 114b into a URL displayed in text according to the decoding rule of the information generation rule storage unit 124c.
  • the display information acquisition unit 115c passes through the communication unit 14a in accordance with the rule of “calling the web page of the URL obtained by decoding the two-dimensional code in the pattern” stored in the information generation rule storage unit 124c. Then, a web page corresponding to the URL (that is, data for displaying the web page) is obtained from a web server placed in the network 50. The display unit 13 displays the acquired web page.
  • a URL web page obtained from a two-dimensional code is displayed.
  • information other than information prepared in advance in the information acquisition device or the subject such as information stored in the information generation rule storage unit or information encoded in a two-dimensional code, is displayed. be able to.
  • FIG. 22 is a block diagram showing the configuration of the information acquisition device 1e in the fifth embodiment of the present invention.
  • the information acquisition device 1e includes an imaging unit 10, a processing unit 11e, a storage unit 12a, a display unit 13, and a communication unit 14b.
  • the processing unit 11e includes an area setting unit 15a, a pattern recognition unit 114a, and a display information acquisition unit 115d.
  • the storage unit 12a includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123a, and an information storage unit 124a.
  • the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a. In the information acquisition device 1e of FIG.
  • the same reference numerals (10, 12a, 13, 111, 112, 113a, 114a, 121, 122, 123a, 124a) are attached to the portions corresponding to the information acquisition device 1a of FIG. The description is omitted.
  • the subject 20a and the laser pointer shown in FIG. 22 correspond to the subject 20a and the laser pointer 3a shown in FIG.
  • the same reference numerals (2a, 2b, 2c, 2d, 3a, 20a) as those in FIG. 1 are given to the subject 20a and the laser pointer 3a shown in FIG. 22 differs from the information acquisition apparatus 1a of FIG. 1 in that the information acquisition apparatus 1e of FIG. 22 includes a communication unit 14b, a management server 7, a management network 51, and managed devices 6a, 6b, 6c, and 6d.
  • the managed devices 6a, 6b, 6c, and 6d are devices to be managed by the management server 7, and are, for example, servers and storage devices.
  • the identification objects 2a, 2b, 2c, and 2d are symbols representing the managed devices 6a, 6b, 6c, and 6d, for example, in the layout in the factory.
  • the identification target 2a and the managed device 6a, the identification target 2b and the managed device 6b, the identification target 2c and the managed device 6c, and the identification target 2d and the managed device 6d are associated with each other.
  • the management server 7 is a server for managing the managed devices 6a, 6b, 6c and 6d.
  • the management network 51 is a network for communication between the managed devices 6a, 6b, 6c, and 6d and the management server 7.
  • FIG. 23 is a conceptual diagram illustrating an example of status information of managed devices included in the management server 7.
  • the management server 7 acquires status information of the managed devices 6a, 6b, 6c, and 6d from each managed device via the management network 51.
  • the status information of the managed devices 6a, 6b, 6c, and 6d is information indicating, for example, a load status or a failure status of the managed device.
  • the management server 7 periodically acquires the status information of the managed devices 6a, 6b, 6c, and 6d, and updates the status information of the managed devices 6a, 6b, 6c, and 6d stored in the own management server (management server 7). To do.
  • the communication unit 14 b is an interface for the information acquisition apparatus 1 e to communicate with the management server 7.
  • the pattern recognition unit 114a displays the pattern number “1” corresponding to the identification target 2a as a display information acquisition unit, as in the first embodiment. 115d.
  • information for specifying the managed device such as the network addresses of the managed devices 6a, 6b, 6c, and 6d is stored in association with the pattern number.
  • the display information acquisition unit 115d acquires information for specifying any of the managed devices 6a to 6d corresponding to the pattern number input from the pattern recognition unit 114a, and the acquired information is transmitted to the management server 7 through the communication unit 14b. Output to.
  • the management server 7 outputs status information corresponding to information specifying any one of the managed devices 6a to 6d input from the display information acquisition unit 115d to the display information acquisition unit 115d through the communication unit 14b.
  • the display information acquisition unit 115d outputs the state information input from the management server 7 to the display unit 13 as display information, and the display unit 13 displays it.
  • the management server displays the status information of the managed device that is updated as needed, so that information that dynamically changes with time can be called and displayed.
  • the identification objects 2a, 2b, 2c, and 2d are displayed on the subject 20a different from the managed devices 6a, 6b, 6c, and 6d.
  • the identification objects 2a, 2b, 2c, and 2d may be displayed on the surface of the managed devices 6a, 6b, 6c, and 6d.
  • the program for realizing the functions of the trajectory extraction unit 112, the region specification unit 113a, the pattern recognition unit 114a, the display information acquisition unit 115d, and the communication unit 14b is recorded on a computer-readable recording medium, Processing of each unit may be performed by causing a computer system to read and execute a program recorded on the recording medium.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • “Computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. And those that hold a program for a certain period of time, such as a volatile memory inside a computer system serving as a server or client in that case.
  • the above program may realize part of the functions described above, and may further realize the functions described above in combination with a program already recorded in a computer system.
  • the present invention is suitable for use in a guidance information display system such as a layout in a factory or a navigation system for a museum, or an information monitoring system for equipment in a data center or a plant, but is not limited thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　本発明の情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、ポインティングデバイスによって示される、被写体上の位置に基づいて、撮像画像中の領域を指定する領域設定部と、撮像画像の領域内から識別対象を検出し、識別対象に対応付けられた表示用の情報を取得し、取得した表示用の情報を表示すべき情報とする表示情報取得部とを具備する。

Description

情報取得装置、情報取得方法およびプログラム
　本発明は情報取得装置、情報取得方法およびプログラムに関する。
　ユーザが求める情報を選択および表示する方法の一つに、カメラで撮像を行い、撮像された画像に基づいて、関連する情報を選択および表示する方法が知られている。
　例えば、２次元コードが撮像されると、その２次元コードをデコードして得られるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に対応するウェブページを表示する方法がある。
　あるいは、情報に対応付けられたシンボルである複数の識別対象が画像上に映っている場合、画像上に映っている識別対象中の１個をユーザが選択することにより、表示すべき情報を選択できる。複数の識別対象から１個を選択する方法としては、例えば、以下の方法がある。情報を選択する装置が画像上に映っている識別対象を予め認識し、各識別対象に順番を付けておく。選択ボタンが押されるたびに、順に選択する識別対象を変更される。ユーザが、所望の識別対象が選択されるまで選択ボタンを押し、所望の識別対象が選択されて決定ボタンを押す。ユーザにより決定ボタンが押されたことを検出し、そのときの識別対象を選択する。
　しかしながら、前述の方法を始めとする関連する情報取得方法では、複数の識別対象がある場合に１つのみを選択するための操作が煩雑、または、事前準備が必要であるという問題がある。
　例えば、カメラにより２次元コードを撮像する方法でよく用いられる、１個の２次元コードのみをカメラに映るようにすることで複数の２次元コードの中から１個を選択する前述の方法がある。この方法では、１個の２次元コードのみがカメラに映るようにカメラの位置を調節する必要がある。特に、カメラの位置が識別対象から遠く、カメラのズーム機能が十分でない場合は、１個の識別対象を選択できない。
　ユーザが選択ボタンと決定ボタンを用いて画像上に映っている識別対象中の１個を選択する前述の方法がある。この方法では、この方法を実現する装置が、識別対象の画像を予め認識しておく等の事前準備が必要となる。また、識別対象が多い場合、ユーザは、所望の識別対象を選択するために繰り返し選択ボタンを押す必要があり、選択に時間がかかる。
　本発明は、このような事情に鑑みてなされた。本発明の目的の一例は、複数の識別対象がある場合に、識別対象を容易に選択できる情報取得装置を提供することにある。
　本発明の第１の実施態様に係る情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部とを具備する。
　本発明の第１の実施態様に係る情報取得装置において、前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定してもよい。
　本発明の第１の実施態様に係る情報取得装置は、検出された複数の前記座標を記憶する座標記憶部をさら備えてもよく、前記領域指定部は、前記座標記憶部から前記座標を読み出して、前記座標の集合である軌跡を生成し、生成した前記軌跡に基づき前記撮像画像中の領域を指定してもよい。
　本発明の第１の実施態様に係る情報取得装置において、前記軌跡は、予め定められた時間内に検出された前記座標の集合であってもよく、前記領域指定部は、前記軌跡を近似する楕円を算出し、算出した前記楕円を、指定する前記領域としてもよい。
　本発明の第１の実施態様に係る情報取得装置において、前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定してもよい。
　本発明の第１の実施態様に係る情報取得装置は、前記識別対象を識別する情報と対応付けて前記表示用の情報を記憶する情報記憶部をさらに具備してもよく、前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象を識別する情報に対応付けられた前記表示用の情報を前記情報記憶部より取得し、取得した前記表示用の情報を表示すべき情報としてもよい。
　本発明の第１の実施態様に係る情報取得装置において、前記識別対象は、前記表示用の情報をエンコードした、視覚的に識別可能な情報コードであってもよく、前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記表示用の情報を取得してもよい。
　本発明の第１の実施態様に係る情報取得装置において、前記識別対象は、前記表示用の情報の所在を示す所在情報をエンコードした、視覚的に識別可能な情報コードであってもよく、前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記所在情報を取得し、前記所在情報に基づいて前記表示用の情報を取得してもよい。
　本発明の第１の実施態様に係る情報取得装置において、前記表示用の情報は被管理機器の状態を表す情報であってもよく、前記識別対象は、前記被管理機器の状態を表す情報が対象とする被管理機器の識別情報と対応付けられてもよく、前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記被管理機器の前記識別情報を取得し、前記識別情報を用いて前記被管理機器の状態を表す情報を、前記被管理機器の状態を表す情報を有する管理サーバから取得し、取得した前記被管理機器の状態を表す情報を前記表示すべき情報とする表示情報取得部とを具備してもよい。
　本発明の第２の実施態様に係る情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像装置と接続され、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部とを具備する。
　本発明の情報取得装置の情報取得方法は、前記情報取得装置が、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像過程と、前記情報取得装置が、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、前記情報取得装置が、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程とを備える。
　本発明のプログラムは、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部に接続される情報取得装置のコンピュータに実行させるプログラムである。このプログラムは、コンピュータに、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、前記撮像画像の前記領域内から前記識別対象を検出し、該識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程とを実行させる。
　この発明によれば、複数の識別対象がある場合に、ユーザは、ポインティングデバイスを用いて識別対象を容易に選択して対応する情報を呼び出すことができる。
この発明の第１の実施形態よる情報取得装置の構成を示すブロック図である。 第１の実施形態において、被写体の例を示す図である。 第１の実施形態において、被写体上のある位置が、ポインティングデバイスによって示された例を示す図である。 第１の実施形態において、指示位置記憶部を構成する記憶領域の例を表す概念図である。 第１の実施形態において、ユーザがポインティングデバイスを操作することにより、スポットが動く例を表す図である。 第１の実施形態において、指示位置が図５に示すように動いた場合に撮像される、スポットの画像を重ね合わせた概念図である。 第１の実施形態において、識別対象が細長い場合の例を示す図である。 第１の実施形態において、識別対象を囲む動作の途中の様子を示す図である。 第１の実施形態において、領域指定部が作成したマスクの例を示す概念図である。 第１の実施形態において、領域指定部が作成したマスクを用いて、撮像画像からパターン認識を行う領域を抽出した例を示す概念図である。 第１の実施形態において、パターン記憶部が記憶するパターン画像とパターン番号の例を表す概念図である。 第１の実施形態において、情報記憶部の記憶内容を表す概念図である。 第１の実施形態において、表示部が表示情報を表示した例を表す図である。 第１の実施形態における、情報取得装置の動作を示すフローチャートである。 この発明の第２の実施形態よる情報取得装置の構成を示すブロック図である。 第２の実施形態のポインティングデバイスの例を示す図である。 本発明の第３の実施形態よる情報取得装置の構成を示すブロック図である。 第３の実施形態における被写体の例を表す図である。 第３の実施形態において、パターン記憶部に記憶されるパターン画像の例を表す概念図である。 第３の実施形態において、情報生成規則記憶部が記憶する情報生成規則の例を表す概念図である。 本発明の第４の実施形態による情報取得装置の構成を示すブロック図である。 第４の実施形態において、情報生成規則記憶部が記憶する情報生成規則の例を表す概念図である。 本発明の第５の実施形態による情報取得装置の構成を示すブロック図である。 第５の実施形態において、管理サーバが有する被管理機器の状態情報の例を表す概念図である。
＜第１の実施形態＞
　以下、図面を参照して、本発明の実施形態について説明する。図１は、この発明の第１の実施形態における、情報取得装置の構成を示す概略ブロック図である。
　図１の情報取得装置１ａは、撮像部１０と、処理部１１ａと、記憶部１２ａと、表示部１３とを具備する。
　処理部１１ａは、領域設定部１５ａと、パターン認識部１１４ａと、表示情報取得部１１５ａとを具備する。
　領域設定部１５ａは、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａとを具備する。
　記憶部１２ａは、画像記憶部１２１と、指示位置記憶部１２２と、パターン記憶部１２３ａと、情報記憶部１２４ａとを具備する。
　情報取得装置１ａは、被写体２０ａを撮像する。被写体２０ａは、４個の識別対象２ａ、２ｂ、２ｃ、２ｄを有する。識別対象は、被写体の表面に付された模様等、被写体の外から視覚的に識別可能なシンボルであり、かつ、情報取得装置１ａが表示するための情報（表示用の情報）と対応付けられたシンボルである。
　被写体２０ａ上のある位置（点）が、ユーザによりポインティングデバイス３ａが操作されることによって示される。
　識別対象の数は４個に限らず、複数であればよい。
　図２は、本実施形態における被写体の例を示す図である。図２において、被写体２０ａは、４個の識別対象２ａ、２ｂ、２ｃ、２ｄを有する。
　被写体２０ａは、例えば、ある工場内における装置の配置図である。識別対象２ａ、２ｂ、２ｃ、２ｄは、例えば、各々１個の装置（装置名「ａａａ」、「ｂｂｂ」、「ｃｃｃ」、「ｄｄｄ」）を表すシンボルである。
　図３は、被写体２０ａ上のある位置が、ポインティングデバイス３ａによって示された例を示す図である。
　以下では、ポインティングデバイスが被写体上に形成する点をスポット、スポットによって示される被写体上の位置を指示位置という。例えば、ポインティングデバイス３ａがレーザポインタの場合、そのレーザビームが被写体２０ａ上に形成する光点Ｐがスポットである。ポインティングデバイス３ａが指し棒の場合、この指し棒の先端がスポットである。
　撮像部１０は、予め定められた時間間隔で定期的に被写体２０ａを撮像し、撮像の結果得られる静止画像を撮像画像として画像記憶部１２１に書き込む。
　画像記憶部１２１は、撮像部１０が撮像した最新の撮像画像を記憶する。
　指示位置検出部１１１は、画像記憶部１２１に記憶された撮像画像（以下、単に「撮像画像」という）上において、スポットの画像を検出する。指示位置検出部１１１は、スポットの画像を検出によって、指示位置に対応する撮像画像上の座標を検出し、指示位置記憶部１２２に書き込む。撮像画像上の座標は、予め設けられた座標系に従い、一意に定まる。例えば、撮像画像の左上を原点とし、右方向にＸ軸、下方向にＹ軸をとり、画像の１ピクセルを座標の単位とする座標系を予め設けておく。スポットの画像を検出する方法としては、既存の方法を用いることができる。例えば、ポインティングデバイスがレーザポインタの場合、色相フィルタを用いてスポットの色のみを抽出する方法や、時間的差分を取って一定の速度以上で動いている領域を抽出する方法を用いることができる。
　指示位置が検出されなかった場合は、指示位置検出部１１１は、指示位置が未検出であることを示す情報を、指示位置記憶部１２２に書き込む。
　指示位置記憶部１２２は、指示位置検出部１１１により書き込まれた座標のうち、最新の座標から一定時間分の座標を時系列に記憶する。
　図４は、指示位置記憶部１２２を構成する記憶領域の例を表す概念図である。図４において、指示位置記憶部１２２は、撮像３０回分の指示位置の座標を記憶している。
　図４に示すように、指示位置記憶部１２２は、タイムスタンプと、Ｘ座標とＹ座標とを対応付けて記憶している。例えば、タイムスタンプ「１」に対応付けて、Ｘ座標の値「１５２」とＹ座標の値「２１」とを対応付けて記憶し、タイムスタンプ「２」に対応付けて、Ｘ座標「１２０」とＹ座標「３２」とを対応付けて記憶している。
　指示位置検出部１１１は、検出結果を、タイムスタンプ１の行から順に書き込み、タイムスタンプ３０の行まで書き込んだら、再度、タイムスタンプ１の行から順に書き込む。
　指示位置が未検出であることを示す情報としては、例えばＸ座標の値を負の値とした情報を用いる。
　図５は、ユーザがポインティングデバイスを操作することにより、スポットＰが動く例を表す図である。本実施形態では、ユーザが、ポインティングデバイス３ａを用いて、識別対象のうちの１個を囲む動作をすると、情報取得装置１ａがその１個の識別対象を選択する。ただし、囲む動作は図５に示すように不完全であってもよい。
　図６は、指示位置が図５のように動いた場合に撮像される、スポットの画像を重ね合わせた概念図である。図６のＰ１、Ｐ２、…、Ｐｎ－１、Ｐｎは、各々スポットである。
　指示位置検出部１１１が、各スポットの画像の座標を検出して指示位置記憶部１２２に書き込むと、軌跡抽出部１１２は、指示位置記憶部１２２に記憶された座標のうち、直近の予め定められた個数の座標を読み出し、それを座標の集合として領域指定部１１３ａに出力する。
　以下では、軌跡抽出部１１２が出力する座標の集合を「軌跡」と呼ぶ。
　軌跡抽出部１１２が座標を読み出す個数、すなわち軌跡を構成する座標の数は、例えばユーザによって予め設定される一定の個数である。撮像部１０は定期的に撮像を行うので、このような処理をすることで、一定の時間内の指示位置の座標を得ることができる。この場合、ユーザは、ポインティングデバイスを操作する速度が速いときほど、個数を少なく設定しておく。この設定により、識別対象を囲む操作の前の操作時に検出された座標を含まない軌跡を、領域指定部１１３ａに出力することができる。
　領域指定部１１３ａは、軌跡抽出部１１２から入力された軌跡を用いて、ユーザが囲む動作を行った領域を求め、求めた領域をパターン認識を行う領域として指定する。
　パターン認識を行う領域の指定には、例えば、最小二乗法による楕円近似の方法、または、ハフ変換による楕円近似の方法などの既存の方法を用いて、入力された軌跡を近似する楕円を表す中心、傾き、軸長を求め、この楕円の中心、傾き、軸長を用いることが出来る。領域指定部１１３ａは、撮像画像上において、得られた楕円の領域を抽出するためのマスクを作成し、パターン認識部１１４ａへ出力する。マスクは例えば、撮像画像の各ピクセルに対応するビット（ｂｉｔ）の集合であり、ビットの値「１」は、対応するピクセルがパターン認識を行う領域内であることを表し、ビットの値「０」は、対応するピクセルがパターン認識を行う領域外であることを表す。
　軌跡を近似する図形は楕円に限られず、例えば、円や矩形でもよいが、楕円がより好適である。軌跡を近似する図形として楕円がより好適であることを図７および図８を用いて説明する。
　図７は、識別対象が細長い場合の例を示す図である。図７に示す楕円Ｌ１は、軌跡の楕円による近似を表す。楕円Ｌ１は、軌跡が囲む識別対象（Ｂ）の全部を囲み、他の識別対象（Ａ、Ｃ）を囲まない。一方、図７に示す円Ｌ２は、軌跡の円による近似を表す。円Ｌ２は軌跡が囲む識別対象（Ｂ）の一部のみを囲み、他の識別対象（Ａ、Ｃ）の一部も囲む。このように軌跡を楕円により近似すれば、識別対象が細長くかつ、識別対象同士が近接する場合でも、１個の識別対象を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
　図８は、識別対象を囲む動作の途中の様子を示す図である。図８に示す矩形Ｌ４は、軌跡の矩形による近似を表す。図８において、識別対象の一部が軌跡よりも上に位置するため、例えば最小二乗法では、識別対象全体を囲む矩形が得られない。一方、図８に示す楕円Ｌ３は、軌跡の楕円による近似を表す。楕円Ｌ３は、識別対象の全体を囲む。このように軌跡を楕円により近似すれば、識別対象の一部が軌跡よりも上に位置する場合でも、識別対象の全体を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
　図９Ａは、領域指定部１１３ａが作成したマスクの例を示す概念図である。
　図９Ａにおいて、斜線によるハッチングで示した部分は、撮像画像中の、パターン認識を行わない領域に対応する。この部分におけるマスクＭのビットの値は「０」となっている。一方、ハッチングの無い部分は、撮像画像中の、パターン認識を行う領域に対応する。この部分におけるマスクＭのビットの値は「１」となっている。
　図９Ｂは、領域指定部１１３ａが作成したマスクＭを用いて、パターン認識部１１４ａが、撮像画像からパターン認識を行う領域を抽出した例を示す概念図である。パターン認識部１１４ａは、マスクＭ中のビットの値が「１」の部分に対応する、撮像画像中の識別対象２ａを含む領域に対してパターン認識を行う。
　図１０は、パターン記憶部１２３ａが記憶する、パターン画像とパターン番号の例を表す概念図である。本実施形態では、パターン記憶部１２３ａは、パターン認識部１１４ａによってパターン認識に用いられる複数のパターン画像各々を、パターン番号と対応付けて、予め記憶している。例えば、パターン番号「１」とパターン画像Ｇ１、パターン番号「２」と、パターン画像Ｇ２、パターン番号「３」とパターン画像Ｇ３、パターン番号「４」とパターン画像Ｇ４が予め対応付けて記憶している。
　パターン認識部１１４ａは、パターン記憶部１２３ａに記憶されたパターン画像各々と、領域指定部１１３ａにより決定された領域内の画像との類似度をパターン認識により算出し、予め決められた類似度以上であって最も類似度の高いパターン画像を選択する。
　パターン認識の方法としては、テンプレートマッチングを用いて、領域中の画像と各画像パターンとの類似度を求める方法など、既存の方法を用いることができる。
　パターン認識部１１４ａは、パターン記憶部１２３ａを参照して、パターン認識の結果選択されたパターン画像に対応するパターン番号を取得し、そのパターン番号を表示情報取得部１１５ａに出力する。
　図１１は、情報記憶部１２４ａの記憶内容を表す概念図である。
　情報記憶部１２４ａは、パターン番号と、表示用の情報とを、対応付けて予め記憶している。例えば、図１１において、表示用の情報は、装置の名称を表す表示用の文字列である。情報記憶部１２４ａは、装置ａａａの名称を表す表示用の文字列「装置ａａａです」とパターン番号「１」、装置ｂｂｂの名称を表す表示用の文字列「装置ｂｂｂです」とパターン番号「２」、装置ｃｃｃの名称を表す表示用の文字列「装置ｃｃｃです」とパターン番号「３」、装置ｄｄｄの名称を表す表示用の文字列「装置ｄｄｄです」とパターン番号「４」とを対応付けて予め記憶している。
　このパターン番号により、表示用の情報の各々は、識別対象を識別情報である、パターン記憶部１２３ａのパターン画像と対応付けられている。例えば、図１１に示す装置ａａａの名称を表す表示用の文字列「装置ａａａです」は、図１０のパターン画像Ｇ１と、パターン番号「１」と対応付けられている。
　表示情報取得部１１５ａは、情報記憶部１２４ａを参照して、パターン認識部１１４ａから入力されたパターン番号に対応する表示用の情報を取得する。さらに、表示情報取得部１１５ａは、この表示用の情報を、表示すべき情報（表示情報）に決定する。
　表示部１３は、表示情報取得部１１５ａにより決定された表示情報を表示する。
　図１２は、表示部１３が表示情報を表示した例を表す図である。図１２において、表示部１３が表示する画面Ｄは、表示情報取得部１１５ａが表示用の情報として取得した、情報記憶部１２４ａ中の表示用の文字列「装置ａａａです」を表す画面である。
　図１３は、本実施形態における情報取得装置１ａの動作を示すフローチャートである。
　撮像部１０は、被写体２０ａを撮像し、画像記憶部１２１に撮像した静止画像を出力する（Ｓ１）。
　次に、指示位置検出部１１１は、撮像画像中の指示位置の検出を試み（Ｓ２）、指示位置の検出に成功したか否かを判定する（Ｓ３）。
　ステップＳ３にて、指示位置が検出されなかったと判定した場合、指示位置検出部１１１は、指示位置記憶部１２２に指示位置が未検出との情報を格納した後（Ｓ５）、ステップＳ１に戻り、「撮像（Ｓ１）」以下のステップを繰り返す。
　ステップＳ３にて、指示位置が検出されたと判定した場合、指示位置検出部１１１は、検出された指示位置を指示位置記憶部１２２に記憶する（Ｓ４）。
　次に、軌跡抽出部１１２は、指示位置記憶部１２２に記憶された指示位置のうち、予め定められた時間内の指示位置を軌跡として抽出し、領域指定部１１３ａに出力する（Ｓ６）。
　次に、領域指定部１１３ａは、抽出した軌跡に基づいて、パターン認識を行う領域を指定する（Ｓ７）。
　パターン認識部１１４ａは、撮像画像中の、ステップＳ６で決定された領域内の画像と、パターン記憶部１２３ａに格納されたパターン画像との、パターン認識を試み（Ｓ８）、パターン認識に成功したパターン画像があったか否かを判定する（Ｓ９）。
　ステップＳ９にて、全てのパターン画像についてパターン認識に失敗したと判定した場合、ステップＳ１以下のステップを繰り返す。
　いずれかのパターン画像についてパターン認識に成功したと判定した場合、パターン認識部１１４ａは、パターン記憶部１２３ａを参照して、パターン認識に成功したパターン画像に対応付けられたパターン番号を取得する。さらに、パターン認識部１１４ａは、そのパターン番号を、表示情報取得部１１５ａに出力する。表示情報取得部１１５ａは、情報記憶部１２４ａを参照して、表示情報取得部１１５ａから入力されたパターン番号に対応付けられた情報を、表示用の情報として取得し（Ｓ１０）、その情報を表示部１３に表示する（Ｓ１１）。その後、ステップＳ１以下のステップを繰り返す。
　以上のように、本実施形態では、複数の識別対象が存在する場合に、１個の識別対象を、ポインティングデバイスにより指定された領域から検出する。この構成により、１個の識別対象のみが撮像されるようにカメラの位置を調節する必要が無い。また、画像上において識別対象を予め認識しておく等の事前準備も不要である。また、識別対象が多い場合でも、所望の識別対象を選択するのに必要な時間は、識別対象が少ない場合と変わらない。
　また、識別対象を検出する領域は、ポインティングデバイスで識別対象を囲む動きをすることによって行われるので、ユーザは、実際の識別対象を見ながら選択を行うことができる。
　また、本実施形態では、パターン認識を撮像画像全体ではなく部分的な領域にのみ行うため、情報取得装置１ａは、パターン認識をより高速に行える。
　本実施形態で用いるポインティングデバイスは、レーザポインタの他、例えば指し棒や人間の指のように、一点を指すことができるポインティングデバイスであればよい。この場合、指示位置検出部１１１は用いるポインティングデバイスに応じて、指示位置を検出する。例えば指し棒の先端の色を検出して指示位置とし、あるいは、画像認識により人の手の形を認識してその先端を指示位置とする。
　また、情報取得装置１ａの全ての部分が同一の筐体に含まれる必要は無い。例えば、撮像部１０や、記憶部１２ａや、表示部１３は、それぞれ独立の撮像装置や、記憶装置や、モニタであって、これらを情報取得装置に接続することで、情報取得装置１ａを実現してもよい。
　記憶部１２ａは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されてもよい。
　処理部１１ａは専用のハードウェアにより実現されてもよく、また、メモリおよびマイクロプロセッサにより実現されてもよい。
＜第２の実施形態＞
　図１４は、本発明の第２の実施形態における、情報取得装置１ｂの構成を示す概略ブロック図である。情報取得装置１ｂは撮像部１０と、処理部１１ｂと、記憶部１２ｂと、表示部１３を具備する。処理部１１ｂは、領域設定部１５ｂと、パターン認識部１１４ａと、表示情報取得部１１５ａとを具備する。記憶部１２ｂは、画像記憶部１２１と、パターン記憶部１２３ａと、情報記憶部１２４ａとを具備する。領域設定部１５ｂは、指示領域検出部１１３ｂを具備する。
　図１４の情報取得装置１ｂにおいて、図１の情報取得装置１ａの各部に対応する部分には同一の符号（１０、１３、１１４ａ、１１５ａ、１２１、１２３ａ、１２４ａ）を付し、その説明を省略する。本実施形態における被写体は、図１の被写体に対応しており、図１の符号と同一の符号（２ａ、２ｂ、２ｃ、２ｄ、２０ａ）を付して説明を省略する。
　図１４に示す本発明の第２の実施形態は、ポインティングデバイス３ｂが後述のような構成である点と、領域設定部１５ｂが指示位置検出部１１１と軌跡抽出部１１２とを具備しない点と、記憶部１２ｂが指示位置記憶部１２２を具備しない点とで図１に示す本発明の第１の実施形態と異なる。
　図１５は、本実施形態のポインティングデバイスの例を示す図である。ポインティングデバイス３ｂは、被写体２０ａ上の領域（指示領域）Ｒを指示できる。例えば、レーザビームが広がって、被写体２０ａ上に光の円３１を形成するレーザポインタである。
　指示領域検出部１１３ｂは、画像記憶部１２１に記憶された撮像画像中から指示領域の画像を検出して、その領域を抽出するマスクを作成する。さらに、指示領域検出部１１３ｂは、そのマスクをパターン認識部１１４ａへ、パターン認識を行う領域として出力する。以下、第１の実施形態と同様にして、表示情報取得部１１５ａが表示情報を取得し、表示部１３が表示情報を表示する。
　指示領域の画像を検出する方法としては、例えば、ポインティングデバイスがレーザポインタの場合、色相フィルタを用いて光の円３１の色に該当する領域の画像のみを抽出する等、既存の方法を用いることができる。
　以上のように、本実施形態では、指示領域の画像を検出して、パターンマッチを行う領域とすればよく、軌跡から近似楕円を求める必要がないので、計算量が削減できる。
＜第３の実施形態＞
　図１６は、本発明の第３の実施形態における、情報取得装置１ｃの構成を示すブロック図である。情報取得装置１ｃは、撮像部１０と、処理部１１ｃと、記憶部１２ｃとを具備する。処理部１１ｃは、領域設定部１５ａと、パターン認識部１１４ｂと、表示情報取得部１１５ｂとを具備する。記憶部１２ｃは、画像記憶部１２１と、指示位置記憶部１２２と、パターン記憶部１２３ｂと、情報生成規則記憶部１２４ｂとを具備する。領域設定部１５ａは、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａとを具備する。
　図１６の情報取得装置１ｃにおいて、図１の情報取得装置１ａに対応する部分には同一の符号（１０、１３、１１１、１１２、１１３ａ、１２１、１２２）を付し、その説明を省略する。図１６のポインティングデバイスは、図１のポインティングデバイスに対応している。図１６のポインティングデバイスには、図１の符号と同一の符号（３ａ）を付して説明を省略する。
　図１７は、本実施形態における被写体２０ｂの例を表す図である。図１７において、被写体２０ｂは、表示用の情報がエンコードされた２次元コードである、４個の識別対象２ｅ、２ｆ、２ｇ、２ｈを有する。識別対象の個数は４個に限られず、複数であればよい。
　まず、ポインティングデバイス３ａを用いて識別対象２ｅを囲む動きがなされると、第１の実施形態と同様にして、領域指定部１１３ａが、識別対象２ｅの画像を含む領域を、パターン認識を行う領域に指定する。
　次に、パターン認識部１１４ｂは、パターン認識を行う領域に対してパターン認識を行う。パターン認識部１１４ｂは、認識に成功すればパターン認識を行う領域内の識別対象２ｅが２次元コードであると判定して、表示情報取得部１１５ｂへ２次元コード部分の画像を出力する。
　図１８は、本実施形態において、パターン記憶部１２３ｂに記憶されるパターン画像の例を表す概念図である。図１８に示すパターン画像は外枠の部分のみである。枠内の空白部分は、２次元コードが表示される部分であり、パターン認識の対象外である。
　パターン認識部１１４ｂは、領域指定部１１３ａから指定された領域の画像と、パターン記憶部１２３ｂの記憶するパターン画像とのパターン認識を試みる。パターン認識に成功した場合、パターン認識部１１４ｂは、領域指定部１１３ａから指定された領域の画像には２次元コードが含まれると認識し、パターン認識に成功した枠の内部の部分の画像を、２次元コードの画像として表示情報取得部１１５ｂに出力する。
　パターン認識の方法としては、第１の実施形態と同様、テンプレートマッチングなど、既存の方法を用いることができる。この場合、例えば、得られた類似度が予め定められた値以上の場合は、パターン認識に成功したと判定する。
　図１９は、情報生成規則記憶部１２４ｂが記憶する情報生成規則を表す情報の例を表す概念図である。図１９に示す情報生成規則を表す情報は、「パターン内の２次元コードをデコードして得られたテキストを表示情報とする」という規則を表す情報と、２次元コードの生成に用いたエンコードに対応するデコード規則（２次元コードをテキストに変換するための規則）を表す情報とを有する。
　表示情報取得部１１５ｂは、情報生成規則記憶部１２４ｂのデコード規則に従って、パターン認識部１１４ｂから入力される２次元コードの画像をテキストにデコードする。さらに、表示情報取得部１１５ｂは、情報生成規則記憶部１２４ｂの、「パターン内の２次元コードをデコードして得られたテキストを表示情報とする」という規則に従って、デコード結果のテキストを表示情報として表示部１３へ出力する。
　表示部１３は、表示情報取得部１１５ｂから入力された表示情報を表示する。
　本実施形態では、第１の実施形態の効果に加え、表示情報の生成はデコード規則に基づいて行うため、パターン記憶部１２３ｂと情報生成規則記憶部１２４ｂに情報を追加しなくても、新たな識別対象を用いることができる。
　本実施形態で用いられる２次元コードを表すシンボルは、図１８に示す形式以外のシンボルでもよい。その場合、パターン記憶部１２３ｂは、２次元コードを識別するパターンを記憶する。パターン認識部１１４ｂは、パターン記憶部１２３ｂのパターンを用いて、領域指定部１１３ａから入力された画像が２次元コードか否かを判断し、２次元コードの画像を表示情報取得部１１５ｂへ出力する。
＜第４の実施形態＞
　図２０は、本発明の第４の実施形態における、情報取得装置１ｄの構成を示すブロック図である。情報取得装置１ｄは、撮像部１０と、処理部１１ｄと、記憶部１２ｃと、表示部１３と、通信部１４ａとを具備する。処理部１１ｄは、領域設定部１５ａと、パターン認識部１１４ｂと、表示情報取得部１１５ｃとを具備する。記憶部１２ｃは、画像記憶部１２１と、指示位置記憶部１２２と、パターン記憶部１２３ｂと、情報生成規則記憶部１２４ｃとを具備する。領域設定部１５ａは、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａとを具備する。
　図２０の情報取得装置１ｄにおいて、図１６の情報取得装置１ｃに対応する部分には同一の符号（１０、１２ｃ、１３、１１１、１１２、１１３ａ、１１４ｂ、１２１、１２２）を付し、その説明を省略する。図２０のポインティングデバイスは、図１６のポインティングデバイスに対応している。図２０のポインティングデバイスには、図１６の符号と同一の符号（３ａ）を付して説明を省略する。
　図２０に示す情報取得装置１ｄは、この情報取得装置１ｄが、通信部１４ａを具備し、ネットワーク５０に接続されている点で図１６に示す情報取得装置１ｃと異なる。
　通信部１４ａは、ネットワーク５０と通信を行うインターフェイスである。ネットワーク５０は、例えばインターネットであり、ネットワークに接続されたウェブサーバ群を含む。
　被写体２０ｃは、識別対象２ｉ，２ｊ，２ｋ，２ｌを有する。識別対象２ｉ、２ｊ、２ｋ、２ｌは、例えば、ネットワーク５０内に置かれたウェブサーバが有するウェブページのＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）情報がエンコードされた２次元コードからなる。
　まず、ポインティングデバイス３ａを用いて識別対象２ｉを囲む動きがなされると、第３の実施形態と同様、パターン認識部１１４ｂが、枠内の領域を２次元コードの画像として表示情報取得部１１５ｃに出力する。
　図２１は、情報生成規則記憶部１２４ｃが記憶する情報生成規則を表す情報の例を表す概念図である。図２１に示す情報生成規則を表す情報は、「パターン内の２次元コードをデコードして得られたＵＲＬのウェブページを呼び出す」という規則を表す情報と、デコード規則（２次元コードを、ＵＲＬを表すテキストに変換するための規則）を表す情報とを有する。
　表示情報取得部１１５ｃは、情報生成規則記憶部１２４ｃのデコード規則に従って、パターン認識部１１４ｂから入力される２次元コードの画像を、テキストで表示されたＵＲＬにデコードする。さらに、表示情報取得部１１５ｃは、情報生成規則記憶部１２４ｃに記憶されている「パターン内の２次元コードをデコードして得られたＵＲＬのウェブページを呼び出す」という規則に従って、通信部１４ａを介してネットワーク５０内に置かれたウェブサーバからＵＲＬに対応するウェブページ（すなわち、ウェブページを表示するためのデータ）を取得する。
　表示部１３は取得されたウェブページを表示する。
　本実施形態では、第１の実施形態の効果に加え、２次元コードから得られるＵＲＬのウェブページを表示する。この構成により、情報生成規則記憶部に記憶させておいた情報、あるいは、２次元コードにエンコードしておいた情報など、情報取得装置または被写体に予め準備しておいた情報以外の情報を表示することができる。
＜第５の実施形態＞
　図２２は、本発明の第５の実施形態における、情報取得装置１ｅの構成を示すブロック図である。情報取得装置１ｅは、撮像部１０と、処理部１１ｅと、記憶部１２ａと、表示部１３と、通信部１４ｂとを具備する。処理部１１ｅは、領域設定部１５ａと、パターン認識部１１４ａと、表示情報取得部１１５ｄとを具備する。記憶部１２ａは、画像記憶部１２１と、指示位置記憶部１２２と、パターン記憶部１２３ａと、情報記憶部１２４ａとを具備する。領域設定部１５ａは、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａとを具備する。
　図２２の情報取得装置１ｅにおいて、図１の情報取得装置１ａに対応する部分には同一の符号（１０、１２ａ、１３、１１１、１１２、１１３ａ、１１４ａ、１２１、１２２、１２３ａ、１２４ａ）を付し、その説明を省略する。図２２に示す被写体２０ａと、レーザポインタとは、図１に示す被写体２０ａと、レーザポインタ３ａとに対応している。図１に示す被写体２０ａと、レーザポインタ３ａとには、図１と同一の符号（２ａ、２ｂ、２ｃ、２ｄ、３ａ、２０ａ）を付して説明を省略する。
　図２２の情報取得装置１ｅは、通信部１４ｂ、管理サーバ７、管理ネットワーク５１、被管理機器６ａ、６ｂ、６ｃ、６ｄを具備する点で図１の情報取得装置１ａと異なる。
　被管理機器６ａ、６ｂ、６ｃ、６ｄは、管理サーバ７の管理対象となる機器であり、例えばサーバやストレージ装置である。識別対象２ａ、２ｂ、２ｃ、２ｄはそれぞれ、例えば、工場内の配置図において、被管理機器６ａ、６ｂ、６ｃ、６ｄを表すシンボルである。識別対象２ａと被管理機器６ａ、識別対象２ｂと被管理機器６ｂ、識別対象２ｃと被管理機器６ｃ、識別対象２ｄと被管理機器６ｄとが、各々対応付けられている。
　管理サーバ７は被管理機器６ａ、６ｂ、６ｃ、６ｄを管理するためのサーバである。
　管理ネットワーク５１は、被管理機器６ａ、６ｂ、６ｃ、６ｄと管理サーバ７とが通信を行うためのネットワークである。
　図２３は、管理サーバ７が有する被管理機器の状態情報の例を表す概念図である。
　管理サーバ７は管理ネットワーク５１を介して被管理機器６ａ、６ｂ、６ｃ、６ｄの状態情報を各々の被管理機器から取得する。被管理機器６ａ、６ｂ、６ｃ、６ｄの状態情報は、例えば、被管理機器の負荷の状況や障害の状態などを示す情報である。管理サーバ７は被管理機器６ａ、６ｂ、６ｃ、６ｄの状態情報を定期的に取得し、自管理サーバ（管理サーバ７）が記憶する被管理機器６ａ、６ｂ、６ｃ、６ｄの状態情報を更新する。
　通信部１４ｂは、情報取得装置１ｅが管理サーバ７と通信を行うためのインターフェイスである。
　まず、ポインティングデバイス３ａを用いて識別対象２ａを囲む動きがなされると、第１の実施形態と同様に、パターン認識部１１４ａが、識別対象２ａに対応するパターン番号「１」を表示情報取得部１１５ｄに出力する。
　情報記憶部１２４ａには、被管理機器６ａ、６ｂ、６ｃ、６ｄのネットワークアドレス等、被管理機器を特定する情報が、パターン番号と対応付けて記憶されている。
　表示情報取得部１１５ｄは、パターン認識部１１４ａから入力されたパターン番号に対応する、被管理機器６ａ～６ｄのいずれかを特定する情報を取得し、その取得した情報を通信部１４ｂを通じて管理サーバ７へ出力する。
　管理サーバ７は、表示情報取得部１１５ｄから入力された被管理機器６ａ～６ｄのいずれかを特定する情報に対応する状態情報を、通信部１４ｂを通じて表示情報取得部１１５ｄへ出力する。
　表示情報取得部１１５ｄは、管理サーバ７から入力された状態情報を、表示情報として表示部１３へ出力し、表示部１３がこれを表示する。
　本実施形態は、第１の実施形態の効果に加え、管理サーバが随時更新を行う被管理機器の状態情報を表示するので、時間により動的に変化する情報を呼び出して表示することができる。
　上記の説明では、識別対象２ａ、２ｂ、２ｃ、２ｄは、被管理機器６ａ、６ｂ、６ｃ、６ｄとは別の被写体２０ａ上に表示されていた。しかしながら、識別対象２ａ、２ｂ、２ｃ、２ｄは、被管理機器６ａ、６ｂ、６ｃ、６ｄの表面に表示されていてもよい。
　図１における処理部１１ａと、領域設定部１５ａと、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａと、パターン認識部１１４ａと、表示情報取得部１１５ａと、図１４における処理部１１ｂと、領域設定部１５ｂと、指示領域検出部１１３ｂと、図１６における処理部１１ｃと、領域設定部１５ａと、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａと、パターン認識部１１４ｂと、表示情報取得部１１５ｂと、図２０における処理部１１ｄと、領域設定部１５ａと、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａと、パターン認識部１１４ｂと、表示情報取得部１１５ｃと、通信部１４ａと、図２２における処理部１１ａと、領域設定部１５ａと、指示位置検出部１１１と、軌跡抽出部１１２と、領域指定部１１３ａと、パターン認識部１１４ａと、表示情報取得部１１５ｄと、通信部１４ｂとの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。
　「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。
　「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現しても良い。
　以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　この出願は、２００８年１２月１８日に出願された日本出願特願２００８－３２２３６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、工場内の配置図や、博物館等のナビゲーションシステムといった、案内情報表示システムや、データセンターやプラント等における機器の情報監視システムに用いて好適であるが、これに限定されない。
１ａ、１ｂ、１ｃ、１ｄ、１ｅ   情報取得装置
２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ   識別対象
２ｉ、２ｊ、２ｋ、２ｌ      識別対象
３ａ、３ｂ    ポインティングデバイス
６ａ、６ｂ、６ｃ、６ｄ   被管理機器
７       管理サーバ
１０     撮像部
１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ   処理部
１２ａ、１２ｂ、１２ｃ     記憶部
１３  表示部
１４ａ、１４ｂ      通信部
１５ａ、１５ｂ      領域設定部
２０ａ、２０ｂ、２０ｃ 被写体
５０  ネットワーク
５１   管理ネットワーク
１１１    指示位置検出部
１１２      軌跡抽出部
１１３ａ 領域指定部
１１３ｂ 指示領域検出部
１１４ａ、１１４ｂ パターン認識部
１１５ａ、１１５ｂ、１１５ｃ、１１５ｄ  表示情報取得部
１２１      画像記憶部
１２２   指示位置記憶部
１２３ａ、１２３ｂ パターン記憶部
１２４ａ    情報記憶部
１２４ｂ、１２４ｃ     情報生成規則記憶部

Claims (12)

  1. 　視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、
    　ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、
    　前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部と
    　を具備する情報取得装置。
  2. 　前記領域設定部は、
    　前記ポインティングデバイスによって示される前記被写体上の位置に対応する、前記撮像画像上の座標を検出する指示位置検出部と
    　前記指示位置検出部が検出した前記座標に基づいて前記撮像画像中の領域を指定する領域指定部と
    　を具備する請求項１に記載の情報取得装置。
  3. 　検出された複数の前記座標を記憶する座標記憶部をさらに備え、
    　前記領域指定部は、前記座標記憶部から前記座標を読み出して、前記座標の集合である軌跡を生成し、生成した前記軌跡に基づき前記撮像画像中の領域を指定する
    　請求項２に記載の情報取得装置。
  4. 　前記軌跡は、予め定められた時間内に検出された前記座標の集合であり、
    　前記領域指定部は、前記軌跡を近似する楕円を算出し、算出した前記楕円を、指定する前記領域とする
    　請求項３に記載の情報取得装置。
  5. 　前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定する
    　請求項１に記載の情報取得装置。
  6. 　前記識別対象を識別する情報と対応付けて前記表示用の情報を記憶する情報記憶部をさらに具備し、
    　前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象を識別する情報に対応付けられた前記表示用の情報を前記情報記憶部より取得し、取得した前記表示用の情報を表示すべき情報とする
    　請求項１から請求項５のいずれかの項に記載の情報取得装置。
  7. 　前記識別対象は、前記表示用の情報をエンコードした、視覚的に識別可能な情報コードであって、
    　前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記表示用の情報を取得する
    　請求項１から請求項５のいずれかの項に記載の情報取得装置。
  8. 　前記識別対象は、前記表示用の情報の所在を示す所在情報をエンコードした、視覚的に識別可能な情報コードであって、
    　前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記所在情報を取得し、前記所在情報に基づいて前記表示用の情報を取得する
    　請求項１から請求項５のいずれかの項に記載の情報取得装置。
  9. 　前記表示用の情報は被管理機器の状態を表す情報であり、前記識別対象は、前記被管理機器の状態を表す情報が対象とする被管理機器の識別情報と対応付けられ、
    　前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記被管理機器の前記識別情報を取得し、前記識別情報を用いて前記被管理機器の状態を表す情報を、前記被管理機器の状態を表す情報を有する管理サーバから取得し、取得した前記被管理機器の状態を表す情報を前記表示すべき情報とする表示情報取得部と
    　を具備する請求項１から請求項５のいずれかの項に記載の情報取得装置。
  10. 　視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像装置と接続される情報取得装置であって、
    　ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、
    　前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部と
    　を具備する情報取得装置。
  11. 　情報取得装置の情報取得方法において、
    　前記情報取得装置が、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像過程と、
    　前記情報取得装置が、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、
    　前記情報取得装置が、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程と
    　を備える情報取得方法。
  12. 　視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部に接続される情報取得装置のコンピュータに、
    　ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、
    　前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程と
    　を実行させるためのプログラム。
PCT/JP2009/006854 2008-12-18 2009-12-14 情報取得装置、情報取得方法およびプログラム WO2010070870A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-322368 2008-12-18
JP2008322368 2008-12-18

Publications (1)

Publication Number Publication Date
WO2010070870A1 true WO2010070870A1 (ja) 2010-06-24

Family

ID=42268550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006854 WO2010070870A1 (ja) 2008-12-18 2009-12-14 情報取得装置、情報取得方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2010070870A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108205594A (zh) * 2018-01-02 2018-06-26 联想(北京)有限公司 一种图像处理方法和电子设备
CN108303062A (zh) * 2016-12-27 2018-07-20 株式会社和冠 图像信息处理装置及图像信息处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH08179875A (ja) * 1994-12-22 1996-07-12 Canon Inc 指示位置検出方法及び装置
JPH10105331A (ja) * 1996-09-27 1998-04-24 Hitachi Ltd 遠隔指示入力システム
JPH11203381A (ja) * 1998-01-19 1999-07-30 Toyota Central Res & Dev Lab Inc 情報閲覧システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JPH08179875A (ja) * 1994-12-22 1996-07-12 Canon Inc 指示位置検出方法及び装置
JPH10105331A (ja) * 1996-09-27 1998-04-24 Hitachi Ltd 遠隔指示入力システム
JPH11203381A (ja) * 1998-01-19 1999-07-30 Toyota Central Res & Dev Lab Inc 情報閲覧システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108303062A (zh) * 2016-12-27 2018-07-20 株式会社和冠 图像信息处理装置及图像信息处理方法
CN108205594A (zh) * 2018-01-02 2018-06-26 联想(北京)有限公司 一种图像处理方法和电子设备
CN108205594B (zh) * 2018-01-02 2023-01-06 联想(北京)有限公司 一种图像处理方法和电子设备

Similar Documents

Publication Publication Date Title
CN111937046B (zh) 混合现实系统、存储介质、方法和便携式终端装置
JP2011227649A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
WO2011046127A1 (ja) データ収集システム、携帯端末、シール及びデータ収集方法
JP2007079943A (ja) 文字読取プログラム、文字読取方法および文字読取装置
JP2006319416A (ja) 情報読取装置、対象物、情報処理装置、情報通信システム、情報読取方法、及びプログラム
JP2006277310A (ja) 手書き情報更新システム、手書き情報更新方法および手書き情報更新装置
WO2010070870A1 (ja) 情報取得装置、情報取得方法およびプログラム
JP2017085533A (ja) 情報処理システム、及び情報処理方法
JP2015114758A (ja) 情報コード生成方法、情報コード、情報コード読取装置、及び情報コード利用システム
JP6098611B2 (ja) 画像処理装置、端末装置、処理方法、および制御プログラム
JP2006011935A (ja) 個人情報管理装置，個人情報ファイル作成方法，および個人情報ファイル検索方法
JP4669838B2 (ja) 情報処理装置およびプログラム
JP6327454B2 (ja) 計測システム、計測情報表示方法及びプログラム
JP6810940B2 (ja) 二次元コード、認識処理プログラム、認識処理装置、及び認識処理方法
JP6984489B2 (ja) 現在位置案内システム
WO2020138120A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2006134105A (ja) 帳票読取装置
JP6712861B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020170273A (ja) 文字認識システム、文字認識サーバープログラム及び文字認識クライアントプログラム
JP2016062336A (ja) 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ
JP6165595B2 (ja) 帳票識別システム
KR20150095034A (ko) 광학 인식 코드를 이용한 다국어 지원 서비스
JP2020091748A (ja) 端末装置、プログラム、画像管理方法
KR101625751B1 (ko) 바운더리 코드를 포함하는 ａｒ 마커 장치, 이를 이용한 ａｒ 제공 시스템 및 방법
JP7052382B2 (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09833178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09833178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP