WO2020008576A1 - 判定方法、判定プログラムおよび情報処理装置 - Google Patents

判定方法、判定プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2020008576A1
WO2020008576A1 PCT/JP2018/025415 JP2018025415W WO2020008576A1 WO 2020008576 A1 WO2020008576 A1 WO 2020008576A1 JP 2018025415 W JP2018025415 W JP 2018025415W WO 2020008576 A1 WO2020008576 A1 WO 2020008576A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
subject
text information
contour
determination
Prior art date
Application number
PCT/JP2018/025415
Other languages
English (en)
French (fr)
Inventor
片岡　正弘
将夫 出内
奥村　仁
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2018/025415 priority Critical patent/WO2020008576A1/ja
Priority to AU2018430831A priority patent/AU2018430831B2/en
Priority to EP18925624.1A priority patent/EP3819862A4/en
Priority to JP2020528613A priority patent/JP7099526B2/ja
Publication of WO2020008576A1 publication Critical patent/WO2020008576A1/ja
Priority to US17/131,609 priority patent/US11663731B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Definitions

  • the present invention relates to a determination method and the like.
  • an operation category is obtained by applying a shape model to an image of a subject, extracting time-series data of a representative point position in parts, and comparing the extracted time-series data with model data.
  • a conventional technique for detecting a person's behavior pattern from an image there is a technique that automatically learns a standard behavior probability model by using a HMM (Hidden Markov Model).
  • the above-described related art has a problem that it is not easy to determine the movement of the subject included in the captured image or the state of any part of the subject.
  • edges extracted from an image include edges of various shapes, it is difficult to apply a specific shape model to an image of a subject, and it is not easy to determine an action category.
  • an object of the present invention is to provide a determination method, a determination program, and an information processing device that can reduce the determination time regarding the movement of a subject included in a captured image or the state of any part of the subject.
  • the computer executes the following processing.
  • the computer obtains the first captured image captured by the imaging device, the computer associates a plurality of pieces of direction information indicating a plurality of directions with each of the plurality of pieces of contour information corresponding to the plurality of directions of the object.
  • the computer acquires first orientation information associated with a contour shape corresponding to the contour shape of the subject included in the acquired first captured image, among the plurality of contour shapes.
  • the computer acquires the second captured image newly captured by the capturing device, the computer refers to the storage unit.
  • the computer acquires second direction information associated with a contour shape corresponding to the contour of the subject included in the acquired second captured image, among the plurality of contour shapes.
  • the computer determines the movement of the subject based on the relationship between the acquired first direction information and second direction information.
  • FIG. 1 is a schematic diagram illustrating an example of a process performed by the information processing apparatus according to the embodiment.
  • FIG. 2 is a diagram for explaining the relationship between the outline and the PostScript data.
  • FIG. 3 is a functional block diagram illustrating the configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of the data structure of the image buffer according to the present embodiment.
  • FIG. 5 is a diagram illustrating an example of a data structure of the outline HMM according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of PostScript data corresponding to certain identification information and a certain angle.
  • FIG. 7 is a diagram illustrating an example of a data structure of the intermediate data accumulation table according to the embodiment.
  • FIG. 1 is a schematic diagram illustrating an example of a process performed by the information processing apparatus according to the embodiment.
  • FIG. 2 is a diagram for explaining the relationship between the outline and the PostScript data.
  • FIG. 3 is a functional block diagram illustrating the configuration of
  • FIG. 8 is a diagram illustrating an example of a data structure of the operation determination table according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of the data structure of the event determination table according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of the sentence template according to the present embodiment.
  • FIG. 11 is a diagram illustrating an example of the superimposed image data.
  • FIG. 12 is a flowchart illustrating the processing procedure of the information processing apparatus according to the present embodiment.
  • FIG. 13 is a diagram illustrating an example of a hardware configuration of a computer that realizes functions similar to those of the information processing apparatus.
  • FIG. 1 is a diagram for explaining an example of processing of the information processing apparatus according to the present embodiment.
  • the information processing apparatus sequentially acquires a plurality of pieces of captured image data 10a, 10b, 10c, and 10d from a camera.
  • the captured image data 10a to 10d will be collectively referred to as "captured image data 10" as appropriate.
  • the information processing apparatus compares the captured image data 10 with the outline HMM 142 and generates intermediate data 15a to 15d for each captured image data 10.
  • the intermediate data 15a is data generated from the captured image data 10a.
  • the intermediate data 15b is data generated from the captured image data 10b.
  • the intermediate data 15c is data generated from the captured image data 10c.
  • the intermediate data 15d is data generated from the captured image data 10d.
  • the intermediate data 15a to 15d are collectively referred to as “intermediate data 15” as appropriate.
  • the intermediate data 15 includes direction information, attribute information, and image information.
  • the direction information indicates information on the direction of the subject.
  • the attribute information is text information describing a description of the subject.
  • the image information is image information of each part included in the subject. Each part included in the subject corresponds to a headlamp, a turn signal, a hood, and the like.
  • the outline HMM 142 has the orientation information of the object, the shape of the outline of the object (entire), and information of each part of the object.
  • the part information includes information such as the shape and position of each part included in the contour shape of the object.
  • the shape of the contour of the object is referred to as “outline”.
  • FIG. 2 is a diagram for explaining the relationship between the outline and the PostScript data.
  • FIG. 2 shows PostScript data 6 corresponding to outline 5 as an example.
  • the outline 5 can be drawn by the PostScript data 6.
  • the outline 5 includes a straight line 5AB, a curved line 5BC, a straight line 5CD, and a straight line 5DA.
  • the straight line 5AB is a straight line connecting the control point A and the control point B.
  • the straight line 5CD is a straight line connecting the control point C and the control point D.
  • the straight line 5DA is a straight line connecting the control point D and the control point A.
  • the curve 5BC is a curve connecting the control point B and the control point C, and the shape of the curve is determined by the control points ⁇ and ⁇ and the control points (end points) B and C.
  • the PostScript data 6 of the outline 5 is generated based on the control points A, B, C, and D of the outline 5 and the control points ⁇ and ⁇ .
  • “Xa, Ya” included in the PostScript data 6 indicates the coordinates of the control point A.
  • “Xb, Yb” indicates the coordinates of the control point B.
  • “Xc, Yc” indicates the coordinates of the control point C.
  • “Xd, Yd” indicates the coordinates of the control point D.
  • “X ⁇ , Y ⁇ ” indicates the coordinates of the control point ⁇ .
  • X ⁇ , Y ⁇ ” indicates the coordinates of the control point ⁇ .
  • the PostScript data 6 includes various commands “newpath ⁇ moveto ⁇ lineto ⁇ curveto ⁇ stroke ⁇ showpage”.
  • an attribute information area 6a for storing attribute information is set.
  • text information describing an object or a part of the object to be drawn in the PostScript data 6 is stored in advance.
  • the shape of the outline drawn by the PostScript data is the shape of the outline of a sports car
  • text information “sports car” is stored in the attribute information area 6a.
  • the contour shape drawn by the PostScript data is the contour shape of the right turn signal of the sports car
  • the attribute information area 6a stores text information "right turn signal”.
  • the information processing apparatus extracts the shape of the outline of the subject from the captured image data 10a, and specifies the outline 20a that hits the extracted outline shape.
  • the information processing device acquires the direction information (0 ° / 0: 00), attribute information, and image information corresponding to the outline 20a that has been hit.
  • the outline HMM 142 includes an outline 20b corresponding to the orientation information (30 ° / 1: 30), an outline 20c corresponding to the orientation information (45 ° / 1: 30), and orientation information (90 ° / 3: 00).
  • the corresponding outline 20d is included.
  • the information processing apparatus determines, as the attribute information, the text information stored in the attribute information area of the PostScript data corresponding to the outline 20a and the text information stored in the attribute information area of the PostScript data corresponding to the edge of the part. To get.
  • the information processing apparatus specifies an image area corresponding to an edge of a part from the captured image data 10a as image information, and acquires partial image information of the specified image area.
  • the information processing apparatus generates the intermediate data 15b to 15d by executing the above-described processing for the captured image data 10b to 10d.
  • the information processing apparatus generates the sentence information 30 based on the intermediate data 15a to 15d, the operation determination table 144, and the event determination table 145.
  • the operation determination table 144 is a table used when making a determination regarding the movement of a subject.
  • the motion determination table 144 associates the angle transition pattern with the type of motion.
  • the information processing apparatus compares the intermediate data 15a to 15d with the motion determination table 144 to determine the type of motion of the subject. For example, when the information (angle) of the orientation of the intermediate data 15a to 15d changes clockwise, the type of motion of the subject is “turn right”.
  • the event determination table 145 is a table used when determining an event occurring in a subject.
  • the event determination table 145 associates a pattern of change in image information during a certain period with an event.
  • the information processing device determines the event by comparing the intermediate data 15a to 15d with the event determination table 145. For example, if the brightness of the image information of the right turn signal included in the image information of the intermediate data 15 is equal to or more than the threshold value and is less than the threshold value at regular intervals, the event is “right turn signal is lit”.
  • the information processing apparatus generates the sentence information 30 by setting the type of the operation determined using the operation determination table 144 and the event determined using the event determination table 145 in a predetermined template.
  • the information processing apparatus compares the outline HMM 142 with the contour shape of the subject in the captured image data 10, specifies the transition of the direction of the subject, and determines the movement of the subject. .
  • it is not necessary to use a complicated algorithm when determining the movement of the subject or the state of the part, so that the determination time regarding the movement of the subject included in the captured image data can be reduced.
  • the information processing apparatus extracts the outline HMM 142 and partial image information of the subject in the captured image data 10, and compares the partial image information transition with the event determination table 145 to determine an event. This makes it possible to easily determine the state of any part of the subject.
  • the information processing apparatus generates the sentence information 30 based on the intermediate data 15, the operation determination table 144, and the event determination table 145. As a result, it is possible to record or display the determination regarding the movement of the subject and the determination result of the event using the sentence information.
  • FIG. 3 is a functional block diagram illustrating the configuration of the information processing apparatus according to the embodiment.
  • the information processing apparatus 100 includes a camera 105, a communication unit 110, an input unit 120, a display unit 130, a storage unit 140, and a control unit 150.
  • the camera 105 is a stereo camera (binocular camera) or a monocular camera movable left and right, which simultaneously captures an object from two different directions, and can identify the outline of the object by parallax.
  • the camera 105 outputs, to the information processing apparatus 100, first captured image data captured in a first direction and second captured image data captured in a second direction different from the first direction.
  • first captured image data and the second captured image data are collectively referred to as “captured image data” as appropriate.
  • the communication unit 110 is a processing unit that executes data communication with an external device via a network.
  • the communication unit 110 is an example of a communication device.
  • the information processing apparatus 100 may be connected to the camera 105 via a network, and may receive the captured image data via the network.
  • the input unit 120 is an input device for inputting various types of information to the information processing device 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, or the like.
  • the display unit 130 is a display device for displaying various information output from the control unit 150.
  • the display unit 130 corresponds to a liquid crystal display, a touch panel, or the like.
  • the storage unit 140 has an image buffer 141, an outline HMM 142, and an intermediate data accumulation table 143.
  • the storage unit 140 has an operation determination table 144, an event determination table 145, a sentence template 146, and a sentence accumulation table 147.
  • the storage unit 140 corresponds to a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), and a storage device such as an HDD (Hard Disk Drive).
  • the image buffer 141 is a buffer that stores the image data captured by the camera 105.
  • FIG. 4 is a diagram illustrating an example of the data structure of the image buffer according to the present embodiment. As shown in FIG. 4, the image buffer 141 associates the time with the captured image data. The time is the time at which the captured image data was captured. The captured image data is image data captured by the camera 105.
  • the outline HMM 142 is information that holds the orientation information of the object, the outline of the object, and the information of each part included in the object.
  • FIG. 5 is a diagram illustrating an example of a data structure of the outline HMM according to the embodiment. As shown in FIG. 5, the outline HMM 142 has identification information and PostScript data for each angle (the direction of the object in time expression). The identification information is information for uniquely identifying an object. Note that the identification information may be a number for identifying each record of the outline HMM 142.
  • PostScript data is PostScript data for drawing an outline.
  • FIG. 6 is a diagram illustrating an example of PostScript data corresponding to certain identification information and a certain angle.
  • the PostScript data 40 includes a plurality of PostScript data 40a, 40b, 40c, 40d.
  • FIG. 6 shows PostScript data 40a to 40d as an example, but PostScript data 40 may include other PostScript data.
  • the PostScript data 40a in the top layer is PostScript data for drawing the outline of the outline of the object (entire).
  • the PostScript data 40a includes an attribute information area 41a.
  • the attribute information area 41a stores text information “sports car”.
  • Each of the PostScript data 40b to 40d under the PostScript data 40a is PostScript data for drawing the edge of each part included in the outline of the object.
  • the PostScript data 40b is PostScript data for drawing the edge of the right turn signal of the object.
  • the PostScript data 40b includes an attribute information area 41b.
  • the attribute information area 41b stores text information “right turn signal”.
  • the PostScript data 40c is PostScript data for drawing the edge of the left turn signal of the object.
  • the PostScript data 40c includes an attribute information area 41c.
  • the attribute information area 41c stores text information “left turn signal”.
  • the PostScript data 40d is PostScript data for drawing the edge of another part in the outline of the object. Although illustration is omitted, it is assumed that the attribute area information of the PostScript data 40d also includes text information for describing the component.
  • the intermediate data storage table 143 is a table for storing the intermediate data 15.
  • FIG. 7 is a diagram illustrating an example of a data structure of the intermediate data accumulation table according to the embodiment. As shown in FIG. 7, the intermediate data accumulation table 143 associates time, identification information, orientation information, attribute information, and image information.
  • the time indicates the photographing time of the photographed image data.
  • the identification information is information for uniquely identifying a subject.
  • the direction information is information indicating the direction of the subject.
  • Attribute information is text information stored in each attribute information area of each PostScript data hit in the outline of the captured image data.
  • the image information is partial image information of each part at each time.
  • the partial image information of each part is image information of the bonnet of the subject, image information of the right turn signal of the subject, image information of the left turn signal of the subject, and the like.
  • the operation determination table 144 is a table used when making a determination regarding the movement of a subject.
  • FIG. 8 is a diagram illustrating an example of a data structure of the operation determination table according to the embodiment. As shown in FIG. 8, the motion determination table 144 associates the angle transition pattern with the motion type.
  • the operation type is “stop”.
  • the operation type is “right turn”. For example, an angle that changes to “0 °, 30 °, 45 °,...” Is a clockwise change.
  • the angle transition pattern is “the angle changes counterclockwise”, the operation type is “turn left”. If the angle changes to “... 90 °, 60 °, 45 °,...”, It is a counterclockwise change.
  • the event determination table 145 is a table used when determining an event occurring in a subject.
  • FIG. 9 is a diagram illustrating an example of the data structure of the event determination table according to the embodiment. As shown in FIG. 9, the event determination table associates part names, image patterns, and events.
  • the part name is a name for specifying the part of the subject.
  • the image pattern indicates a pattern of a change in partial image information corresponding to a part.
  • the event indicates an event occurring in the subject.
  • the event is registered as “light on”.
  • the image pattern corresponding to the part name “headlight” is “the luminance is continuously less than the threshold for a certain period”, it is registered that the event is “light off”.
  • the image pattern corresponding to the part name “right turn signal” is “repetition of a brightness equal to or greater than the threshold value and less than the threshold value for every predetermined period”, it is registered that the event is “right turn signal is lit”. If the image pattern corresponding to the part name “left turn signal” is “the luminance repeats over the threshold value and less than the threshold value at regular intervals”, it is registered that the event is “the left turn signal is on”.
  • the sentence template 146 holds various templates for generating sentence information.
  • sentence information is generated by incorporating text information of the type of operation determined based on the operation determination table 144 and text information of an event determined based on the event determination table 145 into a template.
  • the sentence accumulation table 147 is a table for accumulating sentence information generated by the control unit 150 described later.
  • the control unit 150 includes a first acquisition unit 151, a second acquisition unit 152, a determination unit 153, a generation unit 154, and a display control unit 155.
  • the first acquisition unit 151 and the second acquisition unit 152 are examples of an acquisition unit.
  • the control unit 150 can be realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like.
  • the control unit 150 can also be realized by hard wired logic such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the first acquisition unit 151 is a processing unit that acquires captured image data from the camera 105.
  • the first acquisition unit 151 stores the acquired captured image data in the image buffer 141 in association with the time.
  • the camera 105 may add time information to the captured image data at the time of shooting, or the first obtaining unit 151 may obtain time information from a timer (not shown).
  • the second acquisition unit 152 is a processing unit that generates intermediate data based on the captured image data stored in the image buffer 141 and the outline HMM 142, and stores the generated intermediate data in the intermediate data storage table 143. .
  • an example of the process of the second acquisition unit 152 will be described.
  • the second acquisition unit 152 extracts the contour shape of the subject on the captured image based on the captured image data (the first captured image data and the second captured image data) based on the principle of a stereo camera.
  • the second acquisition unit 152 specifies the contour shape as the outline of the subject.
  • the outline of the subject extracted from the captured image data is referred to as “image outline”.
  • the second acquisition unit 152 draws outlines of the outline of the subject (entire) based on the PostScript data in the uppermost layer for each PostScript data in the outline HMM 142.
  • the second acquisition unit 152 calculates the similarity by comparing each drawn outline with the image outline, and calculates a set of an outline having the maximum similarity (or a predetermined similarity or more) and an image outline. judge.
  • the second acquisition unit 152 may calculate the similarity between each outline drawn based on each PostScript data and the image outline. For example, the second acquisition unit 152 may calculate, as the similarity, a coincidence rate between the region surrounded by the outline and the region surrounded by the image outline.
  • PostScript data “target PostScript data” used to draw an outline having the maximum similarity with the image outline is described.
  • the second acquisition unit 152 specifies the orientation information of the subject based on the position of the target PostScript data stored in the outline HMM 142. For example, when the target PostScript data is the PostScript data in the first row and the first column among the PostScript data of the outline HMM 142 shown in FIG. 5, the orientation information is “0 ° / 0: 00”. .
  • the second acquisition unit 152 stores the specified orientation information in the intermediate data.
  • the second acquisition unit 152 acquires text information stored in the attribute information area of each layer of the target PostScript data, and stores the acquired text information in intermediate data. For example, when the target PostScript data is the PostScript data 40 shown in FIG. 6, “sports car”, “right turn signal”, and “left turn signal” are extracted.
  • the second acquisition unit 152 adds information indicating whether the extracted text information is text information of PostScript data of an outline of a subject or text information of PostScript data of a part to each text information.
  • the second acquisition unit 152 refers to the PostScript data of the part included in the target PostScript data, and specifies an area of each part on the captured image data.
  • the second acquisition unit 152 stores the partial image information included in the part area in association with the part name in the intermediate data.
  • the part name is text information stored in the attribute information area of PostScript data corresponding to the part.
  • partial image information included in a part area corresponds to state information.
  • the second acquisition unit 152 generates a plurality of intermediate data by repeatedly executing the above process each time the captured image data is stored in the image buffer 141.
  • the second acquisition unit 152 stores the time, the identification information, the orientation information of the intermediate data, the attribute information, and the image information in the intermediate data accumulation table 143 in association with each other.
  • the determination unit 153 makes a determination regarding the motion of the subject based on the direction information of each piece of intermediate data stored in the intermediate data storage table 143 and the motion determination table 144. In addition, the determination unit 153 determines the state (event) of the part of the subject based on each of the intermediate data stored in the intermediate data storage table 143 and the event determination table 145. The determination unit 153 outputs a determination result to the generation unit 154.
  • the determination unit 153 obtains each direction information from the reference time to a time after a predetermined time from the intermediate data accumulation table 143.
  • the reference time may be a time specified in advance or a time that is a predetermined time before the current time.
  • the determination unit 153 sorts the acquired direction information in a time series, compares the angle transition indicated in each direction information with each angle transition pattern in the motion determination table 144, and determines the corresponding angle transition pattern. .
  • the determination unit 153 determines an operation type corresponding to the determined angle transition pattern.
  • the determination unit 153 outputs the determined operation type to the generation unit 154.
  • the determination unit 153 acquires from the intermediate data storage table 143 each piece of image information (partial image information for each part) from the reference time to a time after a predetermined time. It is assumed that the acquired partial image information is associated with a part name.
  • the determination unit 153 classifies the partial image information for each part name, and sorts the classified image information in time series.
  • the determination unit 153 compares each piece of image information sorted in chronological order for each part name with the event determination table 145 shown in FIG. 9 to specify a hit event.
  • the determination unit 153 refers to each piece of image information corresponding to the part name “headlight”, and if the luminance of each piece of image information arranged in time series is continuously equal to or greater than the threshold for a certain period of time, Is determined to be "light on”.
  • the determination unit 153 refers to each piece of image information corresponding to the part name “headlight”, and if the luminance of each piece of image information arranged in time series is continuously less than the threshold for a certain period, the event is “ It is determined that the light is off.
  • the determining unit 153 refers to each piece of image information corresponding to the part name “right turn signal”, and if the brightness of each piece of image information arranged in time series repeats at least a threshold value and less than the threshold value at regular intervals, an event is generated. Is determined to be “the right turn signal is on.”
  • the determination unit 153 refers to each piece of image information corresponding to the part name “left turn signal”, and if the luminance of each piece of image information arranged in time series repeats at least a threshold value and less than the threshold value at regular intervals, an event is generated. Is determined to be "the left turn signal is on.”
  • the determining unit 153 refers to each piece of image information corresponding to the part name “brake lamp”, and determines that the event is “brake” if the luminance of each piece of image information arranged in time series is equal to or greater than a threshold. I do.
  • the determination unit 153 may determine the color corresponding to the part name “sports car” with reference to the image information corresponding to the text information (for example, sports car) of the PostScript data in the uppermost layer.
  • a color determined from image information corresponding to text information (for example, a sports car) of PostScript data in the uppermost layer is referred to as “subject color information”.
  • text information (for example, a sports car) of the PostScript data in the uppermost layer is described as “subject name”.
  • the determination unit 153 outputs the subject name, subject color information, action type, and event information to the generation unit 154 as a determination result.
  • the generation unit 154 is a processing unit that generates sentence information based on the determination result of the determination unit 153 and the sentence template 146.
  • the generation unit 154 stores the generated sentence information in the sentence accumulation table 147.
  • FIG. 10 is a diagram illustrating an example of the sentence template according to the present embodiment.
  • the sentence template 146 has a plurality of areas 146a, 146b, 146c, 146d and text information connecting the areas.
  • the area 146a is an area in which “subject color information (text)” is set.
  • the area 146b is an area for setting a “subject name”.
  • the area 146c is an area for setting “event information (text)”.
  • the area 146d is an area for setting an “operation type”.
  • the generation unit 154 generates the sentence information “The red sports car has made a right turn while blinking the right turn signal.”
  • the display control unit 155 acquires captured image data from the image buffer 141, and generates superimposed image data in which sentence information accumulated in the sentence accumulation table 147 is superimposed on the acquired captured image data.
  • the display control unit 155 outputs the superimposed image data to the display unit 130 for display.
  • the display control unit 155 superimposes the sentence information on the position of any part of the subject.
  • the display control unit 155 determines the position of the part of the subject based on the target PostScript data.
  • FIG. 11 is a diagram illustrating an example of the superimposed image data.
  • text information “flashing” is superimposed on the position of the left blinker of the subject.
  • FIG. 12 is a flowchart illustrating the processing procedure of the information processing apparatus according to the present embodiment.
  • the first acquisition unit 151 of the information processing device 100 acquires captured image data from the camera 105 and stores the captured image data in the image buffer 141 (Step S101).
  • the second acquisition unit 152 of the information processing device 100 extracts an image outline (outline) of the subject (Step S102).
  • the second acquisition unit 152 compares the image outline with the outline HMM and specifies the hit PostScript data (target PostScript data) (Step S103).
  • the second acquisition unit 152 generates intermediate data based on the target PostScript data (Step S104).
  • the second acquisition unit 152 registers the intermediate data in the intermediate data accumulation table 143 (Step S105).
  • the determination unit 153 of the information processing apparatus 100 determines an operation type based on the intermediate data accumulation table 143 and the operation determination table 144 (Step S106). The determination unit 153 determines an event based on the intermediate data accumulation table 143 and the event determination table 145 (Step S107).
  • the generation unit 154 of the information processing apparatus 100 generates sentence information based on the determination result of the determination unit 153, and registers the generated sentence information in the sentence accumulation table 147 (step S108).
  • the display control unit 155 of the information processing apparatus 100 generates superimposed image data obtained by superimposing sentence information and captured image data, and outputs the superimposed image data to the display unit 130 (Step S109).
  • step S110 If the information processing device 100 continues the process (step S110, Yes), the process proceeds to step S101. If the information processing device 100 does not continue the process (No at Step S110), the information processing device 100 ends the process.
  • the information processing apparatus 100 extracts the outline of the subject from the captured image data, compares the extracted outline with the outline HMM 142, repeatedly executes a process of specifying the orientation information of the subject, and determines the relationship between the respective pieces of orientation information. Based on this, a determination regarding the movement of the subject is made. As described above, since the information processing apparatus 100 performs the determination regarding the movement based on the direction information specified from each outline, the determination time regarding the movement of the subject can be reduced.
  • the information processing apparatus 100 generates sentence information based on the text information of each attribute information area provided in the target PostScript data. Therefore, sentence information for explaining the subject can be easily generated.
  • the information processing apparatus 100 specifies the position of each part of the subject on the captured image data from the result of comparing the outline of the subject with the outline HMM 142.
  • the information processing apparatus 100 determines an event based on a pattern of image information corresponding to the position of each part. This makes it possible to easily determine the state of any part of the subject.
  • the information processing apparatus 100 generates superimposed image data and superimposes the sentence information on the position corresponding to the part of the subject in the captured image data, and outputs the superimposed image data to the display unit 130 for display. This allows the user to be notified of the state regarding the part of the subject in an easy-to-understand manner.
  • FIG. 13 is a diagram illustrating an example of a hardware configuration of a computer that realizes functions similar to those of the information processing apparatus.
  • the computer 200 includes a CPU 201 that executes various types of arithmetic processing, an input device 202 that receives input of data from a user, and a display 203. Further, the computer 200 includes a reading device 204 that reads a program or the like from a storage medium, and an interface device 205 that exchanges data with an external device, the camera 105, or the like via a wired or wireless network.
  • the computer 200 includes a RAM 206 for temporarily storing various information, and a hard disk device 207. Each of the devices 201 to 207 is connected to the bus 208.
  • the hard disk device 207 has a first acquisition program 207a, a second acquisition program 207b, a determination program 207c, a generation program 207d, and a display control program 207e.
  • the CPU 201 reads the first acquisition program 207a, the second acquisition program 207b, the determination program 207c, the generation program 207d, and the display control program 207e, and expands them on the RAM 206.
  • the first acquisition program 207a functions as the first acquisition process 206a.
  • the second acquisition program 207b functions as a second acquisition process 206b.
  • the determination program 207c functions as a determination process 206c.
  • the generation program 207d functions as a generation process 206d.
  • the display control program 207e functions as a display control process 206e.
  • the processing of the first acquisition process 206a corresponds to the processing of the first acquisition unit 151.
  • the processing of the second acquisition process 206b corresponds to the processing of the second acquisition unit 152.
  • the processing of the determination process 206c corresponds to the processing of the determination unit 153.
  • the processing of the generation process 206d corresponds to the processing of the generation unit 154.
  • the processing of the display control process 206e corresponds to the processing of the display control unit 155.
  • each program does not necessarily have to be stored in the hard disk device 207 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the computer 200.
  • the computer 200 may read out and execute each of the programs 207a to 207e.
  • REFERENCE SIGNS LIST 100 information processing device 105 camera 110 communication unit 120 input unit 130 display unit 140 storage unit 141 image buffer 142 outline HMM 143 Intermediate data accumulation table 144 Operation judgment table 145 Event judgment table 146 Sentence template 147 Sentence accumulation table 150 Control unit 151 First acquisition unit 152 Second acquisition unit 153 Judgment unit 154 Generation unit 155 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１００）は、撮影装置により撮影された撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、複数の向きを示す複数の向き情報を記憶する記憶部を参照して、複数の輪郭の形状のうち、撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた向き情報を取得する処理を繰り返す。情報処理装置（１００）は、複数の向き情報の関係に基づき、被写体の動きに関する判定を行う。

Description

判定方法、判定プログラムおよび情報処理装置
　本発明は、判定方法等に関する。
　従来、カメラで物体を撮影し、物体の動きをもとに、その行動パターンを検出するための各種の技術がある。たとえば、従来技術には、被写体の画像に形状モデルを当てはめ、パーツ単位での代表点位置の時系列データを抽出し、抽出した時系列データと、モデルデータとの照合を行うことで、動作カテゴリを特定するものがある。また、画像から人物の行動パターンを検出する従来技術として、ＨＭＭ（Hidden　Markov　Model）を用い、標準的な行動の確率モデルを自動的に習得するものがある。
特開２０１０－１０２５９５号公報 特開２００５－２０２６５３号公報
　しかしながら、上述した従来技術では、撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定を容易に行うことができないという問題がある。
　たとえば、画像から抽出されるエッジには様々な形状のエッジが含まれるため、被写体の画像に特定の形状モデルを当てはめることが難しく、動作カテゴリを容易に判定することができない。
　１つの側面では、本発明は、撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定時間を短縮できる判定方法、判定プログラムおよび情報処理装置を提供することを目的とする。
　第１の案では、コンピュータは、次の処理を実行する。コンピュータは、撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、複数の向きを示す複数の向き情報を記憶する記憶部を参照する。コンピュータは、複数の輪郭の形状のうち、取得した第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得する。コンピュータは、撮影装置により新たに撮影された第２の撮影画像を取得すると、記憶部を参照する。コンピュータは、複数の輪郭の形状のうち、取得した第２の撮影画像に含まれる被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得する。コンピュータは、取得した第１の向き情報及び第２の向き情報の関係に基づき、被写体の動きに関する判定を行う。
　撮影画像に含まれる被写体の動き又は被写体のいずれかの部位の状態に関する判定時間を短縮できる。
図１は、本実施例に係る情報処理装置の処理の一例を説明するための図である。 図２は、アウトラインとPostScriptデータとの関係を説明するための図である。 図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図４は、本実施例に係る画像バッファのデータ構造の一例を示す図である。 図５は、本実施例に係るアウトラインＨＭＭのデータ構造の一例を示す図である。 図６は、ある識別情報およびある角度に対応するPostScriptデータの一例を示す図である。 図７は、本実施例に係る中間データ蓄積テーブルのデータ構造の一例を示す図である。 図８は、本実施例に係る動作判定テーブルのデータ構造の一例を示す図である。 図９は、本実施例に係るイベント判定テーブルのデータ構造の一例を示す図である。 図１０は、本実施例に係るセンテンステンプレートの一例を示す図である。 図１１は、重畳画像データの一例を示す図である。 図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　以下に、本発明にかかる判定方法、判定プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例に係る情報処理装置の処理の一例を説明するための図である。情報処理装置は、カメラから複数の撮影画像データ１０ａ，１０ｂ，１０ｃ，１０ｄを順に取得する。以下の説明では、撮影画像データ１０ａ～１０ｄをまとめて適宜、「撮影画像データ１０」と表記する。
　情報処理装置は、撮影画像データ１０と、アウトラインＨＭＭ１４２とを比較して、撮影画像データ１０毎に、中間データ１５ａ～１５ｄを生成する。中間データ１５ａは、撮影画像データ１０ａから生成されるデータである。中間データ１５ｂは、撮影画像データ１０ｂから生成されるデータである。中間データ１５ｃは、撮影画像データ１０ｃから生成されるデータである。中間データ１５ｄは、撮影画像データ１０ｄから生成されるデータである。以下の説明では、中間データ１５ａ～１５ｄをまとめて適宜、「中間データ１５」と表記する。
　中間データ１５は、向き情報と、属性情報と、画像情報とを含む。向き情報は、被写体の向きの情報を示す。属性情報は、被写体に関する説明を記述したテキスト情報である。画像情報は、被写体に含まれる各パーツの画像情報である。被写体に含まれる各パーツは、ヘッドランプ、ウインカー、ボンネット等に対応する。
　アウトラインＨＭＭ１４２は、物体の向き情報と、物体（全体）の輪郭の形状と、物体の各パーツの情報とを有する。パーツの情報は、物体の輪郭の形状内に含まれる各パーツの形状、位置等の情報が含まれる。以下の説明では、物体の輪郭の形状を「アウトライン」と表記する。
　ここで、アウトライン及びパーツの情報（形状）は、PostScriptデータにより示される。図２は、アウトラインとPostScriptデータとの関係を説明するための図である。図２では、一例として、アウトライン５に対応するPostScriptデータ６を示す。PostScriptデータ６により、アウトライン５を描画することができる。
　アウトライン５は、直線５ＡＢ、曲線５ＢＣ、直線５ＣＤ、直線５ＤＡからなる。直線５ＡＢは、制御点Ａと制御点Ｂとを結ぶ直線である。直線５ＣＤは、制御点Ｃと制御点Ｄとを結ぶ直線である。直線５ＤＡは、制御点Ｄと制御点Ａとを結ぶ直線である。曲線５ＢＣは、制御点Ｂと制御点Ｃとを結ぶ曲線であり、制御点α，βおよび制御点（端点）Ｂ，Ｃにより、曲線の形状が決定される。
　アウトライン５の制御点Ａ，Ｂ，Ｃ，Ｄ、制御点α，βを基にして、アウトライン５のPostScriptデータ６が生成される。PostScriptデータ６に含まれる「Ｘａ，Ｙａ」は、制御点Ａの座標を示すものである。「Ｘｂ，Ｙｂ」は、制御点Ｂの座標を示すものである。「Ｘｃ，Ｙｃ」は、制御点Ｃの座標を示すものである。「Ｘｄ，Ｙｄ」は、制御点Ｄの座標を示すものである。「Ｘα，Ｙα」は、制御点αの座標を示すものである。「Ｘβ，Ｙβ」は、制御点βの座標を示すものである。PostScriptデータ６には、各種のコマンド「newpath　moveto　lineto　curveto　stroke　showpage」が含まれる。
　また、PostScriptデータ６には、属性情報を格納する属性情報領域６ａが設定されている。属性情報領域６ａには、PostScriptデータ６に描画される物体あるいは物体の部品を説明するテキスト情報が予め格納されている。たとえば、PostScriptデータで描画される輪郭の形状が、スポーツカーの輪郭の形状である場合には、属性情報領域６ａには、「スポーツカー」なるテキスト情報が格納される。PostScriptデータで描画される輪郭の形状が、スポーツカーの右ウインカーの輪郭の形状である場合には、属性情報領域６ａには、「右ウインカー」なるテキスト情報が格納される。
　続いて、情報処理装置が、撮影画像データ１０ａと、アウトラインＨＭＭ１４２とを比較して、中間データ１５ａを生成する処理について説明する。情報処理装置は、撮影画像データ１０ａから被写体の外郭（輪郭）の形状を抽出し、抽出した外郭の形状とヒットするアウトライン２０ａを特定する。情報処理装置は、ヒットしたアウトライン２０ａに対応する向き情報（０°／０：００）、属性情報、画像情報を取得する。なお、アウトラインＨＭＭ１４２には、向き情報（３０°／１：００）に対応するアウトライン２０ｂ、向き情報（４５°／１：３０）に対応するアウトライン２０ｃ、向き情報（９０°／３：００）に対応するアウトライン２０ｄ等が含まれる。
　ここで、情報処理装置は、属性情報として、アウトライン２０ａに対応するPostScriptデータの属性情報領域に格納されたテキスト情報と、パーツのエッジに対応するPostScriptデータの属性情報領域に格納されたテキスト情報とを取得する。
　情報処理装置は、画像情報として、パーツのエッジに対応する画像領域を、撮影画像データ１０ａ上から特定し、特定した画像領域の部分的な画像情報を取得する。
　情報処理装置は、撮影画像データ１０ｂ～１０ｄに関しても、上記の処理を実行することで、中間データ１５ｂ～１５ｄを生成する。
　続いて、情報処理装置は、中間データ１５ａ～１５ｄと、動作判定テーブル１４４およびイベント判定テーブル１４５とを基にして、センテンス情報３０を生成する。
　動作判定テーブル１４４は、被写体の動きに関する判定を行う場合に用いるテーブルである。動作判定テーブル１４４は、角度の遷移パターンと動作の種別とを対応付ける。情報処理装置は、中間データ１５ａ～１５ｄと、動作判定テーブル１４４とを比較して、被写体の動作の種別を判定する。たとえば、中間データ１５ａ～１５ｄの向きの情報（角度）が右回りに変化している場合には、被写体の動作の種別は、「右折」となる。
　イベント判定テーブル１４５は、被写体に発生するイベントを判定する場合に用いるテーブルである。イベント判定テーブル１４５は、一定期間における画像情報の変化のパターンと、イベントとを対応付ける。情報処理装置は、中間データ１５ａ～１５ｄと、イベント判定テーブル１４５とを比較して、イベントを判定する。たとえば、中間データ１５の画像情報に含まれる右ウインカーの画像情報の輝度が、一定期間毎に、閾値以上、閾値未満となる場合には、イベントは「右ウインカーが点灯」となる。
　情報処理装置は、動作判定テーブル１４４を用いて判定した動作の種別、および、イベント判定テーブル１４５を用いて判定したイベントを、所定のテンプレートに設定することで、センテンス情報３０を生成する。
　上記のように、本実施例に係る情報処理装置は、アウトラインＨＭＭ１４２と、撮影画像データ１０の被写体の輪郭形状とを比較して、被写体の向きの推移を特定し、被写体の動きに関する判定を行う。これによって、被写体の動きや部位の状態の判定を行う際に、複雑なアルゴリズムを用いる必要が無いため、撮影画像データに含まれる被写体の動きに関する判定時間を短縮することができる。
　情報処理装置は、アウトラインＨＭＭ１４２と、撮影画像データ１０の被写体の部分的な画像情報を抽出し、部分的な画像情報の推移と、イベント判定テーブル１４５とを比較してイベントを判定する。これにより、被写体のいずれかの部位の状態に関する判定を容易に行うことができる。
　情報処理装置は、中間データ１５と、動作判定テーブル１４４およびイベント判定テーブル１４５とを基にして、センテンス情報３０を生成する。これにより、被写体の動きに関する判定、イベントの判定結果を、センテンス情報により記録または表示することができる。
　次に、本実施例に係る情報処理装置の構成の一例について説明する。図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３に示すように、この情報処理装置１００は、カメラ１０５、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
　カメラ１０５は、被写体を２つの異なる方向から同時に撮影するステレオカメラ（双眼カメラ）または、左右に可動可能な単眼カメラであり、視差により被写体のアウトラインを識別することができる。カメラ１０５は、第１の方向から撮影した第１撮影画像データと、第１の方向とは異なる第２の方向から撮影した第２撮影画像データとを、情報処理装置１００に出力する。以下の説明では、適宜、第１撮影画像データと、第２撮影画像データとをまとめて「撮影画像データ」と表記する。
　通信部１１０は、ネットワークを介して外部装置とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。情報処理装置１００は、ネットワークを介して、カメラ１０５に接続し、ネットワークを介して、撮影画像データを受信してもよい。
　入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
　表示部１３０は、制御部１５０から出力される各種の情報を表示するための表示装置である。たとえば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。
　記憶部１４０は、画像バッファ１４１、アウトラインＨＭＭ１４２、中間データ蓄積テーブル１４３を有する。記憶部１４０は、動作判定テーブル１４４、イベント判定テーブル１４５、センテンステンプレート１４６、センテンス蓄積テーブル１４７を有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　画像バッファ１４１は、カメラ１０５に撮影された撮影画像データを格納するバッファである。図４は、本実施例に係る画像バッファのデータ構造の一例を示す図である。図４に示すように、画像バッファ１４１は、時刻と、撮影画像データとを対応付ける。時刻は、撮影画像データが撮影された時刻である。撮影画像データは、カメラ１０５に撮影された画像データである。
　アウトラインＨＭＭ１４２は、物体の向き情報と、物体のアウトラインと、物体に含まれる各パーツの情報とを保持する情報である。図５は、本実施例に係るアウトラインＨＭＭのデータ構造の一例を示す図である。図５に示すように、アウトラインＨＭＭ１４２は、識別情報と、角度（時刻表現による物体の向き）毎のPostScriptデータを有する。識別情報は、物体を一意に識別する情報である。なお、識別情報は、アウトラインＨＭＭ１４２の各レコードを識別する番号であってもよい。
　PostScriptデータは、アウトラインを描画するためのPostScriptデータである。図６は、ある識別情報およびある角度に対応するPostScriptデータの一例を示す図である。このPostScriptデータ４０は、複数のPostScriptデータ４０ａ，４０ｂ，４０ｃ，４０ｄを含む。図６では一例として、PostScriptデータ４０ａ～４０ｄを示すが、PostScriptデータ４０は、他のPostScriptデータを含んでいてもよい。
　最上層のPostScriptデータ４０ａは、物体（全体）の輪郭のアウトラインを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０が、ある識別情報の角度「０°／０：００」のPostScriptデータである場合には、物体（全体）の輪郭のアウトラインは、図１で説明したアウトライン２０ａに対応する。PostScriptデータ４０ａには、属性情報領域４１ａが含まれる。この属性情報領域４１ａには、テキスト情報「スポーツカー」が格納されている。
　PostScriptデータ４０ａの配下の各PostScriptデータ４０ｂ～４０ｄは、物体の輪郭内に含まれる各パーツのエッジを描画するためのPostScriptデータである。たとえば、PostScriptデータ４０ｂは、物体の右ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｂには、属性情報領域４１ｂが含まれる。この属性情報領域４１ｂには、テキスト情報「右ウインカー」が格納されている。
　PostScriptデータ４０ｃは、物体の左ウインカーのエッジを描画するためのPostScriptデータである。PostScriptデータ４０ｃには、属性情報領域４１ｃが含まれる。この属性情報領域４１ｃには、テキスト情報「左ウインカー」が格納されている。
　PostScriptデータ４０ｄは、物体の輪郭内の他のパーツのエッジを描画するためのPostScriptデータである。図示を省略するが、PostScriptデータ４０ｄの属性領域情報にも、部品を説明するためのテキスト情報が含まれているものとする。
　中間データ蓄積テーブル１４３は、中間データ１５を蓄積するテーブルである。図７は、本実施例に係る中間データ蓄積テーブルのデータ構造の一例を示す図である。図７に示すように、この中間データ蓄積テーブル１４３は、時刻、識別情報、向き情報、属性情報、画像情報を対応付ける。時刻は、撮影画像データの撮影時刻を示す。識別情報は、被写体を一意に識別する情報である。向き情報は、被写体の向きを示す情報である。
　属性情報は、撮影画像データのアウトラインにヒットした各PostScriptデータの各属性情報領域に格納されたテキスト情報である。画像情報は、各時刻における各パーツの部分的な画像情報である。たとえば、各パーツの部分的な画像情報は、被写体のボンネットの画像情報、被写体の右ウインカーの画像情報、被写体の左ウインカーの画像情報等である。
　動作判定テーブル１４４は、被写体の動きに関する判定を行う場合に用いるテーブルである。図８は、本実施例に係る動作判定テーブルのデータ構造の一例を示す図である。図８に示すように、動作判定テーブル１４４は、角度遷移パターンと、動作種別とを対応付ける。
　角度遷移パターン「所定期間、角度変化なし」である場合には、動作種別「停止」となる。角度遷移パターン「角度が右回りに変化」である場合には、動作種別「右折」となる。たとえば、角度が「０°、３０°、４５°、・・・」と変化するものは、右回りの変化である。角度遷移パターン「角度が左回りに変化」である場合には、動作種別「左折」となる。角度が「・・・９０°、６０°、４５°、・・・」と変化するものは、左回りの変化である。
　イベント判定テーブル１４５は、被写体に発生するイベントを判定する場合に用いるテーブルである。図９は、本実施例に係るイベント判定テーブルのデータ構造の一例を示す図である。図９に示すように、イベント判定テーブルは、パーツ名称と、画像パターンと、イベントとを対応付ける。パーツ名称は、被写体のパーツを特定する名称である。画像パターンは、パーツに対応する部分的な画像情報の変化のパターンを示すものである。イベントは、被写体に発生しているイベントを示すのである。
　たとえば、パーツ名称「ヘッドライト」に対応する画像パターンが「一定期間、輝度が連続して閾値以上」である場合に、イベントが「ライト点灯」である旨が登録されている。パーツ名称「ヘッドライト」に対応する画像パターンが「一定期間、輝度が連続して閾値未満」である場合に、イベントが「ライト消灯」である旨が登録されている。
　パーツ名称「右ウインカー」に対応する画像パターンが「一定期間毎に、輝度が閾値以上、閾値未満を繰り返す」である場合に、イベントが「右ウインカーが点灯」である旨が登録されている。パーツ名称「左ウインカー」に対応する画像パターンが「一定期間毎に、輝度が閾値以上、閾値未満を繰り返す」である場合に、イベントが「左ウインカーが点灯」である旨が登録されている。
　パーツ名称「ブレーキランプ」に対応する画像パターンが「輝度が閾値以上」である場合に、イベントが「ブレーキ」である旨が登録されている。
　センテンステンプレート１４６は、センテンス情報を生成するための各種のテンプレートを保持している。たとえば、動作判定テーブル１４４を基に判定される動作の種別のテキスト情報、イベント判定テーブル１４５を基に判定されるイベントのテキスト情報を、テンプレートに組み込むことで、センテンス情報が生成される。
　センテンス蓄積テーブル１４７は、後述する制御部１５０により生成されるセンテンス情報を蓄積するテーブルである。
　制御部１５０は、第１取得部１５１、第２取得部１５２、判定部１５３、生成部１５４、表示制御部１５５を有する。第１取得部１５１、第２取得部１５２は、取得部の一例である。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　第１取得部１５１は、カメラ１０５から、撮影画像データを取得する処理部である。第１取得部１５１は、取得した撮影画像データを時刻と対応付けて、画像バッファ１４１に格納する。カメラ１０５は、撮影時に時刻情報を、撮影画像データに付与してもよいし、第１取得部１５１が、図示しないタイマから時刻の情報を取得してもよい。
　第２取得部１５２は、画像バッファ１４１に格納された撮影画像データと、アウトラインＨＭＭ１４２とを基にして、中間データを生成し、生成した中間データを中間データ蓄積テーブル１４３に格納する処理部である。以下において、第２取得部１５２の処理の一例について説明する。
　第２取得部１５２は、撮影画像データ（第１撮影画像データおよび第２撮影画像データ）を基にして、ステレオカメラの原理により、撮影画像上の被写体の輪郭形状を抽出する。第２取得部１５２は、輪郭形状を、被写体のアウトラインとして特定する。以下の説明では、撮影画像データから抽出した被写体のアウトラインを「画像アウトライン」と表記する。
　第２取得部１５２は、アウトラインＨＭＭ１４２の各PostScriptデータについて、最上層のPostScriptデータを基にして、被写体（全体）の輪郭のアウトラインをそれぞれ描画する。第２取得部１５２は、描画した各アウトラインと、画像アウトラインとを比較して類似度を算出し、類似度が最大（あるいは、所定の類似度以上）となるアウトラインと、画像アウトラインとの組を判定する。
　第２取得部１５２は、各PostScriptデータに基づき描画した各アウトラインと、画像アウトラインとの類似度をどのように算出してもよい。たとえば、第２取得部１５２は、アウトラインに囲まれる領域と、画像アウトラインに囲まれる領域との一致率を、類似度として算出してもよい。以下の説明では、画像アウトラインとの類似度が最大となるアウトラインを描画するために用いたPostScriptデータ「対象PostScriptデータ」と表記する。
　第２取得部１５２が、中間データの向き情報を特定する処理について説明する。第２取得部１５２は、アウトラインＨＭＭ１４２に格納された対象PostScriptデータの位置を基にして、被写体の向き情報を特定する。たとえば、対象PostScriptデータが、図５に示したアウトラインＨＭＭ１４２の各PostScriptデータのうち、１行目、１列目のPostScriptデータである場合には、向き情報は「０°／０：００」となる。第２取得部１５２は、特定した向き情報を、中間データに格納する。
　第２取得部１５２が、中間データの属性情報を抽出する処理について説明する。第２取得部１５２は、対象PostScriptデータの各階層の属性情報領域に格納されたテキスト情報を取得し、取得したテキスト情報を、中間データに格納する。たとえば、対象PostScriptデータが、図６に示すPostScriptデータ４０である場合には、「スポーツカー」、「右ウインカー」、「左ウインカー」を抽出する。第２取得部１５２は、抽出した各テキスト情報が、被写体のアウトラインのPostScriptデータのテキスト情報であるか、パーツのPostScriptデータのテキスト情報であるかを示す情報を、各テキスト情報に付与する。
　第２取得部１５２が、中間データの画像情報を抽出する処理について説明する。第２取得部１５２は、対象PostScriptデータに含まれるパーツのPostScriptデータを参照し、撮影画像データ上の各パーツの領域を特定する。第２取得部１５２は、パーツの領域に含まれる部分的な画像情報と、パーツ名称とを対応付けて、中間データに格納する。たとえば、パーツ名称は、パーツに対応するPostScriptデータの属性情報領域に格納されたテキスト情報とする。たとえば、パーツの領域に含まれる部分的な画像情報は、状態情報に対応する。
　第２取得部１５２は、画像バッファ１４１に撮影画像データが格納される度に、上記処理を繰り返し実行することで、複数の中間データを生成する。第２取得部１５２は、時刻と、識別情報と、中間データの向き情報、属性情報、画像情報とを対応付けて、中間データ蓄積テーブル１４３に格納する。
　判定部１５３は、中間データ蓄積テーブル１４３に蓄積された各中間データの向き情報と、動作判定テーブル１４４とを基にして、被写体の動きに関する判定を行う。また、判定部１５３は、中間データ蓄積テーブル１４３に蓄積された各中間データのと、イベント判定テーブル１４５とを基にして、被写体のパーツの状態（イベント）に関する判定を行う。判定部１５３は、判定結果を、生成部１５４に出力する。
　判定部１５３が、被写体の動きに関する判定を行う処理について説明する。判定部１５３は、基準時刻から所定時間後までの各向き情報を、中間データ蓄積テーブル１４３から取得する。基準時刻は、予め指定される時刻であってもよいし、現在時刻から所定時間前の時刻であってもよい。
　判定部１５３は、取得した向き情報を時系列にソートし、各向き情報に示される角度の遷移と、動作判定テーブル１４４の各角度遷移パターンとを比較して、該当する角度遷移パターンを判定する。判定部１５３は、判定した角度遷移パターンに対応する動作種別を判定する。判定部１５３は、判定した動作種別を、生成部１５４に出力する。
　判定部１５３が、被写体のパーツの状態（イベント）に関する判定を行う処理について説明する。判定部１５３は、基準時刻から所定時間後までの各画像情報（パーツ毎の部分的な画像情報）を、中間データ蓄積テーブル１４３から取得する。取得した部分的な画像情報は、パーツ名称と対応付けられているものとする。
　判定部１５３は、パーツ名称毎に、部分的な画像情報を分類し、分類した画像情報を時系列にソートする。判定部１５３は、パーツ名称毎に時系列にソートした各画像情報と、図９に示した、イベント判定テーブル１４５とを比較して、ヒットするイベントを特定する。
　たとえば、判定部１５３は、パーツ名称「ヘッドライト」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間、連続して閾値以上である場合には、イベントが「ライト点灯」であると判定する。判定部１５３は、パーツ名称「ヘッドライト」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間、連続して閾値未満である場合には、イベントが「ライト消灯」であると判定する。
　判定部１５３は、パーツ名称「右ウインカー」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間毎に、閾値以上、閾値未満を繰り返す場合には、イベントが「右ウインカーが点灯」であると判定する。判定部１５３は、パーツ名称「左ウインカー」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、一定期間毎に、閾値以上、閾値未満を繰り返す場合には、イベントが「左ウインカーが点灯」であると判定する。
　判定部１５３は、パーツ名称「ブレーキランプ」に対応する各画像情報を参照し、時系列に並んだ各画像情報の輝度が、閾値以上である場合には、イベントが「ブレーキ」であると判定する。
　また、判定部１５３は、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）に対応する画像情報を参照し、パーツ名称「スポーツカー」に対応する色を判定してもよい。以下の説明では、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）に対応する画像情報から判定される色を、「被写体色情報」と表記する。また、最上層のPostScriptデータのテキスト情報（たとえば、スポーツカー）を、「被写体名称」と表記する。
　判定部１５３は、被写体名称、被写体色情報、動作種別、イベントの情報を、判定結果として、生成部１５４に出力する。
　生成部１５４は、判定部１５３の判定結果と、センテンステンプレート１４６とを基にして、センテンス情報を生成する処理部である。生成部１５４は、生成したセンテンス情報を、センテンス蓄積テーブル１４７に格納する。
　図１０は、本実施例に係るセンテンステンプレートの一例を示す図である。たとえば、センテンステンプレート１４６は、複数の領域１４６ａ，１４６ｂ，１４６ｃ，１４６ｄと各領域をつなぐテキスト情報を有する。領域１４６ａは、「被写体色情報（のテキスト）」を設定する領域である。領域１４６ｂは、「被写体名称」を設定する領域である。領域１４６ｃは、「イベントの情報（テキスト）」を設定する領域である。領域１４６ｄは、「動作種別」を設定する領域である。
　たとえば、被写体色情報が「赤色」、被写体名称が「スポーツカー」、イベントの情報が「右ウインカーを点滅」、動作種別が「右折」とする。この場合には、生成部１５４は、センテンス情報「赤色のスポーツカーが右ウインカーを点滅させながら右折した。」を生成する。
　表示制御部１５５は、画像バッファ１４１から撮影画像データを取得し、取得した撮影画像データに、センテンス蓄積テーブル１４７に蓄積されたセンテンス情報を重畳した重畳画像データを生成する。表示制御部１５５は、重畳画像データを、表示部１３０に出力して表示させる。表示制御部１５５は、重畳画像データを生成する場合に、被写体のいずれかのパーツの位置に、センテンス情報を重畳する。表示制御部１５５は、被写体のパーツの位置は、対象PostScriptデータを基にして、判定する。
　なお、表示制御部１５５は、センテンス情報の一部を切り出して、重畳画像データを生成してもよい。図１１は、重畳画像データの一例を示す図である。図１１に示す例では、重畳画像データ３５において、被写体の左ウインカーの位置に、テキスト情報「点滅」が重畳されている。
　次に、本実施例に係る情報処理装置の処理手順の一例について説明する。図１２は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１２に示すように、情報処理装置１００の第１取得部１５１は、カメラ１０５から撮影画像データを取得し、画像バッファ１４１に格納する（ステップＳ１０１）。
　情報処理装置１００の第２取得部１５２は、被写体の画像アウトライン（アウトライン）を抽出する（ステップＳ１０２）。第２取得部１５２は、画像アウトラインとアウトラインＨＭＭとを比較し、ヒットするPostScriptデータ（対象PostScriptデータ）を特定する（ステップＳ１０３）。
　第２取得部１５２は、対象PostScriptデータを基にして、中間データを生成する（ステップＳ１０４）。第２取得部１５２は、中間データを中間データ蓄積テーブル１４３に登録する（ステップＳ１０５）。
　情報処理装置１００の判定部１５３は、中間データ蓄積テーブル１４３と、動作判定テーブル１４４とを基にして、動作種別を判定する（ステップＳ１０６）。判定部１５３は、中間データ蓄積テーブル１４３とイベント判定テーブル１４５とを基にして、イベントを判定する（ステップＳ１０７）。
　情報処理装置１００の生成部１５４は、判定部１５３の判定結果を基にして、センテンス情報を生成し、センテンス蓄積テーブル１４７に登録する（ステップＳ１０８）。情報処理装置１００の表示制御部１５５は、センテンス情報と撮影画像データとを重畳した重畳画像データを生成し、表示部１３０に出力する（ステップＳ１０９）。
　情報処理装置１００は、処理を継続する場合には（ステップＳ１１０，Ｙｅｓ）、ステップＳ１０１に移行する。情報処理装置１００は、処理を継続しない場合には（ステップＳ１１０，Ｎｏ）、処理を終了する。
　次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、撮影画像データから被写体のアウトラインを抽出し、抽出したアウトラインと、アウトラインＨＭＭ１４２とを比較することで、被写体の向き情報を特定する処理を繰り返し実行し、各向き情報の関係に基づき、被写体の動きに関する判定を行う。このように、情報処理装置１００は、各アウトラインから特定される向き情報を基にして、動きに関する判定を行うため、被写体の動きに関する判定時間を短縮できる。
　情報処理装置１００は、対象PostScriptデータに設けられた各属性情報領域のテキスト情報を基にして、センテンス情報を生成する。このため、被写体を説明するためのセンテンス情報を容易に生成することができる。
　情報処理装置１００は、被写体のアウトラインと、アウトラインＨＭＭ１４２とを比較した結果から、撮影画像データ上の被写体の各パーツの位置を特定する。情報処理装置１００は、各パーツの位置に対応する画像情報のパターンを基にして、イベントを判定する。これにより、被写体のいずれかの部位の状態に関する判定を容易に行うことができる。
　情報処理装置１００は、撮影画像データの被写体のパーツに対応する位置に、センテンス情報を重畳することを、重畳画像データを生成し、表示部１３０に出力して表示させる。これにより、被写体の部位に関する状態をユーザにわかりやすく通知することができる。
　次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、外部装置、カメラ１０５等との間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
　ハードディスク装置２０７は、第１取得プログラム２０７ａ、第２取得プログラム２０７ｂ、判定プログラム２０７ｃ、生成プログラム２０７ｄ、表示制御プログラム２０７ｅを有する。ＣＰＵ２０１は、第１取得プログラム２０７ａ、第２取得プログラム２０７ｂ、判定プログラム２０７ｃ、生成プログラム２０７ｄ、表示制御プログラム２０７ｅを読み出してＲＡＭ２０６に展開する。
　第１取得プログラム２０７ａは、第１取得プロセス２０６ａとして機能する。第２取得プログラム２０７ｂは、第２取得プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。生成プログラム２０７ｄは、生成プロセス２０６ｄとして機能する。表示制御プログラム２０７ｅは、表示制御プロセス２０６ｅとして機能する。
　第１取得プロセス２０６ａの処理は、第１取得部１５１の処理に対応する。第２取得プロセス２０６ｂの処理は、第２取得部１５２の処理に対応する。判定プロセス２０６ｃの処理は、判定部１５３の処理に対応する。生成プロセス２０６ｄの処理は、生成部１５４の処理に対応する。表示制御プロセス２０６ｅの処理は、表示制御部１５５の処理に対応する。
　なお、各プログラム２０７ａ～２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。
　１００　　情報処理装置
　１０５　　カメラ
　１１０　　通信部
　１２０　　入力部
　１３０　　表示部
　１４０　　記憶部
　１４１　　画像バッファ
　１４２　　アウトラインＨＭＭ
　１４３　　中間データ蓄積テーブル
　１４４　　動作判定テーブル
　１４５　　イベント判定テーブル
　１４６　　センテンステンプレート
　１４７　　センテンス蓄積テーブル
　１５０　　制御部
　１５１　　第１取得部
　１５２　　第２取得部
　１５３　　判定部
　１５４　　生成部
　１５５　　表示制御部

Claims (21)

  1. 　コンピュータが実行する判定方法であって、
    　撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、
    　前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得し、
    　取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う、
    　処理を実行することを特徴とする判定方法。
  2. 　前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する処理を更に実行することを特徴とする請求項１に記載の判定方法。
  3. 　前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する処理を更に実行することを特徴とする請求項２に記載の判定方法。
  4. 　コンピュータが実行する判定方法であって、
    　撮影装置により撮影された複数の撮影画像を取得し、
    　取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、
    　物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得し、
    　生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う、
    　処理を実行することを特徴とする判定方法。
  5. 　前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する処理を更に実行することを特徴とする請求項４に記載の判定方法。
  6. 　前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する処理を更に実行することを特徴とする請求項４に記載の判定方法。
  7. 　前記重畳画像を生成する処理は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項６に記載の判定方法。
  8. 　撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、
    　前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得し、
    　取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う、
    　処理をコンピュータに実行させることを特徴とする判定プログラム。
  9. 　前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する処理を更に実行することを特徴とする請求項８に記載の判定プログラム。
  10. 　前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する処理を更に実行することを特徴とする請求項９に記載の判定プログラム。
  11. 　撮影装置により撮影された複数の撮影画像を取得し、
    　取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、
    　物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得し、
    　生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う、
    　処理をコンピュータに実行させることを特徴とする判定プログラム。
  12. 　前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する処理を更に実行することを特徴とする請求項１１に記載の判定プログラム。
  13. 　前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する処理を更に実行することを特徴とする請求項１０に記載の判定プログラム。
  14. 　前記重畳画像を生成する処理は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項１３に記載の判定プログラム。
  15. 　撮影装置により撮影された第１の撮影画像を取得すると、物体の複数の向きに応じた該物体の複数の輪郭の形状にそれぞれ対応付けて、前記複数の向きを示す複数の向き情報を記憶する記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第１の撮影画像に含まれる被写体の輪郭の形状に対応する輪郭の形状に対応付けられた第１の向き情報を取得し、前記撮影装置により新たに撮影された第２の撮影画像を取得すると、前記記憶部を参照して、前記複数の輪郭の形状のうち、取得した前記第２の撮影画像に含まれる前記被写体の輪郭に対応する輪郭の形状に対応付けられた第２の向き情報を取得する取得部と、
    　取得した前記第１の向き情報及び前記第２の向き情報の関係に基づき、前記被写体の動きに関する判定を行う判定部と
    　を有することを特徴とする情報処理装置。
  16. 　前記記憶部は、前記向き情報とテキスト情報とをそれぞれ対応付け、前記第１の向き情報に対応する第１のテキスト情報と、前記第２の向きの情報に対応する第２のテキスト情報を、前記記憶部から取得し、取得した前記第１のテキスト情報および前記第２のテキスト情報を基にして、前記被写体の動きを示すテキスト情報を生成する生成部を更に有することを特徴とする請求項１５に記載の情報処理装置。
  17. 　前記被写体の情報と、前記被写体の動きを示すテキスト情報とを対応付けて出力する表示制御部を更に有することを特徴とする請求項１６に記載の情報処理装置。
  18. 　撮影装置により撮影された複数の撮影画像を取得する第１取得部と、
    　取得した前記複数の撮影画像に基づき、前記複数の撮影画像に含まれる被写体のいずれかの部位の輪郭の形状を示す輪郭データと、前記いずれかの部位の状態に関する状態情報とを生成し、物体が有する複数の部位の属性情報を、それぞれ前記複数の部位の輪郭の形状を示す複数の輪郭データに対応付けて記憶する記憶部を参照して、前記複数の輪郭データに、生成した前記輪郭データに対応する輪郭データが含まれる場合、該輪郭データに対応付けられた属性情報を取得する第２取得部と
    　生成した前記状態情報と、取得した前記属性情報とに基づき、前記被写体の前記いずれかの部位の状態に関する判定を行う判定部と
    　を有することを特徴とする情報処理装置。
  19. 　前記属性情報は、被写体の部品を示すテキスト情報を含み、前記テキスト情報と、前記判定を行う処理の判定結果とを基にして、前記被写体の前記いずれかの部位の状態を示すテキスト情報を生成する生成部を更に有することを特徴とする請求項１８に記載の情報処理装置。
  20. 　前記複数の撮影画像の少なくともいずれかの撮影画像に、前記被写体の前記いずれかの部位の状態を示すテキスト情報を重畳した重畳画像を生成し、前記重畳画像を表示する表示制御部を更に有することを特徴とする請求項１９に記載の情報処理装置。
  21. 　前記表示制御部は、前記いずれかの撮影画像に含まれる前記いずれかの部位に対応する位置に、前記テキスト情報を重畳することで重畳画像を生成することを特徴とする請求項２０に記載の情報処理装置。
PCT/JP2018/025415 2018-07-04 2018-07-04 判定方法、判定プログラムおよび情報処理装置 WO2020008576A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/025415 WO2020008576A1 (ja) 2018-07-04 2018-07-04 判定方法、判定プログラムおよび情報処理装置
AU2018430831A AU2018430831B2 (en) 2018-07-04 2018-07-04 Determining method, determining program, and information processing apparatus
EP18925624.1A EP3819862A4 (en) 2018-07-04 2018-07-04 DETERMINATION PROCESS, DETERMINATION PROGRAM, AND INFORMATION PROCESSING DEVICE
JP2020528613A JP7099526B2 (ja) 2018-07-04 2018-07-04 判定方法、判定プログラムおよび情報処理装置
US17/131,609 US11663731B2 (en) 2018-07-04 2020-12-22 Determining method, information processing apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025415 WO2020008576A1 (ja) 2018-07-04 2018-07-04 判定方法、判定プログラムおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/131,609 Continuation US11663731B2 (en) 2018-07-04 2020-12-22 Determining method, information processing apparatus, and recording medium

Publications (1)

Publication Number Publication Date
WO2020008576A1 true WO2020008576A1 (ja) 2020-01-09

Family

ID=69060491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025415 WO2020008576A1 (ja) 2018-07-04 2018-07-04 判定方法、判定プログラムおよび情報処理装置

Country Status (5)

Country Link
US (1) US11663731B2 (ja)
EP (1) EP3819862A4 (ja)
JP (1) JP7099526B2 (ja)
AU (1) AU2018430831B2 (ja)
WO (1) WO2020008576A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605465B1 (en) 2018-08-16 2023-03-14 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and patient risk scoring
US11621085B1 (en) 2019-04-18 2023-04-04 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and active updates of outcomes
US11636497B1 (en) 2019-05-06 2023-04-25 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and risk adjusted performance ranking of healthcare providers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202653A (ja) 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
JP2008128867A (ja) * 2006-11-22 2008-06-05 Denso Corp タイヤ向き特定装置
JP2010102595A (ja) 2008-10-24 2010-05-06 National Institute Of Information & Communication Technology コメント付き画像表示装置及びコメント付き画像表示方法
JP2011129082A (ja) * 2009-11-20 2011-06-30 3D Media Co Ltd ３次元物体認識装置及び３次元物体認識方法
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
US9712738B2 (en) * 2012-04-17 2017-07-18 E-Vision Smart Optics, Inc. Systems, devices, and methods for managing camera focus
JP6273686B2 (ja) * 2013-03-29 2018-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10857944B2 (en) * 2016-09-30 2020-12-08 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus
US10725540B2 (en) * 2018-06-29 2020-07-28 International Business Machines Corporation Augmented reality speed reading

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202653A (ja) 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
JP2008128867A (ja) * 2006-11-22 2008-06-05 Denso Corp タイヤ向き特定装置
JP2010102595A (ja) 2008-10-24 2010-05-06 National Institute Of Information & Communication Technology コメント付き画像表示装置及びコメント付き画像表示方法
JP2011129082A (ja) * 2009-11-20 2011-06-30 3D Media Co Ltd ３次元物体認識装置及び３次元物体認識方法
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3819862A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605465B1 (en) 2018-08-16 2023-03-14 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and patient risk scoring
US11621085B1 (en) 2019-04-18 2023-04-04 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and active updates of outcomes
US11636497B1 (en) 2019-05-06 2023-04-25 Clarify Health Solutions, Inc. Computer network architecture with machine learning and artificial intelligence and risk adjusted performance ranking of healthcare providers

Also Published As

Publication number Publication date
US20210110559A1 (en) 2021-04-15
AU2018430831B2 (en) 2021-12-16
EP3819862A1 (en) 2021-05-12
EP3819862A4 (en) 2021-06-02
US11663731B2 (en) 2023-05-30
JP7099526B2 (ja) 2022-07-12
AU2018430831A1 (en) 2021-01-28
JPWO2020008576A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US10997465B2 (en) Information processing device, information processing method, and storage medium
WO2020008576A1 (ja) 判定方法、判定プログラムおよび情報処理装置
US10453235B2 (en) Image processing apparatus displaying image of virtual object and method of displaying the same
JP6286474B2 (ja) 画像処理装置および領域追跡プログラム
JP2013504114A (ja) 目状態検出装置及び方法
WO2018036277A1 (zh) 车辆检测的方法、装置、服务器及存储介质
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
JP6570370B2 (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体
US9324008B2 (en) Classifier update device, information processing device, and classifier update method
JP2009265732A (ja) 画像処理装置及びその方法
CN110751728A (zh) 具有bim建筑模型混合现实功能的虚拟现实设备及方法
JP2011090411A5 (ja)
US11615549B2 (en) Image processing system and image processing method
CN112115803A (zh) 口罩状态提醒方法、装置及移动终端
CN114067406A (zh) 一种关键点检测方法、装置、设备及可读存储介质
US11989928B2 (en) Image processing system
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
JP4172236B2 (ja) 顔画像処理装置及びプログラム
TWI618031B (zh) 影像邊緣偵測方法
JP2010057682A (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP2008146132A (ja) 画像検出装置、プログラム及び画像検出方法
JP5957996B2 (ja) 角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法
JP2023064499A (ja) 情報処理装置、撮像システム、方法及びプログラム
JP2018128885A (ja) 顔検出装置、顔検出方法、顔検出プログラム、及び対象物検出装置
JP2000182056A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925624

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528613

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018430831

Country of ref document: AU

Date of ref document: 20180704

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2018925624

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018925624

Country of ref document: EP

Effective date: 20210204