WO2022091703A1 - 表示方法、制御装置、表示装置、及びプログラム - Google Patents

表示方法、制御装置、表示装置、及びプログラム Download PDF

Info

Publication number
WO2022091703A1
WO2022091703A1 PCT/JP2021/036562 JP2021036562W WO2022091703A1 WO 2022091703 A1 WO2022091703 A1 WO 2022091703A1 JP 2021036562 W JP2021036562 W JP 2021036562W WO 2022091703 A1 WO2022091703 A1 WO 2022091703A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
pixel set
display method
pixel
Prior art date
Application number
PCT/JP2021/036562
Other languages
English (en)
French (fr)
Inventor
基文 福井
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to JP2022558950A priority Critical patent/JPWO2022091703A1/ja
Priority to KR1020237012576A priority patent/KR20230096994A/ko
Publication of WO2022091703A1 publication Critical patent/WO2022091703A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Definitions

  • the present invention relates to a display method, a control device, a display device, and a program.
  • Patent Document 1 describes a display device capable of displaying a state of a building after a secular variation by moving images.
  • the display device generates a moving image using post-change coloring data corresponding to the pattern or color of each area of the building after the secular variation occurs when displaying the moving image showing the building after the secular variation occurs.
  • an object of the present invention is to provide a display method, a control device, a display device, and a program that enable an easy grasp of a state change of an object.
  • the display method is a display method for displaying a state change of an object based on a plurality of images generated by continuous imaging of the object, from each image of the plurality of images. , A step of extracting pixels arranged on predetermined position coordinates, and a step of displaying a pixel set in which pixels are arranged according to the order of capturing a plurality of images.
  • pixels arranged on predetermined position coordinates are extracted from a plurality of images, and these pixels are arranged and configured according to the order of imaging. Therefore, it is possible to easily grasp the change in the state of the object over time at the predetermined position coordinates.
  • the control device is a control device for displaying and controlling a state change of an object based on a plurality of images generated by continuous imaging of the object, and each of the plurality of images.
  • a pixel set generator that extracts pixels arranged on predetermined position coordinates from an image and generates a pixel set in which pixels are arranged according to the order of imaging of a plurality of images, and a generated pixel set are displayed.
  • pixels arranged on predetermined position coordinates in each image of a plurality of images generated by continuous imaging of an object are arranged in the order of imaging the plurality of images. Display the pixel set arranged accordingly.
  • the program according to another aspect of the present invention includes a step of extracting pixels arranged on predetermined position coordinates from each image of a plurality of images generated by continuous imaging of an object on a computer, and a plurality of steps.
  • a step of displaying a pixel set in which pixels are arranged according to the order of imaging of the image of the above is executed.
  • the present invention it is possible to provide a display method, a control device, a display device, and a program that enable an easy grasp of a state change of an object.
  • FIG. 1 is a diagram for explaining an outline of the display system 1 according to the present embodiment.
  • the display system 1 displays a state change of an object based on a plurality of images generated by continuous imaging of the object.
  • the "plurality of images” may be, for example, an "captured image” which is an image obtained by capturing an object from a predetermined fixed point position, or may be a semantic region division with respect to the captured image or the like. It may be a "processed image” which is an image obtained by performing a predetermined processing process such as, or may be a "difference image” which is an image of a difference between a plurality of captured images or a plurality of processed images.
  • Each of the plurality of images is associated with "time information (time stamp)" according to the order of imaging such as the imaging time, and is stored in a predetermined storage unit.
  • the time information may be the captured time of the images.
  • the time information may be the time information associated with any of the images that are the basis of the difference image, or the plurality of time information that is the basis of the difference image. It may be a value calculated based on the time information associated with each of the images (for example, the average value or the median value of a plurality of time information).
  • FIG. 1 shows a rectangular parallelepiped C.
  • the rectangular parallelepiped C is a set in which a plurality of images that are the basis of a pixel set displayed by the display system 1 are arranged in the order of time information associated with each image (that is, in the order of imaging). It is represented schematically.
  • the oldest time information is set as the start time TS
  • the newest time information is used.
  • the end time is TE .
  • the time information associated with the plurality of images is after the start time TS and before the end time TE .
  • FIG. 1 three images P1, P2, and P3 out of a plurality of images are explicitly drawn.
  • the images P1, P2, and P3 are associated with the time information T 1 , T 2 , and T 3 , respectively.
  • images P1, P2, and P3 are explicitly drawn in FIG. 1, and other images are omitted, but a plurality of images handled by the display system 1 are included.
  • the number of images is not limited to three and may be any number.
  • each of a plurality of images may be collectively referred to as an image P.
  • a plurality of images included in a rectangular parallelepiped C are obtained by performing a semantic region division process for detecting a damaged region in an captured image obtained by imaging an object. It is represented as a processed image. Therefore, for example, as shown in FIG. 1, each of the three images P1, P2, and P3 contains damaged regions D1, D2, and D3 detected by the semantic region division processing.
  • the outline of the display method of the state change of the object by the display system 1 will be described.
  • the axis parallel to the horizontal direction of the image P is defined as the X axis
  • the axis parallel to the vertical direction of the image P is defined as the Y axis. That is, the position of each pixel included in the image P is specified by two position coordinates, the X coordinate and the Y coordinate.
  • Each pixel contains information (pixel information) indicating the magnitude of a predetermined parameter possessed by the pixel, such as luminance information and color difference information.
  • the range of the X coordinate of the image P included in the rectangular parallelepiped C is X 1 or more and X 2 or less.
  • the display system 1 extracts pixels arranged on "pixel extraction coordinates", which are predetermined position coordinates common to each image P, from each image P.
  • the "pixel extraction coordinate” may be a set of at least one position coordinate specified by the X coordinate and the Y coordinate.
  • the pixel extraction coordinates may be arbitrarily set by the user.
  • the "pixel extraction coordinates” may be one or a set of position coordinates constituting a region having an arbitrary point, line (straight line or curve), and area.
  • the straight line L1 in the image P1, the straight line L2 in the image P2, and the straight line L3 in the image P3 correspond to the pixel extraction coordinates. Then, from the image P1, the pixels (pixel strings) arranged on the straight line L1 which is the pixel extraction coordinates, and from the image P2, the pixels (pixel strings) arranged on the straight line L2 which is the pixel extraction coordinates are the images P3. Pixels (pixel strings) arranged on the straight line L3, which is the pixel extraction coordinates, are extracted from each.
  • the display system 1 generates a set of pixels (pixel set) in which the extracted pixels (pixel sequence) are arranged according to the order of imaging of each image P from the start time TS to the end time TE . And display this.
  • Reference numeral S in FIG. 1 indicates the pixel set.
  • the vertical direction of the pixel set S corresponds to the X-axis which is the horizontal axis of the image P, and the horizontal direction of the pixel set S is the time information (start time TS to end time TE) associated with the image P. Up to).
  • the pixel sequences L1, L2, and L3 extracted from the images P1, P2, and P3 are shown at the respective positions of the time information T1, T2, and T3 in the pixel set S.
  • the pixel set S includes a damaged region portion SD which is a set of damaged region portions of each image P.
  • the pixel set S is configured by extracting pixels arranged on predetermined position coordinates (pixel extraction coordinates) from a plurality of images and arranging these pixels in the order of imaging. Therefore, it is possible to grasp at a glance (by a single pixel set) the change in the state of the object over time at the predetermined position coordinates (pixel extraction coordinates).
  • FIG. 2 is a schematic diagram showing an example of the functional configuration of the display system 1 according to the present embodiment.
  • the display system 1 is a system that displays a state change of an object based on, for example, a plurality of images generated by continuous imaging of the object.
  • the display system 1 includes, for example, an image pickup device control unit 10, an image pickup device 20, an image processing unit 30, an actual image DB 40, a prediction image generation unit 50, a prediction image DB 60, a display control unit 70, and an operation unit.
  • the 80 and the display device 90 are provided.
  • These functional units included in the display system 1 may be configured by one or a plurality of computers.
  • the computer may be, for example, an information processing device composed of a processor, a memory, and the like.
  • the image pickup device control unit 10 may be composed of one or a plurality of computers, and controls operations such as movement and image pickup of the image pickup device 20. Further, the image pickup device control unit 10 acquires an image of an object generated by the image pickup device 20 from the image pickup device 20.
  • the image pickup device 20 may be configured as a camera or the like, and an image is generated by taking an image of an object under the control of the image pickup device control unit 10.
  • the object is not particularly limited, but may be the whole or a part of a large facility such as a furnace wall.
  • the imaging device 20 may be fixed at a predetermined imaging position or may be held by the operator himself.
  • the image pickup apparatus 20 may be provided with moving means for moving under the control of the image pickup device control unit 10 or the like, or may be moved by the moving means for changing the imaging position.
  • the configuration of the moving means is not particularly limited, but may be, for example, a flying means such as a drone for arbitrarily moving in space, or a traveling means such as a slider for moving along an object.
  • the image processing unit 30 executes various processes on the image of the object generated by the image pickup apparatus 20 and stores it in the actual image DB 40.
  • the configuration of the image processing unit 30 will be described later.
  • the predicted image generation unit 50 generates predicted images at each future time point based on a plurality of images stored in the actual image DB 40, and time information (time stamp) according to the order of imaging such as the future imaging time. It is stored in the predicted image DB 60 in association with.
  • the prediction image may be generated by inputting a plurality of images stored in the real image DB 40 into a predetermined prediction model using an algorithm such as multiple regression analysis.
  • the prediction model may be, for example, a trained model obtained by executing machine learning using arbitrary images such as a plurality of images stored in the real image DB 40 as teacher data.
  • the type of the predicted image may be the same as the type of the image stored in the actual image DB 40.
  • the type of the predicted image may be a captured image (an image obtained by continuously capturing an object from a predetermined fixed point position), or a semantic region division with respect to the captured image. It may be an image (processed image) that has undergone the predetermined processing of the above, or may be a plurality of captured images or a difference image of a plurality of processed images.
  • the actual image DB 40 stores a plurality of images generated by continuous imaging of an object in association with time information (time stamp) according to the order of imaging such as imaging time.
  • the plurality of images may be, for example, an image (captured image) obtained by capturing an object from a predetermined fixed point position, or perform a predetermined processing process such as semantic region division on the captured image. It may be an image (processed image), a plurality of captured images, or a difference image of a plurality of processed images.
  • the time information associated with each image may be, for example, when the plurality of images are the above-mentioned captured images or processed images, the captured time of the images. Further, the time information associated with each image may be the time information associated with any of the images that are the basis of the difference image when the plurality of images are the above-mentioned difference images, or the difference. It may be a value calculated based on the time information associated with each of the plurality of images on which the image is based (for example, the average value or the median value of the plurality of time information).
  • the display control unit 70 is an example of a control device, and generates various display data based on the images stored in the real image DB 40 and / or the predicted image DB 60, and supplies the various display data to the display device 90 to display various screens. Is displayed.
  • the configuration of the display control unit 70 will be described later.
  • the operation unit 80 may be any device as long as it can be operated by the user (click, tap, swipe, pinch, drag, drop, etc.), for example, a touch pad, keyboard, button, mouse, or the like. When operated by the user, the operation unit 80 generates a signal corresponding to the operation and supplies the signal to the display control unit 70.
  • the display device 90 may be any device as long as it can display images, images, and the like, and is, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the display device 90 displays various screens based on the display data supplied from the display control unit 70.
  • FIG. 3 is a schematic diagram showing an example of the functional configuration of the image processing unit 30 according to the present embodiment.
  • the image processing unit 30 includes, for example, a normalization processing unit 31, a processing processing unit 32, a difference image generation unit 33, and an image composition unit 34.
  • the image processing unit 30 uses at least one of the normalization processing unit 31, the processing unit 32, the difference image generation unit 33, and the image composition unit 34 to obtain an image of an object generated by the image pickup apparatus 20 and an image of an object.
  • Various processes are executed on the image saved in the real image DB 40, and the generated image is saved in the real image DB 40.
  • the normalization processing unit 31 executes a predetermined normalization process on the image supplied from the image pickup device 20, for example.
  • the predetermined normalization process for example, the average value of the luminance value / color difference value of the captured image is obtained, and based on the obtained mean value, the luminance value / color difference value of each captured image data is corrected to be about the same. It may be executed by performing.
  • the processing unit 32 executes a predetermined processing process on the normalized image, for example.
  • the type of processing is not particularly limited, but may be, for example, a semantic region division processing.
  • a feature amount is extracted from an image and then divided into a preset area such as a damaged area based on the feature amount.
  • the processing unit 32 includes, for example, histogram conversion, monochrome image conversion, binarization, morphology conversion, noise removal, edge enhancement, enlargement / reduction, filter processing, affine transformation, linear transformation, and center of gravity.
  • Arbitrary processing such as measurement, area measurement, circularity measurement, spindle angle measurement, moment feature calculation, Hough transform, object identification, pattern recognition, and template matching may be executed.
  • the difference image generation unit 33 generates a difference image between a plurality of images having continuous imaging times (continuous time stamps).
  • the plurality of images that are the basis of the difference image may be images whose normalization processing is executed by the normalization processing unit 31, or processing processing (semantic area division processing, etc.) is executed by the processing processing unit 32. It may be an image.
  • the image synthesizing unit 34 synthesizes a plurality of images. For example, by pasting together a plurality of images (with the same time stamp) captured at the same time based on the position information of each image, an image in which a wide range is captured is generated.
  • FIG. 4 is a schematic diagram showing an example of the functional configuration of the display control unit 70 according to the present embodiment.
  • the display control unit 70 is, for example, a storage unit 71, an image extraction unit 72, a pixel set generation unit 73, a setting change unit 74, a pixel extraction coordinate determination unit 75, a display device control unit 76, and a storage unit 77. And.
  • the storage unit 71 is composed of a ROM, a RAM, or the like, and stores various programs such as a driver program, an operating system program, and an application program, and various data.
  • Various programs stored in the storage unit 71 may be installed in the storage unit 71 from a computer-readable portable recording medium such as a CD-ROM or a DVD-ROM using a known setup program or the like.
  • the display control unit 70 realizes the image extraction unit 72, the pixel set generation unit 73, the setting change unit 74, the pixel extraction coordinate determination unit 75, the display device control unit 76, and the storage unit 77.
  • Memorize the program Further, the storage unit 71 may store, for example, an image (actual image and / or a predicted image) extracted from the image extraction unit 72.
  • the storage unit 71 stores arbitrary settings related to various screens to be displayed on the display device 90.
  • the setting items are not particularly limited, but may include, for example, the following items.
  • -Types of images captured images, processed images, difference images, etc.
  • image parameters size, aspect ratio, resolution, etc.
  • Pixel extraction coordinates may be one or a set of position coordinates of each point included in a point, a line (straight line and curve), an area having an area, etc.
  • the image extraction unit 72 extracts the real image and / or the predicted image which is the basis of the pixel set from the real image DB 40 and / or the predicted image DB 60. Specifically, the image extraction unit 72 is an image associated with time information before the current time from the start time TS to the end time TE included in the settings stored in the storage unit 71, that is, the actual image. The image is extracted from the actual image DB 40. Further, the image extraction unit 72 displays an image associated with time information after the current time from the start time TS to the end time TE stored in the storage unit 71, that is, a predicted image from the predicted image DB 60. Extract.
  • the pixel set generation unit 73 generates a pixel set based on the image extracted by the image extraction unit 72. Specifically, the pixel set generation unit 73 is arranged on the pixel extraction coordinates included in the settings stored in the storage unit 71 in each image (actual image and / or predicted image) extracted by the image extraction unit 72. After extracting the pixels, the extracted pixels are arranged in the order of the time information of the image to generate a pixel set.
  • the setting change unit 74 changes the setting items stored in the storage unit 71 in response to an operation or the like by the user via the operation unit 80.
  • the pixel extraction coordinate determination unit 75 determines the pixel extraction coordinates by analyzing a plurality of images (actual image and / or predicted image) extracted by the image extraction unit 72.
  • the pixel extraction coordinate determination unit 75 may determine a portion of the plurality of images whose change is larger than that of other portions as pixel extraction coordinates. Specifically, for example, a portion where the change of the damaged region specified by the semantic region division processing is equal to or greater than the threshold value may be determined as the pixel extraction coordinates.
  • the display device control unit 76 causes the display device 90 to display various screens by generating display data and supplying the display data to the display device 90.
  • the display device control unit 76 causes the display device 90 to display the state change display screen.
  • the state change display screen may include, for example, an image (actual image and / or predicted image) extracted by the image extraction unit 72, a pixel set generated by the pixel set generation unit 73, and the like. The details of the state change display screen will be described later.
  • FIG. 5 is a schematic view showing an example of a state change display screen 200 displayed on the display device 90 according to the present embodiment.
  • the state change display screen 200 includes, for example, an image area 210, a first pixel set area 220, a second pixel set area 230, and a save button 240.
  • one image associated with the selected time information is displayed from the plurality of real images stored in the real image DB 40 or the plurality of predicted images stored in the predicted image DB 60.
  • a processed image (actual image or predicted image) on which the semantic region division processing is executed is displayed in the image region 210.
  • Reference numeral 210D is a damaged region identified by the semantic region division process. In this way, the image area 210 makes it possible to grasp at a glance the actual appearance or the predicted appearance of the object corresponding to the selected time information.
  • Reference numeral 212L indicates the first axis.
  • the first axis 212L is a straight line parallel to the X axis, and is an example of pixel extraction coordinates.
  • the first axis 212L is associated with the image displayed in the image area 210, and more specifically, the first axis 212L is displayed superimposed on the position corresponding to the first axis 212L in the image.
  • a first pixel set which is a pixel set composed of pixels arranged on the first axis 212L, is displayed.
  • the first pixel set is configured by arranging pixel sequences arranged on the first axis 212L in each image in the order of time information associated with each image.
  • the dotted line with the reference numeral 214N indicates the position of the current time TN
  • the region 220A on the left side of the dotted line 214N is composed of a pixel sequence extracted from the actual image stored in the actual image DB 40.
  • the region 220B on the right side of the dotted line 214N is composed of a pixel sequence extracted from the predicted image stored in the predicted image DB 60.
  • the portion indicated by reference numeral 220D is a portion corresponding to the damaged region 210D included in the image region 210.
  • the first pixel set region 220 makes it possible to grasp at a glance (by a single pixel set) the change over time of the object on the first axis 212L, which is a predetermined position coordinate (pixel extraction coordinate). It will be possible.
  • Reference numeral 213L indicates the second axis.
  • the second axis 213L is a straight line parallel to the Y axis and is an example of pixel extraction coordinates.
  • the second axis 213L is associated with the image displayed in the image area 210, and more specifically, the second axis 213L is displayed superimposed on the position corresponding to the second axis 213L in the image.
  • a second pixel set which is a pixel set composed of pixels arranged on the second axis 213L, is displayed.
  • the second pixel set is configured by arranging pixel sequences arranged on the second axis 213L in each image in the order of time information associated with each image.
  • the region 230A on the left side of the dotted line 214N indicating the position of the current time TN is composed of a pixel sequence extracted from the real image stored in the real image DB 40. Further, the region 230B on the right side of the dotted line 214N is composed of a pixel sequence extracted from the predicted image stored in the predicted image DB 60.
  • the portion indicated by reference numeral 230D is a portion corresponding to the damaged region 210D included in the image region 210.
  • the second pixel set region 230 makes it possible to grasp at a glance (by a single pixel set) the change over time of the object in the second axis 213L, which is a predetermined position coordinate (pixel extraction coordinate). It will be possible.
  • the first axis slide bar 212B includes a slider 212S, and the user slides the slider 212S vertically along the first axis slide bar 212B through the operation of the operation unit 80 to obtain the first slider.
  • the setting changing unit 74 changes the setting of the first axis 212L stored in the storage unit 71.
  • the pixel set generation unit 73 displays the pixel set based on the pixel sequence arranged on the changed first axis 212L in the first pixel set area 220.
  • a second axis slide bar 213B stretched in the lateral direction is displayed below the image area 210.
  • the second axis slide bar 213B includes a slider 213S, and the user slides the slider 213S laterally along the second axis slide bar 213B via the operation of the operation unit 80 to obtain a second slider.
  • the setting changing unit 74 changes the setting of the second axis 213L stored in the storage unit 71. Then, the pixel set generation unit 73 displays the pixel set based on the pixel sequence arranged on the changed second axis 213L in the second pixel set area 230.
  • a time axis slide bar 214B stretched in the lateral direction is displayed on the upper side of the first pixel assembly region 220.
  • the time axis slide bar 214B includes a slider 214S.
  • a time axis 214L extends in the vertical direction from the slider 214S. The user can change the position of the time axis 214L between the start time TS and the end time TE by sliding the slider 214S in the vertical direction by an operation via the operation unit 80.
  • the setting changing unit 74 changes the setting (time information of the image to be displayed in the image area 210) stored in the storage unit 71. Then, the display device control unit 76 displays an image (real image or predicted image) associated with the time information indicated by the changed time axis 214L in the image area 210.
  • the user can select the save button 240 by operating via the operation unit 80.
  • the save unit 77 displays the image displayed in the image area 210, the first pixel set displayed in the first pixel set area 220, and the second pixel set area 230.
  • the two-pixel set or the like is stored in the storage unit 71.
  • FIG. 6 is an operation flow diagram showing an example of operation processing by the display system 1 according to the present embodiment.
  • the image extraction unit 72 extracts an image from the actual image DB 40 and / or the predicted image DB 60 based on the settings stored in the storage unit 71.
  • the range of the time information of the extracted image may be from the start time TS included in the setting to the end time TE .
  • the image extraction unit 72 extracts the actual image whose time information is from the start time TS to the end time TE from the actual image DB 40.
  • the image extraction unit 72 displays the actual image whose time information is from the start time TS to the current time TN from the actual image DB 40.
  • the predicted image whose time information is from the current time TN to the end time TE is extracted from the predicted image DB 60.
  • the type of the image to be extracted may be a captured image, a processed image, a difference image, or the like, depending on the settings stored in the storage unit 71.
  • the pixel extraction coordinate determination unit 75 may analyze the image according to the type of the extracted image (actual image and / or predicted image) to determine the pixel extraction coordinates. For example, when the extracted image is a processed image on which the semantic region division processing is executed, the pixel extraction coordinate determination unit 75 may select an axis in which the change in the dimensions of the damaged region is equal to or greater than a predetermined threshold value. good.
  • the pixel set generation unit 73 extracts a pixel sequence arranged on the set pixel extraction coordinates, and arranges the extracted pixel sequences according to the order of the time information of the image to generate a pixel set.
  • the display device control unit 76 causes the display device 90 to display the state change display screen 200 as shown in FIG. 5, for example.
  • the setting change unit 74 determines whether or not the setting of the pixel extraction coordinates has been changed according to the operation via the operation unit 80 of the user. For example, in the case of the example shown in FIG. 5, when the slider 212S of the first axis slide bar 212B is operated, it is determined that the setting of the first axis 212L, which is an example of the pixel extraction coordinates, has been changed, and the second axis slide bar When the slider 213S of the 213B is operated, it is determined that the setting of the second axis 213L, which is an example of the pixel extraction coordinates, has been changed. If it is determined that the setting of the pixel extraction coordinates has not been changed (S305; No), the process proceeds to step S308.
  • the setting of the pixel set generation unit 73 is changed in each image (actual image and / or predicted image) extracted by the image extraction unit 72.
  • Pixel set is generated by extracting the pixels arranged on the pixel extraction coordinates and arranging the extracted pixels in the order of the time information of the image. For example, in the example shown in FIG. 5, when it is determined that the setting of the first axis 212L has been changed, the pixel set generation unit 73 creates a pixel set composed of pixels arranged on the new first axis 212L. Generate. Further, in the example shown in FIG. 5, when it is determined that the setting of the second axis 213L has been changed, the pixel set generation unit 73 creates a pixel set composed of pixels arranged on the new second axis 213L. Generate.
  • the display device control unit 76 updates the display of the pixel set area on the state change display screen by the new pixel set generated in step S306. For example, in the example shown in FIG. 5, when the setting of the first axis 212L is changed, the display device control unit 76 displays the first pixel set generated in step S306 in the first pixel set area 220. Further, in the example shown in FIG. 5, when the setting of the second axis 213L is changed, the display device control unit 76 displays the second pixel set generated in step S306 in the second pixel set area 230.
  • the setting change unit 74 determines whether or not the time axis setting has been changed according to the operation via the operation unit 80 of the user. For example, in the case of the state change display screen 200 shown in FIG. 5, when the slider 214S of the time axis slide bar 214B is operated, it is determined that the setting of the time axis 214L has been changed. If it is determined that the time axis setting has not been changed (S308; No), the process proceeds to step S310.
  • the display device control unit 76 displays an image (actual image or predicted image) associated with the time information corresponding to the time axis changed in step S308 in the image area on the state change display screen. For example, in the example shown in FIG. 5, when the setting of the time axis 214L is changed, the display device control unit 76 displays an image associated with the time information corresponding to the changed time axis 214L in the image area 210. Let me.
  • the saving unit 77 determines whether or not saving is selected according to the operation via the operation unit 80 of the user. For example, in the case of the state change display screen 200 shown in FIG. 5, when the save button 240 is selected, it is determined that save is selected. If it is determined that saving is not selected (S310; No), the process returns to step S305.
  • the storage unit 77 stores the image displayed in the image area 210, the first pixel set displayed in the first pixel set area 220, the second pixel set displayed in the second pixel set area 230, and the like. Save in part 71. Then, the process returns to step S305. After that, steps S305 to S311 are repeated until the end is selected by the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明の一態様に係る表示方法は、対象物の連続的な撮像により生成される複数の画像に基づいて、対象物の状態変化を表示する表示方法であって、複数の画像の各画像から、所定の位置座標上に配置された画素を抽出するステップと、複数の画像の撮像の順序に応じて画素が配列された画素集合を表示するステップと、を含む。

Description

表示方法、制御装置、表示装置、及びプログラム
　本発明は、表示方法、制御装置、表示装置、及びプログラムに関する。
　従来から、プラント等の対象物を保守・管理するために、対象物を連続的に撮像して得られる複数の画像（動画）を視認することによって、当該対象物の経時的な状態変化を確認することが行われている。例えば、特許文献１には、経年変化が生じた後の建物の状態を動画により表示できるようにした表示装置が記載されている。当該表示装置は、経年変化が生じた後の建物を表す動画の表示に際して、経年変化が生じた後の建物の各領域の模様又は色彩に対応した変化後色付けデータを用いて動画を生成する。
特開２００２－１１７４１６
　動画により対象物の状態変化を確認する場合、例えば、状態変化の大きい時間帯や領域を特定するために、再生される動画、すなわち連続的に表示される複数の画像を注意深く見続けなければならない。また、そのようにして状態変化が大きい領域や時間帯を特定することができたとしても、改めてその領域乃至時間帯における状態変化を確認しようとする際、その都度、動画を再生しなければならない。このように、動画による状態変化の確認は労力が大きく、また効率に悖る。
　そこで、本発明は、対象物の状態変化を容易に把握することを可能とする表示方法、制御装置、表示装置、及びプログラムを提供することを目的とする。
　本発明の一態様に係る表示方法は、対象物の連続的な撮像により生成される複数の画像に基づいて、対象物の状態変化を表示する表示方法であって、複数の画像の各画像から、所定の位置座標上に配置された画素を抽出するステップと、複数の画像の撮像の順序に応じて画素が配列された画素集合を表示するステップと、を含む。
　この態様によれば、複数の画像のうち所定の位置座標上に配置された画素が抽出され、これら画素が撮像の順に応じて配列されて構成される。そのため、所定の位置座標における対象物の経時的な状態変化を容易に把握することが可能となる。
　本発明の他の態様に係る制御装置は、対象物の連続的な撮像により生成される複数の画像に基づいて、対象物の状態変化を表示制御する制御装置であって、複数の画像の各画像から、所定の位置座標上に配置された画素を抽出し、複数の画像の撮像の順序に応じて画素が配列された画素集合を生成する画素集合生成部と、生成された画素集合を表示装置に表示する表示装置制御部と、を含む。
　本発明の他の態様に係る表示装置は、対象物の連続的な撮像により生成される複数の画像の各画像における所定の位置座標上に配置された画素が、複数の画像の撮像の順序に応じて配列された画素集合を表示する。
　本発明の他の態様に係るプログラムは、コンピュータに、対象物の連続的な撮像により生成される複数の画像の各画像から、所定の位置座標上に配置された画素を抽出するステップと、複数の画像の撮像の順序に応じて画素が配列された画素集合を表示するステップと、を実行させる。
　本発明によれば、対象物の状態変化を容易に把握することを可能とする表示方法、制御装置、表示装置、及びプログラムを提供することができる。
本実施形態に係る表示システム１の概要を説明するための図である。 本実施形態に係る表示システム１の機能構成の一例を示す概略図である。 本実施形態に係る画像処理部３０の機能構成の一例を示す概略図である。 本実施形態に係る表示制御部７０の機能構成の一例を示す概略図である。 本実施形態に係る表示装置９０に表示される状態変化表示画面２００の一例を示す概略図である。 本実施形態に係る表示システム１による動作処理の一例を示す動作フロー図である。
　添付図面を参照して、本発明の好適な実施形態について説明する。（なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。）
［第１実施形態］
　図１は、本実施形態に係る表示システム１の概要を説明するための図である。表示システム１は、対象物の連続的な撮像により生成される複数の画像に基づいて、対象物の状態変化を表示する。ここで、「複数の画像」は、例えば、対象物を所定の定点位置から撮像することにより得られる画像である「撮像画像」であってもよいし、撮像画像等に対して意味的領域分割等の所定の加工処理を実行した画像である「加工画像」であってもよいし、複数の撮像画像や複数の加工画像の差分の画像である「差分画像」であってもよい。
　複数の画像の各々は、撮像時刻等の撮像の順番に応じた「時刻情報（タイムスタンプ）」に対応付けられて、所定の記憶部に記憶される。時刻情報は、複数の画像が上述した撮像画像や加工画像である場合は、当該画像の撮像時刻であってよい。また、時刻情報は、複数の画像が上述した差分画像である場合は、差分画像の基となるいずれかの画像に対応付けられた時刻情報であってもよいし、差分画像の基となる複数の画像のそれぞれに対応付けられた時刻情報に基づいて算出される値（例えば、複数の時刻情報の平均値や中央値等）であってもよい。
　図１には、直方体Ｃが示されている。ここで、直方体Ｃは、表示システム１が表示する画素集合の基となる複数の画像が、各画像に対応付けられた時刻情報の順（すなわち、撮像の順）に並んで構成される集合を模式的に表している。当該複数の画像（直方体Ｃに含まれる画像）に対応付けられた時刻情報のうち、最も古い時刻情報を開始時刻ＴＳとし、最も新しい時刻情報（現在時刻よりも先の時刻情報を含む）を終了時刻ＴＥとする。換言すれば、当該複数の画像に対応付けられた時刻情報は、開始時刻ＴＳ以降で、且つ終了時刻ＴＥ以前となる。
　図１には、複数の画像のうちの３つの画像Ｐ１、Ｐ２、及びＰ３が明示的に描かれている。画像Ｐ１、Ｐ２、及びＰ３はそれぞれ、時刻情報Ｔ１、Ｔ２、及びＴ３に対応付けられている。なお、説明の便宜上、図１には複数の画像のうち画像Ｐ１、Ｐ２、及びＰ３のみが明示的に描かれ、他の画像は省略されているが、表示システム１が取り扱う複数の画像が含む画像の数は３つに限られず任意の数であってよい。以下では、画像Ｐ１、Ｐ２、及びＰ３等の個々の画像を特に区別しない場合に、複数の画像のそれぞれをまとめて画像Ｐと称する場合がある。
　図１では、一例として、直方体Ｃに含まれる複数の画像が、対象物を撮像することにより得られた撮像画像に対して損傷領域を検出するための意味的領域分割処理を実行することにより得られた加工画像として表されている。そのため、例えば図１に示す通り、３つの画像Ｐ１、Ｐ２、及びＰ３それぞれには、意味的領域分割処理により検出された損傷領域Ｄ１、Ｄ２、及びＤ３が含まれている。
　表示システム１による対象物の状態変化の表示方法の概要について説明する。画像Ｐの横方向に平行な軸をＸ軸、画像Ｐの縦方向に平行な軸をＹ軸とする。すなわち、画像Ｐに含まれる各画素は、Ｘ座標及びＹ座標という２つの位置座標によってその位置が特定される。各画素は、輝度情報や色差情報等の当該画素が有する所定のパラメータの大きさを示す情報（画素情報）を含んでいる。図１に示すとおり、直方体Ｃに含まれる画像ＰのＸ座標の範囲は、Ｘ１以上且つＸ２以下である。
　表示システム１は、まず、各画像Ｐに共通する所定の位置座標である「画素抽出座標」上に配置された画素を、各画像Ｐから抽出する。ここで、「画素抽出座標」は、Ｘ座標及びＹ座標によって特定される少なくとも１つの位置座標の集合であってよい。また、画素抽出座標はユーザが任意に設定可能であってよい。例えば、「画素抽出座標」は、任意の点、線（直線又は曲線）、面積を有する領域を構成する位置座標の１つ又は複数の集合であってもよい。図１では一例として、画素抽出座標が、（Ｘ，Ｙ）＝（Ｘ１，ＹＬ）の点を通りＸ軸に平行な直線に設定されている。例えば、画像Ｐ１における直線Ｌ１、画像Ｐ２における直線Ｌ２、及び画像Ｐ３における直線Ｌ３が、画素抽出座標に相当する。そして、画像Ｐ１からは画素抽出座標である直線Ｌ１上に配置された画素（画素列）が、画像Ｐ２からは画素抽出座標である直線Ｌ２上に配置された画素（画素列）が、画像Ｐ３からは画素抽出座標である直線Ｌ３上に配置された画素（画素列）が、それぞれ抽出される。
　次に、表示システム１は、抽出された画素（画素列）を、開始時刻ＴＳから終了時刻ＴＥまで各画像Ｐの撮像の順序に応じて配列された画素の集合（画素集合）を生成し、これを表示する。図１の符号Ｓは、当該画素集合を示す。画素集合Ｓの縦方向は、画像Ｐの横方向の軸であるＸ軸に対応し、画素集合Ｓの横方向は、画像Ｐに対応付けられた時刻情報（開始時刻ＴＳから終了時刻ＴＥまで）に対応している。例えば、図１に示すとおり、画素集合Ｓのうち時刻情報Ｔ１、Ｔ２、及びＴ３のそれぞれの位置には、画像Ｐ１、Ｐ２、及びＰ３それぞれから抽出された画素列Ｌ１、Ｌ２、及びＬ３が示されている。また、画素集合Ｓには、各画像Ｐの損傷領域の部分の集合である損傷領域部分ＳＤが含まれている。
　このように、画素集合Ｓは、複数の画像のうち所定の位置座標（画素抽出座標）上に配置された画素が抽出され、これら画素が撮像の順に応じて配列されて構成される。そのため、所定の位置座標（画素抽出座標）における対象物の経時的な状態変化を一目で（単一の画素集合により）把握することが可能となる。
　図２は、本実施形態に係る表示システム１の機能構成の一例を示す概略図である。表示システム１は、例えば、対象物の連続的な撮像により生成される複数の画像に基づいて、対象物の状態変化を表示するシステムである。表示システム１は、例えば、撮像装置制御部１０と、撮像装置２０と、画像処理部３０と、実画像ＤＢ４０と、予測画像生成部５０と、予測画像ＤＢ６０と、表示制御部７０と、操作部８０と、表示装置９０とを備える。表示システム１が備えるこれら機能部は、１つ又は複数のコンピュータにより構成されてよい。ここで、コンピュータは、例えば、プロセッサ及びメモリ等により構成される情報処理装置であってよい。
　撮像装置制御部１０は、１つ又は複数のコンピュータにより構成されてよく、撮像装置２０の移動及び撮像等の動作を制御する。また、撮像装置制御部１０は、撮像装置２０から、撮像装置２０が生成した対象物の画像を取得する。
　撮像装置２０は、カメラ等として構成されてよく、撮像装置制御部１０の制御によって、対象物を撮像することにより画像を生成する。対象物は、特に限定されないが、例えば炉壁などの大型設備の全体又は一部であってよい。撮像時において、撮像装置２０は、所定の撮像位置に固定されてもよいし、操作者自身が保持してもよい。また、撮像装置２０は、撮像装置制御部１０等の制御によって移動するための移動手段を備えていてもよく、撮像位置を変更するために当該移動手段によって移動してもよい。移動手段の構成は特に限定されないが、例えば、空間を任意に移動するためのドローン等の飛行手段や、対象物に沿って移動するためのスライダ等の走行手段であってもよい。
　画像処理部３０は、撮像装置２０により生成された対象物の画像に対して各種の処理を実行し、実画像ＤＢ４０に保存する。画像処理部３０の構成については後述する。
　予測画像生成部５０は、実画像ＤＢ４０に記憶された複数の画像に基づいて、将来の各時点における予測画像を生成し、将来の撮像時刻等の撮像の順番に応じた時刻情報（タイムスタンプ）に対応付けて予測画像ＤＢ６０に格納する。予測画像は、例えば、重回帰分析等のアルゴリズムを用いた所定の予測モデルに対して、実画像ＤＢ４０に記憶された複数の画像を入力することにより生成してもよい。予測モデルは、例えば、実画像ＤＢ４０に記憶された複数の画像等の任意の画像を教師データとする機械学習を実行することにより得られる学習済みモデルであってもよい。予測画像の種類は、実画像ＤＢ４０に記憶された画像の種類と同様であってよい。具体的には、予測画像の種類は、撮像画像（対象物を所定の定点位置から連続的に撮像することにより得られる画像）であってもよいし、撮像画像に対して意味的領域分割等の所定の加工処理を行った画像（加工画像）であってもよいし、複数の撮像画像や複数の加工画像の差分画像であってもよい。
　実画像ＤＢ４０は、対象物の連続的な撮像により生成される複数の画像を、撮像時刻等の撮像の順番に応じた時刻情報（タイムスタンプ）に対応付けて記憶する。複数の画像は、例えば、対象物を所定の定点位置から撮像することにより得られる画像（撮像画像）であってもよいし、撮像画像に対して意味的領域分割等の所定の加工処理を実行した画像（加工画像）であってもよいし、複数の撮像画像や複数の加工画像の差分画像であってもよい。
　各画像に対応付けられる時刻情報は、例えば、複数の画像が上述した撮像画像や加工画像である場合は、当該画像の撮像時刻であってよい。また、各画像に対応付けられる時刻情報は、複数の画像が上述した差分画像である場合は、差分画像の基となるいずれかの画像に対応付けられた時刻情報であってもよいし、差分画像の基となる複数の画像のそれぞれに対応付けられた時刻情報に基づいて算出される値（例えば、複数の時刻情報の平均値や中央値等）であってもよい。
　表示制御部７０は、制御装置の一例であって、実画像ＤＢ４０及び／又は予測画像ＤＢ６０に記憶された画像に基づいて各種の表示データを生成し、表示装置９０に供給することで各種の画面を表示させる。表示制御部７０の構成については後述する。
　操作部８０は、ユーザによる操作（クリック、タップ、スワイプ、ピンチ、ドラッグ、ドロップ等）が可能であればどのようなデバイスでもよく、例えば、タッチパッド、キーボード、ボタン、マウス等である。操作部８０は、ユーザにより操作されると、その操作に対応する信号を生成し、当該信号を表示制御部７０に供給する。
　表示装置９０は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイや有機ＥＬ（Electro－Luminescence）ディスプレイ等である。表示装置９０は、表示制御部７０から供給された表示データに基づいて各種画面を表示する。
　図３は、本実施形態に係る画像処理部３０の機能構成の一例を示す概略図である。画像処理部３０は、例えば、正規化処理部３１と、加工処理部３２と、差分画像生成部３３と、画像合成部３４と、を有する。画像処理部３０は、正規化処理部３１、加工処理部３２、差分画像生成部３３、及び画像合成部３４のうち少なくとも１つを用いて、撮像装置２０により生成された対象物の画像や、実画像ＤＢ４０に保存された画像に対して各種の処理を実行し、生成された画像を実画像ＤＢ４０に保存する。
　正規化処理部３１は、例えば、撮像装置２０から供給される画像に対して所定の正規化処理を実行する。所定の正規化処理は、例えば、撮像画像の輝度値／色差値の平均値を求め、該求めた平均値に基づいて、各撮像画像データの輝度値／色差値が同程度となるように補正を行うことによって実行してもよい。
　加工処理部３２は、例えば、正規化した画像に対して、所定の加工処理を実行する。加工処理の種類は特に限定されないが、例えば、意味的領域分割処理であってよい。意味的領域分割処理は、画像から特徴量を抽出した上で、当該特徴量に基づいて、損傷領域等の予め設定された領域に分割する。
　加工処理部３２は、意味的領域分割処理の他、例えば、ヒストグラム変換、モノクロ画像変換、二値化、モルフォロジー変換、ノイズ除去、エッジ強調、拡大・縮小、フィルタ処理、アフィン変換、線型変換、重心計測、面積計測、円形度計測、主軸角度計測、モーメント特徴計算、ハフ変換、対象物の特定、パターン認識、テンプレートマッチング等の任意の加工処理を実行してもよい。
　差分画像生成部３３は、撮像時刻が連続する（タイムスタンプが連続する）複数の画像同士の差分画像を生成する。差分画像の基となる複数の画像は、正規化処理部３１により正規化処理が実行された画像であってもよいし、加工処理部３２によって加工処理（意味的領域分割処理等）が実行された画像であってもよい。
　画像合成部３４は、複数の画像同士を合成する。例えば、同時刻に撮像された（タイムスタンプが同一の）複数の画像それぞれを各画像の位置情報に基づいて貼り合わせることにより、広範囲が撮像された画像を生成する。
　図４は、本実施形態に係る表示制御部７０の機能構成の一例を示す概略図である。表示制御部７０は、例えば、記憶部７１と、画像抽出部７２と、画素集合生成部７３と、設定変更部７４と、画素抽出座標決定部７５と、表示装置制御部７６と、保存部７７とを備える。
　記憶部７１は、ＲＯＭやＲＡＭ等により構成され、ドライバプログラム、オペレーティングシステムプログラム、及びアプリケーションプログラム等の各種のプログラムや、各種のデータを記憶する。記憶部７１が記憶する各種のプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読取可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部７１にインストールされてもよい。記憶部７１は、例えば、表示制御部７０が画像抽出部７２、画素集合生成部７３、設定変更部７４、画素抽出座標決定部７５、表示装置制御部７６、及び保存部７７を実現するためのプログラムを記憶する。また、記憶部７１は、例えば、画像抽出部７２から抽出された画像（実画像及び／又は予測画像）を記憶してもよい。
　また、記憶部７１は、表示装置９０に表示させる各種画面に関する任意の設定を記憶する。設定事項は、特に限定されないが、例えば、以下の項目を含んでもよい。・画像の種類（撮像画像、加工画像、及び差分画像等）・画像の各種パラメータ（サイズ、縦横比、解像度等）・時間に関する事項（画素集合の開始時刻ＴＳ、及び終了時刻ＴＥ等）・画素抽出座標（点、線（直線及び曲線）、面積を有する領域等に含まれる各点の位置座標の１つ又は複数の集合であってもよい。）
　画像抽出部７２は、画素集合の基となる実画像及び／又は予測画像を、実画像ＤＢ４０及び／又は予測画像ＤＢ６０から抽出する。具体的には、画像抽出部７２は、記憶部７１に記憶された設定に含まれる開始時刻ＴＳから終了時刻ＴＥまでのうち、現在時刻以前の時刻情報に対応付けられた画像、すなわち実画像を実画像ＤＢ４０から抽出する。また、画像抽出部７２は、記憶部７１に記憶された開始時刻ＴＳから終了時刻ＴＥまでのうち、現在時刻より後の時刻情報に対応付けられた画像、すなわち予測画像を予測画像ＤＢ６０から抽出する。
　画素集合生成部７３は、画像抽出部７２が抽出した画像に基づいて、画素集合を生成する。具体的には、画素集合生成部７３は、画像抽出部７２が抽出した各画像（実画像及び／又は予測画像）において、記憶部７１に記憶された設定に含まれる画素抽出座標上に配置された画素を抽出した上で、抽出された画素を画像の時刻情報の順に応じて配列することにより画素集合を生成する。
　設定変更部７４は、ユーザによる操作部８０を介した操作等に応じて、記憶部７１に記憶された設定事項を変更する。
　画素抽出座標決定部７５は、画像抽出部７２が抽出した複数の画像（実画像及び／又は予測画像）を解析することにより、画素抽出座標を決定する。画素抽出座標決定部７５は、当該複数の画像のうち変化が他の部分よりも大きい部分を、画素抽出座標として決定してもよい。具体的には、例えば、意味的領域分割処理により特定された損傷領域の変化が閾値以上である部分を、画素抽出座標として決定してもよい。
　表示装置制御部７６は、表示データを生成して表示装置９０に供給することにより、表示装置９０に各種の画面を表示させる。特に、表示装置制御部７６は、状態変化表示画面を表示装置９０に表示させる。状態変化表示画面が、例えば、画像抽出部７２が抽出した画像（実画像及び／又は予測画像）、及び画素集合生成部７３が生成した画素集合等を含んでもよい。状態変化表示画面の詳細については後述する。
　図５は、本実施形態に係る表示装置９０に表示される状態変化表示画面２００の一例を示す概略図である。同図に示すとおり、状態変化表示画面２００は、例えば、画像領域２１０と、第１画素集合領域２２０と、第２画素集合領域２３０と、保存ボタン２４０とを含む。
　画像領域２１０には、実画像ＤＢ４０に記憶された複数の実画像又は予測画像ＤＢ６０に記憶された複数の予測画像のうち、選択された時刻情報に対応付けられた１つの画像が表示される。図５では、一例として、画像領域２１０には、意味的領域分割処理が実行された加工画像（実画像又は予測画像）が表示されている。符号２１０Ｄは、意味的領域分割処理により特定された損傷領域である。このように、画像領域２１０によって、選択された時刻情報に対応する対象物の実際の外観又は予測される外観を一目で把握することが可能となる。
　符号２１２Ｌは、第１軸を示している。ここで、第１軸２１２Ｌは、Ｘ軸に平行な直線であり、画素抽出座標の一例である。図５に示すとおり、第１軸２１２Ｌは、画像領域２１０に表示された画像に対応付けて、より具体的には当該画像のうち第１軸２１２Ｌに対応する位置に重畳して表示される。第１画素集合領域２２０には、第１軸２１２Ｌ上に配置された画素により構成される画素集合である第１画素集合が表示される。
　当該第１画素集合は、各画像において第１軸２１２Ｌ上に配置された画素列が、各画像に対応付けられた時刻情報の順に配列されて構成される。なお、符号２１４Ｎが付された点線は現在時刻ＴＮの位置を示しており、当該点線２１４Ｎより左側の領域２２０Ａは、実画像ＤＢ４０に記憶された実画像から抽出された画素列により構成されている。また、当該点線２１４Ｎより右側の領域２２０Ｂは、予測画像ＤＢ６０に記憶された予測画像から抽出された画素列により構成されている。
　第１画素集合領域２２０のうち、符号２２０Ｄで示した部分は、画像領域２１０に含まれる損傷領域２１０Ｄに対応する部分である。このように、第１画素集合領域２２０によって、所定の位置座標（画素抽出座標）である第１軸２１２Ｌにおける対象物の経時的な変化を一目で（単一の画素集合により）把握することが可能となる。
　符号２１３Ｌは、第２軸を示している。ここで、第２軸２１３Ｌは、Ｙ軸に平行な直線であり、画素抽出座標の一例である。図５に示すとおり、第２軸２１３Ｌは、画像領域２１０に表示された画像に対応付けて、より具体的には当該画像のうち第２軸２１３Ｌに対応する位置に重畳して表示される。第２画素集合領域２３０には、第２軸２１３Ｌ上に配置された画素により構成される画素集合である第２画素集合が表示される。
　当該第２画素集合は、各画像において第２軸２１３Ｌ上に配置された画素列が、各画像に対応付けられた時刻情報の順に配列されて構成される。なお、現在時刻ＴＮの位置を示す点線２１４Ｎより左側の領域２３０Ａは、実画像ＤＢ４０に記憶された実画像から抽出された画素列により構成されている。また、点線２１４Ｎより右側の領域２３０Ｂは、予測画像ＤＢ６０に記憶された予測画像から抽出された画素列により構成されている。
　第２画素集合領域２３０のうち、符号２３０Ｄで示した部分は、画像領域２１０に含まれる損傷領域２１０Ｄに対応する部分である。このように、第２画素集合領域２３０によって、所定の位置座標（画素抽出座標）である第２軸２１３Ｌにおける対象物の経時的な変化を一目で（単一の画素集合により）把握することが可能となる。
　画像領域２１０の左側には、縦方向に延伸した第１軸スライドバー２１２Ｂが表示される。第１軸スライドバー２１２Ｂには、スライダ２１２Ｓが含まれており、ユーザは操作部８０の操作を介して当該スライダ２１２Ｓを第１軸スライドバー２１２Ｂに沿って縦方向にスライドさせることにより、第１軸２１２Ｌの位置を、Ｙ＝Ｙ１からＹ＝Ｙ２までの間で変更することができる。当該スライド操作によって第１軸２１２Ｌの位置が変更されると、設定変更部７４は、記憶部７１に記憶された第１軸２１２Ｌの設定を変更する。そして、画素集合生成部７３は、変更された第１軸２１２Ｌ上に配置された画素列に基づく画素集合を第１画素集合領域２２０に表示する。
　画像領域２１０の下側には、横方向に延伸した第２軸スライドバー２１３Ｂが表示される。第２軸スライドバー２１３Ｂには、スライダ２１３Ｓが含まれており、ユーザは操作部８０の操作を介して当該スライダ２１３Ｓを第２軸スライドバー２１３Ｂに沿って横方向にスライドさせることにより、第２軸２１３Ｌの位置を、Ｘ＝Ｘ１からＸ＝Ｘ２までの間で変更することができる。
　当該スライド操作によって第２軸２１３Ｌの位置が変更されると、設定変更部７４は、記憶部７１に記憶された第２軸２１３Ｌの設定を変更する。そして、画素集合生成部７３は、変更された第２軸２１３Ｌ上に配置された画素列に基づく画素集合を第２画素集合領域２３０に表示する。
　第１画素集合領域２２０の上側には、横方向に延伸した時間軸スライドバー２１４Ｂが表示される。時間軸スライドバー２１４Ｂには、スライダ２１４Ｓが含まれている。スライダ２１４Ｓからは、縦方向に時間軸２１４Ｌが延伸している。ユーザは操作部８０を介した操作によって当該スライダ２１４Ｓを縦方向にスライドさせることにより、時間軸２１４Ｌの位置を開始時刻ＴＳ及び終了時刻ＴＥの間で変更することができる。
　当該スライド操作によって時間軸２１４Ｌの位置が変更されると、設定変更部７４は、記憶部７１に記憶された設定（画像領域２１０に表示する画像の時刻情報）を変更する。そして、表示装置制御部７６は、変更された時間軸２１４Ｌが示す時刻情報に対応付けられた画像（実画像又は予測画像）を画像領域２１０に表示する。
　ユーザは操作部８０を介した操作によって保存ボタン２４０を選択することが可能である。保存ボタン２４０が選択されると、保存部７７は、画像領域２１０に表示された画像、第１画素集合領域２２０に表示された第１画素集合、及び第２画素集合領域２３０に表示された第２画素集合等を記憶部７１に保存する。
　図６は、本実施形態に係る表示システム１による動作処理の一例を示す動作フロー図である。
（Ｓ３０１）
　画像抽出部７２は、記憶部７１に記憶された設定に基づいて、実画像ＤＢ４０及び／又は予測画像ＤＢ６０から画像を抽出する。抽出される画像の時刻情報の範囲は、設定に含まれる開始時刻ＴＳから終了時刻ＴＥまでであってよい。例えば、設定に含まれる終了時刻ＴＥが現在時刻ＴＮ以前である場合、画像抽出部７２は、時刻情報が開始時刻ＴＳから終了時刻ＴＥまでの実画像を実画像ＤＢ４０から抽出する。また、例えば、設定に含まれる終了時刻ＴＥが現在時刻ＴＮより後である場合、画像抽出部７２は、時刻情報が開始時刻ＴＳから現在時刻ＴＮまでの実画像を実画像ＤＢ４０から抽出し、時刻情報が現在時刻ＴＮから終了時刻ＴＥまでの予測画像を予測画像ＤＢ６０から抽出する。抽出される画像の種類は、記憶部７１に記憶された設定に応じて、撮像画像、加工画像、及び差分画像等であってよい。
（Ｓ３０２）
　次に、画素抽出座標決定部７５が、抽出された画像（実画像及び／又は予測画像）の種類に応じて当該画像を解析して、画素抽出座標を決定してもよい。例えば、抽出された画像が、意味的領域分割処理が実行された加工画像である場合、画素抽出座標決定部７５は、損傷領域の寸法の変化が所定の閾値以上となる軸を選択してもよい。
（Ｓ３０３）
　画素集合生成部７３は、設定された画素抽出座標上に配置された画素列を抽出し、抽出された画素列を画像の時刻情報の順番に応じて配列することにより、画素集合を生成する。
（Ｓ３０４）
　表示装置制御部７６は、表示装置９０に例えば図５に示すような状態変化表示画面２００を表示させる。
（Ｓ３０５）
　設定変更部７４は、ユーザの操作部８０を介した操作に応じて、画素抽出座標の設定が変更された否かを判定する。例えば、図５に示す例の場合、第１軸スライドバー２１２Ｂのスライダ２１２Ｓが操作された場合、画素抽出座標の一例である第１軸２１２Ｌの設定が変更されたと判定され、第２軸スライドバー２１３Ｂのスライダ２１３Ｓが操作された場合、画素抽出座標の一例である第２軸２１３Ｌの設定が変更されたと判定される。画素抽出座標の設定が変更されていないと判定された場合（Ｓ３０５；Ｎｏ）、処理はステップＳ３０８に進む。
（Ｓ３０６）
　画素抽出座標の設定が変更されたと判定された場合（Ｓ３０５；Ｙｅｓ）、画素集合生成部７３は、画像抽出部７２が抽出した各画像（実画像及び／又は予測画像）において、設定が変更された画素抽出座標上に配置された画素を抽出した上で、抽出された画素を画像の時刻情報の順に応じて配列することにより画素集合を生成する。例えば、図５に示す例において、第１軸２１２Ｌの設定が変更されたと判定された場合、画素集合生成部７３は、新たな第１軸２１２Ｌ上に配置された画素により構成される画素集合を生成する。また、図５に示す例において、第２軸２１３Ｌの設定が変更されたと判定された場合、画素集合生成部７３は、新たな第２軸２１３Ｌ上に配置された画素により構成される画素集合を生成する。
（Ｓ３０７）
　表示装置制御部７６は、ステップＳ３０６で生成された新たな画素集合によって、状態変化表示画面における画素集合領域の表示を更新する。例えば、図５に示す例において、第１軸２１２Ｌの設定が変更された場合、表示装置制御部７６は、ステップＳ３０６で生成された第１画素集合を第１画素集合領域２２０に表示させる。また、図５に示す例において、第２軸２１３Ｌの設定が変更された場合、表示装置制御部７６は、ステップＳ３０６で生成された第２画素集合を第２画素集合領域２３０に表示させる。
（Ｓ３０８）
　設定変更部７４は、ユーザの操作部８０を介した操作に応じて、時間軸の設定が変更された否かを判定する。例えば、図５に示す状態変化表示画面２００の場合、時間軸スライドバー２１４Ｂのスライダ２１４Ｓが操作された場合、時間軸２１４Ｌの設定が変更されたと判定される。時間軸の設定が変更されていないと判定された場合（Ｓ３０８；Ｎｏ）、処理はステップＳ３１０に進む。
（Ｓ３０９）
　表示装置制御部７６は、ステップＳ３０８で変更された時間軸に対応する時刻情報に対応付けられた画像（実画像又は予測画像）を、状態変化表示画面における画像領域に表示させる。例えば、図５に示す例において、時間軸２１４Ｌの設定が変更された場合、表示装置制御部７６は、変更された時間軸２１４Ｌに対応する時刻情報に対応付けられた画像を画像領域２１０に表示させる。
（Ｓ３１０）
　次に、保存部７７は、ユーザの操作部８０を介した操作に応じて、保存が選択された否かを判定する。例えば、図５に示す状態変化表示画面２００の場合、保存ボタン２４０が選択された場合、保存が選択されたと判定される。保存が選択されていないと判定された場合（Ｓ３１０；Ｎｏ）、処理はステップＳ３０５に戻る。
（Ｓ３１１）
　次に、保存部７７は、画像領域２１０に表示された画像、第１画素集合領域２２０に表示された第１画素集合、及び第２画素集合領域２３０に表示された第２画素集合等を記憶部７１に保存する。そして、処理はステップＳ３０５に戻る。以降は、ユーザにより終了が選択されるまで、ステップＳ３０５～Ｓ３１１が繰り返される。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　１…表示システム、１０…撮像装置制御部、２０…撮像装置、３０…画像処理部、３１…正規化処理部、３２…加工処理部、３３…差分画像生成部、３４…画像合成部、４０…実画像ＤＢ、５０…予測画像生成部、６０…予測画像ＤＢ、７０…表示制御部、７１…記憶部、７２…画像抽出部、７３…画素集合生成部、７４…設定変更部、７５…画素抽出座標決定部、７６…表示装置制御部、７７…保存部、８０…操作部、９０…表示装置

Claims (13)

  1. 　対象物の連続的な撮像により生成される複数の画像に基づいて、前記対象物の状態変化を表示する表示方法であって、
    　前記複数の画像の各画像から、所定の位置座標上に配置された画素を抽出するステップと、
    　前記複数の画像の撮像の順序に応じて前記画素が配列された画素集合を表示するステップと、
    　を含む表示方法。
  2. 　前記所定の位置座標は、点、線、又は面積を有する領域を構成する少なくとも１つの位置座標である、請求項１に記載の表示方法。
  3. 　前記所定の位置座標は、直線を構成する、請求項２に記載の表示方法。
  4. 　前記直線は、前記複数の画像に含まれる各画像のいずれかの座標軸に平行である、請求項３に記載の表示方法。
  5. 　前記複数の画像に基づいて、前記所定の位置座標を決定するステップ、を更に含む、請求項１から４のいずれか一項に記載の表示方法。
  6. 　前記複数の画像の少なくとも１つの画像を表示するステップ、を更に含む、請求項１から５のいずれか一項に記載の表示方法。
  7. 　前記少なくとも１つの画像を表示するステップは、前記所定の位置座標を前記少なくとも１つの画像に対応付けて表示するステップを含む、請求項６に記載の表示方法。
  8. 　前記複数の画像は、複数の実画像と、前記複数の実画像に基づいて生成された複数の予測画像とを含む、請求項１から７のいずれか一項に記載の表示方法。
  9. 　前記複数の実画像に基づいて、前記複数の予測画像を生成するステップを更に含む、請求項８に記載の表示方法。
  10. 　前記複数の画像は、前記対象物の撮像により生成される撮像画像に対して、所定の加工処理を実行することにより得られる加工画像である、請求項１から９のいずれか一項に記載の表示方法。
  11. 　対象物の連続的な撮像により生成される複数の画像に基づいて、前記対象物の状態変化を表示制御する制御装置であって、
    　前記複数の画像の各画像から、所定の位置座標上に配置された画素を抽出し、前記複数の画像の撮像の順序に応じて前記画素が配列された画素集合を生成する画素集合生成部と、
    　生成された前記画素集合を表示装置に表示する表示装置制御部と、を含む制御装置。
  12. 　対象物の連続的な撮像により生成される複数の画像の各画像における所定の位置座標上に配置された画素が、前記複数の画像の撮像の順序に応じて配列された画素集合を表示する、表示装置。
  13. 　コンピュータに、
    　対象物の連続的な撮像により生成される複数の画像の各画像から、所定の位置座標上に配置された画素を抽出するステップと、
    　前記複数の画像の撮像の順序に応じて前記画素が配列された画素集合を表示するステップと、を実行させるためのプログラム。
PCT/JP2021/036562 2020-10-26 2021-10-04 表示方法、制御装置、表示装置、及びプログラム WO2022091703A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022558950A JPWO2022091703A1 (ja) 2020-10-26 2021-10-04
KR1020237012576A KR20230096994A (ko) 2020-10-26 2021-10-04 표시방법, 제어장치, 표시장치, 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020179002 2020-10-26
JP2020-179002 2020-10-26

Publications (1)

Publication Number Publication Date
WO2022091703A1 true WO2022091703A1 (ja) 2022-05-05

Family

ID=81382428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036562 WO2022091703A1 (ja) 2020-10-26 2021-10-04 表示方法、制御装置、表示装置、及びプログラム

Country Status (4)

Country Link
JP (1) JPWO2022091703A1 (ja)
KR (1) KR20230096994A (ja)
TW (1) TW202217743A (ja)
WO (1) WO2022091703A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328407A (ja) * 1998-05-11 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 時系列画像予測方法、装置、および時系列画像予測プログラムを記録した記録媒体
JP2004305486A (ja) * 2003-04-08 2004-11-04 Canon Inc 画像処理装置及び方法及びシステム
JP2007293720A (ja) * 2006-04-26 2007-11-08 Ryoka Systems Inc 動状態解析システム及び方法、並びにコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117416A (ja) 2000-10-05 2002-04-19 Sekisui House Ltd 建物の表示方法及びその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328407A (ja) * 1998-05-11 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 時系列画像予測方法、装置、および時系列画像予測プログラムを記録した記録媒体
JP2004305486A (ja) * 2003-04-08 2004-11-04 Canon Inc 画像処理装置及び方法及びシステム
JP2007293720A (ja) * 2006-04-26 2007-11-08 Ryoka Systems Inc 動状態解析システム及び方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2022091703A1 (ja) 2022-05-05
TW202217743A (zh) 2022-05-01
KR20230096994A (ko) 2023-06-30

Similar Documents

Publication Publication Date Title
EP2659336B1 (en) User interface, apparatus and method for gesture recognition
US11373061B2 (en) Object detection device, object detection method, and recording medium
US10867213B2 (en) Object detection device, object detection method, and recording medium
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
CN107209922A (zh) 图像处理设备、图像处理系统、和图像处理方法
WO2014156425A1 (ja) 領域分割方法および検査装置
US9436996B2 (en) Recording medium storing image processing program and image processing apparatus
WO2022091703A1 (ja) 表示方法、制御装置、表示装置、及びプログラム
JP6694638B2 (ja) プログラム、情報記憶媒体及び認識装置
JP2005228140A5 (ja)
CN108462872A (zh) 一种基于低频显著性的梯度相似视频质量评估方法
CN113191942A (zh) 生成图像的方法、训练人物检测模型的方法、程序及装置
WO2018180406A1 (ja) シーケンス生成装置およびその制御方法
US20240355113A1 (en) Object detection device, object detection method, and recording medium
JP2024014516A (ja) 情報処理装置、情報処理方法及びプログラム
KR20160018945A (ko) 차량의 사고부위를 인식하여 가견적 리스트를 생성하는 모바일 장치
JP5799818B2 (ja) 画像処理プログラムおよび画像処理装置
JP6257127B2 (ja) 画像処理プログラムおよび画像処理装置
JPS62222873A (ja) 印刷情報設定方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885822

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022558950

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21885822

Country of ref document: EP

Kind code of ref document: A1