WO2022064632A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2022064632A1
WO2022064632A1 PCT/JP2020/036225 JP2020036225W WO2022064632A1 WO 2022064632 A1 WO2022064632 A1 WO 2022064632A1 JP 2020036225 W JP2020036225 W JP 2020036225W WO 2022064632 A1 WO2022064632 A1 WO 2022064632A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fisheye
person
panoramic
fish
Prior art date
Application number
PCT/JP2020/036225
Other languages
English (en)
French (fr)
Inventor
カレン ステファン
健全 劉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022551516A priority Critical patent/JPWO2022064632A1/ja
Priority to PCT/JP2020/036225 priority patent/WO2022064632A1/ja
Priority to US18/026,407 priority patent/US20230368576A1/en
Publication of WO2022064632A1 publication Critical patent/WO2022064632A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device, an image processing method and a program.
  • Patent Document 1 discloses a technique for performing machine learning using a training image and information for identifying the location of a business store. Further, Patent Document 1 discloses that a panoramic image, an image having a field of view larger than 180 °, and the like can be used as a training image.
  • Non-Patent Document 1 discloses a technique for estimating a person's behavior indicated by a moving image based on a 3D-CNN (convolutional neural network).
  • fisheye image a technique for estimating human behavior based on an image generated by using a fisheye lens (hereinafter, may be referred to as a "fisheye image").
  • the reference line L s is a line connecting the reference point (x c , y c ) and an arbitrary point on the outer circumference of the circular image, and is a position where the fisheye image is cut open when the panoramic image is developed.
  • the image near the reference line L s is located at the end of the panoramic image.
  • the reference point (x c , y c ) is a point of the image in the circular image circle of the fisheye image, for example, the center of the circle.
  • the width w is the width of the panoramic image
  • the height h is the height of the panoramic image. These values may be default values or may be set arbitrarily by the user.
  • any target point (x f , y f ) in the fisheye image is converted to a point (x p , y p ) in the panoramic image based on the “panoramic expansion” formula shown in the figure. can do.
  • the distance r f between the reference point (x c , y c ) and the target point (x f , y f ) can be calculated.
  • the angle ⁇ formed by the line connecting the reference point (x c , y c ) and the target point (x f , y f ) and the reference line L s can be calculated.
  • An object of the present invention is to estimate the behavior of a person included in a fisheye image with high accuracy.
  • the computer The panoramic image obtained by panoramicly expanding the fisheye image generated by the fisheye lens camera is analyzed, and the human behavior indicated by the panoramic image is estimated.
  • the fisheye partial image which is a partial region of the fisheye image, is image-analyzed without panoramic expansion, and the human behavior indicated by the fisheye partial image is estimated.
  • An image processing method for estimating a person's behavior indicated by the fisheye image is provided based on the estimation result based on the panoramic image and the estimation result based on the fisheye partial image.
  • a program is provided that functions as.
  • the image processing device 10 executes a panorama process (Panorama processing), a fisheye process (Fisheye processing), and an integration process.
  • the image processing device 10 analyzes the panoramic image obtained by panoramicly expanding the fisheye image, and estimates the person behavior indicated by the panoramic image.
  • the image processing apparatus 10 analyzes the fish-eye partial image, which is a partial region of the fish-eye image, without panoramic expansion, and estimates the human behavior indicated by the fish-eye partial image. Then, in the integrated process, the image processing device 10 is based on the estimation result of the person behavior based on the panoramic image obtained in the panorama process and the estimation result of the person behavior based on the fisheye partial image obtained in the fisheye process. , Estimate the human behavior shown by the fish-eye image.
  • Each functional unit included in the image processing device 10 includes a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded in the memory, and a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and by any combination of hardware and software centered on the network connection interface. It will be realized. And, it is understood by those skilled in the art that there are various variations in the method of realizing the device and the device.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the image processing device 10.
  • the image processing device 10 includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the image processing device 10 does not have to have the peripheral circuit 4A.
  • the image processing device 10 may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the image processing device 10 is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to transmit and receive data to each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue a command to each module and perform a calculation based on the calculation result thereof.
  • FIG. 4 shows an example of a functional block diagram of the image processing device 10.
  • the image processing device 10 has a first estimation unit 11, a second estimation unit 12, and a third estimation unit 13. These functional parts perform the panoramic process, fisheye process and integration process described above.
  • the configuration of each functional unit will be described separately for each process.
  • FIG. 5 shows the flow of the panoramic process in more detail.
  • the first estimation unit 11 acquires a plurality of time-series fisheye images (fisheye image acquisition process)
  • the first estimation unit 11 panoramicly expands each of them to generate a plurality of time-series panoramic images (panorama).
  • the first estimation unit 11 estimates the person behavior indicated by the time-series plurality of panoramic images based on the time-series plurality of panoramic images and the first estimation model (first estimation process).
  • the panorama process includes a fisheye image acquisition process, a panorama development process and a first estimation process.
  • the first estimation unit 11 acquires a plurality of time-series fisheye images.
  • a fisheye image is an image generated using a fisheye lens.
  • the plurality of time-series fisheye images may be, for example, a moving image, or may be a plurality of continuous still images generated by continuously photographing at predetermined time intervals.
  • acquisition means “the own device goes to fetch the data stored in another device or the storage medium” based on the user input or the instruction of the program (actively). (Acquisition) ”, for example, requesting or inquiring about another device and receiving it, accessing and reading another device or storage medium, and the like may be included. Further, “acquisition” means “inputting data output from another device to the own device (passive acquisition)” based on user input or program instruction, for example, distribution (or distribution (or). , Transmission, push notification, etc.) may be included. In addition, “acquisition” means to select and acquire from received data or information, and “edit data (text conversion, data sorting, partial data extraction, file format change, etc.)". It may include “to generate new data and acquire the new data”.
  • the first estimation unit 11 panoramicly expands each of the plurality of time-series fisheye images to generate a plurality of time-series panoramic images.
  • the panoramic development method will be described, but other methods may be adopted.
  • the first estimation unit 11 determines the reference line L s , the reference point (x c , y c ), the width w, and the height h (see FIG. 1).
  • the first estimation unit 11 detects predetermined plurality of points on the body of each of the plurality of persons from the images in the circular image circle of the fisheye image. Then, the first estimation unit 11 specifies the direction of gravity (vertical direction) at each position of the plurality of persons based on the detected predetermined plurality of points.
  • the first estimation unit 11 may detect a plurality of points (two points) of the body in which the lines connecting each other are parallel to the direction of gravity in the image generated by photographing the standing person from the front. Examples of such a combination of two points include (middle of both shoulders, middle of waist), (tip of head, middle of waist), (tip of head, middle of both shoulders), and the like. Not limited. In the case of this example, the first estimation unit 11 specifies the direction from a predetermined one of the two points detected corresponding to each person toward the other point as the gravity direction.
  • the first estimation unit 11 detects a plurality of points (two points) of the body in which the lines connecting each other are perpendicular to the direction of gravity in the image generated by photographing the standing person from the front. May be good. Examples of such a combination of the two points include (right shoulder, left shoulder), (right waist, left waist), and the like, but are not limited thereto. In the case of this example, the first estimation unit 11 passes through the midpoint of the two points detected corresponding to each person, and the direction in which the line perpendicular to the line connecting the two points extends is defined as the direction of gravity. Identify.
  • the first estimation unit 11 can detect a plurality of points on the body described above by using any image analysis technique.
  • the first estimation unit 11 is described as "an algorithm for detecting predetermined plurality of points of each person's body existing in an image generated by using a standard lens (for example, an angle of view of about 40 ° to about 60 °)".
  • a standard lens for example, an angle of view of about 40 ° to about 60 °
  • the first estimation unit 1 may analyze the image while rotating the fish-eye image. That is, even if the first estimation unit 11 rotates the image in the image circle of the fisheye image and analyzes the image in the image circle after the rotation to detect a predetermined plurality of points of the human body. good.
  • the first estimation unit 11 first analyzes the image in the rotational state shown in FIG. 6, and performs a process of detecting the middle P1 of both shoulders and the middle P2 of the waist of each person. In this case, the first estimation unit 11 could detect the points P1 and P2 of the persons M1 and M2 whose body extension direction is close to the vertical direction in the figure, but could not detect the points P1 and P2 of the other persons. ..
  • the first estimation unit 11 rotates the fisheye image F by 90 °. Then, the state shown in FIG. 7 is obtained.
  • the first estimation unit 11 analyzes the image in this rotational state, and performs a process of detecting the middle P1 of both shoulders and the middle P2 of the waist of each person. In this case, the first estimation unit 11 could detect the points P1 and P2 of the person M5 whose body extension direction is close to the vertical direction in the figure, but could not detect the points P1 and P2 of the other person.
  • the first estimation unit 11 further rotates the fisheye image F by 90 °. Then, the state shown in FIG. 8 is obtained.
  • the first estimation unit 11 analyzes the image in this rotational state, and performs a process of detecting the middle P1 of both shoulders and the middle P2 of the waist of each person. In this case, the first estimation unit 11 could detect the points P1 and P2 of the person M4 whose body extension direction is close to the vertical direction in the figure, but could not detect the points P1 and P2 of the other person.
  • the first estimation unit 11 further rotates the fisheye image F by 90 °. Then, the state shown in FIG. 9 is obtained.
  • the first estimation unit 11 analyzes the image in this rotational state, and performs a process of detecting the middle P1 of both shoulders and the middle P2 of the waist of each person. In this case, the first estimation unit 11 could detect the points P1 and P2 of the person M3 whose body extension direction is close to the vertical direction in the figure, but could not detect the points P1 and P2 of the other person.
  • the first estimation unit 11 can detect predetermined plurality of points of the body of each of the plurality of persons whose body stretches in different directions by analyzing the image while rotating the fisheye image. can.
  • the rotation is performed by 90 °, but this is just an example and is not limited to this.
  • the first estimation unit 11 determines a reference point (x c , y c ) based on the direction of gravity at each position of the plurality of persons in the fisheye image. Then, the first estimation unit 11 stores the determined reference points (x c , y c ) in the storage unit of the image processing device 10.
  • the first estimation unit 11 passes through the positions of the plurality of persons, and when the straight lines extending in the direction of gravity at the positions of the plurality of persons intersect at one point, the intersecting points are used as reference points (x c , y c) . ).
  • the first estimation unit 11 has a distance from each of the plurality of straight lines.
  • a point satisfying a predetermined condition is set as a reference point (x c , y c ).
  • the “straight line that passes through each position and extends in the direction of gravity at each position of the plurality of persons” may be a line connecting the two points detected by the first estimation unit 11.
  • the first estimation unit 11 detects a plurality of points (two points) of the body in which the lines connecting each other are perpendicular to the direction of gravity in the image generated by photographing the standing person from the front, "plurality".
  • the "straight line extending in the direction of gravity at each position of the plurality of persons” passes through the midpoint of the two points detected by the first estimation unit 11 and connects the two points. It may be a line perpendicular to.
  • FIG. 10 shows the concept of the reference point determination process by the first estimation unit 11.
  • the first estimation unit 11 detects the middle P1 of both shoulders and the middle P2 of the waist of each person.
  • the line connecting the points P1 and P2 is "a straight line L1 to L5 that passes through the positions of each of the plurality of persons and extends in the direction of gravity at each of the positions of the plurality of persons".
  • the plurality of straight lines L1 to L5 do not intersect at one point. Therefore, the first estimation unit 11 sets a point at which the distance from each of the plurality of straight lines L1 to L5 satisfies a predetermined condition as a reference point (x c , y c ).
  • the predetermined condition is, for example, "the sum of the distances to each of the plurality of straight lines is the minimum", but the predetermined condition is not limited to this.
  • the first estimation unit 11 can calculate a point satisfying a predetermined condition based on the following equations (1) to (3).
  • each of the straight lines L1 to L5 is shown by the equation (1).
  • k i is the slope of each straight line
  • c i is the intercept of each straight line. From the equations (2) and (3), the point where the sum of the distances to each of the straight lines L1 to L5 is the minimum can be calculated as a reference point (x c , y c ).
  • the reference points (x c , y c ) set in the plurality of fisheye images generated by the camera are the same position. Therefore, when the first estimation unit 11 calculates the reference point (x c , y c ) of one fisheye image by the above processing, the calculated reference point (x c , y c ) is used as the fish eye image. You may register it by associating it with the generated camera. After that, the reference points (x c , y c ) are not calculated for the fisheye image generated by the camera, and the registered reference points (x c , y c ) are read out. You may use it.
  • the first estimation unit 11 complements the image in the image circle of the fisheye image. And generate a complementary circular image.
  • the reference point (x c , y c ) coincides with the center of the image in the image circle of the fisheye image, the first estimation unit 11 does not perform complementation of the image.
  • the complementary circular image is an image obtained by adding a complementary image to the image in the image circle, and is a circular image centered on a reference point (x c , y c ).
  • the maximum value of the distance from the reference point (x c , y c ) to the point on the outer circumference of the image in the image circle is the radius, and the image in the image circle may be inscribed.
  • the complementary image added to the image in the image circle may be a monochromatic (eg, black) image, an arbitrary pattern image, or any other.
  • FIG. 11 shows an example of the complementary circular image C2 generated by the first estimation unit 11.
  • a complementary circular image C2 is generated by adding a black single color complementary image to the image C1 in the image circle of the fisheye image F.
  • the complementary circular image C2 is circular as shown, and the reference point (x c , y c ) is the center thereof.
  • the radius r of the complementary circular image C2 is the maximum value of the distance from the reference point (x c , y c ) to the point on the outer circumference of the image C1 in the image circle.
  • the image C1 in the image circle is inscribed in the complementary circular image C2.
  • the reference line L s is a line connecting a reference point (x c , y c ) and an arbitrary point on the outer periphery of a circular image (image C1 in an image circle, complementary circular image C2, etc.).
  • the position of the reference line L s is the position to be cut open when the circular image is panoramicly developed.
  • the first estimation unit 11 can set, for example, a reference line L s that does not overlap with a person. By setting the reference line L s in this way, it is possible to suppress the inconvenience that the person is separated into two parts in the panoramic image.
  • the first estimation unit 11 does not set the reference line Ls within a predetermined distance from the plurality of points of the body of each person detected in the above process, and places the reference line Ls at a place separated from the plurality of detected points by a predetermined distance or more.
  • the reference line L s may be set.
  • width w is the width of the panoramic image
  • height h is the height of the panoramic image.
  • the first estimation unit 11 panoramicly expands the fisheye image and generates a panoramic image.
  • the reference point (x c , y c ) is different from the center of the image in the image circle of the fisheye image
  • the first estimation unit 11 panoramicly expands the complementary circular image to generate a panoramic image.
  • the reference point (x c , y c ) coincides with the center of the image in the image circle of the fisheye image
  • the first estimation unit 11 panoramicly expands the image in the image circle of the fisheye image to obtain a panoramic image.
  • the first estimation unit 11 can be panoramicly developed by using the method described with reference to FIG.
  • the first estimation unit 11 detects predetermined plurality of points on the body of each of the plurality of persons from the images in the image circle (S10). For example, the first estimation unit 11 detects the middle P1 of both shoulders and the middle P2 of the waist of each person.
  • the first estimation unit 11 analyzes the image in the image circle and detects a predetermined plurality of points on the body of each of the plurality of persons (S20). After that, the first estimation unit 11 rotates the image in the image circle by a predetermined angle (S21).
  • the predetermined angle is, for example, 90 °, but is not limited thereto.
  • the first estimation unit 11 analyzes the image in the image circle after rotation, and detects a predetermined plurality of points on the body of each of the plurality of persons (S22). Then, when the total rotation angle has not reached 360 ° (No in S23), the first estimation unit 11 returns to S21 and repeats the same process. On the other hand, when the total rotation angle reaches 360 ° (Yes in S23), the first estimation unit 11 ends the process.
  • the first estimation unit 11 identifies the direction of gravity at each position of the plurality of persons based on the predetermined plurality of points detected in S10 (S11). For example, the first estimation unit 11 specifies the direction from the center P1 of both shoulders of each person to the center P2 of the waist as the direction of gravity at the position of each person.
  • the first estimation unit 11 passes through the positions of each of the plurality of persons and calculates a straight line extending in the direction of gravity at each position (S12).
  • the first estimation unit 11 sets the intersecting points as reference points (x c , y c ) (S14).
  • the first estimation unit 11 finds a point where the distance from each of the plurality of straight lines satisfies a predetermined condition (example: shortest), and determines that point. It is set as a reference point (x c , y c ) (S15).
  • the first estimation unit 11 uses FIG. Using the method described, the image in the image circle of the fisheye image is panoramicly expanded to generate a panoramic image (S33). That is, in this case, the generation of the complementary circular image and the panoramic expansion of the complementary circular image are not performed.
  • the first estimation unit 11 is a complementary circular image. Is generated (S31).
  • the complementary circular image is a circular image in which the complementary image is added to the image in the image circle, and the reference point (x c , y c ) is the center of the circle.
  • the maximum value of the distance from the reference point (x c , y c ) to the point on the outer circumference of the image in the image circle is the radius, and the image in the image circle may be inscribed.
  • the complementary image added to the image in the image circle may be a monochromatic (eg, black) image, an arbitrary pattern image, or any other.
  • the first estimation unit 11 panoramicly develops the complementary circular image by using the method described with reference to FIG. 1 and generates a panoramic image (S32).
  • the first estimation unit 11 estimates the person behavior indicated by the time-series plurality of panoramic images based on the generated time-series plurality of panoramic images and the first estimation model.
  • the first estimation unit 11 generates three-dimensional feature information indicating the time change of the feature of each position in the image from a plurality of time-series panoramic images.
  • the first estimation unit 11 can generate three-dimensional feature information based on 3D CNN (for example, a convolutional deep learning network such as 3D Resnet, but is not limited to this).
  • the first estimation unit 11 generates person position information indicating a position where a person exists in each of a plurality of time-series panoramic images.
  • the first estimation unit 11 can generate person position information indicating the position where each of the plurality of people is present.
  • the first estimation unit 11 extracts a silhouette (whole body) of a person in an image, and generates person position information indicating an area in the image including the extracted silhouette.
  • the first estimation unit 11 is a "deep learning network for object recognition" that recognizes any object (for example, a person) from a flat image or video more specifically at high speed and with high accuracy based on deep learning technology. Person position information can be generated based on.
  • the deep learning network for object recognition examples include, but are not limited to, Mask-RCNN, RCNN, Fast RCNN, and Faster RCNN.
  • the first estimation unit 11 may perform the same person detection process for each of a plurality of time-series panoramic images, or may use the person tracking technique to track a person once detected in the image. And the position may be specified.
  • the first estimation unit 11 estimates the person behavior shown by the plurality of panoramic images based on the time change of the feature indicated by the three-dimensional feature information at the position where the person indicated by the person position information exists. For example, the first estimation unit 11 corrects the three-dimensional feature information to change the value at a position other than the position where the person indicated by the person position information exists to a predetermined value (example: 0), and then performs the correction. It is possible to estimate the human behavior shown by a plurality of images based on the corrected three-dimensional feature information. The first estimation unit 11 can estimate the person's behavior based on the first estimation model generated in advance by machine learning and the corrected three-dimensional feature information.
  • the first estimation model may be a model that estimates human behavior generated by machine learning based on an image (learning data) generated using a standard lens (for example, an angle of view of about 40 ° to about 60 °). can.
  • the first estimation model may be a model that estimates human behavior generated by machine learning based on a panoramic image (learning data) generated by panoramic expansion of a fisheye image.
  • the first estimation unit 11 acquires a plurality of time-series panoramic images by executing the panoramic expansion process (S40).
  • the first estimation unit 11 After that, the first estimation unit 11 generates three-dimensional feature information indicating the time change of the feature of each position in the image from a plurality of panoramic images in time series (S41). In addition, the first estimation unit 11 generates person position information indicating a position where a person exists in each of the plurality of panoramic images (S42).
  • the first estimation unit 11 estimates the person behavior shown by the plurality of images based on the time change of the feature indicated by the three-dimensional feature information at the position where the person indicated by the person position information exists (S43).
  • the first estimation unit 11 has acquired, for example, a time-series panoramic image (16 ⁇ 2451 ⁇ 800) for 16 frames. Then, the first estimation unit 11 convolves the panoramic image for 16 frames into 512 channels based on 3D CNN (for example, a convolutional deep learning network such as 3D Resnet, but is not limited to this). Generates 3D feature information (512 ⁇ 77 ⁇ 25). Further, the first estimation unit 11 generates person position information (binary Mask in the figure) indicating the position where the person exists in each of the images for 16 frames based on the deep learning network of object recognition such as Mask-RCNN. do. In the illustrated example, the person position information indicates the position of each of a plurality of rectangular areas including each person.
  • 3D CNN for example, a convolutional deep learning network such as 3D Resnet, but is not limited to this.
  • 3D feature information 512 ⁇ 77 ⁇ 25
  • the first estimation unit 11 generates person position information (binary Mask in the figure) indicating the position where the person
  • the first estimation unit 11 makes a correction for the three-dimensional feature information to change the value at the position other than the position where the person indicated by the person position information exists to a predetermined value (example: 0).
  • the first estimation unit 11 divides the three-dimensional feature information into N blocks (each having a width of k), passes through an Average Pooling, flatten, fully-connected layer, and the like, and a plurality of predefined ones. The probability (output value) that each of the categories (personal behavior) of is included is obtained for each block.
  • 19 categories are defined and learned.
  • the 19 categories are “walking”, “running”, “waving”, “picking up”, “throwing away”, “taking off the jacket”, “wearing the jacket”, “calling”, “calling”.
  • Use your smartphone eat snacks, go up the stairs, go down the stairs, drink water, shake hands, take things from someone else's pocket, give things to others , “Push another person”, “Hold the card to enter the station yard”, “Hold the card to exit the station ticket gate”, but it is not limited to these.
  • the processing device 20 estimates that the person behavior corresponding to the category whose probability is equal to or higher than the threshold value is shown in the image.
  • N instance scores indicate the probability that each of the N blocks included in a plurality of time-series panoramic images includes each of the above 19 categories.
  • Final scores of the panorama branch for clip 1 indicates the probability that a plurality of time-series panoramic images include each of the above 19 categories.
  • the details of the process of calculating Final scores of the panorama branch for clip 1 from N instance scores are not particularly limited, but an example will be described below.
  • the fisheye process is performed by the second estimation unit 12. As shown in FIG. 5, when the second estimation unit 12 acquires a plurality of time-series fish-eye images (fish-eye image acquisition process), a part of the region is cut out from each of the time-series multiple fish-eye partial images. (First cutting process). After that, the second estimation unit 12 edits the generated time-series plurality of fish-eye partial images, and generates a time-series plurality of edited fish-eye partial images for each person included in the fish-eye partial image. (Editing process).
  • the second estimation unit 12 estimates the human behavior indicated by the time-series plurality of edited fish-eye partial images based on the time-series plurality of edited fish-eye partial images and the second estimation model (second). 2 estimation process).
  • the fisheye process includes a fisheye image acquisition process, a first cutting process, an editing process and a second estimation process.
  • the second estimation unit 12 acquires a plurality of time-series fisheye images.
  • the fisheye image acquisition process executed by the second estimation unit 12 is the same as the fisheye image acquisition process executed by the first estimation unit 11 described in the panoramic process, and thus the description thereof is omitted here.
  • the second estimation unit 12 cuts out a part of each of the time-series plurality of fish-eye images to generate a time-series plurality of fish-eye partial images.
  • the second estimation unit 12 cuts out an image in a circular region having a radius R centered on the reference point (x c , y c ) described in the panorama process as a fisheye partial image.
  • the radius R may be a preset fixed value. In addition, it may be a variable value determined based on the analysis result of the fisheye image.
  • the radius R (the size of the fisheye partial image) may be determined based on the detection result (number of detected persons) of a person existing in a preset central region in the fisheye image, for example. The larger the number of detected people, the larger the radius R.
  • the second estimation unit 12 edits the generated time-series plurality of fish-eye partial images, and prepares a time-series plurality of edited fish-eye partial images for each person included in the fish-eye partial image. Generate. Hereinafter, it will be described in detail.
  • the second estimation unit 12 analyzes the fish-eye partial image and detects a person included in the fish-eye partial image. For the detection of a person, as in the process described in the panorama process (process of FIG. 13), a method of detecting a person by analyzing the fisheye partial image at each rotation position while rotating the fisheye partial image is adopted. May be good.
  • a person included in the fisheye partial image may be detected based on a person detection model generated by machine learning using the fisheye image as training data.
  • the second estimation unit 12 may perform the same person detection process for each of a plurality of time-series fisheye partial images, or may use a person tracking technique to perform a moving image of a person once detected. It may be tracked within to locate it.
  • the second estimation unit 12 executes a rotation process for rotating the fish-eye partial image and a second cutting process for cutting out a partial area of a predetermined size for each detected person. , Generate a fisheye partial image after editing.
  • the fisheye partial image is rotated so that the direction of gravity at each person's position is the vertical direction on the image.
  • the means for specifying the direction of gravity at the position of each person is as described in the panoramic process, but other methods may be used.
  • an image of a predetermined size including each person is cut out from the fisheye partial image after the rotation process.
  • the shape and size of the image to be cut out are predefined.
  • the second estimation unit 12 cuts out a part of the area in the image C1 in the image circle of the fisheye image F as the fisheye partial image C3 (first cut). Out process). This process is executed for each fisheye image F.
  • the second estimation unit 12 detects a person in the fish-eye partial image C3. In the illustrated example, two people have been detected.
  • the second estimation unit 12 executes a rotation process for the fish-eye partial image C3 for each detected person.
  • the direction of gravity at the position of each person is the vertical direction on the image. This process is executed for each fish-eye partial image C3.
  • the second estimation unit 12 cuts out an image of a predetermined size including each person from the rotated fisheye partial image C3 for each detected person. After editing, a fisheye partial image C4 is generated. This process is executed for each detected person and for each fish-eye partial image C3.
  • the second estimation unit 12 is shown by the time-series plurality of edited fish-eye partial images based on the generated time-series multiple edited fish-eye partial images and the second estimation model. Estimate human behavior.
  • the estimation process of the person behavior by the second estimation unit 12 is basically the same as the estimation process of the person behavior by the first estimation unit 11.
  • the second estimation unit 12 is a three-dimensional feature showing a time change of the feature of each position in the image from a plurality of edited fisheye partial images in time series corresponding to the first person. Generate information.
  • the second estimation unit 12 can generate three-dimensional feature information based on 3D CNN (for example, a convolutional deep learning network such as 3D Resnet, but is not limited to this). After that, the second estimation unit 12 performs a process of emphasizing the value of the position where the person is detected with respect to the generated three-dimensional feature information.
  • 3D CNN for example, a convolutional deep learning network such as 3D Resnet, but is not limited to this.
  • the second estimation unit 12 integrates the probabilities that each of the plurality of edited fisheye partial images corresponding to each person includes each of the plurality of categories (personal behaviors), and the second estimation unit 12 integrates the probabilities that each of the plurality of edited fisheye partial images is included in the fisheye partial image. Performs an operation to calculate the probability that each of the categories (personal behavior) is included.
  • the second estimation unit 12 analyzes the fish-eye partial image, which is a part of the fish-eye image, without panoramic expansion, and performs the human behavior indicated by the fish-eye partial image. presume.
  • the integration process is performed by the third estimation unit 13. As shown in FIG. 5, the third estimation unit 13 is based on the estimation result based on the panoramic image obtained by the panoramic process and the estimation result based on the fisheye partial image obtained by the fisheye process. Estimate the person behavior shown in the image.
  • both the estimation result based on the panoramic image and the estimation result based on the fish-eye partial image indicate the probability of including each of a plurality of predefined human behaviors.
  • the third estimation unit 13 calculates the probability that the fish-eye image includes each of the plurality of predefined human behaviors by a predetermined arithmetic process based on the estimation result based on the panoramic image and the estimation result based on the fish-eye partial image. ..
  • FIG. 19 is an example of a block diagram of the image processing device 10 of this embodiment.
  • the basic configuration of the image processing device 10 is composed of a panoramic process, a fisheye process, and an integrated process.
  • the basic configuration of each process is also as described above.
  • FIG. 20 is a flowchart showing a processing flow of the image processing apparatus 10 of this embodiment.
  • the image processing device 10 divides a plurality of input time-series fisheye images into a plurality of clips for each predetermined number.
  • FIG. 21 shows a specific example. In the illustrated example, 120 time-series fisheye images are input and they are divided into 8 clips. Each clip contains 16 fisheye images, and only the last one clip contains 8 fisheye images. After that, the fisheye process (S102 to S108), the panorama process (S109 to S115), and the integration process (S116) are executed for each clip.
  • FIGS. 17 and 18 Details of the fish-eye process (S102 to S108) are shown in FIGS. 17 and 18.
  • the image processing apparatus 10 extracts a part of each region of the plurality of time-series fisheye images F to generate a plurality of time-series fisheye partial images C3 (S102, FIG. 17 (A). ) ⁇ (B)).
  • the image processing device 10 detects a person from a plurality of time-series fisheye partial images C3 and tracks them in the moving image (S103, (B) ⁇ (C) in FIG. 17).
  • the image processing device 10 performs a rotation process ((C) ⁇ (D) in FIG. 17) with respect to the fish-eye partial image C3 for each detected person, and each of the rotated fish-eye partial images C3.
  • a process of cutting out an image of a predetermined size including a person ((D) ⁇ (E) in FIG. 17) is executed (S104).
  • S104 a plurality of edited fisheye partial images C4 in chronological order can be obtained for each detected person.
  • the image processing apparatus 10 convolves a plurality of edited fisheye partial images in time series for each detected person into a 3D CNN (for example, 3D Resnet or the like). Input to a learning network, etc., but not limited to this) to generate 3D feature information. Further, the image processing device 10 performs a process of emphasizing the value of the position where the person is detected with respect to the generated three-dimensional feature information.
  • a 3D CNN for example, 3D Resnet or the like.
  • the image processing device 10 performs a process of emphasizing the value of the position where the person is detected with respect to the generated three-dimensional feature information.
  • the image processing device 10 concatenates the three-dimensional feature information obtained for each person (S106). After that, the image processing device 10 passes through the Average Pooling, flatten, fully-connected layers, etc., and a plurality of time-series edited fisheye partial images in which each of the plurality of predefined categories (personal behavior) corresponds to each person. The probability (output value) included in is obtained (S107).
  • the image processing device 10 integrates the probability that each of the plurality of edited fisheye partial images corresponding to each person includes each of the plurality of categories (human behavior), and the plurality of time-series fisheye portions.
  • An operation is performed to calculate the probability that each of a plurality of categories (personal behavior) is included in the image (S108).
  • a function that returns statistical values of a plurality of values For example, the average function that returns the average value (see equation (4) above), the max function that returns the maximum value (see equation (5) above), and the log-sum-exp function that smoothly approximates the max function (see equation (6) above). ), Etc. are conceivable.
  • the image processing device 10 is, but is not limited to, a convolutional deep learning network such as 3D CNN (for example, 3D Resnet) after panoramic expansion of each of a plurality of time-series fisheye images (S109). ), The three-dimensional feature information (512 ⁇ 77 ⁇ 25) convolved in 512 channels is generated from the plurality of panoramic images in this time series (S110). Further, the image processing device 10 generates person position information indicating a position where a person exists in each of a plurality of time-series panoramic images based on a deep learning network of object recognition such as Mask-RCNN (S112).
  • 3D CNN for example, 3D Resnet
  • the image processing apparatus 10 makes a correction for changing the value at the position other than the position where the person indicated by the person position information generated in S112 exists to a predetermined value (example: 0) in the three-dimensionally generated in S110. This is performed for the feature information (S111).
  • the image processing apparatus 10 divides the three-dimensional feature information into N blocks (each having a width of k) (S113), passes through an Average Pooling, flatten, fully-connected layer, and the like, and is defined in advance.
  • the probability (output value) that each of the plurality of categories (personal behavior) is included is obtained for each block (S114).
  • the image processing device 10 integrates the probabilities that each of the plurality of categories (personal behaviors) obtained for each block is included, and the probability that each of the plurality of categories (personal behaviors) is included in the plurality of time-series panoramic images. Is calculated (S115).
  • a function that returns statistical values of a plurality of values For example, the average function that returns the average value (see equation (4) above), the max function that returns the maximum value (see equation (5) above), and the log-sum-exp function that smoothly approximates the max function (see equation (6) above). ), Etc. are conceivable.
  • the image processing apparatus 10 has a "probability that each of a plurality of categories (human behavior) is included in a plurality of time-series fish-eye partial images" obtained by the fish-eye process and a "time-series” obtained by the panorama process.
  • the probability that multiple categories (personal behavior) will be included in multiple panoramic images ” is integrated, and the probability that multiple categories (personal behavior) will be included in multiple time-series fisheye images included in each clip. Perform the calculation operation (see S116, FIG. 22). In the arithmetic processing, it is conceivable to use a function that returns statistical values of a plurality of values.
  • the "probability that each of the multiple categories (personal behavior) is included in the plurality of time-series fisheye images included in each clip” can be obtained.
  • a plurality of "probabilities that a plurality of categories (personal behaviors) are included in a plurality of time-series fisheye images included in each clip” obtained for each clip are integrated, and "120 input data are input.”
  • a calculation is performed to calculate the "probability that each of a plurality of categories (personal behavior) is included in a time-series fish-eye image" (see FIG. 22).
  • the image processing device 10 outputs the calculation result (S118) and specifies the position of the person behavior predicted to be included (S119).
  • the image processing device 10 applies the sigmoid function to "include each of a plurality of categories (human behavior) in the input 120 time-series fisheye images. "Probability of being” is converted into a value of 0 to 1. Then, learning is performed so as to optimize the value of the illustrated Total loss1 function.
  • FIG. 23 shows the flow of the modified example.
  • the configuration of the panoramic process is different from the above-described embodiment.
  • the panoramic process of the modified example will be described in detail.
  • the first estimation unit 11 analyzes the image and calculates the first estimation result of the person behavior shown by the plurality of panoramic images in time series.
  • the process is the same as the process of the panorama process described in the above embodiment.
  • the first estimation unit 11 analyzes the optical flow image generated from the panoramic image and calculates the second estimation result of the person behavior indicated by the panoramic image.
  • An optical flow image is an image of a vector representing the movement of an object in a plurality of panoramic images in a time series.
  • the first estimation unit 11 estimates the person behavior shown by the plurality of time-series panoramic images based on the first estimation result and the second estimation result. This estimation result is integrated with the estimation result obtained by the fisheye process.
  • the image processing device 10 generates a panoramic image, a fisheye partial image, and an edited fisheye partial image, but other devices different from the image processing device 10 perform these processes. You may do at least one of them. Then, an image generated by another device (at least one of a panoramic image, a fisheye partial image, and an edited fisheye partial image) may be input to the image processing device 10. In this case, the image processing device 10 performs the above-mentioned processing using the input image.
  • the generated panoramic image is processed to eliminate information on the part corresponding to a part of the area extracted by the fisheye process (hereinafter, “the part") (example: that part is made into a single color, or a predetermined part is specified. You may execute (to make a pattern). Then, the person behavior may be estimated based on the panoramic image after the processing and the first estimation model. Since the person behavior included in the part is estimated by the fish-eye process, the information of the part can be removed from the panoramic image. However, if there is a person who straddles that part and another part, a situation may occur in which the estimation accuracy of the person's behavior deteriorates. Therefore, it is preferable to execute the process without losing the information of the portion from the panoramic image as in the above embodiment.
  • the second estimation unit 12 analyzes the fish-eye partial image and detects a person included in the fish-eye partial image.
  • the second estimation unit 12 may perform the following processing. First, the second estimation unit 12 analyzes the fish-eye image and detects a person included in the fish-eye image. After that, the second estimation unit 12 detects a person whose detection position (coordinates) in the fisheye image satisfies a predetermined condition (within a region cut out as a fisheye partial image) among the persons detected from the fisheye image. do.
  • the process of detecting a person from a fisheye image is realized by an algorithm similar to the algorithm of the process of detecting a person from the fisheye partial image described above. According to the modification, the detection accuracy of the person included in the fish-eye partial image is improved.
  • a process of estimating the human behavior of a person included in the fisheye image can be considered by executing only the panorama process without executing the fisheye process and the integration process.
  • the panoramic process and the integration process are not executed, and the entire fisheye image is processed without panoramic expansion in the same manner as the fisheye process described above.
  • a process of estimating the personal behavior of the person included in is conceivable.
  • the number of images to be generated and processed becomes enormous, and the processing load on the computer increases.
  • the process is the same as the fisheye process described above, the person included in the fisheye image is detected, and the orientation of each person in the image is adjusted for each person to support multiple images (corresponding to the edited fisheye partial image). ) Is generated and processed to estimate the personal behavior of each of the plurality of people.
  • the number of detected persons increases, the number of images to be generated and processed becomes enormous.
  • the image processing device 10 of the present embodiment can solve these problems.
  • the image processing device 10 of the present embodiment analyzes and estimates the human behavior estimated by analyzing the panoramic image and a part of the image near the reference point (x c , y c ) of the fisheye image without panoramic expansion.
  • the human behavior of the person included in the fish-eye image is estimated by integrating it with the human behavior.
  • the second estimation means is The image in the circular region centered on the reference point in the fisheye image determined based on the gravity direction at the position of each of the plurality of persons existing in the fisheye image is defined as the fisheye partial image 1.
  • the second estimation means is The image processing apparatus according to any one of 1 to 3, which determines the size of the fisheye partial image based on the detection result of a person existing in the fisheye image. 5.
  • the second estimation means is A process of rotating the fish-eye partial image and a process of cutting out a partial area of a predetermined size are executed to generate an edited fish-eye partial image for each person detected in the fish-eye partial image.
  • the image processing apparatus according to any one of 1 to 4, wherein the edited fish-eye partial image is analyzed and the person behavior indicated by the fish-eye partial image is estimated. 6.
  • Both the estimation result based on the panoramic image and the estimation result based on the fisheye partial image indicate the probability of including each of a plurality of predefined human behaviors.
  • the third estimation means is a predetermined arithmetic process based on the estimation result based on the panoramic image and the estimation result based on the fisheye partial image, and the fisheye image includes each of the plurality of predefined human actions.
  • the image processing apparatus for calculating the probability.
  • the first estimation means is The panoramic image is image-analyzed to calculate the first estimation result of the person behavior indicated by the panoramic image.
  • the optical flow image generated from the panoramic image is image-analyzed to calculate the second estimation result of the person behavior indicated by the panoramic image.
  • the image processing apparatus according to any one of 1 to 6, which estimates a person's behavior indicated by the panoramic image based on the first estimation result and the second estimation result.
  • the computer The panoramic image obtained by panoramicly expanding the fisheye image generated by the fisheye lens camera is analyzed, and the human behavior indicated by the panoramic image is estimated.
  • the fisheye partial image which is a partial region of the fisheye image, is image-analyzed without panoramic expansion, and the human behavior indicated by the fisheye partial image is estimated.
  • An image processing method for estimating a person's behavior indicated by a fisheye image based on an estimation result based on the panoramic image and an estimation result based on the fisheye partial image 9.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、パノラマ画像が示す人物行動を推定する第１の推定部（１１）と、魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、魚眼部分画像が示す人物行動を推定する第２の推定部（１２）と、パノラマ画像に基づく推定結果と、魚眼部分画像に基づく推定結果とに基づき、魚眼画像が示す人物行動を推定する第３の推定部（１３）と、を有する画像処理装置（１０）を提供する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　特許文献１は、トレーニング画像と事業店舗位置を識別する情報とで機械学習を行う技術を開示している。そして、特許文献１は、パノラマ画像、視野が１８０°より大きい画像等をトレーニング画像にできることを開示している。
　非特許文献１は、３Ｄ－ＣＮＮ（convolutional neural network）に基づき動画像が示す人物行動を推定する技術を開示している。
特表２０１８－５２４６７８号公報
Kensho Hara、他２名、" Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?"、［online］、Proceedings of the IEEE conference on Computer Vision and Pattern Recognition (pp. 6546-6555)、［令和１年５月２８日検索］、インターネット<URL: http://openaccess.thecvf.com/content_cvpr_2018/papers/Hara_Can_Spatiotemporal_3D_CVPR_2018_paper.pdf>
　魚眼レンズを利用すると広範囲を撮影することができる。このような特性を活かし、魚眼レンズは監視カメラ等で広く利用されている。そこで、本発明者らは、魚眼レンズを用いて生成された画像（以下、「魚眼画像」という場合がある）に基づき人物行動を推定する技術を検討した。
　魚眼画像においては、歪みが発生する為、画像内の位置毎に重力方向が異なり得る。このため、起立した人物の身体が伸びる方向が画像内の位置毎に異なる等の不自然な状況が発生し得る。標準レンズ（例えば画角４０°前後～６０°前後）を用いて生成された画像（学習データ）に基づく機械学習で生成された人物行動推定モデルにこのような魚眼画像を入力しても、十分な推定結果を得られない。
　当該問題を解決する手段として、魚眼画像をパノラマ展開してパノラマ画像を生成し、当該パノラマ画像を上述した人物行動推定モデルに入力する手段が考えられる。ここで、図１を用いてパノラマ展開の概要を説明する。
　まず、基準線Ｌｓ、基準点（ｘｃ、ｙｃ）、幅ｗ、高さｈを定める。基準線Ｌｓは、基準点（ｘｃ、ｙｃ）と円形画像の外周上の任意の点とを結ぶ線であり、パノラマ展開する際に魚眼画像を切り開く位置となる。この基準線Ｌｓ付近の画像が、パノラマ画像において端部に位置する。基準線Ｌｓの定め方は様々である。基準点（ｘｃ、ｙｃ）は、魚眼画像の円形のイメージサークル内画像の点であり、例えば円の中心である。幅ｗはパノラマ画像の幅であり、高さｈはパノラマ画像の高さである。これらの値はデフォルト値であってもよいし、ユーザが任意に設定してもよい。
　これらの値が定まると、図示する「パノラマ展開」の式に基づき、魚眼画像内の任意の対象点（ｘｆ、ｙｆ）を、パノラマ画像内の点（ｘｐ、ｙｐ）に変換することができる。魚眼画像内の任意の対象点（ｘｆ、ｙｆ）を指定すると、基準点（ｘｃ、ｙｃ）と対象点（ｘｆ、ｙｆ）との距離ｒｆを算出できる。同様に、基準点（ｘｃ、ｙｃ）と対象点（ｘｆ、ｙｆ）を結ぶ線と基準線Ｌｓとのなす角θが算出できる。結果、図示する「パノラマ展開」の式における変数ｗ、θ、ｈ、ｒｆ及びｒの値が定まる。なお、ｒは、イメージサークル内画像の半径である。これらの変数の値を当該式に代入することで、点（ｘｐ、ｙｐ）を算出することができる。
　また、図示する「逆パノラマ展開」の式より、パノラマ画像を魚眼画像に変換することもできる。
　確かに、魚眼画像をパノラマ展開してパノラマ画像を生成することで、起立した人物の身体が伸びる方向が画像内の位置毎に異なる等の不自然さを軽減できる。しかし、上述したパノラマ展開の手法の場合、魚眼画像からパノラマ画像を生成する際に基準点（ｘｃ、ｙｃ）付近の画像が大きく引き伸ばされるため、基準点（ｘｃ、ｙｃ）付近の人物がパノラマ画像において大きく歪み得る。このため、パノラマ画像に基づく人物行動の推定において、その歪んだ人物を検出できなかったり、推定精度が低下したりという問題が発生し得る。
　本発明の課題は、魚眼画像に含まれる人物の行動を高精度に推定することである。
　本発明によれば、
　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段と、
　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段と、
　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段と、
を有する画像処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定し、
　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定し、
　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する画像処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段、
　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段、
　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段、
として機能させるプログラムが提供される。
　本発明によれば、魚眼画像に含まれる人物の行動を高精度に推定することが可能となる。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
パノラマ展開の手法を説明する図である。 本実施形態の画像処理装置の概要を説明するための図である。 本実施形態の画像処理装置及び処理装置のハードウエア構成の一例を示す図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置のブロック図の一例である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。 本実施形態の画像処理装置の処理を説明するための図である。
＜概要＞
　まず、図２を用いて本実施形態の画像処理装置１０の概要を説明する。
　図示するように、画像処理装置１０は、パノラマプロセス（Panorama processing）と、魚眼プロセス（Fisheye processing）と、統合プロセスとを実行する。
　パノラマプロセスでは、画像処理装置１０は、魚眼画像（Fish eye image）をパノラマ展開したパノラマ画像を画像解析し、パノラマ画像が示す人物行動を推定する。魚眼プロセスでは、画像処理装置１０は、魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、魚眼部分画像が示す人物行動を推定する。そして、統合プロセスでは、画像処理装置１０は、パノラマプロセスで得られたパノラマ画像に基づく人物行動の推定結果と、魚眼プロセスで得られた魚眼部分画像に基づく人物行動の推定結果とに基づき、魚眼画像が示す人物行動を推定する。
＜ハードウエア構成＞
　次に、画像処理装置１０のハードウエア構成の一例を説明する。画像処理装置１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図３は、画像処理装置１０のハードウエア構成を例示するブロック図である。図３に示すように、画像処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置１０は周辺回路４Ａを有さなくてもよい。なお、画像処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。画像処理装置１０が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
＜機能構成＞
　次に、画像処理装置１０の機能構成を説明する。図４に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、第１の推定部１１と、第２の推定部１２と、第３の推定部１３とを有する。これらの機能部により、上述したパノラマプロセス、魚眼プロセス及び統合プロセスが実行される。以下、プロセスごとに分けて、各機能部の構成を説明する。
「パノラマプロセス」
　パノラマプロセスは、第１の推定部１１により実行される。図５に、パノラマプロセスのフローがより詳細に示されている。図示するように、第１の推定部１１は、時系列な複数の魚眼画像を取得すると（魚眼画像取得プロセス）、各々をパノラマ展開して時系列な複数のパノラマ画像を生成する（パノラマ展開プロセス）。その後、第１の推定部１１は、時系列な複数のパノラマ画像と第１の推定モデルに基づき、その時系列な複数のパノラマ画像が示す人物行動を推定する（第１の推定プロセス）。このように、パノラマプロセスは、魚眼画像取得プロセス、パノラマ展開プロセス及び第１の推定プロセスを含む。以下、各々を詳細に説明する。
（魚眼画像取得プロセス）
　魚眼画像取得プロセスでは、第１の推定部１１は、時系列な複数の魚眼画像を取得する。魚眼画像は、魚眼レンズを用いて生成された画像である。時系列な複数の魚眼画像は、例えば動画像であってもよいし、所定の時間間隔で連続的に撮影することで生成された複数の連続静止画像であってもよい。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
（パノラマ展開プロセス）
　パノラマ展開プロセスでは、第１の推定部１１は、時系列な複数の魚眼画像各々をパノラマ展開して時系列な複数のパノラマ画像を生成する。以下、パノラマ展開の手法の一例を説明するが、他の手法を採用してもよい。
　まず、第１の推定部１１は、基準線Ｌｓ、基準点（ｘｃ、ｙｃ）、幅ｗ、高さｈ（図１参照）を決定する。
－基準点（ｘｃ、ｙｃ）の決定－
　まず、第１の推定部１１は、魚眼画像の円形のイメージサークル内画像の中から、複数の人物各々の身体の所定の複数点を検出する。そして、第１の推定部１１は、検出した所定の複数点に基づき、複数の人物各々の位置における重力方向（鉛直方向）を特定する。
　例えば、第１の推定部１１は、起立した人物を正面から撮影して生成した画像内で互いを結ぶ線が重力方向と平行になる身体の複数点（２点）を検出してもよい。このような２点の組み合わせとしては、（両肩の真ん中、腰の真ん中）、（頭の先、腰の真ん中）、（頭の先、両肩の真ん中）等が例示されるが、これらに限定されない。この例の場合、第１の推定部１１は、各人物に対応して検出された２点のうちの所定の１点から他方の点に向かう方向を、重力方向として特定する。
　他の例として、第１の推定部１１は、起立した人物を正面から撮影して生成した画像内で互いを結ぶ線が重力方向と垂直になる身体の複数点（２点）を検出してもよい。このような２点の組み合わせとしては、（右肩、左肩）、（右腰、左腰）等が例示されるが、これらに限定されない。この例の場合、第１の推定部１１は、各人物に対応して検出された２点の中点を通り、かつ、２点を結ぶ線と垂直な線が延伸する方向を、重力方向として特定する。
　なお、第１の推定部１１は、あらゆる画像解析の技術を利用して、上述した身体の複数点を検出することができる。例えば、第１の推定部１１は、「標準レンズ（例えば画角４０°前後～６０°前後）を用いて生成された画像に存在する人物各々の身体の所定の複数点を検出するアルゴリズム」と同じアルゴリズムで魚眼画像を解析することで、複数の人物各々の身体の所定の複数点を検出することができる。
　しかし、魚眼画像内では、起立した人物の身体が伸びる方向がばらつき得る。そこで、第１の推定部１は、魚眼画像を回転させながら画像の解析を行ってもよい。すなわち、第１の推定部１１は、魚眼画像のイメージサークル内画像を回転させ、回転した後のイメージサークル内画像を解析して人物の身体の所定の複数点を検出する処理を行ってもよい。
　図６乃至図９を用いて、当該処理の概要を説明する。図６の例では、魚眼画像Ｆのイメージサークル内画像Ｃ１内に５人の人物Ｍ１乃至Ｍ５が存在する。５人の人物Ｍ１乃至Ｍ５はいずれも起立しているが、身体が伸びる方向はばらついている。
　第１の推定部１１は、まず図６に示す回転状態で画像を解析し、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出する処理を行う。この場合、第１の推定部１１は、身体が伸びる方向が図の上下方向に近い人物Ｍ１及びＭ２の点Ｐ１及びＰ２を検出できたが、その他の人物の点Ｐ１及びＰ２は検出できていない。
　次に、第１の推定部１１は、魚眼画像Ｆを９０°回転させる。すると、図７の状態となる。第１の推定部１１は、この回転状態で画像を解析し、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出する処理を行う。この場合、第１の推定部１１は、身体が伸びる方向が図の上下方向に近い人物Ｍ５の点Ｐ１及びＰ２を検出できたが、その他の人物の点Ｐ１及びＰ２は検出できていない。
　次に、第１の推定部１１は、魚眼画像Ｆをさらに９０°回転させる。すると、図８の状態となる。第１の推定部１１は、この回転状態で画像を解析し、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出する処理を行う。この場合、第１の推定部１１は、身体が伸びる方向が図の上下方向に近い人物Ｍ４の点Ｐ１及びＰ２を検出できたが、その他の人物の点Ｐ１及びＰ２は検出できていない。
　次に、第１の推定部１１は、魚眼画像Ｆをさらに９０°回転させる。すると、図９の状態となる。第１の推定部１１は、この回転状態で画像を解析し、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出する処理を行う。この場合、第１の推定部１１は、身体が伸びる方向が図の上下方向に近い人物Ｍ３の点Ｐ１及びＰ２を検出できたが、その他の人物の点Ｐ１及びＰ２は検出できていない。
　このように、第１の推定部１１は、魚眼画像を回転させながら画像を解析することで、身体が伸びる方向がばらついている複数の人物各々の身体の所定の複数点を検出することができる。なお、上記例では９０°づつ回転したが、あくまで一例でありこれに限定されない。
　次に、第１の推定部１１は、魚眼画像内の複数の人物各々の位置における重力方向に基づき、基準点（ｘｃ、ｙｃ）を決定する。そして、第１の推定部１１は、決定した基準点（ｘｃ、ｙｃ）を画像処理装置１０の記憶部に記憶させる。
　第１の推定部１１は、複数の人物各々の位置を通り、かつ、複数の人物各々の位置における重力方向に延伸した直線が１点で交わる場合、交わる点を基準点（ｘｃ、ｙｃ）とする。
　一方、複数の人物各々の位置を通り、かつ、複数の人物各々の位置における重力方向に延伸した直線が１点で交わらない場合、第１の推定部１１は、複数の直線各々からの距離が所定条件を満たす点を基準点（ｘｃ、ｙｃ）とする。
　第１の推定部１１が、起立した人物を正面から撮影して生成した画像内で互いを結ぶ線が重力方向と平行になる身体の複数点（２点）を検出する場合、「複数の人物各々の位置を通り、かつ、複数の人物各々の位置における重力方向に延伸した直線」は、第１の推定部１１が検出した２点を結ぶ線であってもよい。
　そして、第１の推定部１１は、起立した人物を正面から撮影して生成した画像内で互いを結ぶ線が重力方向と垂直になる身体の複数点（２点）を検出する場合、「複数の人物各々の位置を通り、かつ、複数の人物各々の位置における重力方向に延伸した直線」は、第１の推定部１１が検出した２点の中点を通り、かつ、２点を結ぶ線と垂直な線であってもよい。
　図１０は、第１の推定部１１による基準点決定処理の概念を示す。図示する例では、第１の推定部１１は、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出している。そして、点Ｐ１及びＰ２を結ぶ線が、「複数の人物各々の位置を通り、かつ、複数の人物各々の位置における重力方向に延伸した直線Ｌ１乃至Ｌ５」となっている。図示する例の場合、複数の直線Ｌ１乃至Ｌ５は１点で交わらない。このため、第１の推定部１１は、複数の直線Ｌ１乃至Ｌ５各々からの距離が所定条件を満たす点を基準点（ｘｃ、ｙｃ）とする。所定条件は、例えば「複数の直線各々との距離の和が最小」であるが、これに限定されない。
　例えば、第１の推定部１１は、以下の式（１）乃至（３）に基づき、所定条件を満たす点を算出することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　まず、式（１）により、直線Ｌ１乃至Ｌ５各々を示す。ｋｉは各直線の傾きで、ｃｉは各直線の切片である。式（２）及び式（３）により、直線Ｌ１乃至Ｌ５各々との距離の和が最小となる点を基準点（ｘｃ、ｙｃ）として算出することができる。
　なお、カメラの設置位置や向きが固定である場合、そのカメラが生成した複数の魚眼画像において設定される基準点（ｘｃ、ｙｃ）は同じ位置となる。このため、第１の推定部１１は、上記処理で１つの魚眼画像の基準点（ｘｃ、ｙｃ）を算出すると、算出した基準点（ｘｃ、ｙｃ）をその魚眼画像を生成したカメラに紐付けて登録してもよい。そして、それ以降、そのカメラが生成した魚眼画像に対しては、上記基準点（ｘｃ、ｙｃ）の算出を行わず、登録している基準点（ｘｃ、ｙｃ）を読み出して利用してもよい。
－画像の補完－
　第１の推定部１１は、上記処理で決定した基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と異なる場合、その魚眼画像のイメージサークル内画像に画像を補完し、補完円形画像を生成する。なお、基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と一致する場合、第１の推定部１１は当該画像の補完を実行しない。
　補完円形画像は、イメージサークル内画像に補完画像を加えた画像であって、基準点（ｘｃ、ｙｃ）が中心となる円形の画像である。なお、補完円形画像は、基準点（ｘｃ、ｙｃ）からイメージサークル内画像の外周上の点までの距離の最大値が半径となり、イメージサークル内画像が内接してもよい。イメージサークル内画像に加える補完画像は、単色（例：黒）の画像であってもよいし、任意のパターン画像であってもよいし、その他であってもよい。
　図１１に、第１の推定部１１が生成した補完円形画像Ｃ２の一例を示す。魚眼画像Ｆのイメージサークル内画像Ｃ１に黒単色の補完画像を加えて、補完円形画像Ｃ２が生成されている。補完円形画像Ｃ２は、図示するように円形であり、基準点（ｘｃ、ｙｃ）がその中心である。そして、補完円形画像Ｃ２の半径ｒは、基準点（ｘｃ、ｙｃ）からイメージサークル内画像Ｃ１の外周上の点までの距離の最大値である。なお、イメージサークル内画像Ｃ１は補完円形画像Ｃ２に内接している。
－基準線Ｌｓの決定－
　基準線Ｌｓは、基準点（ｘｃ、ｙｃ）と、円形画像（イメージサークル内画像Ｃ１、補完円形画像Ｃ２等）の外周上の任意の点とを結ぶ線である。基準線Ｌｓの位置が、円形画像をパノラマ展開するときに切り開く位置となる。第１の推定部１１は、例えば人物と重ならない基準線Ｌｓを設定することができる。このように基準線Ｌｓを設定すれば、人物がパノラマ画像内で２つの部分に分離する不都合を抑制できる。
　人物と重ならない基準線Ｌｓを設定する手法は様々である。例えば、第１の推定部１１は、上記処理で検出した各人物の身体の複数点から所定距離以内には基準線Ｌｓを設定せず、上記検出した複数点から所定距離以上離れた場所に基準線Ｌｓを設定してもよいし。
－幅ｗ、高さｈの決定－
　幅ｗはパノラマ画像の幅であり、高さｈはパノラマ画像の高さである。これらの値はデフォルト値であってもよいし、ユーザが任意に設定し、画像処理装置１０に登録してもよい。
－パノラマ展開－
　基準線Ｌｓ、基準点（ｘｃ、ｙｃ）、幅ｗ、高さｈを決定した後、第１の推定部１１は魚眼画像をパノラマ展開し、パノラマ画像を生成する。なお、基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と異なる場合、第１の推定部１１は補完円形画像をパノラマ展開してパノラマ画像を生成する。一方、基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と一致する場合、第１の推定部１１は、魚眼画像のイメージサークル内画像をパノラマ展開してパノラマ画像を生成する。第１の推定部１１は、図１を用いて説明した手法を用いて、パノラマ展開することができる。
　次に、パノラマ展開プロセスの処理の流れの一例を説明する。なお、各処理の詳細は上述したので、ここでの説明は適宜省略する。まず、図１２のフローチャートを用いて、基準点（ｘｃ、ｙｃ）を決定する処理の流れの一例を説明する。
　魚眼画像が入力されると、第１の推定部１１は、イメージサークル内画像の中から、複数の人物各々の身体の所定の複数点を検出する（Ｓ１０）。例えば、第１の推定部１１は、各人物の両肩の真ん中Ｐ１と腰の真ん中Ｐ２を検出する。
　ここで、図１３のフローチャートを用いて、Ｓ１０の処理の流れの一例を説明する。まず、第１の推定部１１は、イメージサークル内画像を解析し、複数の人物各々の身体の所定の複数点を検出する（Ｓ２０）。その後、第１の推定部１１は、イメージサークル内画像を所定角度回転する（Ｓ２１）。所定角度は例えば９０°であるが、これに限定されない。
　そして、第１の推定部１１は、回転後のイメージサークル内画像を解析し、複数の人物各々の身体の所定の複数点を検出する（Ｓ２２）。そして、回転角度の合計が３６０°に達していない場合（Ｓ２３のＮｏ）、第１の推定部１１は、Ｓ２１に戻り同様の処理を繰り返す。一方、回転角度の合計が３６０°に達した場合（Ｓ２３のＹｅｓ）、第１の推定部１１は処理を終了する。
　図１２に戻り、Ｓ１０の後、第１の推定部１１は、Ｓ１０で検出された所定の複数点に基づき複数の人物各々の位置における重力方向を特定する（Ｓ１１）。例えば、第１の推定部１１は、各人物の両肩の真ん中Ｐ１から腰の真ん中Ｐ２に向かう方向を、各人物の位置における重力方向として特定する。
　次いで、第１の推定部１１は、複数の人物各々の位置を通り、各々の位置における重力方向に延伸した直線を算出する（Ｓ１２）。そして、複数の直線が１点で交わる場合（Ｓ１３のＹｅｓ）、第１の推定部１１は、交わる点を基準点（ｘｃ、ｙｃ）とする（Ｓ１４）。一方、複数の直線が１点で交わらない場合（Ｓ１３のＮｏ）、第１の推定部１１は、複数の直線各々からの距離が所定条件（例：最短）を満たす点を求め、その点を基準点（ｘｃ、ｙｃ）とする（Ｓ１５）。
　次に、図１４のフローチャートを用いて、パノラマ展開する処理の流れの一例を説明する。
　図１２の処理で決定した基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と一致する場合（Ｓ３０のＹｅｓ）、第１の推定部１１は、図１を用いて説明した手法を用いて、その魚眼画像のイメージサークル内画像をパノラマ展開し、パノラマ画像を生成する（Ｓ３３）。すなわち、この場合、補完円形画像の生成、及び、補完円形画像のパノラマ展開は実施されない。
　一方、図１２の処理で決定した基準点（ｘｃ、ｙｃ）が魚眼画像のイメージサークル内画像の中心と一致しない場合（Ｓ３０のＮｏ）、第１の推定部１１は、補完円形画像を生成する（Ｓ３１）。補完円形画像は、イメージサークル内画像に補完画像を加えた円形の画像であって、基準点（ｘｃ、ｙｃ）がその円の中心となる画像である。なお、補完円形画像は、基準点（ｘｃ、ｙｃ）からイメージサークル内画像の外周上の点までの距離の最大値が半径となり、イメージサークル内画像が内接してもよい。イメージサークル内画像に加える補完画像は、単色（例：黒）の画像であってもよいし、任意のパターン画像であってもよいし、その他であってもよい。
　そして、第１の推定部１１は、図１を用いて説明した手法を用いて、その補完円形画像をパノラマ展開し、パノラマ画像を生成する（Ｓ３２）。
（第１の推定プロセス）
　第１の推定プロセスでは、第１の推定部１１は、生成した時系列な複数のパノラマ画像と第１の推定モデルに基づき、その時系列な複数のパノラマ画像が示す人物行動を推定する。
　まず、第１の推定部１１は、時系列な複数のパノラマ画像から、画像内の各位置の特徴の時間変化を示す３次元特徴情報を生成する。例えば、第１の推定部１１は、３Ｄ　ＣＮＮ（例えば、３Ｄ　Ｒｅｓｎｅｔ等の畳み込み深層学習ネットワークなどであるが、これに限定されない）に基づき３次元特徴情報を生成することができる。
　また、第１の推定部１１は、時系列な複数のパノラマ画像各々において人物が存在する位置を示す人物位置情報を生成する。画像内に複数の人物が存在する場合、第１の推定部１１は、複数の人物各々が存在する位置を示す人物位置情報を生成することができる。例えば、第１の推定部１１は、人物のシルエット（全身）を画像内で抽出し、抽出したシルエットを内包する画像内のエリアを示す人物位置情報を生成する。第１の推定部１１は、深層学習技術に基づき、より具体的には平面の画像や映像の中からあらゆる物体（例えば、人）を高速かつ高精度に認識する「物体認識の深層学習ネットワーク」に基づき人物位置情報を生成することができる。物体認識の深層学習ネットワークとしては、Ｍａｓｋ－ＲＣＮＮ、ＲＣＮＮ、Ｆａｓｔ　ＲＣＮＮ、Ｆａｓｔｅｒ　ＲＣＮＮ等が例示されるが、これらに限定されない。なお、第１の推定部１１は、時系列な複数のパノラマ画像各々に対して同様の人物検出処理を実施してもよいし、人物追跡技術を利用して一度検出した人物を画像内で追跡してその位置を特定してもよい。
　その後、第１の推定部１１は、人物位置情報で示される人物が存在する位置における３次元特徴情報が示す特徴の時間変化に基づき、複数のパノラマ画像が示す人物行動を推定する。例えば、第１の推定部１１は、人物位置情報で示される人物が存在する位置を除く位置における値を所定値（例：０）に変更する補正を３次元特徴情報に対して行った後、補正後の３次元特徴情報に基づき複数の画像が示す人物行動を推定することができる。第１の推定部１１は、予め機械学習で生成された第１の推定モデルと、補正後の３次元特徴情報とに基づき、人物行動を推定することができる。
　第１の推定モデルは、標準レンズ（例えば画角４０°前後～６０°前後）を用いて生成された画像（学習データ）に基づく機械学習で生成された人物行動を推定するモデルとすることができる。その他、第１の推定モデルは、魚眼画像をパノラマ展開して生成されたパノラマ画像（学習データ）に基づく機械学習で生成された人物行動を推定するモデルであってもよい。
　ここで、図１５のフローチャートを用いて、第１の推定プロセスの処理の流れの一例を説明する。
　まず、第１の推定部１１は、上記パノラマ展開プロセスを実行することで、時系列な複数のパノラマ画像を取得する（Ｓ４０）。
　その後、第１の推定部１１は、時系列な複数のパノラマ画像から、画像内の各位置の特徴の時間変化を示す３次元特徴情報を生成する（Ｓ４１）。また、第１の推定部１１は、複数のパノラマ画像各々において人物が存在する位置を示す人物位置情報を生成する（Ｓ４２）。
　そして、第１の推定部１１は、人物位置情報で示される人物が存在する位置における３次元特徴情報が示す特徴の時間変化に基づき、複数の画像が示す人物行動を推定する（Ｓ４３）。
　次に、図１６を用いて、第１の推定プロセスの具体例を説明する。なお、あくまで一例であり、これに限定されない。
　まず、第１の推定部１１は、例えば１６フレーム分の時系列なパノラマ画像（１６×２４５１×８００）を取得したとする。すると、第１の推定部１１は、３Ｄ　ＣＮＮ（例えば、３Ｄ　Ｒｅｓｎｅｔ等の畳み込み深層学習ネットワークなどであるが、これに限定されない）に基づき、この１６フレーム分のパノラマ画像から、５１２チャンネルに畳み込まれた３次元特徴情報（５１２×７７×２５）を生成する。また、第１の推定部１１は、Ｍａｓｋ－ＲＣＮＮ等の物体認識の深層学習ネットワークに基づき、１６フレーム分の画像各々において人物が存在する位置を示す人物位置情報（図中、binary Mask）を生成する。図示する例では、人物位置情報は、各人物を内包する複数の矩形のエリア各々の位置を示す。
　次いで、第１の推定部１１は、人物位置情報で示される人物が存在する位置を除く位置における値を所定値（例：０）に変更する補正を３次元特徴情報に対して行う。その後、第１の推定部１１は、当該３次元特徴情報をＮ個のブロック（各々ｋの幅を有する）に分割し、Average Pooling、flatten、fully-connected層等を経て、予め定義された複数のカテゴリ（人物行動）各々が含まれる確率（出力値）をブロック毎に得る。
　図示する例では、１９のカテゴリが定義・学習されている。１９のカテゴリは、「歩く」、「走る」、「手を振る」、「物を拾う」、「物を捨てる」、「ジャケットを脱ぐ」、「ジャケットを着る」、「電話を掛ける」、「スマートフォンを使う」、「おやつを食べる」、「階段を上がる」、「階段を下る」、「水を飲む」、「握手」、「他人のポケットから物を取る」、「他人に物を渡す」、「他人を押す」、「カードをかざして駅構内に入る」、「カードをかざして駅改札を出る」であるが、これらに限定されない。例えば、処理装置２０は、当該確率が閾値以上のカテゴリに対応する人物行動が、その画像で示されていると推定する。
　なお、図中、N instance scoresは、時系列な複数のパノラマ画像に含まれるＮ個のブロック各々が上記１９のカテゴリ各々を含む確率を示す。そして、図中、Final scores of the panorama branch for clip 1は、時系列な複数のパノラマ画像が上記１９のカテゴリ各々を含む確率を示す。ここで、N instance scoresからFinal scores of the panorama branch for clip 1を算出する処理の詳細は特段制限されないが、以下一例を説明する。
　当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（式（４）参照）、最大値を返すmax関数（式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（式（６）参照）等の利用が考えられる。これらの関数は広く知られているのでここでの説明は省略する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　なお、上記流れと逆方向にトレースすることで、当該確率が閾値以上のカテゴリ（人物行動）が示される画像内の位置を算出することができる。
「魚眼プロセス」
　魚眼プロセスは、第２の推定部１２により実行される。第２の推定部１２は、図５に示すように、時系列な複数の魚眼画像を取得すると（魚眼画像取得プロセス）、各々から一部領域を切り出し時系列な複数の魚眼部分画像を生成する（第１の切出プロセス）。その後、第２の推定部１２は、生成した時系列な複数の魚眼部分画像を編集し、魚眼部分画像に含まれる人物毎に、時系列な複数の編集後魚眼部分画像を生成する（編集プロセス）。その後、第２の推定部１２は、時系列な複数の編集後魚眼部分画像と第２の推定モデルに基づき、その時系列な複数の編集後魚眼部分画像が示す人物行動を推定する（第２の推定プロセス）。このように、魚眼プロセスは、魚眼画像取得プロセス、第１の切出プロセス、編集プロセス及び第２の推定プロセスを含む。以下、各々を詳細に説明する。
（魚眼画像取得プロセス）
　魚眼画像取得プロセスでは、第２の推定部１２は、時系列な複数の魚眼画像を取得する。第２の推定部１２が実行する魚眼画像取得プロセスは、パノラマプロセスで説明した第１の推定部１１が実行する魚眼画像取得プロセスと同様であるので、ここでの説明は省略する。
（第１の切出プロセス）
　第１の切出プロセスでは、第２の推定部１２は、時系列な複数の魚眼画像各々から一部領域を切り出して時系列な複数の魚眼部分画像を生成する。第２の推定部１２は、パノラマプロセスで説明した基準点（ｘｃ、ｙｃ）を中心とした半径Ｒの円領域内の画像を魚眼部分画像として切り出す。半径Ｒは、予め設定された固定値であってもよい。その他、魚眼画像の解析結果に基づき決定される変動値であってもよい。後者の例として、例えば魚眼画像内の予め設定された中心領域に存在する人物の検出結果（検出人数）に基づき、半径Ｒ（魚眼部分画像の大きさ）を決定してもよい。検出人数が多いほど、半径Ｒは大きくなる。
（編集プロセス）
　編集プロセスでは、第２の推定部１２は、生成した時系列な複数の魚眼部分画像を編集し、魚眼部分画像に含まれる人物毎に、時系列な複数の編集後魚眼部分画像を生成する。以下、詳細に説明する。
　まず、第２の推定部１２は、魚眼部分画像を解析し、魚眼部分画像に含まれる人物を検出する。人物の検出は、パノラマプロセスで説明した処理（図１３の処理）と同様に、魚眼部分画像を回転させながら各回転位置で魚眼部分画像を解析して人物を検出する手法を採用してもよい。その他、魚眼画像を学習データとした機械学習で生成された人物検出モデルに基づき、魚眼部分画像に含まれる人物を検出してもよい。また、第２の推定部１２は、時系列な複数の魚眼部分画像各々に対して同様の人物検出処理を実施してもよいし、人物追跡技術を利用して一度検出した人物を動画像内で追跡してその位置を特定してもよい。
　人物を検出した後、第２の推定部１２は、検出した人物毎に、魚眼部分画像を回転する回転プロセス、及び、所定サイズの一部領域を切り出す第２の切出プロセスを実行して、編集後魚眼部分画像を生成する。
　回転プロセスでは、各人物の位置における重力方向が画像上で上下方向となるように魚眼部分画像を回転する。各人物の位置における重力方向を特定する手段は、パノラマプロセスで説明した通りであるが、その他の手法を利用してもよい。
　第２の切出プロセスでは、回転プロセス後の魚眼部分画像から、各人物を含む所定サイズの画像を切り出す。切り出す画像の形状および大きさは、予め定義されている。
　ここで、図１７を用いて、第１の切出プロセス及び編集プロセスの具体例を説明する。
　まず、（Ａ）→（Ｂ）に示すように、第２の推定部１２は、魚眼画像Ｆのイメージサークル内画像Ｃ１内の一部領域を魚眼部分画像Ｃ３として切り出す（第１の切出プロセス）。当該処理は、魚眼画像Ｆ毎に実行される。
　次に、（Ｂ）→（Ｃ）に示すように、第２の推定部１２は、魚眼部分画像Ｃ３内から人物を検出する。図示する例では２人の人物が検出されている。
　次に、（Ｃ）→（Ｄ）に示すように、第２の推定部１２は、検出された人物毎に、魚眼部分画像Ｃ３に対して回転プロセスを実行する。図示するように、回転後の魚眼部分画像Ｃ３においては、各人物の位置における重力方向が画像上で上下方向となる。当該処理は、魚眼部分画像Ｃ３毎に実行される。
　次に、（Ｄ）→（Ｅ）に示すように、第２の推定部１２は、検出された人物毎に、回転後の魚眼部分画像Ｃ３から各人物を含む所定サイズの画像を切り出し、編集後魚眼部分画像Ｃ４を生成する。当該処理は、検出された人物毎、かつ、魚眼部分画像Ｃ３毎に実行される。
（第２の推定プロセス）
　第２の推定プロセスでは、第２の推定部１２は、生成した時系列な複数の編集後魚眼部分画像と第２の推定モデルに基づき、その時系列な複数の編集後魚眼部分画像が示す人物行動を推定する。第２の推定部１２による人物行動の推定処理は、基本的には、第１の推定部１１による人物行動の推定処理と同様である。
　図１８に示すように、第２の推定部１２は、第１の人物に対応する時系列な複数の編集後魚眼部分画像から、画像内の各位置の特徴の時間変化を示す３次元特徴情報を生成する。例えば、第２の推定部１２は、３Ｄ　ＣＮＮ（例えば、３Ｄ　Ｒｅｓｎｅｔ等の畳み込み深層学習ネットワークなどであるが、これに限定されない）に基づき３次元特徴情報を生成することができる。その後、第２の推定部１２は、生成した３次元特徴情報に対し、人物が検出された位置の値を強調する処理を行う。
　第２の推定部１２は、魚眼部分画像から検出された人物毎に当該処理を行う。そして、人物毎に算出された「人物が検出された位置の値を強調した３次元特徴情報」を連結した後、Average Pooling、flatten、fully-connected層等の同様の処理を経て、予め定義された複数のカテゴリ（人物行動）各々が各人物に対応する時系列な複数の編集後魚眼部分画像に含まれる確率（出力値）を得る。
　その後、第２の推定部１２は、各人物に対応する時系列な複数の編集後魚眼部分画像各々に複数のカテゴリ（人物行動）各々が含まれる確率を統合し、魚眼部分画像に複数のカテゴリ（人物行動）各々が含まれる確率を算出する演算を行う。
　当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
　ここまでの説明から明らかなように、第２の推定部１２は、魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、魚眼部分画像が示す人物行動を推定する。
「統合プロセス」
　統合プロセスは、第３の推定部１３により実行される。第３の推定部１３は、図５に示すように、パノラマプロセスで得られたパノラマ画像に基づく推定結果と、魚眼プロセスで得られた魚眼部分画像に基づく推定結果とに基づき、魚眼画像が示す人物行動を推定する。
　上述の通り、パノラマ画像に基づく推定結果及び魚眼部分画像に基づく推定結果はいずれも、予め定義された複数の人物行動各々を含む確率を示す。第３の推定部１３は、パノラマ画像に基づく推定結果及び魚眼部分画像に基づく推定結果に基づく所定の演算処理で、予め定義された複数の人物行動各々を魚眼画像が含む確率を算出する。
　当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
＜実施例＞
　次に、画像処理装置１０の実施例を説明する。なお、ここで説明する実施例は、本実施形態の画像処理装置１０を実施する場合の一例であり、これに限定されない。
　図１９は、本実施例の画像処理装置１０のブロック図の一例である。画像処理装置１０の基本構成は、上述した通り、パノラマプロセスと、魚眼プロセスと、統合プロセスとで構成される。各プロセスの基本構成も上述した通りである。
　図２０は、本実施例の画像処理装置１０の処理の流れを示すフローチャートである。
　Ｓ１０１では、画像処理装置１０は、入力された時系列な複数の魚眼画像を所定数毎の複数のクリップ（clip）に分割する。図２１に具体例を示す。図示する例では、１２０個の時系列な魚眼画像が入力され、それらが８個のクリップに分割されている。各クリップは１６個の魚眼画像を含み、最後の１つのクリップのみが８個の魚眼画像を含む。その後、クリップごとに、魚眼プロセス（Ｓ１０２乃至Ｓ１０８）、パノラマプロセス（Ｓ１０９乃至Ｓ１１５）及び統合処理（Ｓ１１６）が実行される。
　魚眼プロセス（Ｓ１０２乃至Ｓ１０８）の詳細は、図１７及び図１８に示されている。魚眼プロセスでは、画像処理装置１０は、時系列な複数の魚眼画像Ｆ各々の一部領域を抽出して時系列な複数の魚眼部分画像Ｃ３を生成する（Ｓ１０２、図１７の（Ａ）→（Ｂ））。その後、画像処理装置１０は、時系列な複数の魚眼部分画像Ｃ３から人物を検出し、動画像内で追跡する（Ｓ１０３、図１７の（Ｂ）→（Ｃ））。
　次いで、画像処理装置１０は、検出された人物毎に、魚眼部分画像Ｃ３に対して回転プロセス（図１７の（Ｃ）→（Ｄ））、及び、回転後の魚眼部分画像Ｃ３から各人物を含む所定サイズの画像を切り出すプロセス（図１７の（Ｄ）→（Ｅ））を実行する（Ｓ１０４）。これにより、検出された人物毎に、時系列な複数の編集後魚眼部分画像Ｃ４が得られる。
　その後のＳ１０５では、画像処理装置１０は、図１８に示すように、検出された人物毎に、各々の時系列な複数の編集後魚眼部分画像を３Ｄ　ＣＮＮ（例えば、３Ｄ　Ｒｅｓｎｅｔ等の畳み込み深層学習ネットワークなどであるが、これに限定されない）に入力し、３次元特徴情報を生成する。また、画像処理装置１０は、生成した３次元特徴情報に対し、人物が検出された位置の値を強調する処理を行う。
　次いで、画像処理装置１０は、人物毎に得られた３次元特徴情報を連結する（Ｓ１０６）。その後、画像処理装置１０は、Average Pooling、flatten、fully-connected層等を経て、予め定義された複数のカテゴリ（人物行動）各々が各人物に対応する時系列な複数の編集後魚眼部分画像に含まれる確率（出力値）を得る（Ｓ１０７）。
　その後、画像処理装置１０は、各人物に対応する時系列な複数の編集後魚眼部分画像各々に複数のカテゴリ（人物行動）各々が含まれる確率を統合し、時系列な複数の魚眼部分画像に複数のカテゴリ（人物行動）各々が含まれる確率を算出する演算を行う（Ｓ１０８）。当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
　パノラマプロセス（Ｓ１０９乃至Ｓ１１５）の詳細は、図１６に示されている。パノラマプロセスでは、画像処理装置１０は、時系列な複数の魚眼画像各々をパノラマ展開した後（Ｓ１０９）、３Ｄ　ＣＮＮ（例えば、３Ｄ　Ｒｅｓｎｅｔ等の畳み込み深層学習ネットワークなどであるが、これに限定されない）に基づき、この時系列な複数のパノラマ画像から、５１２チャンネルに畳み込まれた３次元特徴情報（５１２×７７×２５）を生成する（Ｓ１１０）。また、画像処理装置１０は、Ｍａｓｋ－ＲＣＮＮ等の物体認識の深層学習ネットワークに基づき、時系列な複数のパノラマ画像各々において人物が存在する位置を示す人物位置情報を生成する（Ｓ１１２）。
　次いで、画像処理装置１０は、Ｓ１１２で生成された人物位置情報で示される人物が存在する位置を除く位置における値を所定値（例：０）に変更する補正を、Ｓ１１０で生成された３次元特徴情報に対して行う（Ｓ１１１）。
　その後、画像処理装置１０は、当該３次元特徴情報をＮ個のブロック（各々ｋの幅を有する）に分割し（Ｓ１１３）、Average Pooling、flatten、fully-connected層等を経て、予め定義された複数のカテゴリ（人物行動）各々が含まれる確率（出力値）をブロック毎に得る（Ｓ１１４）。
　その後、画像処理装置１０は、ブロック毎に得られた複数のカテゴリ（人物行動）各々が含まれる確率を統合し、時系列な複数のパノラマ画像に複数のカテゴリ（人物行動）各々が含まれる確率を算出する演算を行う（Ｓ１１５）。当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
　その後、画像処理装置１０は、魚眼プロセスで得られた「時系列な複数の魚眼部分画像に複数のカテゴリ（人物行動）各々が含まれる確率」と、パノラマプロセスで得られた「時系列な複数のパノラマ画像に複数のカテゴリ（人物行動）各々が含まれる確率」を統合し、各クリップに含まれる時系列な複数の魚眼画像に複数のカテゴリ（人物行動）各々が含まれる確率を算出する演算を行う（Ｓ１１６、図２２参照）。当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
　ここまでの処理をクリップ毎に行うことで、クリップ毎に、「各クリップに含まれる時系列な複数の魚眼画像に複数のカテゴリ（人物行動）各々が含まれる確率」が得られる。Ｓ１１７では、クリップ毎に得られた複数の「各クリップに含まれる時系列な複数の魚眼画像に複数のカテゴリ（人物行動）各々が含まれる確率」を統合し、「入力された１２０個の時系列な魚眼画像に複数のカテゴリ（人物行動）各々が含まれる確率」を算出する演算を行う（図２２参照）。当該演算処理においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
　その後、画像処理装置１０は、算出結果の出力（Ｓ１１８）や、含まれると予測した人物行動の位置特定（Ｓ１１９）を行う。
　なお、学習段階においては、図２２に示すように、画像処理装置１０は、sigmoid関数を適用して「入力された１２０個の時系列な魚眼画像に複数のカテゴリ（人物行動）各々が含まれる確率」を０～１の値に変換する。そして、図示するTotal loss1関数の値を最適化するように学習を行う。
＜変形例＞
「第１の変形例」
　図２３に、変形例のフローを示す。図５との比較で明らかなように、当該変形例は、パノラマプロセスの構成が上述した実施形態と異なる。以下、当該変形例のパノラマプロセスを詳細に説明する。
　まず、第１の推定部１１は、画像解析して、時系列な複数のパノラマ画像が示す人物行動の第１の推定結果を算出する。当該処理は、上記実施形態で説明したパノラマプロセスの処理と同じである。
　また、第１の推定部１１は、パノラマ画像から生成されたオプティカルフロー画像を画像解析して、パノラマ画像が示す人物行動の第２の推定結果を算出する。オプティカルフロー画像は、時系列な複数のパノラマ画像における物体の動きを表すベクトルを画像化したものである。上記実施形態で説明した「時系列な複数のパノラマ画像が示す人物行動を推定する処理」において、「時系列な複数のパノラマ画像」を「時系列な複数のオプティカルフロー画像」に置き換えることで、第２の推定結果の算出が実現される。
　そして、第１の推定部１１は、第１の推定結果と第２の推定結果とに基づき、時系列な複数のパノラマ画像が示す人物行動を推定する。この推定結果が、魚眼プロセスで得られた推定結果と統合される。
　第１の推定結果と第２の推定結果との統合においては、複数の値の統計値を返す関数の利用が考えられる。例えば、平均値を返すaverage関数（上記式（４）参照）、最大値を返すmax関数（上記式（５）参照）、max関数に滑らかに近似したlog-sum-exp関数（上記式（６）参照）等の利用が考えられる。
「第２の変形例」
　上記実施形態では、画像処理装置１０がパノラマ画像の生成、魚眼部分画像の生成、及び、編集後魚眼部分画像の生成を行ったが、画像処理装置１０と異なる他の装置がこれらの処理の中の少なくとも１つを行ってもよい。そして、他の装置が生成した画像（パノラマ画像、魚眼部分画像及び編集後魚眼部分画像の中の少なくとも１つ）が、画像処理装置１０に入力されてもよい。この場合、画像処理装置１０は、入力された画像を利用して、上述した処理を行う。
「第３の変形例」
　パノラマプロセスでは、生成したパノラマ画像に対し、魚眼プロセスで抽出される一部領域に対応する部分（以下、「その部分」）の情報を無くす処理（例：その部分を単色にしたり、所定のパターンにしたりする）を実行してもよい。そして、当該処理後のパノラマ画像と第１の推定モデルとに基づき、人物行動を推定してもよい。魚眼プロセスの方でその部分に含まれる人物行動は推定されるので、パノラマ画像からその部分の情報を無くすことができる。しかし、その部分と他の部分にまたがる人物が存在する場合、人物行動の推定精度が悪くなる等の状況が発生し得る。このため、上記実施形態のように、パノラマ画像からその部分の情報を無くさずに処理を実行することが好ましい。
「第４の変形例」
　上記説明した実施形態の編集プロセスでは、第２の推定部１２は、魚眼部分画像を解析して、魚眼部分画像に含まれる人物を検出した。この「魚眼部分画像に含まれる人物を検出する処理」の変形例として、第２の推定部１２は、以下の処理を行ってもよい。まず、第２の推定部１２は、魚眼画像を解析し、魚眼画像に含まれる人物を検出する。その後、第２の推定部１２は、魚眼画像から検出した人物の中の、魚眼画像内の検出位置（座標）が所定条件（魚眼部分画像として切り出される領域内）を満たす人物を検出する。魚眼画像から人物を検出する処理は、上述した魚眼部分画像から人物を検出する処理のアルゴリズムと同様のアルゴリズムで実現される。当該変形例によれば、魚眼部分画像に含まれる人物の検出精度が向上する。
＜作用効果＞
　本実施形態の第１の比較例として、魚眼プロセス及び統合プロセスを実行せず、パノラマプロセスのみを実行して魚眼画像に含まれる人物の人物行動を推定する処理が考えられる。
　しかし、上述の通り、魚眼画像からパノラマ画像を生成する際に基準点（ｘｃ、ｙｃ）付近の画像が大きく引き伸ばされるため、基準点（ｘｃ、ｙｃ）付近の人物がパノラマ画像において大きく歪み得る。このため、第１の比較例の場合、その歪んだ人物を検出できなかったり、推定精度が低下したりという問題が発生し得る。
　また、本実施形態の第２の比較例として、パノラマプロセス及び統合プロセスを実行せず、上述した魚眼プロセスと同様にして、魚眼画像の全体をパノラマ展開せずに処理して魚眼画像に含まれる人物の人物行動を推定する処理が考えられる。
　しかし、魚眼画像の中に多数の人物が含まれる場合、生成して処理する画像の数が膨大となり、コンピュータの処理負担が大きくなる。上述した魚眼プロセスと同様の処理とする場合、魚眼画像に含まれる人物を検出し、人物毎に各人物の画像内の向きを調整して複数の画像（編集後魚眼部分画像に対応）を生成し、それらを処理して複数の人物各々の人物行動を推定することとなる。当然、検出された人物の数が増えるほど、生成して処理する画像の数が膨大となる。
　本実施形態の画像処理装置１０は、これらの問題を解決することができる。本実施形態の画像処理装置１０は、パノラマ画像を解析して推定した人物行動と、魚眼画像の基準点（ｘｃ、ｙｃ）付近の一部画像をパノラマ展開せずに解析して推定した人物行動とを統合して、魚眼画像に含まれる人物の人物行動を推定する。
　魚眼画像の基準点（ｘｃ、ｙｃ）付近の一部画像をパノラマ展開せずに解析した場合、上述した基準点（ｘｃ、ｙｃ）付近の人物が大きく歪む問題が生じない。このため、基準点（ｘｃ、ｙｃ）付近の人物を検出し、その人物の人物行動を精度よく推定することができる。すなわち、上記第１の比較例の問題を解決できる。
　また、パノラマ画像において問題が生じ得る「魚眼画像の基準点（ｘｃ、ｙｃ）付近の一部画像」のみをパノラマ展開せずに解析し、その他の部分は当該処理の対象外とする。このため、魚眼プロセスで検出される人物の数が抑制される。結果、上記第２の比較例に比べて、魚眼プロセスで生成して処理する画像（編集後魚眼部分画像）の数を抑制し、コンピュータの処理負担を軽減することができる。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段と、
　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段と、
　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段と、
を有する画像処理装置。
２．　前記第２の推定手段は、
　　前記魚眼画像内に存在する複数の人物各々の位置における重力方向に基づき決定された前記魚眼画像内の基準点を中心とした円領域内の画像を、前記魚眼部分画像とする１に記載の画像処理装置。
３．　前記魚眼画像内に存在する複数の人物各々の位置における重力方向は、前記複数の人物各々から検出された身体の所定の複数点に基づき特定される２に記載の画像処理装置。
４．　前記第２の推定手段は、
　　前記魚眼画像内に存在する人物の検出結果に基づき、前記魚眼部分画像の大きさを決定する１から３のいずれかに記載の画像処理装置。
５．　前記第２の推定手段は、
　　前記魚眼部分画像を回転する処理、及び、所定サイズの一部領域を切り出す処理を実行して、前記魚眼部分画像内で検出した人物毎に編集後魚眼部分画像を生成し、
　　前記編集後魚眼部分画像を解析して、前記魚眼部分画像が示す人物行動を推定する１から４のいずれかに記載の画像処理装置。
６．　前記パノラマ画像に基づく推定結果及び前記魚眼部分画像に基づく推定結果はいずれも、予め定義された複数の人物行動各々を含む確率を示し、
　前記第３の推定手段は、前記パノラマ画像に基づく推定結果及び前記魚眼部分画像に基づく推定結果に基づく所定の演算処理で、前記予め定義された複数の人物行動各々を前記魚眼画像が含む確率を算出する１から５のいずれかに記載の画像処理装置。
７．　前記第１の推定手段は、
　　前記パノラマ画像を画像解析して、前記パノラマ画像が示す人物行動の第１の推定結果を算出し、
　　前記パノラマ画像から生成されたオプティカルフロー画像を画像解析して、前記パノラマ画像が示す人物行動の第２の推定結果を算出し、
　　前記第１の推定結果と前記第２の推定結果とに基づき、前記パノラマ画像が示す人物行動を推定する１から６のいずれかに記載の画像処理装置。
８．　コンピュータが、
　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定し、
　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定し、
　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する画像処理方法。
９．　コンピュータを、
　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段、
　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段、
　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段、
として機能させるプログラム。

Claims (9)

  1. 　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段と、
    　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段と、
    　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段と、
    を有する画像処理装置。
  2. 　前記第２の推定手段は、
    　　前記魚眼画像内に存在する複数の人物各々の位置における重力方向に基づき決定された前記魚眼画像内の基準点を中心とした円領域内の画像を、前記魚眼部分画像とする請求項１に記載の画像処理装置。
  3. 　前記魚眼画像内に存在する複数の人物各々の位置における重力方向は、前記複数の人物各々から検出された身体の所定の複数点に基づき特定される請求項２に記載の画像処理装置。
  4. 　前記第２の推定手段は、
    　　前記魚眼画像内に存在する人物の検出結果に基づき、前記魚眼部分画像の大きさを決定する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記第２の推定手段は、
    　　前記魚眼部分画像を回転する処理、及び、所定サイズの一部領域を切り出す処理を実行して、前記魚眼部分画像内で検出した人物毎に編集後魚眼部分画像を生成し、
    　　前記編集後魚眼部分画像を解析して、前記魚眼部分画像が示す人物行動を推定する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記パノラマ画像に基づく推定結果及び前記魚眼部分画像に基づく推定結果はいずれも、予め定義された複数の人物行動各々を含む確率を示し、
    　前記第３の推定手段は、前記パノラマ画像に基づく推定結果及び前記魚眼部分画像に基づく推定結果に基づく所定の演算処理で、前記予め定義された複数の人物行動各々を前記魚眼画像が含む確率を算出する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記第１の推定手段は、
    　　前記パノラマ画像を画像解析して、前記パノラマ画像が示す人物行動の第１の推定結果を算出し、
    　　前記パノラマ画像から生成されたオプティカルフロー画像を画像解析して、前記パノラマ画像が示す人物行動の第２の推定結果を算出し、
    　　前記第１の推定結果と前記第２の推定結果とに基づき、前記パノラマ画像が示す人物行動を推定する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　コンピュータが、
    　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定し、
    　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定し、
    　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する画像処理方法。
  9. 　コンピュータを、
    　　魚眼レンズカメラで生成された魚眼画像をパノラマ展開したパノラマ画像を画像解析し、前記パノラマ画像が示す人物行動を推定する第１の推定手段、
    　　前記魚眼画像の一部領域である魚眼部分画像をパノラマ展開せずに画像解析し、前記魚眼部分画像が示す人物行動を推定する第２の推定手段、
    　　前記パノラマ画像に基づく推定結果と、前記魚眼部分画像に基づく推定結果とに基づき、前記魚眼画像が示す人物行動を推定する第３の推定手段、
    として機能させるプログラム。
PCT/JP2020/036225 2020-09-25 2020-09-25 画像処理装置、画像処理方法及びプログラム WO2022064632A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022551516A JPWO2022064632A1 (ja) 2020-09-25 2020-09-25
PCT/JP2020/036225 WO2022064632A1 (ja) 2020-09-25 2020-09-25 画像処理装置、画像処理方法及びプログラム
US18/026,407 US20230368576A1 (en) 2020-09-25 2020-09-25 Image processing apparatus, image processing method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/036225 WO2022064632A1 (ja) 2020-09-25 2020-09-25 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022064632A1 true WO2022064632A1 (ja) 2022-03-31

Family

ID=80846326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036225 WO2022064632A1 (ja) 2020-09-25 2020-09-25 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230368576A1 (ja)
JP (1) JPWO2022064632A1 (ja)
WO (1) WO2022064632A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248968A1 (ja) * 2022-06-21 2023-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像加工方法、画像加工装置、及び画像加工プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016178406A (ja) * 2015-03-19 2016-10-06 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム
JP2020053019A (ja) * 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016178406A (ja) * 2015-03-19 2016-10-06 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム
JP2020053019A (ja) * 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOKUJI, YASUO: "Video cameras becoming sensors", NIKKEI COMPUTER, 31 October 2005 (2005-10-31), pages 66 - 70 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248968A1 (ja) * 2022-06-21 2023-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像加工方法、画像加工装置、及び画像加工プログラム

Also Published As

Publication number Publication date
US20230368576A1 (en) 2023-11-16
JPWO2022064632A1 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
Ibrahim et al. An automatic Arabic sign language recognition system (ArSLRS)
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Jesorsky et al. Robust face detection using the hausdorff distance
US7995805B2 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
CN109934065B (zh) 一种用于手势识别的方法和装置
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN107808147B (zh) 一种基于实时人脸点跟踪的人脸置信度判别方法
US9626552B2 (en) Calculating facial image similarity
JP6907774B2 (ja) 物体検出装置、物体検出方法、およびプログラム
CN106326853B (zh) 一种人脸跟踪方法及装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
US11315358B1 (en) Method and system for detection of altered fingerprints
Chamveha et al. Head direction estimation from low resolution images with scene adaptation
Zhang et al. Fast moving pedestrian detection based on motion segmentation and new motion features
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
Tsai et al. Robust in-plane and out-of-plane face detection algorithm using frontal face detector and symmetry extension
Kerdvibulvech A methodology for hand and finger motion analysis using adaptive probabilistic models
WO2022064632A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Ghosh et al. GSD-Net: compact network for pixel-level graphical symbol detection
WO2019230965A1 (ja) 物体らしさ推定装置、方法、およびプログラム
KR102237131B1 (ko) 객체를 포함하는 이미지를 처리하는 장치 및 방법
JP7327478B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20955226

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551516

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20955226

Country of ref document: EP

Kind code of ref document: A1