WO2022074700A1 - 情報処理装置、情報処理システム、情報処理方法 - Google Patents

情報処理装置、情報処理システム、情報処理方法 Download PDF

Info

Publication number
WO2022074700A1
WO2022074700A1 PCT/JP2020/037672 JP2020037672W WO2022074700A1 WO 2022074700 A1 WO2022074700 A1 WO 2022074700A1 JP 2020037672 W JP2020037672 W JP 2020037672W WO 2022074700 A1 WO2022074700 A1 WO 2022074700A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
margin
target
area
information processing
Prior art date
Application number
PCT/JP2020/037672
Other languages
English (en)
French (fr)
Inventor
勇人 逸身
悠介 篠原
浩一 二瓶
孝法 岩井
フロリアン バイエ
チャルヴィ ヴィタル
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/037672 priority Critical patent/WO2022074700A1/ja
Priority to JP2022554976A priority patent/JPWO2022074700A1/ja
Priority to US18/028,486 priority patent/US20230360405A1/en
Publication of WO2022074700A1 publication Critical patent/WO2022074700A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This disclosure relates to information processing devices, information processing systems, and information processing methods.
  • a method of providing necessary information is expected by improving the image quality of only the camera images and areas that are important for driving.
  • Patent Document 1 discloses an in-vehicle image processing device that performs image processing on an image signal output from an image pickup device that photographs the rear side of a vehicle. Further, in the same document, in order to ensure visibility to the object of the driver, the width of the margin M1 is wide with respect to the rectangular region R1 set for the object close to the vehicle, and the object is long away. It is also disclosed that the width of the margin M2 is set narrower with respect to the set rectangular region R2.
  • Patent Document 1 an appropriate margin is not set in consideration of subsequent image processing. Therefore, after performing image processing on the target area including the margin as shown in Patent Document 1 so as to have higher image quality than other areas, the remote monitoring device performs image processing on the image processed. When recognition is performed, the recognition accuracy of the target may decrease.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide an information processing apparatus or the like that can maintain recognition accuracy even when subsequent image processing is performed.
  • the information processing apparatus includes an image acquisition unit that acquires an image taken by an image pickup unit mounted on a vehicle, and an image acquisition unit.
  • a target detection unit that detects a target area including a target in the acquired image, and a target detection unit.
  • a classification identification unit that specifies the type of the detected target and the classification including the size of the detected target area,
  • An area determination unit that determines an image processing area as an area in which a margin corresponding to the specified classification is added to the target area. To prepare for.
  • the information processing system is An image acquisition unit that acquires images taken by the image pickup unit mounted on the vehicle, and an image acquisition unit.
  • a target detection unit that detects a target area including a target in the acquired image, and a target detection unit.
  • a classification identification unit that specifies the type of the detected target and the classification including the size of the detected target area,
  • An area determination unit that determines an image processing area as an area in which a margin corresponding to the specified classification is added to the target area. To prepare for.
  • the information processing method is The image taken by the image pickup unit mounted on the vehicle is acquired and The target area including the target in the acquired image is detected, and the target area is detected. Identify the type of the detected target and the classification including the size of the detected target area. An area in which a margin corresponding to the specified classification is added to the target area is determined as an image processing area.
  • FIG. It is a block diagram which shows the structure of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the information processing method which concerns on Embodiment 1.
  • It is a schematic diagram explaining the outline of a remote monitoring operation system.
  • It is a figure which shows an example of the image taken by the in-vehicle camera of a vehicle.
  • It is a flowchart which shows the optimum margin determination method.
  • It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to the first embodiment.
  • the information processing device 100 is, for example, a computer mounted on a vehicle.
  • the information processing apparatus 100 includes an image acquisition unit 101 that acquires an image captured by an image pickup unit mounted on a vehicle, a target detection unit 111 that detects a target area including an object in the acquired image, and the detection unit.
  • Image processing is performed on the classification specifying unit 112 that specifies the type of the target and the classification including the size of the detected target area, and the area in which the margin corresponding to the specified classification is added to the target area.
  • An area determination unit 110 for determining an area is provided.
  • FIG. 2 is a flowchart showing the image processing method according to the first embodiment.
  • the information processing method includes the following steps. That is, an image taken by an image pickup unit mounted on the vehicle is acquired (step S101), a target area including an object in the acquired image is detected (step S102), and the type of the detected object and the type of the detected object are determined. A classification including the size of the detected target region is specified (step S103), and a region to which a margin corresponding to the specified classification is added to the target region is determined as an image processing region (step S104). ..
  • FIG. 3 is a schematic diagram illustrating an outline of the remote monitoring operation system.
  • the remote monitoring driving system remotely controls the vehicle 5 that does not require a driver from the remote monitoring center.
  • images taken by a plurality of in-vehicle cameras 10A to 10D mounted on the vehicle 5 are remotely monitored and controlled by a remote monitoring control device 400 (hereinafter, simply referred to as a method) via a wireless communication network and the Internet. It may be described as a remote monitoring device).
  • the image processing device 200 mounted on the vehicle is used to perform predetermined image processing on the image from the in-vehicle camera and transmit the image processed image to the remote monitoring control device 800 via the network.
  • the remote monitoring control device 800 displays the received image on a display unit such as a monitor, and the remote driver 3 remotely controls the vehicle 5 while viewing the received image on the monitor.
  • the remote monitoring and control device 400 may display information for the remote driver 3 to remotely control the vehicle 5 in addition to the received video.
  • the remote monitoring control device 800 may display the received image and the analysis result to the remote driver 3.
  • the remote driving control device mounted on the vehicle vehicle 5 performs bidirectional communication with the remote monitoring control device 400 by using a communication method (for example, LTE, 5G) using a mobile phone network.
  • the image recognition unit 410 of the remote monitoring control device 400 can analyze the received video or image and detect and recognize the target by using the image recognition engine.
  • the remote-controlled driving system may be switched to remote control or automatic control when a vehicle under remote monitoring is running and a danger of the vehicle is detected. That is, the vehicle driven by a person may be temporarily switched to such control, or the vehicle may have a driver.
  • the in-vehicle camera 10A photographs the front of the vehicle
  • the in-vehicle camera 10B photographs the rear of the vehicle
  • the in-vehicle camera 10C photographs the right side of the vehicle
  • the in-vehicle camera 10D photographs the left side of the vehicle.
  • the number of in-vehicle cameras is not limited to this, and may be 5 or more. Further, the performance of each camera is basically the same, but may be slightly different.
  • a normal driver such as a taxi is required to have a second-class license, which requires that he / she can recognize an object (also called an object) within a range that a person with a visual acuity of 0.8 or more can see.
  • the image provided to the remote driver can also recognize an object within the range that a person with a visual acuity of 0.8 or more can see (for example, in the case of a road sign on a general road, the driver signs at a distance of 10.66 m). Can be recognized).
  • the remote driver needs to visually recognize not only the object but also the peripheral information of the object, and such peripheral information can be transmitted to the remote driver as a relatively high-quality image.
  • FIG. 4 is a diagram showing an example of an image taken by an in-vehicle camera of a vehicle.
  • FIG. 4 shows an example of an image taken in front of the vehicle 5 by the vehicle-mounted camera 10A shown in FIG.
  • the detected object is surrounded by a bounding box (this area is also called ROI (Region of Interest)).
  • ROI this area
  • those that can affect the driving of the vehicle that is, other vehicles, pedestrians, bicycles, traffic lights, traffic signs, and the like are detected.
  • the image analysis accuracy and recognition accuracy at the remote monitoring center can be maintained while suppressing the bandwidth used. Can be done.
  • a tight detection area may be set for the target.
  • the margin of the detection area surrounding the target here, the vehicle
  • different image processing for example, encoding, various compression processes, etc.
  • the image recognition accuracy at the remote monitoring center may decrease.
  • information on the area around the subject is also important in the video analysis of the subject. For example, in order to recognize a vehicle, information on surrounding areas such as roads is also considered to be important.
  • an area in which an optimum margin is set (transmission in FIG. 4). ROI) needs to be determined.
  • the optimum margin is derived according to the type of object (for example, vehicle, person, bicycle) and the class of the size of the object occupied in the image (for example, large, medium, small).
  • FIG. 5 is a flowchart showing a method for determining the optimum margin.
  • the teacher image data is clustered for each type of target and a class of the size of the target occupied in the image (step S201).
  • the size of the object may be indicated by the ratio of the area of the object (detection area) to the screen, or it is indicated by the area because the angle of view of the in-vehicle camera that captured the teacher image data is fixed. May be good.
  • This process is also called clustering of teacher image data.
  • the size of the target is classified into 3 classes (large, medium and small) by K-means or the like.
  • the target class is the one closest to the large, medium, and small reference points (average size in each class).
  • the teacher image data is duplicated, and in each duplicated image data, the ROI for which various margins are set is set in the area where the image quality should be improved, and the other areas are set in the area where the image quality should be lowered (step S202). ..
  • image data (a plurality of ROI image data) is subjected to different image processing for each set area (step S203).
  • the different image processes are high image quality processing and low image quality processing.
  • the image quality reduction process may include, for example, a contrast reduction process, a resolution reduction process, a gradation number reduction process, a color number reduction process, or a dynamic range reduction process.
  • the high image quality processing may also include a contrast reduction processing, a low resolution processing, a gradation number reduction processing, a color number reduction processing, or a dynamic range reduction processing, but various types such as higher image quality than the low image quality processing.
  • Image processing After that, video analysis is performed on the image-processed ROI image data to evaluate the recognition accuracy of the target. In this recognition accuracy evaluation, an image recognition engine that is the same as or similar to the image recognition engine used in the server computer located in the remote monitoring center can be used. A margin whose recognition accuracy is equal to or greater than a threshold value is determined as an optimum margin (step S204). The optimum margin is stored in the storage unit (storage unit 250 in FIG. 8) of each image processing device together with the above-mentioned classification (type of target and size of the target in the image) (step S205).
  • FIG. 6 is a diagram illustrating an accuracy result of image recognition of certain teacher image data.
  • the teacher image data IMG one target (for example, the type is "car” and the size of the target is "small") is detected (that is, the correct answer is labeled) before the image processing.
  • This teacher image data IMG is duplicated, and the duplicated teacher image data IMG1, IMG2, and IMG3 have different margins (for example, 5% for IMG1, 10% for IMG2, and 15% for IMG3).
  • Image data is image-processed (encoded) so as to improve the image quality of the area including the margin in the image and lower the image quality of the other areas.
  • Image recognition is performed for each encoded image. In this example, IMG2 with a margin of 10% was able to recognize images properly, but IMG1 with a margin of 5% and IMG3 with a margin of 15% were able to recognize images properly. It shall be.
  • FIG. 7 shows the recognition accuracy of the target for the ROI margin for each class of the target type and the target size occupying the image.
  • the horizontal axis shows the ROI margin (%), and the vertical axis shows the recognition accuracy of the object.
  • the margin at which the recognition accuracy peaks is set as the optimum margin.
  • the classification that is, the type of the object and the size of the object occupied in the image are "car / small”
  • the optimum margin is 20%.
  • the optimum margin is 10%
  • in the case of "car / large it is 5%.
  • the optimum margin is 10%.
  • the optimum margin tends to become narrower as the size on the screen increases.
  • the size of the object occupied in the image may be evaluated by subdividing it into not only the three classes of "large, medium, and small” but also more classes.
  • the optimum margin is assumed to have the maximum accuracy (peak value), but is not limited to this, and may be set as the optimum margin as long as the accuracy is equal to or higher than the threshold value.
  • the threshold value of the recognition accuracy can be arbitrarily set in consideration of the suppression of the band used in the image transmission system and the required recognition accuracy.
  • the classification is "target type” and "target size class in the image", but other classifications may be added.
  • driving environment For example, “driving environment”, “target orientation”, “time zone”, and “weather” may be added.
  • Examples of the driving environment include highways and residential areas.
  • Examples of the time zone include daytime, evening, and nighttime.
  • Examples of the weather include sunny, cloudy, rainy, and snowy.
  • FIG. 8 is a block diagram showing the configuration of the image processing apparatus according to the second embodiment.
  • the image processing device 200 is an information processing device configured by a computer.
  • the image processing device 200 includes an image acquisition unit 201, an ROI determination unit 210, an optimum margin storage unit 250, an encoder 220, and a communication unit 230.
  • the ROI determination unit 210 includes a target detection unit 211, a classification identification unit 212, and an optimum margin acquisition unit 213.
  • the image processing device 200 may have a margin setting unit 260.
  • the image processing device 200 may be provided with a margin setting unit realized by another computer.
  • the image acquisition unit 201 acquires an image (frame) taken by an image pickup unit such as an in-vehicle camera.
  • the ROI determination unit 210 detects an object of the acquired image and determines an ROI that is an appropriate region from the viewpoint of image recognition.
  • the target detection unit 211 detects the target in the image from the image acquisition unit 201.
  • the target to be detected can be arbitrarily set in advance.
  • an object for example, a person, a vehicle, a motorcycle, a bicycle, a truck, a bus, etc.
  • the target detection unit 211 can also identify the type of target (for example, a person, a vehicle, a bicycle, a motorcycle, etc.) by using a known image recognition technique.
  • the image acquisition unit 201 can continuously acquire the image captured by the image pickup unit as an image frame at a predetermined frame rate.
  • the classification specifying unit 212 specifies the classification including the type of the detected target and the size of the detected target area.
  • the size of the target area is calculated from the area of the bounding box, and a class of size corresponding to the calculated area (for example, "large”, “medium”, and "small”) is specified.
  • the optimum margin acquisition unit 213 acquires the optimum margin corresponding to the specified classification from the optimum margin storage unit 250.
  • the optimum margin storage unit 250 stores the optimum margin for each category evaluated in advance. As a result, low delay can be realized and the optimum margin can be obtained.
  • the optimum margin storage unit 250 may be inside the image processing device 200, or may be located in an external storage device connected to the image processing device 200 via a network.
  • the ROI determination unit 210 can determine an appropriate ROI by adding an optimum margin corresponding to each classification to the target area.
  • the ROI determined in this way is appropriately set so that the recognition accuracy of the target can be maintained at a certain level or higher even when the subsequent image processing (encoding) is performed.
  • the encoder 220 performs image processing so as to improve the image quality of the ROI and lower the image quality of other areas in the image.
  • the compression processing is performed at a lower compression rate than in the low image quality region.
  • the image quality reduction process may include a contrast reduction process, a resolution reduction process, a gradation number reduction process, a color number reduction process, or a dynamic range reduction process.
  • the high image quality processing may also include a contrast reduction processing, a low resolution processing, a gradation number reduction processing, a color number reduction processing, or a dynamic range reduction processing, but various types such as higher image quality than the low image quality processing.
  • Image processing may include a contrast reduction process, a resolution reduction process, a gradation number reduction processing, a color number reduction processing, or a dynamic range reduction processing, but various types such as higher image quality than the low image quality processing.
  • the communication unit 230 is a communication interface with a network.
  • the communication unit 230 is used to communicate with another network node device (for example, an information processing device on the remote monitoring center side) constituting the image processing system.
  • the communication unit 230 may be used for wireless communication.
  • the communication unit 230 may be used to perform wireless LAN communication specified in the IEEE 802.11 series, or mobile communication specified in 3GPP (3rd Generation Partnership Project), 4G, 5G, and the like.
  • the communication unit 230 can also be communicably connected to the smartphone via Bluetooth (registered trademark) or the like.
  • the communication unit 230 can be connected to the camera via a network.
  • the communication unit 230 wirelessly transmits the image processed image data to the remote monitoring center.
  • the communication unit 230 wirelessly transmits the encoded image data to the remote monitoring control device via a mobile network such as LTE or 5G.
  • the margin setting unit 260 specifies the accuracy with which the remote monitoring device for monitoring the vehicle recognizes the object according to the type of the detected object and the size of the detected target area, and according to the specified accuracy. , Set the margin corresponding to the type of the detected target and the size of the target area mentioned above. The margin setting unit 260 sets the optimum margin shown in FIG.
  • the margin setting unit 260 collects teacher image data whose target and type have been determined by the target detection unit 211 for the image from the image acquisition unit 201. Next, the margin setting unit 260 clusters the teacher image data according to the type of the target and the classification including the size in the image to be detected. The margin setting unit 260 sets a region in which various margins are added to the region including the target in the teacher image data as the ROI. For example, as shown in FIG. 6, a plurality of margin areas that gradually increase can be set for the detection area. The margin setting unit 260 duplicates the original image data for each of the various ROIs, and performs image processing on each duplicated image data so that the ROI has a high image quality and the other areas have a low image quality.
  • the margin setting unit 260 recognizes the image data after image processing by using the image recognition engine.
  • the margin setting unit 260 evaluates the recognition accuracy for each margin based on the image recognition results for a large number of image data.
  • the margin setting unit 260 sets a margin whose recognition accuracy is equal to or higher than the threshold value as an optimum margin.
  • the margin setting unit 260 stores the set optimum margin together with the classification in the margin storage unit 250.
  • the margin setting unit may be provided inside the image processing device 200, or may be provided as an information processing device realized by another computer.
  • the margin setting device 300 may be realized by a computer different from the image processing device 200.
  • the image recognition engine used by the image recognition unit 410 of the remote monitoring device is installed in the margin setting device 300.
  • the optimum margin set for each classification by the margin setting device 300 is stored in the optimum margin storage units 250a and 250b of the image processing devices 200a and 200b mounted on the vehicles of the same vehicle type.
  • the vehicle of the same vehicle type as used herein means a vehicle of the same shape, a vehicle of the same size, a vehicle of a similar size, or a vehicle of a similar size, in which the angle of view from the imaging unit is substantially the same.
  • FIG. 10 is a flowchart showing the image processing method according to the second embodiment.
  • the operation of the ROI determination unit 210 is shown.
  • Acquire an image step S301).
  • the target in the image is detected (step S302).
  • the classification is specified from the type of the detection target and the size of the target in the image (step S303).
  • the optimum margin corresponding to the specified classification is acquired from the storage unit 250 (step S304).
  • the area to be detected is expanded by the optimum margin, and the ROI size is determined (step S305). Notify the encoder 220 of the ROI (step S306).
  • the encoder 220 encodes the image data so as to improve the image quality of the ROI and lower the image quality of other areas. Further, the communication unit 230 wirelessly transmits the encoded image data to the remote monitoring device 400.
  • the image processing apparatus can acquire the optimum margin for each of the detected target classifications and determine an appropriate ROI.
  • determining the optimum margin for each classification in advance it is possible to reduce the delay and maintain the recognition accuracy of the target in automatic driving or the like.
  • FIG. 11 is a block diagram showing a configuration of an information processing system according to another embodiment.
  • the information processing system includes a vehicle 5 equipped with the information processing device 100 shown in FIG. 1 and a remote monitoring control device 400 that is communicably connected to the information processing device 100 via a network.
  • the information processing apparatus 100 includes an image acquisition unit 101 that acquires an image captured by an image pickup unit 10 mounted on the vehicle 5, an object detection unit 111 that detects an object region including an object in the acquired image, and an object detection unit 111.
  • An image of the classification specifying unit 112 that specifies the type of the detected target and the classification including the size of the detected target area, and the area in which the margin corresponding to the specified classification is added to the target area.
  • An area determination unit 110 for determining a processing area is provided.
  • the information processing apparatus 100 further includes an image processing unit (encoder) 220 that performs image processing based on a determined area, and a communication unit that transmits image processed image data to a remote monitoring device 400. 230 can be included.
  • image processing unit encoder
  • 230 can be included.
  • the information processing device 100 including the image acquisition unit 101, the target detection unit 111, the classification identification unit 112, and the area determination unit 110 is described, but it may be mounted as a system mounted on different devices. good.
  • a device including the image acquisition unit 101 and the target detection unit 111, and a device including the classification identification unit 112 and the area determination unit 110 may be configured to communicate with each other via a network.
  • the information processing system can add a margin corresponding to the classification of the detected target and determine an appropriate area for image processing.
  • the information processing system performs image processing on an appropriate area that may affect the driving of the vehicle while suppressing the band used, and transmits the image data after image processing to the remote monitoring and control device to remotely control the vehicle. Monitoring and remote control can be realized.
  • the remote driver 3 remotely operates the unmanned driving vehicle 5, but the present invention is not limited to this.
  • a integrated control device that controls the unmanned driving vehicle 5 may be provided.
  • the integrated control device may generate information for autonomous driving of the unmanned driving vehicle 5 based on the information acquired from the unmanned driving vehicle 5, and the unmanned driving vehicle 5 may operate according to the information.
  • FIG. 12 is a block diagram showing a hardware configuration example of an information processing device 100, an image processing device 200, a margin setting device 300, and a remote monitoring control device 400 (hereinafter referred to as an information processing device 100 or the like).
  • the information processing apparatus 100 and the like include a network interface 1201, a processor 1202, and a memory 1203.
  • the network interface 1201 is used to communicate with other network node devices constituting the communication system.
  • Network interface 1201 may be used to perform wireless communication.
  • the network interface 1201 may be used to perform wireless LAN communication specified in the IEEE 802.11 series or mobile communication specified in 3GPP (3rd Generation Partnership Project).
  • the network interface 1201 may include, for example, a network interface card (NIC) compliant with the IEEE802.3 series.
  • NIC network interface card
  • the processor 1202 reads software (computer program) from the memory 1203 and executes it to perform processing of the information processing apparatus 100 or the like described by using the flowchart or the sequence in the above-described embodiment.
  • the processor 1202 may be, for example, a microprocessor, an MPU (MicroProcessingUnit), or a CPU (CentralProcessingUnit).
  • Processor 1202 may include a plurality of processors.
  • the memory 1203 is composed of a combination of a volatile memory (RAM (RandomAccessMemory)) and a non-volatile memory (ROM (ReadOnlyMemory)).
  • Memory 1203 may include storage located away from processor 1202.
  • processor 1202 may access memory 1203 via an I / O interface (not shown).
  • the memory 1203 does not necessarily have to be a part of the device, and may be an external storage device or a cloud storage connected to the computer device 500 via a network.
  • the memory 1203 is used to store the software module group.
  • the processor 1202 can perform the processing of the information processing apparatus 100 and the like described in the above-described embodiment.
  • each of the processors included in the information processing apparatus 100 and the like executes one or a plurality of programs including a set of instructions for causing a computer to perform the algorithm described with reference to the drawings.
  • each process described with reference to the above flowchart does not necessarily have to be processed in chronological order in the order described as the flowchart, and is a process executed in parallel or individually (for example, a parallel process or an object). Processing by) is also included. Further, the program may be processed by one CPU or may be distributed processed by a plurality of CPUs.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media, magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read OnlyMemory), CD-Rs, CD-R / Ws, and semiconductor memories.
  • the magnetic recording medium may be, for example, a flexible disk, a magnetic tape, or a hard disk drive.
  • the semiconductor memory may be, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, or a RAM (Random Access Memory).
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) An image acquisition unit that acquires images taken by the image pickup unit mounted on the vehicle, and an image acquisition unit.
  • a target detection unit that detects a target area including a target in the acquired image, and a target detection unit.
  • a classification identification unit that specifies the type of the detected target and the classification including the size of the detected target area,
  • An area determination unit that determines an image processing area as an area in which a margin corresponding to the specified classification is added to the target area.
  • An information processing device equipped with An information processing device equipped with.
  • the margin is set so that the recognition accuracy of the image becomes equal to or higher than the threshold value even if image processing is performed on the image to which the region to which the margin corresponding to the specified classification is added is set.
  • the information processing apparatus according to Appendix 1. (Appendix 3) The information processing apparatus according to Appendix 1 or 2, wherein the area determination unit determines an area in which the margin is added to the target area as an image processing area having higher image quality than other areas.
  • the accuracy with which the remote monitoring device for monitoring the vehicle recognizes the target is specified according to the type of the detected target and the size of the detected target area.
  • Information processing device described in. (Appendix 5)
  • the margin setting unit is The teacher image data for which the type of the target to be included is known is classified according to the type of the known target and the size of the known target. An area with a margin added to the target area including the target included in the teacher image data is set.
  • the teacher image data is image-processed so that the region to which the margin is added has a higher image quality than the other regions, the accuracy with which the remote monitoring device recognizes the target is specified.
  • the information processing apparatus wherein the margin at which the recognition accuracy is equal to or higher than the threshold value is set as the margin corresponding to the classification.
  • Appendix 6 Areas with different margins are set for each of the plurality of teacher image data. When each of the plurality of teacher image data to which the different margins are added is image-processed, the accuracy with which the remote monitoring device recognizes the target is specified.
  • the information processing apparatus according to Appendix 5, wherein a margin at which the recognition accuracy is equal to or higher than a threshold value is set as a margin corresponding to the classification.
  • Appendix 7 The information processing apparatus according to any one of Supplementary note 1 to 5, which includes a storage unit that stores a margin corresponding to the classification.
  • An image acquisition unit that acquires images taken by the image pickup unit mounted on the vehicle, and an image acquisition unit.
  • a target detection unit that detects a target area including a target in the acquired image, and a target detection unit.
  • a classification identification unit that specifies the type of the detected target and the classification including the size of the detected target area,
  • An area determination unit that determines an image processing area as an area in which a margin corresponding to the specified classification is added to the target area.
  • An information processing system equipped with. (Appendix 9) The margin is set so that the recognition accuracy of the image becomes equal to or higher than the threshold value even if image processing is performed on the image to which the region to which the margin corresponding to the specified classification is added is set. , The information processing system according to Appendix 8.
  • Appendix 10 The information processing system according to Appendix 8 or 9, wherein the area determination unit determines an area in which the margin is added to the target area as an image processing area having higher image quality than other areas.
  • Appendix 11 The accuracy with which the remote monitoring device for monitoring the vehicle recognizes the target is specified according to the type of the detected target and the size of the detected target area. Any one of Appendix 8 to 10, further comprising a margin setting device that sets a margin corresponding to the type of the detected target and the size of the detected target area according to the specified accuracy.
  • Information processing system described in. (Appendix 12)
  • the margin setting device is The teacher image data for which the type of the target to be included is known is classified according to the type of the known target and the size of the known target.
  • An area with a margin added to the target area including the target included in the teacher image data is set.
  • the teacher image data is image-processed so that the area to which the margin is added has a higher image quality than the other areas, the accuracy with which the remote monitoring device recognizes the target is specified.
  • the margin setting device is Areas with different margins are set for each of the plurality of teacher image data. When each of the plurality of teacher image data to which the different margins are added is image-processed, the accuracy with which the remote monitoring device recognizes the target is specified.
  • the information processing system wherein a margin at which the recognition accuracy is equal to or higher than a threshold value is set as a margin corresponding to the classification.
  • Appendix 14 The information processing system according to any one of Supplementary note 8 to 12, which includes a storage unit that stores a margin corresponding to the classification.
  • Appendix 15 The image taken by the image pickup unit mounted on the vehicle is acquired and The target area including the target in the acquired image is detected, and the target area is detected. Identify the type of the detected target and the classification including the size of the detected target area. An information processing method for determining an area in which a margin corresponding to the specified classification is added to the target area as an image processing area.
  • the margin is set so that the recognition accuracy of the image becomes equal to or higher than the threshold value even if image processing is performed on the image to which the region to which the margin corresponding to the specified classification is added is set.
  • the information processing method according to Appendix 15. (Appendix 17) The information processing method according to Supplementary note 15 or 16, wherein the region to which the margin is added to the target region is determined as an image processing region having higher image quality than other regions.
  • the accuracy with which the remote monitoring device for monitoring the vehicle recognizes the target is specified according to the type of the detected target and the size of the detected target area.
  • the margin is set so that the recognition accuracy of the image becomes equal to or higher than the threshold value even if image processing is performed on the image to which the region to which the margin corresponding to the specified classification is added is set.
  • the program described in Appendix 21. (Appendix 23) The program according to Supplementary Note 21 or 22, which causes a computer to determine an area in which the margin is added to the target area as an image processing area having higher image quality than other areas.
  • the accuracy with which the remote monitoring device for monitoring the vehicle recognizes the target is specified according to the type of the detected target and the size of the detected target area.
  • the program described. (Appendix 25)
  • the teacher image data in which the type of the object included in the image is known is classified according to the type of the known object and the size of the known object.
  • An area with a margin added to the target area including the target included in the teacher image data is set.
  • the program according to Appendix 24 which causes a computer to specify the accuracy at which the remote monitoring device recognizes the object and set a margin at which the recognition accuracy becomes equal to or higher than a threshold value as a margin corresponding to the classification.
  • Appendix 26 Areas with different margins are set for each of the plurality of teacher image data.
  • Image processing system 3 Remote driver 5 Vehicle 10 In-vehicle camera 100 Information processing device 101 Image acquisition unit 110 Area determination unit 111 Target detection unit 112 Classification identification unit 200 Image processing device 201 Image acquisition unit 210 ROI determination unit 211 Target detection unit 212 Classification identification unit 213 Margin determination unit 220 Image processing unit (encoder) 230 Communication unit 250 Margin storage unit 260 Margin setting unit 300 Margin setting device 400 Remote control device 410 Image recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置（１００）は、車両に搭載された撮像部により撮影された画像を取得する画像取得部（１０１）と、前記取得された画像内の対象を含む対象領域を検出する対象検出部（１１１）と、前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部（１１２）と、前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部（１１０）と、を備える。

Description

情報処理装置、情報処理システム、情報処理方法
　本開示は、情報処理装置、情報処理システム、情報処理方法に関する。
　車両制御技術において、運転上重要なカメラ映像・領域のみを高画質化することで、必要な情報を提供する方法が期待される。
　例えば、特許文献１には、車両の後側方を撮影する撮像装置から出力される画像信号を画像処理する車載画像処理装置が開示されている。また、同文献には、ドライバーの対象への視認性を確保するため、車両と距離が近い対象物に設定された矩形領域Ｒ１に対してはマージンＭ１の幅を広く、距離が遠い対象物に設定された矩形領域Ｒ２に対してはマージンＭ２の幅を狭く設定することも開示されている。
特開２０１９－１２５８９４号
　しかし、特許文献１では、後続する画像処理を考慮して、適切なマージンが設定されたものではない。したがって、特許文献１に示すようなマージンを含む対象領域に対して、他の領域より高画質になるように画像処理を行った後、遠隔監視装置が、画像処理がなされた画像に対し、画像認識を行うと、対象の認識精度が低下する場合がある。
　本発明は、このような問題点を解決するためになされたものであり、後続の画像処理が行われても、認識精度が維持できる情報処理装置等を提供することを目的とする。
　本開示の第１の態様にかかる情報処理装置は、車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
　を備える。
　本開示の第２の態様にかかる情報処理システムは、
　車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
　を備える。
　本開示の第３の態様にかかる情報処理方法は、
　車両に搭載された撮像部により撮影された画像を取得し、
　前記取得された画像内の対象を含む対象領域を検出し、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定し、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する。
　本開示により、検出された対象の分類に対応するマージンを付加し、画像処理を行う適切な領域を決定することができる情報処理装置、情報処理システム、および情報処理方法等を提供することができる。
実施の形態１にかかる情報処理装置の構成を示すブロック図である。 実施の形態１にかかる情報処理方法を示すフローチャートである。 遠隔監視運転システムの概要を説明する概略図である。 車両の車載カメラで撮影された画像の一例を示す図である。 最適マージン決定方法を示すフローチャートである。 ある評価画像データの画像認識の評価を説明する図である。 対象の種別および画像内の対象の大きさクラスごとの、ＲＯＩマージンに対する対象の認識精度を示す。 実施の形態２にかかる画像処理装置の構成を示すブロック図である。 マージン設定装置により設定された最適マージンを同種の画像処理装置に展開する例を説明する図である。 実施の形態２にかかる画像処理方法を示すフローチャートである。 他の実施の形態にかかる情報処理システムの構成を示すブロック図である。 情報処理装置等のハードウェア構成例を示すブロック図である。
　以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。
　実施の形態１
　図１は、実施の形態１にかかる情報処理装置の構成を示すブロック図である。
　情報処理装置１００は、例えば、車両に搭載されるコンピュータである。情報処理装置１００は、車両に搭載された撮像部により撮影された画像を取得する画像取得部１０１と、前記取得された画像内の対象を含む対象領域を検出する対象検出部１１１と、前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部１１２と、前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部１１０と、を備える。
　図２は、実施の形態１にかかる画像処理方法を示すフローチャートである。
　情報処理方法は、以下の工程を含む。すなわち、車両に搭載された撮像部により撮影された画像を取得し（ステップＳ１０１）、取得された画像内の対象を含む対象領域を検出し（ステップＳ１０２）、前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定し（ステップＳ１０３）、前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する（ステップＳ１０４）。
　以上説明した実施の形態１によれば、検出された対象の分類に対応するマージンを付加し、画像処理を行う適切な領域を決定することができる。
　実施の形態２
　図３は、遠隔監視運転システムの概要を説明する概略図である。
　遠隔監視運転システムは、遠隔監視センタから、運転手を必要としない車両５を遠隔操作する。無人運転車両５を遠隔操作する方式としては、車両５に搭載された複数台の車載カメラ１０Ａ～１０Ｄで撮影された映像を、無線通信ネットワークおよびインターネットを介して遠隔監視制御装置４００（以降、単に遠隔監視装置と記載することもある）に送信する。車両に搭載される画像処理装置２００は、車載カメラからの映像に所定の画像処理を行い、ネットワークを介して、画像処理後の映像を、遠隔監視制御装置８００に送信するのに使用される。遠隔監視制御装置８００は受信した映像をモニター等の表示部に表示し、遠隔運転者３は受信した映像をモニター上で見ながら車両５を遠隔操作する。遠隔監視制御装置４００は、受信した映像の他に、遠隔運転者３が車両５を遠隔操作するための情報を表示してもよい。例えば、遠隔監視制御装置８００は、遠隔運転者３に対して、受信した映像と、分析した結果を表示しても良い。車車両５に搭載された遠隔運転制御装置は、携帯電話網を使用した通信方式（例えば、ＬＴＥ、５Ｇ）を利用して遠隔監視制御装置４００と双方向通信を行う。遠隔監視制御装置４００の画像認識部４１０は、受信した映像又は画像を分析し、画像認識エンジンを用いて、対象を検出し認識することができる。なお、遠隔監視運転システムは、遠隔監視下にある車両が走行中に、車両の危険を察知した際に、遠隔制御や自動制御に切り替えるものであってもよい。すなわち、人が運転している車両を一時的にこうした制御に切り替えるものであってもよく、車両に運転手がいてもよい。
　車載カメラ１０Ａは車両の前方を撮影し、車載カメラ１０Ｂは車両の後方を撮影し、車載カメラ１０Ｃは車両の右方を撮影し、車載カメラ１０Ｄは車両の左方を撮影する。なお車載カメラの数は、これに限定されず、５個以上であってもよい。また、各カメラの性能は、基本的には同一であるが、若干異なっていてもよい。なお、タクシーなどの通常の運転手は、第二種免許が要求され、それには、視力０．８以上の人が見える範囲の対象物（物体とも呼ばれる）を認識できることが要求されている。そのため、遠隔運転者に提供される映像も、視力０．８以上の人が見える範囲の対象物を認識できる（例えば一般道の道路標識の場合は、運転手が１０．６６ｍの距離離れて標識を認識できる）ものであってもよい。遠隔運転者は、対象物だけでなく、対象物の周辺情報も視認する必要があり、こうした周辺情報も比較的高品質な映像として、遠隔運転者に送信されることができる。
　携帯電話網経由での車両遠隔監視・制御では可用帯域が変動することから帯域不足による映像品質悪化が懸念されている。そのため、帯域低下時に、撮影画像のうち重要な領域のみ高品質で送り、それ以外の領域を低画質で遠隔監視センタに送ることで、遠隔監視センタでの映像分析の精度を維持することができる。このように、帯域低下時のQoE（Quality of Experience）を維持することが可能になる。
　図４は、車両の車載カメラで撮影された画像の一例を示す図である。
　図４は、図３で示した車載カメラ１０Ａにより車両５の前方を撮影した画像の一例を示す。検出された対象は、バウンディングボックスで囲われる（この領域はＲＯＩ（Region of Interest）とも呼ばれる）。ここでは、ＲＯＩとして、車両の運転に影響を与え得るもの、すなわち、他の車両、歩行者、自転車、信号機、交通標識などが検出される。画像内のＲＯＩを高画質化し、画像の他の領域を低画質化して、遠隔監視センタに送ることで、使用帯域を抑制しつつ、遠隔監視センタでの映像分析精度や認識精度を維持することができる。
　一般に、画像認識エンジンの対象の認識精度が高くなると、対象に対してタイトな検出領域が設定されることがある。図４に示すように、対象（ここでは、車両）を囲う検出領域のマージンが小さすぎると、その検出領域とその他の領域に対して、それぞれ、異なる画像処理（例えば、エンコーディング、各種圧縮処理、低画質化処理）を行った場合、遠隔監視センタでの映像の認識精度が低下する場合がある。例えば、マージンが小さい車両の画像を遠隔監視装置に送信すると、車両として認識されないことがある。これは、対象の映像分析において、対象の周辺領域の情報も重要であることを示唆している。例えば、車両を認識するためには、道路などの周辺領域の情報も重要であると考えられる。そこで、画像処理後の画像データに対する対象の認識精度を、画像処理前の画像データに対する対象の認識精度に比べ、一定以上に維持するために、最適なマージンを設定した領域（図４では、送信ＲＯＩ）を決定する必要がある。
　ここで、事前に対象の検出領域ごとに最適マージンを決定する方法を説明する。
　対象の種別（例えば、車両、人、自転車）と、画像に占める対象の大きさのクラス（例えば、大、中、小）に応じて、最適なマージンを導出する。
　図５は、最適マージン決定方法を示すフローチャートである。
　教師画像データを対象の種別と、画像内に占める対象の大きさのクラスごとにクラスタリングする（ステップＳ２０１）。対象の大きさは、画面に占める対象（検出領域）の面積の割合で示されてもよいし、あるいは、教師画像データを撮影した車載カメラの画角は固定であるので、面積で示されてもよい。この工程は、教師画像データのクラスタリングとも呼ばれる。例えば、対象の大きさは、Ｋ－ｍｅａｎｓなどで３クラス（大中小）に分類する。大中小の参照点（各クラス内の平均大きさ）と最も近いものを対象クラスとする。
　次に教師画像データを複製し、各複製画像データにおいて、様々なマージンを設定したＲＯＩを、高画質化すべき領域に設定し、それ以外の領域を低画質化すべき領域に設定する（ステップＳ２０２）。こうした画像データ（複数のＲＯＩ画像データ）を、設定された領域ごとに異なる画像処理を行う（ステップＳ２０３）。異なる画像処理は、高画質化処理と低画質化処理である。低画質化処理は、例えば、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよい。高画質化処理も、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよいが、低画質化処理よりも高画質になるような各種画像処理である。その後、画像処理されたＲＯＩ画像データに対して映像分析を行い、対象の認識精度を評価する。この認識精度の評価では、遠隔監視センタに配置されたサーバコンピュータで使用される画像認識エンジンと同一又は同類の画像認識エンジンを使用することができる。認識精度が閾値以上となるマージンを最適マージンとして決定する（ステップＳ２０４）。最適マージンは、上記した分類（対象の種別と、画像に占める対象の大きさ）とともに、各画像処理装置の保存部（図８の保存部２５０）に保存する（ステップＳ２０５）。
　図６は、ある教師画像データの画像認識の精度結果を説明する図である。
　教師画像データＩＭＧには、画像処理前に、１つの対象（例えば、種別は、「車」、対象の大きさ「小」）が検出されている（すなわち、正解がラベル付けされている）。この教師画像データＩＭＧを複製し、複製した教師画像データＩＭＧ１，ＩＭＧ２，ＩＭＧ３をそれぞれ異なるマージン（例えば、ＩＭＧ１には、５％，ＩＭＧ２には、１０％，ＩＭＧ３には、１５％のマージン）に設定する。画像内のマージンを含む領域を高画質化し、それ以外の領域を低画質化するように画像データをそれぞれ画像処理（エンコード）する。エンコードされた画像に対して、それぞれ画像認識を行う。本例では、１０％のマージンを設定したＩＭＧ２では、適切に画像認識ができたが、５％のマージンを設定したＩＭＧ１と、１５％のマージンを設定したＩＭＧ３では、適切に画像認識ができたものとする。
　このように同一の分類（本例では、種別は、「車」、対象の大きさは、「小」）の様々な教師画像データの認識成否を調べ、平均化した認識精度を算出する（図７の「車・小」のグラフ）。画像処理前の教師画像データを用いた対象認識精度と、画像処理後の教師画像データを用いた対象認識精度を比較した。他の分類の多数の教師画像データも、図７に示すように同様にマージンごとの認識精度を評価した。
　図７は、対象の種別および画像に占める対象の大きさのクラスごとの、ＲＯＩマージンに対する対象の認識精度を示す。横軸は、ＲＯＩマージン（％）を示し、縦軸は、対象の認識精度を示す。本例では、認識精度がピークとなるマージンを最適マージンとした。分類、すなわち、対象の種別と、画像に占める対象の大きさが「車・小」の場合、最適マージンは、２０％となる。同様に、「車・中」の場合、最適マージンは、１０％、「車・大」の場合、５％となる。また、「人・大」の場合、最適マージンは、１０％となる。なお、車については、画面上の大きさが大きくなるにつれて、最適マージンは狭くなる傾向がある。
　なお、図７では、「車」と「人」の種別のみしか図示していないが、それ以外の様々な対象の種別も評価してもよい。また、画像に占める対象の大きさも、「大・中・小」の３クラスだけではなく、それ以上のクラスに細分化して、評価してもよい。また、最適マージンは、精度が最大（ピーク値）となるものとしたが、これに限定されず、精度が閾値以上であれば、最適マージンとして設定してもよい。また、この認識精度の閾値は、画像送信システムにおける使用帯域の抑制と要求される認識精度を考慮して、任意に設定することができる。また、上記の例では、分類は、「対象の種別」、「画像内の対象の大きさのクラス」としたが、他の分類を追加してもよい。例えば、「走行環境」、「対象の向き」、「時間帯」、「天候」を追加してよい。走行環境としては、高速道路、住宅街などが挙げられる。時間帯としては、昼間、夕方、夜間などが挙げられる。天候としては、晴れ、曇、雨、雪などが挙げられる。
　図８は、実施の形態２にかかる画像処理装置の構成を示すブロック図である。
　画像処理装置２００は、コンピュータにより構成される情報処理装置である。画像処理装置２００は、画像取得部２０１、ＲＯＩ決定部２１０、最適マージン保存部２５０、エンコーダ２２０、通信部２３０を含む。ＲＯＩ決定部２１０は、対象検出部２１１、分類特定部２１２、最適マージン取得部２１３を含む。更に、画像処理装置２００は、マージン設定部２６０を有してもよい。あるいは、画像処理装置２００とは、別のコンピュータにより実現されるマージン設定部を設けてもよい。
　画像取得部２０１は、車載カメラなどの撮像部により撮影された画像（フレーム）を取得する。ＲＯＩ決定部２１０は、取得された画像の対象を検出し、画像認識の観点から適切な領域となるＲＯＩを決定する。具体的には、対象検出部２１１は、画像取得部２０１からの画像内において、対象を検出する。検出する対象は、任意に予め設定することができる。ここでは、車両の運転に影響を及ぼすおそれのある対象（例えば、人、車両、オートバイ、自転車、トラック、バスなど）を設定する。対象検出部２１１は、既知の画像認識技術を用いて、対象の種別（例えば、人、車両、自転車、バイクなど）も識別することもできる。画像取得部２０１は、撮像部により撮像された映像を所定のフレームレートで、画像フレームとして連続的に取得することができる。
　分類特定部２１２は、検出された対象の種別と、検出された対象領域の大きさを含む分類を特定する。対象領域の大きさは、バウンディングボックスの面積から算出され、算出された面積に対応する大きさのクラス（例えば、「大」「中」「小」）が特定される。
　最適マージン取得部２１３は、特定された分類に対応する、最適マージンを、最適マージン保存部２５０から、取得する。最適マージン保存部２５０は、前述のとおり、事前に評価された分類ごとの最適マージンを保存している。これにより、低遅延を実現し最適マージンを取得することができる。最適マージン保存部２５０は、画像処理装置２００の内部にあってもよいし、画像処理装置２００とネットワーク経由で接続された外部記憶装置にあってもよい。
　このように、ＲＯＩ決定部２１０は、対象領域に、分類ごとに対応する最適マージンを付加して、適切なＲＯＩを決定することができる。このように決定されたＲＯＩは、後続する画像処理（エンコード）を施した場合であっても、対象の認識精度を一定以上に維持することができるように、適切に設定されている。
　エンコーダ２２０は、ＲＯＩを高画質化し、画像内の他の領域を低画質化するように画像処理を行う。高画質化処理は、低画質化領域に比べて、低い圧縮率で圧縮処理を行う。低画質化処理は、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよい。高画質化処理も、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよいが、低画質化処理よりも高画質になるような各種画像処理である。
　通信部２３０は、ネットワークとの通信インタフェースである。通信部２３０は、画像処理システムを構成する他のネットワークノード装置（例えば、遠隔監視センタ側の情報処理装置）と通信するために使用される。通信部２３０は、無線通信を行うために使用されてもよい。例えば、通信部２３０は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）、４Ｇ、５Ｇ等において規定されたモバイル通信を行うために使用されてもよい。また、通信部２３０は、Bluetooth（登録商標）等を介してスマートフォンと通信可能に接続することもできる。通信部２３０は、カメラとネットワークを介して接続することができる。
　また、通信部２３０は、画像処理された画像データを、遠隔監視センタに無線送信する。通信部２３０は、ＬＴＥ、５Ｇなどのモバイルネットワークを介して、エンコードされた画像データを遠隔監視制御装置に無線で送信する。
　マージン設定部２６０は、検出された対象の種別と、前記検出された対象領域の大きさに応じて、車両を監視する遠隔監視装置が対象を認識する精度を特定し、特定した精度に応じて、検出された対象の種別と、前出された対象領域の大きさに対応するマージンを設定する。マージン設定部２６０は、図５で示した最適マージンの設定を行う。
　具体的には、マージン設定部２６０は、画像取得部２０１からの画像に対して、対象検出部２１１により対象と種別が判明した教師画像データを収集する。次に、マージン設定部２６０は、対象の種別と、検出対象の画像内の大きさを含む分類によって、教師画像データをクラスタリングする。マージン設定部２６０は、教師画像データにおける対象を含む領域に、様々なマージンを付加した領域を、ＲＯＩとして設定する。例えば、図６で示したように、検出領域に対して、徐々に大きくなるような複数のマージン領域を設定することができる。マージン設定部２６０は、様々なＲＯＩごとに、元画像データを複製し、ＲＯＩが高画質にし、それ以外の領域を低画質になるように各複製画像データを画像処理する。マージン設定部２６０は、画像認識エンジンを用いて、画像処理後の画像データを認識する。マージン設定部２６０は、多数の画像データに対する画像認識結果に基づいて、マージンごとの認識精度を評価する。マージン設定部２６０は、認識精度が閾値以上となるマージンを最適マージンとして設定する。マージン設定部２６０は、設定された最適マージンを、分類とともに、マージン保存部２５０に保存する。
　マージン設定部は、以上説明したように、画像処理装置２００の内部に設けてもよいし、あるいは、別のコンピュータにより実現される情報処理装置として設けてもよい。図９に示すように、マージン設定装置３００が、画像処理装置２００とは別のコンピュータにより実現されてもよい。マージン設定装置３００には、遠隔監視装置の画像認識部４１０で使用される画像認識エンジンがインストールされる。その場合、マージン設定装置３００により分類ごとに設定された最適マージンは、同一の車種の車両に搭載される各画像処理装置２００ａ、２００ｂの最適マージン保存部２５０ａ、２５０ｂに保存される。ここでいう同一の車種の車両とは、撮像部からの画角が実質的に同一となる、同形の車両や同サイズの車両、類似の車両や類似サイズの車両をいう。
　図１０は、実施の形態２にかかる画像処理方法を示すフローチャートである。
　ここでは、ＲＯＩ決定部２１０の動作を示す。画像を取得する（ステップＳ３０１）。画像内の対象を検出する（ステップＳ３０２）。検出対象の種別および画像内の対象の大きさから分類を特定する（ステップＳ３０３）。保存部２５０より特定した分類に対応する最適マージンを取得する（ステップＳ３０４）。検出対象の領域を、最適マージンだけ拡大し、ＲＯＩサイズを決定する（ステップＳ３０５）。ＲＯＩをエンコーダ２２０に通知する（ステップＳ３０６）。
　その後、エンコーダ２２０は、ＲＯＩを高画質化にし、その他の領域を低画質化するように画像データをエンコードする。さらに、通信部２３０は、エンコードされた画像データを、遠隔監視装置４００に無線送信する。
　以上説明した実施の形態２にかかる画像処理装置は、検出された対象の分類ごとに最適マージンを取得し、適切なＲＯＩを決定することができる。また、事前に分類ごとの最適マージンを決定しておくことで、自動運転等において低遅延化と対象の認識精度の維持を実現することができる。
　図１１は、他の実施の形態にかかる情報処理システムの構成を示すブロック図である。
　情報処理システムは、図１に示した情報処理装置１００を搭載した車両５と、情報処理装置１００とネットワークを介して通信可能に接続される遠隔監視制御装置４００とを備える。情報処理装置１００は、車両５に搭載された撮像部１０により撮影された画像を取得する画像取得部１０１と、前記取得された画像内の対象を含む対象領域を検出する対象検出部１１１と、前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部１１２と、対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部１１０と、を備える。情報処理装置１００は、更に、図８に示すように、決定された領域に基づき、画像処理を行う画像処理部（エンコーダ）２２０、画像処理された画像データを遠隔監視装置４００に送信する通信部２３０を含むことができる。
　なお、図１１では、画像取得部１０１と対象検出部１１１と分類特定部１１２と領域決定部１１０とを備える情報処理装置１００として記載したが、それぞれ異なる装置に搭載されたシステムとして実装されても良い。例えば、画像取得部１０１と対象検出部１１１とを搭載した装置と、分類特定部１１２と領域決定部１１０とを備える装置とがネットワークを介して通信するような構成であっても良い。
　情報処理システムは、検出された対象の分類に対応するマージンを付加し、画像処理を行う適切な領域を決定することができる。また、情報処理システムは、使用帯域を抑制しつつ、車両の運転に影響を与え得る適切な領域を画像処理し、画像処理後の画像データを遠隔監視制御装置に送信することで、車両の遠隔監視および遠隔制御を実現することができる。
　また、以上説明した実施の形態では、情報処理ステム及び遠隔監視運転システムにおいて、遠隔運転者３が無人運転車両５を遠隔で操作する形式としたが、これに限られない。例えば、無人運転車両５を統括して制御する統括制御装置を設けても良い。統括制御装置は、無人運転車両５から取得した情報を基に、無人運転車両５が自律運転するための情報を生成して、無人運転車両５が該情報に従って動作してもよい。
　図１２は、情報処理装置１００、画像処理装置２００、マージン設定装置３００、遠隔監視制御装置４００（以下、情報処理装置１００等とする）のハードウェア構成例を示すブロック図である。図１２を参照すると、情報処理装置１００等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された情報処理装置１００等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ（ＲＡＭ（Random Access Memory））及び不揮発性メモリ（ＲＯＭ（Read Only Memory））の組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。例えば、メモリ１２０３は、必ずしも装置の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置５００に接続されたクラウドストレージであってもよい。
　図１２の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された情報処理装置１００等の処理を行うことができる。
　図１２を用いて説明したように、情報処理装置１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のＣＰＵにより処理されるものであってもよいし、複数のＣＰＵによって分散処理されるものであってもよい。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
　を備える、情報処理装置。
　（付記２）
　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、付記１に記載の情報処理装置。
　（付記３）
　前記領域決定部は、前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、付記１又は２に記載の情報処理装置。
　（付記４）
　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、マージン設定部を更に備える、付記１～３のいずれか一項に記載の情報処理装置。
　（付記５）
　前記マージン設定部は、
　含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンが、前記分類に対応するマージンとして設定する、付記４に記載の情報処理装置。
　（付記６）
　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、付記５に記載の情報処理装置。
　（付記７）
　前記分類に対応するマージンを保存する保存部を含む、付記１～５のいずれか一項に記載の情報処理装置。
　（付記８）
　車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
　を備える、情報処理システム。
　（付記９）
　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、付記８に記載の情報処理システム。
　（付記１０）
　前記領域決定部は、前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、付記８又は９に記載の情報処理システム。
　（付記１１）
　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、マージン設定装置を更に備える、付記８～１０のいずれか一項に記載の情報処理システム。
　（付記１２）
　前記マージン設定装置は、
　含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを画像処理した場合に、遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、付記１１に記載の情報処理システム。
　（付記１３）
　前記マージン設定装置は、
　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、付記１２に記載の情報処理システム。
　（付記１４）
　前記分類に対応するマージンを保存する保存部を含む、付記８～１２のいずれか一項に記載の情報処理システム。
　（付記１５）
　車両に搭載された撮像部により撮影された画像を取得し、
　前記取得された画像内の対象を含む対象領域を検出し、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定し、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する、情報処理方法。
　（付記１６）
　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、付記１５に記載の情報処理方法。
　（付記１７）
　前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、付記１５又は１６に記載の情報処理方法。
　（付記１８）
　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、付記１５～１７のいずれか一項に記載の情報処理方法。
　（付記１９）
　画像に含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを、それぞれ画像処理した場合に、
　遠隔監視装置が前記対象を認識する精度を特定し、前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、付記１８に記載の情報処理方法。
　（付記２０）
　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、付記１９に記載の情報処理方法。
　（付記２１）
　車両に搭載された撮像部により撮影された画像を取得し、
　前記取得された画像内の対象を含む対象領域を検出し、
　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定し、
　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定することをコンピュータに実行させる、プログラム。
　（付記２２）
　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、付記２１に記載のプログラム。
　（付記２３）
　前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、ことをコンピュータに実行させる付記２１又は２２に記載のプログラム。
　（付記２４）
　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、ことをコンピュータに実行させる付記２１～２３のいずれか一項に記載のプログラム。
　（付記２５）
　画像に含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを、それぞれ画像処理した場合に、
　遠隔監視装置が前記対象を認識する精度を特定し、前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、ことをコンピュータに実行させる付記２４に記載のプログラム。
　（付記２６）
　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、ことをコンピュータに実行させる、付記２５に記載のプログラム。
　１　画像処理システム
　３　遠隔運転者
　５　車両
　１０　車載カメラ
　１００　情報処理装置
　１０１　画像取得部
　１１０　領域決定部
　１１１　対象検出部
　１１２　分類特定部
　２００　画像処理装置
　２０１　画像取得部
　２１０　ＲＯＩ決定部
　２１１　対象検出部
　２１２　分類特定部
　２１３　マージン決定部
　２２０　画像処理部（エンコーダ）
　２３０　通信部
　２５０　マージン保存部
　２６０　マージン設定部
　３００　マージン設定装置
　４００　遠隔制御装置
　４１０　画像認識部

Claims (20)

  1. 　車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
    　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
    　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
    　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
    　を備える、情報処理装置。
  2. 　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、請求項１に記載の情報処理装置。
  3. 　前記領域決定部は、前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、請求項１又は２に記載の情報処理装置。
  4. 　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
    　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、マージン設定部を更に備える、請求項１～３のいずれか一項に記載の情報処理装置。
  5. 　前記マージン設定部は、
    　画像に含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
    　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
    　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
    　前記認識する精度が閾値以上になるマージンが、前記分類に対応するマージンとして設定する、請求項４に記載の情報処理装置。
  6. 　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
    　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
    　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、請求項５に記載の情報処理装置。
  7. 　前記分類に対応するマージンを保存する保存部を含む、請求項１～５のいずれか一項に記載の情報処理装置。
  8. 　車両に搭載された撮像部により撮影された画像を取得する画像取得部と、
    　前記取得された画像内の対象を含む対象領域を検出する対象検出部と、
    　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定する分類特定部と、
    　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する領域決定部と、
    　を備える、情報処理システム。
  9. 　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、請求項８に記載の情報処理システム。
  10. 　前記領域決定部は、前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、請求項８又は９に記載の情報処理システム。
  11. 　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
    　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、マージン設定装置を更に備える、請求項８～１０のいずれか一項に記載の情報処理システム。
  12. 　前記マージン設定装置は、
    　画像に含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
    　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
    　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを画像処理した場合に、遠隔監視装置が前記対象を認識する精度を特定し、
    　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、請求項１１に記載の情報処理システム。
  13. 　前記マージン設定装置は、
    　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
    　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
    　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、請求項１２に記載の情報処理システム。
  14. 　前記分類に対応するマージンを保存する保存部を含む、請求項８～１２のいずれか一項に記載の情報処理システム。
  15. 　車両に搭載された撮像部により撮影された画像を取得し、
    　前記取得された画像内の対象を含む対象領域を検出し、
    　前記検出された対象の種別と、前記検出された対象領域の大きさを含む分類を特定し、
    　前記対象領域に、前記特定された分類に対応するマージンを付加した領域を、画像処理領域に決定する、情報処理方法。
  16. 　前記特定された分類に対応するマージンを付加した領域が設定された画像に対して、画像処理を行っても、前記画像の認識精度が閾値以上になるように、前記マージンは、設定されている、請求項１５に記載の情報処理方法。
  17. 　前記対象領域に前記マージンを付加した領域を、他の領域より高画質化する画像処理領域に決定する、請求項１５又は１６に記載の情報処理方法。
  18. 　前記検出された対象の種別と、前記検出された対象領域の大きさに応じて、前記車両を監視する遠隔監視装置が前記対象を認識する精度を特定し、
    　前記特定した精度に応じて、前記検出された対象の種別と、前記検出された対象領域の大きさに対応するマージンを設定する、請求項１５～１７のいずれか一項に記載の情報処理方法。
  19. 　画像に含まれる対象の種別が判明している教師画像データを、前記判明している対象の種別と、前記判明している対象の大きさに応じて分類を特定し、
    　前記教師画像データに含まれる対象を含む対象領域にマージンを付加した領域を設定し、
    　前記マージンを付加した領域が他の領域より高画質になるように、前記教師画像データを、それぞれ画像処理した場合に、
    　遠隔監視装置が前記対象を認識する精度を特定し、前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、請求項１８に記載の情報処理方法。
  20. 　複数の前記教師画像データのそれぞれに、異なるマージンを付加した領域を設定し、
    　前記異なるマージンを付加した複数の教師画像データのそれぞれを画像処理した場合に、前記遠隔監視装置が前記対象を認識する精度を特定し、
    　前記認識する精度が閾値以上になるマージンを、前記分類に対応するマージンとして設定する、請求項１９に記載の情報処理方法。
PCT/JP2020/037672 2020-10-05 2020-10-05 情報処理装置、情報処理システム、情報処理方法 WO2022074700A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/037672 WO2022074700A1 (ja) 2020-10-05 2020-10-05 情報処理装置、情報処理システム、情報処理方法
JP2022554976A JPWO2022074700A1 (ja) 2020-10-05 2020-10-05
US18/028,486 US20230360405A1 (en) 2020-10-05 2020-10-05 Information processing device, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/037672 WO2022074700A1 (ja) 2020-10-05 2020-10-05 情報処理装置、情報処理システム、情報処理方法

Publications (1)

Publication Number Publication Date
WO2022074700A1 true WO2022074700A1 (ja) 2022-04-14

Family

ID=81126735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037672 WO2022074700A1 (ja) 2020-10-05 2020-10-05 情報処理装置、情報処理システム、情報処理方法

Country Status (3)

Country Link
US (1) US20230360405A1 (ja)
JP (1) JPWO2022074700A1 (ja)
WO (1) WO2022074700A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181072A (ja) * 2015-03-24 2016-10-13 クラリオン株式会社 物体認識装置
JP2017062638A (ja) * 2015-09-25 2017-03-30 日立オートモティブシステムズ株式会社 画像認識処理装置、及びプログラム
JP2018172051A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 駐車支援装置
JP2020064603A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、プログラム及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181072A (ja) * 2015-03-24 2016-10-13 クラリオン株式会社 物体認識装置
JP2017062638A (ja) * 2015-09-25 2017-03-30 日立オートモティブシステムズ株式会社 画像認識処理装置、及びプログラム
JP2018172051A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 駐車支援装置
JP2020064603A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、プログラム及び情報処理方法

Also Published As

Publication number Publication date
JPWO2022074700A1 (ja) 2022-04-14
US20230360405A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11891023B1 (en) Using camera data to manage a vehicle parked outside in cold climates
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
US20210142055A1 (en) Surveillance camera system looking at passing cars
US10678255B2 (en) Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US11715180B1 (en) Emirror adaptable stitching
US20180225554A1 (en) Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture
US11721100B2 (en) Automatic air recirculation systems for vehicles
US11109152B2 (en) Optimize the audio capture during conference call in cars
KR20170115544A (ko) 환경적 장면 조건 검출
US11427195B1 (en) Automatic collision detection, warning, avoidance and prevention in parked cars
US11288777B2 (en) Image processing device, image processing method, and program
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
KR102188850B1 (ko) 무선통신을 이용한 블랙아이스 분석시스템
US11586843B1 (en) Generating training data for speed bump detection
US11161456B1 (en) Using the image from a rear view camera in a three-camera electronic mirror system to provide early detection of on-coming cyclists in a bike lane
US11436839B2 (en) Systems and methods of detecting moving obstacles
US11659154B1 (en) Virtual horizontal stereo camera
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
WO2021070214A1 (ja) 送信方法、送信システム及びシステム制御装置
CN111277956A (zh) 车辆盲区信息的采集方法及装置
WO2022074700A1 (ja) 情報処理装置、情報処理システム、情報処理方法
WO2022074701A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP7318809B2 (ja) 映像分析装置、映像分析システム及び映像分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956649

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022554976

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20956649

Country of ref document: EP

Kind code of ref document: A1