WO2022075349A1 - 画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体 - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022075349A1
WO2022075349A1 PCT/JP2021/036928 JP2021036928W WO2022075349A1 WO 2022075349 A1 WO2022075349 A1 WO 2022075349A1 JP 2021036928 W JP2021036928 W JP 2021036928W WO 2022075349 A1 WO2022075349 A1 WO 2022075349A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
sampling
unit
retinal cells
Prior art date
Application number
PCT/JP2021/036928
Other languages
English (en)
French (fr)
Inventor
茂穂 野田
秀夫 横田
昂 深堀
Original Assignee
国立研究開発法人理化学研究所
ａｖａｔａｒｉｎ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人理化学研究所, ａｖａｔａｒｉｎ株式会社 filed Critical 国立研究開発法人理化学研究所
Priority to US18/029,709 priority Critical patent/US20230360270A1/en
Priority to JP2022555523A priority patent/JPWO2022075349A5/ja
Priority to EP21877648.2A priority patent/EP4228266A1/en
Publication of WO2022075349A1 publication Critical patent/WO2022075349A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • an image manipulation device operated by program control, an image compression device operated by program control, and a user specify an input source of a target image file and an output destination of a compressed image file to perform image compression processing.
  • An image compression system including an image compression operation device to be operated is disclosed.
  • the image compression device individually recognizes the compressed image compressed using the reference compression rate data for each compression target image input from the image operation device, and the plurality of nodes which are the data including the compression rate are described above.
  • the determination tree stored in association with the node containing the compression rate higher than the compression rate and the node containing the compression rate lower than the compression rate, the reference difference rate data, the reference image character recognition result data, and the compressed image character.
  • the compression rate is specified based on the difference rate data compared with the recognition result data, the compression target image is compressed at the specified compression rate, and the character recognition, the specification of the compression rate, and the specified compression are performed.
  • the compression at the rate is repeated the number of times indicated by the evaluation count data, and the compression result image obtained by the repetition is output.
  • Patent Document 2 describes a pair of video cameras for the left and right eyes, an image recognition device that inputs and processes video signals from the video cameras, and a monitor device that inputs and displays video signals from the image recognition device. To display a mimic image of an image obtained visually when a human sees an object or actually with the naked eye on the monitor, and to move the pair of video cameras to a desired position. Discloses a video camera imaging device characterized in that it mimics a human gaze movement.
  • Patent Document 3 describes a method including receiving raw image data corresponding to a series of raw images and processing the raw image data by an encoder of a processing device to generate encoded data. Will be done. Encoders are characterized by input / output transformations that substantially mimic the input / output transformations of at least one retinal cell of the vertebrate retina. The method also includes processing the encoded data to produce dimensionally reduced encoded data by applying a dimension reduction algorithm to the encoded data. The dimension reduction algorithm is configured to compress the amount of information contained in the encoded data. Devices and systems that can be used with such methods are also described.
  • Patent Document 4 uses a encoder characterized by a step of accepting raw image data corresponding to a series of raw images and an input / output conversion that substantially mimics the input / output conversion of the vertebrate retina.
  • the space-time conversion is applied to the raw image data to generate the retinal output cell response value, and the application of the space-time conversion is natural.
  • a method comprising: a step of generating, a step of including, and a step of applying a first machine visual algorithm to the data generated based at least in part on the encoded data. Has been done.
  • Patent Documents 3 and 4 use a encoder characterized by an input / output conversion that substantially mimics the input / output conversion of the vertebrate retina, but there is still room for improvement.
  • the present invention has been made to solve such a problem, and provides an improved image processing apparatus, an image processing method, and an image processing program utilizing the visual recognition of vertebrates such as humans.
  • the purpose is.
  • the image processing apparatus includes an image acquisition unit for acquiring an image and an image acquisition unit.
  • a first image processing unit that performs first image processing on the acquired image, and performs first sampling to extract one or more samples to be processed from the acquired image.
  • a first sampling unit a first image processing unit including a color detecting unit for detecting the color of one or more extracted samples, and a first image processing unit.
  • a second image processing unit that performs a second image processing different from the first image processing on the acquired image, and one or more samples to be processed from the acquired image.
  • a second sampling unit that performs a second sampling for extracting the image, and a second image processing unit that includes a color reduction unit that reduces the color of the extracted one or more samples.
  • the image processing method includes a step of acquiring an image and In the step of performing the first image processing on the acquired image, the first sampling is performed to extract one or more samples to be processed from the acquired image, and the extracted image is extracted. Steps to detect the color of one or more samples, A second step in which a second image processing different from the first image processing is performed on the acquired image, and one or more samples to be processed are extracted from the acquired image. And the steps to reduce the color of one or more of the extracted samples. including.
  • the image processing program includes a process of acquiring an image and a process of acquiring an image.
  • the first image processing is performed on the acquired image, and the first sampling is performed to extract one or more samples to be processed from the acquired image, and the extracted image is extracted.
  • the process of detecting the color of one or more samples, A second image processing that is different from the first image processing for the acquired image, and is a second process of extracting one or more samples to be processed from the acquired image.
  • the process of reducing the color of one or more of the extracted samples causess the computer to perform operations including.
  • FIG. 3 is a cross-sectional view of a person's right eye as viewed overhead according to some embodiments.
  • FIG. 6 is a front view illustrating an exemplary distribution of different retinal cells of the human eye according to some embodiments.
  • FIG. 6 is a front view illustrating an exemplary distribution of first retinal cells (cone cells) of the human eye according to some embodiments.
  • FIG. 6 is a front view illustrating an exemplary distribution of second retinal cells (rod cells) of the human eye according to some embodiments.
  • It is a conceptual diagram explaining the image processing method which imitated the different retinal cells of the person which concerns on some embodiments.
  • It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 1.
  • FIG. 1 shows the structure of the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure explaining the exemplary distribution of a plurality of different sensor parts which concerns on Embodiment 1.
  • FIG. It is a figure explaining the exemplary distribution of the 1st sensor part (corresponding to a pyramidal cell) which concerns on Embodiment 1.
  • FIG. It is a figure explaining the exemplary distribution of the 2nd sensor part (corresponding to a rod cell) which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 2. It is a graph which shows the exemplary probability distribution about a plurality of first sensor part in a specific area. It is a graph which shows the exemplary probability distribution about a plurality of 2nd sensor part in a specific area. It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 3.
  • FIG. It is a block diagram which shows the hardware configuration example of an image processing apparatus.
  • This disclosure relates to a technique for performing image processing using image recognition of vertebrates such as humans.
  • a patient with glaucoma may have no subjective symptoms despite a visual field defect. That is, these patients may not be aware that the object is not visible.
  • the present disclosure proposes an image processing method for reducing image data within a range where there is no problem in recognition by utilizing such human vision and recognition.
  • the image processing apparatus can be used to appropriately convert the image data taken by the camera into a low resolution image.
  • an image (or video) transfer system including an image processing device takes an image, reduces image data, transfers the image via a band-limited network, and then performs a high-definition image. Can be used to convert to.
  • the image processing apparatus can be used to convert image data taken by a low resolution camera into a high definition image.
  • FIG. 1 is a cross-sectional view of a person's right eye as viewed from overhead.
  • the crystalline lens 303 in the human eye 300 is behind the pupil 302 and has the ability to change the focal length, focusing an object at varying distances from the observer onto the observer's retina 320 and the optic nerve 340. It is sent to the observer's brain via the lens, and is visually interpreted by the brain.
  • the retina 320 refers to the major portion of the inner surface of the eye (eg, human, observer, etc.) with a set of visual sensors opposite the pupil 302 of the eye.
  • the fovea 310 refers to the relatively small central part of the retina with a large group of visual sensors capable of the sharpest vision and the most sensitive color detection in the eye.
  • the macula 312 is the area of the eye or retina that receives the most amount of light and is therefore also referred to as the "most visually sensitive area”.
  • FIG. 2 is a front view illustrating an exemplary distribution of retinal cells with different human eyes.
  • the macular portion 312 is densely packed with pyramidal cells 11 (first retinal cells). Only pyramidal cells 11 are densely packed in the fovea 310.
  • Rod cells 12 (second retinal cells) are densely packed around the macula 312. Since the optic disc 345 has no photoreceptor cells, it cannot sense light.
  • the visual field corresponding to the optic disc 345 is a scotoma called the Marriott Blind Spot.
  • FIG. 3 is a front view illustrating an exemplary distribution of the first retinal cells (cone cells) of the human eye.
  • the pyramidal cell 11 recognizes a color (eg RGB).
  • a large number of pyramidal cells 11 eg, about 6 million in one eye are clustered in the macula 312 in the center of the retina 320.
  • FIG. 4 is a front view illustrating an exemplary distribution of the second retinal cells (rod cells) of the human eye.
  • the rod cells 12 do not recognize color, but are more sensitive to light than the pyramidal cells 11 and respond to even the slightest amount of light. Therefore, the rod cell 12 can considerably recognize the shape of the object even in a dark place.
  • FIG. 5 It is a conceptual diagram explaining the image processing method which imitated the retinal cells of different human beings.
  • An image of a subject for example, a pigeon in FIG. 5
  • a camera for example, an image sensor
  • the acquired image is subjected to the first image processing (compression processing) that imitates the first retinal cells (for example, cone cells) of the human eye (step 2).
  • Sampling is performed based on the distribution of pyramidal cells as shown in FIG. 3 (for example, the number of samplings is 6 million), and the color information of the image in each pyramidal cell (for example, RGB color information, YCbCr information, etc.) (HSV information, etc.) recognition processing is performed.
  • the image data after sampling and the color information corresponding to each pyramidal cell are transmitted to an external device or the like. In this way, the image data reduced by sampling in the first image processing can be transmitted to an external device or the like.
  • the acquired image is subjected to a second image processing (compression processing) that imitates the second retinal cell (for example, a rod cell) of the human eye (step 3).
  • a second image processing compression processing
  • sampling is performed based on the distribution of rod cells (for example, the number of samplings is 120 million), and the color information of the image in each rod cell (for example, RGB color information, YCbCr).
  • the number of samplings of the second image processing is significantly larger than the number of samplings of the first image processing.
  • the image data after sampling and the monochrome information corresponding to each rod cell are transmitted to an external device or the like. In this way, the image data reduced by sampling in the second image processing can be transmitted to an external device or the like. Either step 2 or step 3 may be performed first.
  • a composition process (for example, restoration process) is performed based on the image data and color information after the first image processing and the image data and monochrome information after the second image processing (step 4).
  • the number of pyramidal cells is 6 million and the number of rod cells is 120 million, whereas the number of axons of ganglion cells that transmit visual information to the brain is about 1 million in one eye.
  • the brain is restoring images from such limited information. By imitating such human visual recognition processing, it can be applied to an image transfer system that transfers data via a network with a limited band.
  • FIG. 6 is a block diagram showing the configuration of the image processing apparatus according to the first embodiment.
  • the image processing device 100 includes an image acquisition unit 101, a first image processing unit 110, a second image processing unit 120, and a compositing unit 150.
  • the image processing device 100 is realized by one or more computers.
  • the image processing apparatus 100 of FIG. 6 has all the components built-in, but some components (for example, the compositing unit 150) may be configured by another computer connected via a network.
  • the image acquisition unit 101 acquires image data obtained by capturing an image of a subject using an image sensor (for example, a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary MOS) sensor).
  • the image may be a still image or a moving image.
  • the image acquisition unit 101 may be, for example, a camera or may simply acquire image data from the camera.
  • the first image processing unit 110 performs predetermined image processing (first image processing) that imitates the first retinal cells (for example, cone cells) with respect to the image data from the image acquisition unit 101.
  • the first image processing unit 110 includes a sampling unit 112 and a color detection unit 113.
  • the sampling unit 112 extracts a sample from the image data from the image acquisition unit 101, for example, based on a predetermined sampling matrix (template). Discard the unextracted sample.
  • the predetermined sampling matrix shows the samples to be extracted from n ⁇ m processing blocks (details will be described later with reference to FIGS. 7 to 9).
  • the sampling matrix is determined based on the distribution of first retinal cells (eg, pyramidal cells) as shown in FIG.
  • the number of samples to be extracted (first number) can be arbitrarily set in consideration of the compression rate of the image. In this way, the image data can be reduced by the compression sampling process of the sampling unit 112.
  • the color detection unit 113 detects color information (for example, RGB data) for each sample extracted by the sampling unit 112 from the image from the image acquisition unit 101.
  • color information for example, RGB data
  • the first image processing unit 110 can execute coding processing and various compression processing.
  • the dynamic range or the luminance range may be compressed to a range that does not cause a problem in recognition.
  • the color information identified from the sampled image data by the first image processing imitating the first retinal cell is sent to the synthesis unit 150.
  • the second image processing unit 120 also has a predetermined image data from the image acquisition unit 101, which is different from the first image processing unit 110, which imitates the second retinal cells (for example, rod cells). Image processing (second image processing) is performed.
  • the second image processing unit 120 includes a sampling unit 122 and a color reduction unit 123.
  • the sampling unit 122 extracts a sample from the image data from the image acquisition unit 101, for example, based on a predetermined sampling matrix.
  • the predetermined sampling matrix is determined based on the distribution of the second retinal cells (eg, rod cells) as shown in FIG. Discard the unextracted sample.
  • the number to be extracted (second number) can be set to any number larger than the first number. In this way, the image data can be reduced by the compression sampling process of the sampling unit 122.
  • the color reduction unit 123 reduces the color (RGB) of the image from the image acquisition unit 101 and converts it into a monochrome image or a grayscale image. As a result, image data can be reduced.
  • the second image processing unit 120 can also execute coding processing and various compression processing.
  • the dynamic range or the luminance range may be compressed to a range that does not cause a problem in recognition.
  • the image data sampled and reduced in color by the second image processing imitating the second retinal cell (for example, rod cell) is sent to the synthesis unit 150.
  • the compositing unit 150 synthesizes the image data from the first image processing unit 110 and the image data from the second image processing unit 120. At this time, deep learning may be used to increase the resolution of the image.
  • FIG. 7 is a front view illustrating an exemplary distribution of a plurality of different sensor units according to the first embodiment.
  • This is a group of sensors that mimic retinal cells.
  • 11 ⁇ 11 processing blocks are arranged.
  • the first sensor unit 21 (hatched processing block in FIG. 7) corresponds to the first retinal cell (eg, pyramidal cell 11).
  • the second sensor unit 22 (processed block filled with gray in FIG. 8) corresponds to the second retinal cell (for example, rod cell 12).
  • first sensor portions 21 corresponding to the first retinal cells for example, pyramidal cells 11
  • second sensor units 22 corresponding to the second retinal cells are relatively around the dense central portion of the one or more first sensor units 21. It is densely arranged in.
  • FIG. 8 is a diagram illustrating an exemplary distribution of the first sensor unit (corresponding to pyramidal cells) according to the first embodiment.
  • 31 first sensor units are dispersedly arranged. Only the first sensor unit 21 is arranged in the 3 ⁇ 3 processing blocks in the central portion.
  • FIG. 9 is a diagram illustrating an exemplary distribution of the second sensor unit (corresponding to rod cells) according to the first embodiment.
  • the second sensor unit corresponding to rod cells
  • 90 second sensor units are dispersedly arranged.
  • the distributions shown in FIGS. 8 and 9 are merely examples, and various modifications and modifications can be made.
  • the number of first sensor units configured to recognize color is greater than the number of second sensors configured to reduce color.
  • the first sensor portion (corresponding to the pyramidal cell) is distributed so that the number of the first sensor portions is larger than the number of the second sensor portions.
  • the second sensor portion is distributed so that the number of the second sensor portions is larger than the number of the first sensor portions.
  • the central portion can refer to a part of two central regions among the regions divided into four equal parts in the X direction and the Y direction.
  • image data can be appropriately reduced by executing two different image processes that imitate human visual recognition. Further, after that, it can be appropriately restored by executing the synthesis process.
  • FIG. 10 is a block diagram showing the configuration of the image processing apparatus according to the second embodiment.
  • random sampling is performed to extract a sample with a specific probability. Discard the unextracted sample. That is, instead of the predetermined sampling matrix as described above, the area to be image processed is randomly determined from a large number of divided processing blocks in the image based on a specific probability. This particular probability depends on the distribution of the first retinal cells (eg, pyramidal cells) or the second retinal cells (eg, rod cells) of the retinal cells of many people (subjects). It is determined based on.
  • the first retinal cells eg, pyramidal cells
  • the second retinal cells eg, rod cells
  • a night-vision camera emphasizes high sensitivity, and can be realized by increasing the ratio corresponding to rod cells.
  • the image processing device 200 includes an image acquisition unit 201, a block division unit 205, a first image processing unit 210, a second image processing unit 220, and a compositing unit 250.
  • the image processing device 100 is realized by one or more computers.
  • the image processing apparatus 200 of FIG. 10 has all the components built-in, but some components (for example, the compositing unit 150) may be configured by another computer connected via a network.
  • the image acquisition unit 201 acquires image data obtained by capturing an image of a subject using an image sensor (for example, a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary MOS) sensor).
  • the image may be a still image or a moving image.
  • the image acquisition unit 201 may be, for example, a camera or may simply acquire image data from the camera.
  • the block division unit 205 divides the image from the image acquisition unit 101 into processing block units and supplies the image to the first image processing unit 210 and the second image processing unit 220.
  • the processing block unit can be arbitrarily set by the designer.
  • the image is divided into n ⁇ m processing blocks.
  • the processing blocks may be arranged at equal intervals (see, for example, FIGS. 7 to 9), or may be arranged at irregular intervals such as retinal cells (see FIGS. 2 to 4).
  • the first image processing unit 210 performs predetermined image processing (first) that imitates a first retinal cell (for example, a cone cell) with respect to the image data divided into a plurality of processing blocks from the block division unit 205.
  • image processing includes a random sampling unit 212 and a color detection unit 213.
  • the random sampling unit 212 randomly extracts a sample from the processing block divided by the block division unit 205 based on a specific probability.
  • FIG. 11 is a graph showing an exemplary probability distribution for a plurality of first sensor units in a particular region.
  • the first sensor unit can be randomly sampled based on the probability distribution shown in FIG.
  • the number to be extracted (first number) can be arbitrarily set in consideration of the compression rate of the image.
  • the first sensor unit dispersed that is, the first sensor unit is densely packed in the central portion
  • the image data can be reduced by the random sampling process of the random sampling unit 212.
  • the color detection unit 213 recognizes color information (for example, RGB data) for each sample of the image extracted by the random sampling unit 212.
  • the first image processing unit 210 can execute coding processing and various compression processing.
  • the dynamic range or the luminance range may be compressed to a range that does not cause a problem in recognition.
  • the color information identified from the sampled image data by the first image processing imitating the first retinal cell is sent to the synthesis unit 250.
  • the second image processing unit 220 also imitates the second retinal cells (for example, rod cells) with respect to the image data divided into a plurality of processing blocks from the block division unit 205, the first image. Performs a predetermined compression process (second image process) different from that of the processing unit 210.
  • the second image processing unit 220 includes a random sampling unit 222 and a color reduction unit 223.
  • the random sampling unit 222 randomly extracts a sample from the processing block divided by the block division unit 221 based on a specific probability.
  • FIG. 12 is a graph showing an exemplary probability distribution for a plurality of second sensor units in a particular region.
  • the second sensor unit can be randomly sampled based on the probability distribution shown in FIG.
  • it is possible to extract the second sensor portion dispersed that is, the second sensor portion is densely packed around the central portion
  • the image data can be reduced by the random sampling process of the random sampling unit 222.
  • the number to be extracted (second number) can be set to any number larger than the first number. In this way, the image data can be reduced by the compression sampling process of the random sampling unit 222.
  • the color reduction unit 223 reduces the color of the image from the image acquisition unit 201 and converts it into a monochrome image or a grayscale image. As a result, image data can be reduced.
  • the second image processing unit 220 can execute coding processing and various compression processing.
  • the dynamic range or the luminance range may be compressed to a range that does not cause a problem in recognition.
  • the image data sampled and reduced in color by the second image processing imitating the second retinal cell (for example, rod cell) is sent to the synthesis unit 250.
  • the compositing unit 250 synthesizes the image data from the first image processing unit 210 and the image data from the second image processing unit 220. At this time, deep learning may be used to increase the resolution of the image.
  • the image data is appropriately reduced by executing two different image processes that imitate human visual recognition, and then the image data is appropriately restored by executing the compositing process. can do.
  • the distribution can be changed according to the target and purpose.
  • Embodiment 3 is a modification of the second embodiment.
  • the same components as those in the second embodiment are designated by the same reference numerals as those in FIG. 10, and the description thereof will be omitted as appropriate.
  • the first image processing unit 210 has the block division unit 211
  • the second image processing unit 220 has the block division unit 221.
  • the block division unit 211 and the block division unit 221 may execute different division processes.
  • the block division unit 211 divides the image into n ⁇ m processing blocks.
  • the processing blocks may be evenly spaced (see, eg, FIGS. 7-9) or evenly spaced, such as retinal cells (see FIGS. 2-4).
  • the random sampling unit 212 performs random sampling on an image divided into n ⁇ m processing blocks.
  • the first sensor unit can be randomly sampled based on the probability distribution shown in FIG.
  • the block division unit 221 divides the image into n ⁇ m processing blocks.
  • the block division unit 221 may be divided into a different number of processing blocks from the block division unit 211.
  • the processing blocks may be evenly spaced (see, eg, FIGS. 7-9) or evenly spaced, such as retinal cells (see FIGS. 2-4).
  • the random sampling unit 222 performs random sampling on an image divided into n ⁇ m processing blocks.
  • the second sensor unit can be randomly sampled based on the probability distribution shown in FIG.
  • the image data is appropriately reduced by executing two different image processes that imitate human visual recognition, and then the image data is appropriately restored by executing the compositing process. can do.
  • FIG. 14 is a block diagram showing a hardware configuration example of the image processing devices 100 and 200 (hereinafter referred to as an image processing device 100 and the like).
  • the image processing apparatus 100 and the like include a network interface 1201, a processor 1202, and a memory 1203.
  • the network interface 1201 is used to communicate with other network node devices constituting the communication system.
  • Network interface 1201 may be used to perform wireless communication.
  • the network interface 1201 may be used to perform wireless LAN communication specified in the IEEE 802.11 series or mobile communication specified in 3GPP (3rd Generation Partnership Project).
  • the network interface 1201 may include, for example, a network interface card (NIC) compliant with the IEEE802.3 series.
  • NIC network interface card
  • the processor 1202 reads software (computer program) from the memory 1203 and executes it to perform processing of the monitoring device 10 or the like described by using the flowchart or the sequence in the above-described embodiment.
  • the processor 1202 may be, for example, a microprocessor, an MPU (MicroProcessingUnit), or a CPU (CentralProcessingUnit).
  • Processor 1202 may include a plurality of processors.
  • Memory 1203 is composed of a combination of volatile memory and non-volatile memory. Memory 1203 may include storage located away from processor 1202. In this case, processor 1202 may access memory 1203 via an I / O interface (not shown).
  • the memory 1203 is used to store the software module group. By reading these software modules from the memory 1203 and executing the processor 1202, the processor 1202 can perform the processing of the monitoring device 10 and the like described in the above-described embodiment.
  • each of the processors included in the image processing apparatus 100 and the like executes one or a plurality of programs including a set of instructions for causing a computer to perform the algorithm described with reference to the drawings.
  • the compositing unit 150 can be realized by a computer separate from the image processing device. Therefore, in this case, the hardware configuration of the synthesis unit 150 is also as shown in FIG.
  • the procedure of processing in the image processing apparatus has been described, the present disclosure may also take a form as an image processing method.
  • This image processing method is a step of acquiring an image and a step of performing a first image processing on the acquired image, and one or more samples to be processed are obtained from the acquired image.
  • the first sampling to be extracted is performed, the step of detecting the color of the one or more extracted samples, and the acquired image are subjected to a second image processing different from the first image processing.
  • the step includes a second sampling of extracting one or more samples to be processed from the acquired image and reducing the color of the extracted one or more samples. ..
  • the image processing program is a program for causing a computer to execute such an image processing method.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (ReadOnlyMemory), CD-Rs, CD-R / W, DVD (DigitalVersatileDisc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (ProgrammableROM), EPROM (ErasablePROM), flash ROM, RAM (for example) RandomAccessMemory)) is included.
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
  • the retinal cells of the human eye have been mainly described, but it can also be applied to the retinal cells of other vertebrates.
  • the plurality of examples described above can be carried out in combination as appropriate.
  • (Appendix 1) The image acquisition unit that acquires images and A first image processing unit that performs first image processing on the acquired image, and performs first sampling to extract one or more samples to be processed from the acquired image.
  • a first sampling unit a first image processing unit including a color detecting unit for detecting the color of one or more extracted samples, and a first image processing unit.
  • a second image processing unit that performs a second image processing different from the first image processing on the acquired image, and one or more samples to be processed from the acquired image.
  • An image processing device comprising.
  • (Appendix 2) The image processing apparatus according to Appendix 1, wherein the sampling number of the first sampling unit is smaller than the sampling number of the second sampling unit.
  • (Appendix 3) The first image processing unit performs first image processing that imitates the first retinal cell among the vertebrate retinal cells.
  • (Appendix 4) The image processing apparatus according to Appendix 3, wherein the first retinal cell is a pyramidal cell, and the second retinal cell is a rod cell.
  • the first sampling unit performs the first sampling based on the sampling matrix determined based on the distribution of the first retinal cells.
  • the first sampling unit performs the first random sampling according to the probability distribution determined based on the distribution of the first retinal cells.
  • (Appendix 9) Steps to get the image and In the step of performing the first image processing on the acquired image, the first sampling is performed to extract one or more samples to be processed from the acquired image, and the extracted image is extracted. Steps to detect the color of one or more samples, A second step in which a second image processing different from the first image processing is performed on the acquired image, and one or more samples to be processed are extracted from the acquired image. And the steps to reduce the color of one or more of the extracted samples.
  • Image processing methods including. (Appendix 10) The image processing method according to Appendix 9, wherein the sampling number of the first sampling is smaller than the sampling number of the second sampling.
  • the first random sampling is performed according to a probability distribution determined based on the distribution of the first retinal cells.
  • the image processing method according to Appendix 11, wherein the second sampling is a second random sampling according to a probability distribution determined based on the distribution of the second retinal cells.
  • the number of the first retinal cells is denser than the number of the second retinal cells in the central part.
  • Method. (Appendix 16) The image processing method according to any one of Supplementary note 9 to 15, further comprising a step of synthesizing the image data processed by the first image processing and the image data processed by the second image processing. (Appendix 17) The process of acquiring an image and The first image processing is performed on the acquired image, and the first sampling is performed to extract one or more samples to be processed from the acquired image, and the extracted image is extracted.
  • the process of detecting the color of one or more samples A second image processing that is different from the first image processing for the acquired image, and is a second process of extracting one or more samples to be processed from the acquired image. And the process of reducing the color of one or more of the extracted samples.
  • An image processing program that causes a computer to perform operations including.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

人などの脊椎動物の視覚認識を利用した、改善された画像処理装置等を提供する。 画像処理装置（１００）は、画像を取得する画像取得部（１０１）と、取得した画像に対して、第１の画像処理を行う第１の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行う第１のサンプリング部（１１２）、および、前記抽出された１つ以上のサンプルの色を検出する色検出部（１１３）を含む第１の画像処理部（１１０）と、前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う第２の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行う第２のサンプリング部（１２２）、および、前記抽出された１つ以上のサンプルの色を削減する色削減部（１２３）を含む第２の画像処理部（１２０）と、を備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体
　本発明は画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　高速ネットワーク下での動画配信やＷｅｂ会議の普及により、転送データの肥大化が懸念されている。的確な視覚情報を、ネットワークを介して外部装置に提供し、共有したいというニーズは高い。しかし、エンターテイメントだけでなく遠隔協業作業や遠隔医療などの特定のシチュエーション（例えば、衛星通信、山間部など）によっては高速なネットワークが利用できない場合がある。
　特許文献１には、プログラム制御により動作する画像操作装置と、プログラム制御により動作する画像圧縮装置と、利用者が対象画像ファイルの入力元と圧縮画像ファイルの出力先を指定して画像圧縮処理を操作する画像圧縮操作装置とを備える画像圧縮システムが開示されている。画像圧縮装置は、画像操作装置から入力された圧縮対象画像毎に、個別に、基準圧縮率データを用いて圧縮した圧縮画像を文字認識し、圧縮率を含むデータである複数のノードがそれぞれ前記圧縮率より高い圧縮率を含むノードと前記圧縮率より低い圧縮率を含むノードとそれぞれ対応付けられて記憶されている決定木と、基準相違率データと、基準画像文字認識結果データと圧縮画像文字認識結果データとを比較した相違率データと、に基づいて、圧縮率を特定し、前記特定した圧縮率で前記圧縮対象画像を圧縮し、前記文字認識と前記圧縮率の特定と前記特定した圧縮率での圧縮とを評価回数データが示す回数反復し、反復して得られた圧縮結果画像を出力する。
　特許文献２には、左右眼用の１対のビデオカメラと該ビデオカメラの映像信号を入力し画像処理する画像認識装置と該画像認識装置からの映像信号を入力してそれを表示するモニタ装置とを有し、人間が対象物を見たときに又は実際に肉眼で視覚的に得られる像の模倣像を上記モニタに表示するとともに、上記１対のビデオカメラを所望の位置に移動させることによって人間の注視動作を模倣するようにしたことを特徴とするビデオカメラ撮像装置が開示されている。
　特許文献３には、一連の未加工画像に対応する未加工画像データを受信すること、及び未加工画像データを処理装置のエンコーダにより処理してエンコードされたデータを生成することを含む方法が記載される。エンコーダは、脊椎動物の網膜の少なくとも１つの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換により特徴付けられる。方法は、エンコードされたデータに次元低減アルゴリズムを適用することにより、エンコードされたデータを処理して、次元が低減されたエンコードされたデータを生成することも含む。次元低減アルゴリズムは、エンコードされたデータに含まれる情報の量を圧縮するように構成されている。このような方法と共に使用可能な装置及びシステムも、記載される。
　特許文献４には、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するために前記生画像データを処理する段階であって、網膜出力細胞応答値を生成するために前記生画像データに時空変換を適用し、該時空変換の適用は、自然光景を含む刺激を用いて生成される実験データから直接決定される一連の重みを含む単一段階時空変換の適用を含む、段階と、前記網膜出力細胞応答値に基づいて符号化されたデータを生成する段階と、を含む段階と、前記符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階と、を含むことを特徴とする方法が開示されている。
特開２００６－２７０１９９号公報 特許第３５２０５９２号公報 特表２０１８－５１４０３６号公報 特許第６１１７２０６号公報
　限られたネットワーク帯域に対応するため、転送データを、転送先おいて画像の認識に問題ない範囲で、より適切に削減したいというニーズがある。上記特許文献３及び４は、脊椎動物網膜の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いているが、依然として改善の余地がある。
　本発明は、このような問題点を解決するためになされたものであり、人などの脊椎動物の視覚認識を利用した、改善された画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　本発明の第１の態様にかかる画像処理装置は、画像を取得する画像取得部と、
　前記取得した画像に対して、第１の画像処理を行う第１の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行う第１のサンプリング部、および、前記抽出された１つ以上のサンプルの色を検出する色検出部を含む第１の画像処理部と、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う第２の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行う第２のサンプリング部、および、前記抽出された１つ以上のサンプルの色を削減する色削減部を含む第２の画像処理部と、
を備える。
　本発明の第２の態様にかかる画像処理方法は、画像を取得するステップと、
　前記取得した画像に対して、第１の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出するステップと、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減するステップと、
を含む。
　本発明の第３の態様にかかる画像処理プログラムは、画像を取得する処理と、
　前記取得した画像に対して、第１の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出する処理と、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減する処理と、
を含む動作をコンピュータに実行させる。
　本発明によれば、人などの脊椎動物の視覚認識を利用した新たな画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。
いくつかの実施の形態にかかる頭上から見た人の右目の断面図である。 いくつかの実施の形態にかかる人の目の異なる網膜細胞の例示的な分布を説明する正面図である。 いくつかの実施の形態にかかる人の目の第１の網膜細胞（錐体細胞）の例示的な分布を説明する正面図である。 いくつかの実施の形態にかかる人の目の第２の網膜細胞（桿体細胞）の例示的な分布を説明する正面図である。 いくつかの実施の形態にかかる人の異なる網膜細胞を模倣した画像処理方法を説明する概念図である。 実施の形態１にかかる画像処理装置の構成を示すブロック図である。 実施の形態１にかかる複数の異なるセンサ部の例示的な分布を説明する図である。 実施の形態１にかかる第１のセンサ部（錐体細胞に対応する）の例示的な分布を説明する図である。 実施の形態１にかかる第２のセンサ部（桿体細胞に対応する）の例示的な分布を説明する図である。 実施の形態２にかかる画像処理装置の構成を示すブロック図である。 特定の領域における複数の第１のセンサ部についての例示的な確率分布を示すグラフである。 特定の領域における複数の第２のセンサ部についての例示的な確率分布を示すグラフである。 実施の形態３にかかる画像処理装置の構成を示すブロック図である。 画像処理装置のハードウェア構成例を示すブロック図である。
　本開示は、人などの脊椎動物の画像認識を利用して画像処理を実行する技術に関する。例えば、緑内障の患者は、視野に欠損があるにもかかわらず、自覚症状がないことがある。つまり、こうした患者は、対象物が見えていないことに気づかないことがある。本開示は、このような人の視覚や認識を利用して、認識に問題のない範囲で画像データを削減する画像処理方法を提案する。
　いくつかの実施形態にかかる画像処理装置は、カメラで撮影した画像データを適切に低解像度の画像に変換するのに使用され得る。また、いくつかの実施形態にかかる画像処理装置を含む画像（又は映像）転送システムは、画像を撮影し、画像データを削減し、帯域が限定されるネットワークを介して転送後、高精細な画像に変換するのに使用され得る。いくつかの実施形態にかかる画像処理装置は、低解像度のカメラで撮影した画像データを高精細な画像に変換するのに使用され得る。
　以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。
　図１は、頭上から見た人の右目の断面図である。
　人の目３００の中の水晶体３０３は、瞳孔３０２の後ろにあり、焦点長を変える能力を有し、観察者から変動する距離にある物体を観察者の網膜３２０上に合焦させ、視神経３４０を介して観察者の脳に送られ、脳で、視覚解釈させる。網膜３２０は、（例えば人間、観察者などの）眼の内表面のうちの、眼の瞳孔３０２の反対側にある視覚センサ群を備えた主要部分を指す。中心窩（ｆｏｖｅａ）３１０は、眼において最も鮮明な視覚および最も高感度な色検出が可能である多数の視覚センサ群を備えた、網膜のうちの比較的小さい中央部分を指す。黄斑部（おうはんぶ）３１２は、目の中又は網膜中において、最も多くの量の光を受ける領域であり、それゆえ「最も視覚が鋭敏な場所」とも呼ばれる領域である。
　図２は、人の目の異なる網膜細胞の例示的な分布を説明する正面図である。黄斑部３１２には錐体細胞１１（第１の網膜細胞）が密集している。中心窩３１０には錐体細胞１１のみが密集している。黄斑部３１２の周囲には桿体細胞１２（第２の網膜細胞）が密集している。視神経乳頭３４５には視細胞がないため、光を感知できない。視神経乳頭３４５に対応する視野は、マリオット盲点と呼ばれる暗点となっている。
　図３は、人の目の第１の網膜細胞（錐体細胞）の例示的な分布を説明する正面図である。
　この錐体細胞１１は、色（例えば、ＲＧＢ）を認識する。多数の錐体細胞１１（例えば、片目で約６００万個）が網膜３２０の中心にある黄斑部３１２に密集している。
　図４は、人の目の第２の網膜細胞（桿体細胞）の例示的な分布を説明する正面図である。桿体細胞１２は、色を認識しないが、錐体細胞１１に比べて、光に対する感度は高く、わずかな光にも反応する。そのため、桿体細胞１２は、暗所でも、物体の形をかなり認識することができる。
　人の異なる網膜細胞を模倣した画像処理方法を説明する概念図である。
　カメラ（例えば、イメージセンサ）を用いて被写体（例えば、図５ではハト）の画像を取得する（ステップ１）。次に、取得した画像に対して、人の目の第１の網膜細胞（例えば、錐体細胞）を模倣した第１の画像処理（圧縮処理）を行う（ステップ２）。図３で示すような錐体細胞の分布（例えば、サンプリング数は、６００万個）に基づいて、サンプリングを行うとともに、各錐体細胞における画像の色情報（例えば、ＲＧＢ色情報、ＹＣｂＣｒ情報、ＨＳＶ情報など）の認識処理を行う。サンプリング後の画像データと、各錐体細胞に対応する色情報を外部デバイス等に送信する。このように、第１の画像処理のサンプリングにより削減した画像データを、外部デバイス等に送信することができる。
　同様に、取得した画像に対して、人の目の第２の網膜細胞（例えば、桿体細胞）を模倣した第２の画像処理（圧縮処理）を行う（ステップ３）。図４に示すように桿体細胞の分布（例えば、サンプリング数は、１億２０００万個）に基づいて、サンプリングを行うとともに、各桿体細胞における画像の色情報（例えば、ＲＧＢ色情報、ＹＣｂＣｒ情報、ＨＳＶ情報など）の削減処理（モノクロに変換）を行う。第２の画像処理のサンプリング数は、第１の画像処理のサンプリング数より著しく多い。サンプリング後の画像データと、各桿体細胞に対応するモノクロ情報を外部デバイス等に送信する。このように、第２の画像処理のサンプリングにより削減した画像データを、外部デバイス等に送信することができる。なお、ステップ２とステップ３は、いずれが先に行われてもよい。
　最後に、第１の画像処理後の画像データ及び色情報と、第２の画像処理後の画像データ及びモノクロ情報とに基づいて、合成処理（例えば、復元処理）を行う（ステップ４）。なお、錐体細胞が６００万個、桿体細胞が１億２０００万個であるのに対し、視覚情報を脳に伝達する神経節細胞の軸索は、片目で１００万本程度である。脳は、このような限られた情報から映像を復元している。こうした人の視覚認識処理を模倣することで、帯域が限定されたネットワークを介して、データを転送する画像転送システムに応用することができる。以下に、いくつかの具体的な実施の形態を説明する。
　実施の形態１
　図６は、実施の形態１にかかる画像処理装置の構成を示すブロック図である。画像処理装置１００は、画像取得部１０１と、第１の画像処理部１１０と、第２の画像処理部１２０と、合成部１５０とを有する。画像処理装置１００は、１つ以上のコンピュータにより実現される。図６の画像処理装置１００は、すべての構成要素を内蔵したが、一部の構成要素（例えば、合成部１５０）は、ネットワークを介して接続された別のコンピュータにより構成してもよい。
　画像取得部１０１は、イメージセンサ（例えば、ＣＣＤ（Charge-Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサ）により、被写体を撮像した画像データを取得する。画像は、静止画であってもよいし、動画であってもよい。画像取得部１０１は、例えば、カメラであってもよいし、カメラからの画像データを単に取得するものであってもよい。
　第１の画像処理部１１０は、画像取得部１０１からの画像データに対し、第１の網膜細胞（例えば、錐体細胞）を模倣した所定の画像処理（第１の画像処理）を行う。第１の画像処理部１１０は、サンプリング部１１２と、色検出部１１３と、を備える。
　サンプリング部１１２は、画像取得部１０１からの画像データに対し、例えば、所定のサンプリングマトリックス（テンプレート）に基づいてサンプルを抽出する。抽出しなかったサンプルは破棄する。所定のサンプリングマトリックスは、ｎ×ｍ個の処理ブロックから抽出すべきサンプルを示すものである（詳細は、図７～図９を用いて後述する）。サンプリングマトリックスは、図３に示すような第１の網膜細胞（例えば、錐体細胞）の分布に基づいて決定される。サンプルを抽出する個数（第１の個数）は、画像の圧縮率を考慮して、任意に設定することができる。このように、サンプリング部１１２の圧縮サンプリング処理により、画像データを削減することができる。
　色検出部１１３は、画像取得部１０１からの画像からサンプリング部１１２により抽出された各サンプルについての色情報（例えば、ＲＧＢデータ）を検出する。
　また、第１の画像処理部１１０は、符号化処理や各種圧縮処理を実行することができる。例えば、ダイナミックレンジ又は輝度範囲を、認識に問題ない範囲に圧縮してもよい。
　以上のように、第１の網膜細胞（例えば、錐体細胞）を模倣した第１の画像処理により、サンプリングされた画像データと識別された色情報は、合成部１５０に送られる。
　一方、第２の画像処理部１２０も、画像取得部１０１からの画像データに対し、第２の網膜細胞（例えば、桿体細胞）を模倣した、第１の画像処理部１１０とは異なる所定の画像処理（第２の画像処理）を行う。第２の画像処理部１２０は、サンプリング部１２２と、色削減部１２３と、を備える。
　サンプリング部１２２は、画像取得部１０１からの画像データに対し、例えば、所定のサンプリングマトリックスに基づいてサンプルを抽出する。所定のサンプリングマトリックスは、図４に示すような第２の網膜細胞（例えば、桿体細胞）の分布に基づいて決定される。抽出しなかったサンプルは破棄する。抽出する個数（第２の個数）は、第１の個数よりも多い任意の数に設定することができる。このように、サンプリング部１２２の圧縮サンプリング処理により、画像データを削減することができる。
　色削減部１２３は、画像取得部１０１からの画像の色（ＲＧＢ）を削減し、モノクロ画像又はグレースケール画像に変換する。これにより、画像データを削減することができる。
　また、第２の画像処理部１２０は、符号化処理や各種圧縮処理を実行することもできる。例えば、ダイナミックレンジ又は輝度範囲を、認識に問題ない範囲に圧縮してもよい。
　以上のように、第２の網膜細胞（例えば、桿体細胞）を模倣した第２の画像処理により、サンプリングされ、かつ色を削減された画像データは、合成部１５０に送られる。
　合成部１５０は、第１の画像処理部１１０からの画像データと、第２の画像処理部１２０からの画像データを合成する。この際、深層学習を用いて、画像の高解像度化を実施してもよい。
　ここで、図７～図９を参照して、複数の異なるセンサ部の分散した配置例を説明する。図７は、実施の形態１にかかる複数の異なるセンサ部の例示的な分布を説明する正面図である。これは、網膜細胞を模倣したセンサ群である。図７では、１１×１１個の処理ブロックが整列されている。このうち、第１のセンサ部２１（図７では、ハッチングされた処理ブロック）は、第１の網膜細胞（例えば、錐体細胞１１）に対応する。一方、第２のセンサ部２２（図８では、グレイで塗りつぶされた処理ブロック）は、第２の網膜細胞（例えば、桿体細胞１２）に対応する。
　前述した通り、サンプリングマトリックスの中央部には、第１の網膜細胞（例えば、錐体細胞１１）に対応する１つ以上の第１のセンサ部２１のみが配列されている。また、第２の網膜細胞（例えば、桿体細胞１２）に対応する１つ以上の第２のセンサ部２２は、１つ以上の第１のセンサ部２１の密集する中央部の周囲に比較的に密集して配置されている。
　図８は、実施の形態１にかかる第１のセンサ部（錐体細胞に対応する）の例示的な分布を説明する図である。サンプリングマトリックス内の１１×１１個（合計１２１個）の処理ブロックのうち、３１個の第１のセンサ部が分散して配置されている。中央部の３×３個の処理ブロックには、第１のセンサ部２１のみが配置されている。
　図９は、実施の形態１にかかる第２のセンサ部（桿体細胞に対応する）の例示的な分布を説明する図である。サンプリングマトリックス内の１１×１１個（合計１２１個）の処理ブロックのうち、９０個の第２のセンサ部が分散して配置されている。
　図８及び図９に示す分布は、例示に過ぎず、様々な修正及び変形を行うことができる。ただし、色を認識するように構成された第１のセンサ部の数は、色を削減するように構成された第２のセンサの数より多い。また、中央部において、第１のセンサ部（錐体細胞に対応する）は、第１のセンサ部の数が第２のセンサ部の数より多くなるように分布している。さらに、この中央部の周囲には、第２のセンサ部は、第２のセンサ部の数が、第１のセンサ部の数より多くなるように分布している。なお、中央部とは、図３および図８に示すように、Ｘ方向及びＹ方向に４等分した領域のうち、中央の２つの領域の一部を指すことができる。
　以上説明した本実施の形態によれば、人の視覚認識を模倣した２つの異なる画像処理を実行することで、画像データを適切に削減することができる。また、その後、合成処理を実行することで、適切に復元することができる。
　実施の形態２
　図１０は、実施の形態２にかかる画像処理装置の構成を示すブロック図である。実施の形態２では、特定の確率でサンプルを抽出するランダムサンプリングを実行する。抽出しなかったサンプルは破棄する。つまり、前述したような予め定められたサンプリングマトリックスではなく、特定の確率に基づいて、画像の内の分割された多数の処理ブロックから、画像処理を行う領域をランダムに決定するものである。この特定の確率は、多くの人（被験者）の網膜細胞のうちの第１の網膜細胞（例えば、錐体細胞）の分布、又は、第２の網膜細胞（例えば、桿体細胞）の分布に基づいて、定められる。
　また、本実施の形態は、対象、目的に応じて、分布を変更することが有効となる。例えば、暗視カメラであれば高感度を重視するので、桿体細胞相当の比率を上げることで実現することができる。また、本実施の形態では、機械学習等の画像処理による高精度化に適した錐体細胞の空間分布を設定ことができる。これらは目的に応じて設定することにより、実際の人体の眼球ではなしえない特性を持つカメラを設計することが可能となる。
　画像処理装置２００は、画像取得部２０１と、ブロック分割部２０５と、第１の画像処理部２１０と、第２の画像処理部２２０と、合成部２５０とを、有する。画像処理装置１００は、１つ以上のコンピュータにより実現される。図１０の画像処理装置２００は、すべての構成要素を内蔵したが、一部の構成要素（例えば、合成部１５０）は、ネットワークを介して接続された別のコンピュータにより構成してもよい。
　画像取得部２０１は、イメージセンサ（例えば、ＣＣＤ（Charge-Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサ）により、被写体を撮像した画像データを取得する。画像は、静止画であってもよいし、動画であってもよい。画像取得部２０１は、例えば、カメラであってもよいし、カメラからの画像データを単に取得するものであってもよい。
　ブロック分割部２０５は、画像取得部１０１からの画像を処理ブロック単位に分割し、第１の画像処理部２１０と第２の画像処理部２２０に供給する。処理ブロック単位は、設計者によって任意に設定することができる。ここでは、画像をｎ×ｍ個の処理ブロックに分割する。なお、各処理ブロックは、等間隔に配置されてもよいし（例えば、図７～図９参照）、網膜細胞のように不等間隔で配置されてもよい（図２～図４参照）。
　図７に示すように、等間隔の画素の信号を加算すること（ビニング）することにより、見かけ上の感度を高くすることが可能となる。しかしながら、２×２の画素を１つの画素として扱う場合、４つの信号を信号処理で加算することから、撮像素子からの読み出しノイズも４倍増加してしまう。これに対して、半導体設計段階で大きな素子を混在することが出来れば、読み出しノイズを減らすことが可能となる。従来のカメラでは、等間隔に大きな素子を配置した撮像素子を製造し、ディジタルカメラとして販売していた。しかしながら、その場合でも、素子のサイズは２倍程度であり、飛躍的な効果を得ることは困難であった。この問題を解決するためには、高感度の素子のサイズを大きくすることが必要である。そのためには、処理ブロックをランダムに配置することにより、素子の配置場所を作り出すことが可能となる。一方、欠損している（素子がない）場所が発生するが、画像処理により、その場所を保管、再現、推測することで欠損情報を補うことが可能となる。
　第１の画像処理部２１０は、ブロック分割部２０５からの複数の処理ブロックに分割された画像データに対し、第１の網膜細胞（例えば、錐体細胞）を模倣した所定の画像処理（第１の画像処理）を行う。第１の画像処理部２１０は、ランダムサンプリング部２１２と、色検出部２１３と、を備える。
　ランダムサンプリング部２１２は、ブロック分割部２０５で分割された処理ブロックから、特定の確率に基づいて、ランダムにサンプルを抽出する。図１１は、特定の領域における複数の第１のセンサ部についての例示的な確率分布を示すグラフである。例えば、図１１に示す確率分布に基づいて、第１のセンサ部をランダムサンプリングすることができる。抽出する個数（第１の個数）は、画像の圧縮率を考慮して、任意に設定することができる。これにより、図３又は図８に示した分布と同様に分散した（すなわち、中央部に、第１のセンサ部が密集している）第１のセンサ部を抽出することができる。このように、ランダムサンプリング部２１２のランダムサンプリング処理により、画像データを削減することができる。
　色検出部２１３は、ランダムサンプリング部２１２により抽出された画像の各サンプルについての色情報（例えば、ＲＧＢデータ）を認識する。
　また、第１の画像処理部２１０は、符号化処理や各種圧縮処理を実行することができる。例えば、ダイナミックレンジ又は輝度範囲を、認識に問題ない範囲に圧縮してもよい。
　以上のように、第１の網膜細胞（例えば、錐体細胞）を模倣した第１の画像処理により、サンプリングされた画像データと識別された色情報は、合成部２５０に送られる。
　一方、第２の画像処理部２２０も、ブロック分割部２０５からの複数の処理ブロックに分割された画像データに対し、第２の網膜細胞（例えば、桿体細胞）を模倣した、第１の画像処理部２１０とは異なる所定の圧縮処理（第２の画像処理）を行う。第２の画像処理部２２０は、ランダムサンプリング部２２２と、色削減部２２３と、を備える。
　ランダムサンプリング部２２２は、ブロック分割部２２１で分割された処理ブロックから、特定の確率に基づいて、ランダムにサンプルを抽出する。図１２は、特定の領域における複数の第２のセンサ部についての例示的な確率分布を示すグラフである。例えば、図１２に示す確率分布に基づいて、第２のセンサ部をランダムサンプリングすることができる。これにより、図４又は図９に示した分布と同様に分散した（すなわち、中央部の周囲に、第２のセンサ部が密集した）第２のセンサ部を抽出することができる。このように、ランダムサンプリング部２２２のランダムサンプリング処理により、画像データを削減することができる。
　抽出する個数（第２の個数）は、第１の個数よりも多い任意の数に設定することができる。このように、ランダムサンプリング部２２２の圧縮サンプリング処理により、画像データを削減することができる。
　色削減部２２３は、画像取得部２０１からの画像の色を削減し、モノクロ画像又はグレースケール画像に変換する。これにより、画像データを削減することができる。
　また、第２の画像処理部２２０は、符号化処理や各種圧縮処理を実行することができる。例えば、ダイナミックレンジ又は輝度範囲を、認識に問題ない範囲に圧縮してもよい。
　以上のように、第２の網膜細胞（例えば、桿体細胞）を模倣した第２の画像処理により、サンプリングされ、かつ色を削減された画像データは合成部２５０に送られる。
　合成部２５０は、第１の画像処理部２１０からの画像データと、第２の画像処理部２２０からの画像データを合成する。この際、深層学習を用いて、画像の高解像度化を実施してもよい。
　以上説明した本実施の形態によれば、人の視覚認識を模倣した２つの異なる画像処理を実行することで、画像データを適切に削減し、その後、合成処理を実行することで、適切に復元することができる。また、ランダムサンプリングを行うことで、対象、目的に応じて、分布を変更することができる。
　実施の形態３
　実施の形態３は、実施の形態２の変形例である。図１３では、実施の形態２と同一の構成要素は、図１０と同一の符号を付し、適宜説明を省略する。実施の形態３では、第１の画像処理部２１０がブロック分割部２１１を有し、第２の画像処理部２２０がブロック分割部２２１を有する。
　本実施の形態では、ブロック分割部２１１とブロック分割部２２１は、互いに異なる分割処理を実行してもよい。ブロック分割部２１１は、画像を、ｎ×ｍ個の処理ブロックに分割する。各処理ブロックは、等間隔に配置されてもよいし（例えば、図７～図９参照）、網膜細胞のように不等間隔で配置されてもよい（図２～図４参照）。ランダムサンプリング部２１２は、ｎ×ｍ個の処理ブロックに分割された画像に対して、ランダムサンプリングを行う。上述したように、図１１に示す確率分布に基づいて、第１のセンサ部をランダムサンプリングすることができる。
　ブロック分割部２２１は、画像を、ｎ×ｍ個の処理ブロックに分割する。ブロック分割部２２１は、ブロック分割部２１１とは異なる数の処理ブロックに分割してもよい。各処理ブロックは、等間隔に配置されてもよいし（例えば、図７～図９参照）、網膜細胞のように不等間隔で配置されてもよい（図２～図４参照）。ランダムサンプリング部２２２は、ｎ×ｍ個の処理ブロックに分割された画像に対して、ランダムサンプリングを行う。上述したように、図１２に示す確率分布に基づいて、第２のセンサ部をランダムサンプリングすることができる。
　以上説明した本実施の形態によれば、人の視覚認識を模倣した２つの異なる画像処理を実行することで、画像データを適切に削減し、その後、合成処理を実行することで、適切に復元することができる。
　図１４は、画像処理装置１００及び２００（以下、画像処理装置１００等とする）のハードウェア構成例を示すブロック図である。図１４を参照すると、画像処理装置１００等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された監視装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
　図１４の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された監視装置１０等の処理を行うことができる。
　図１４を用いて説明したように、画像処理装置１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　前述したとおり、合成部１５０は、画像処理装置とは、別体のコンピュータにより実現され得る。したがって、この場合、合成部１５０のハードウェア構成も、図１４に示すとおりである。
　さらに、上述した様々な実施の形態において、画像処理装置における処理の手順を説明したように、本開示は画像処理方法としての形態も採り得る。この画像処理方法は、画像を取得するステップと、前記取得した画像に対して、第１の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出するステップと、前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減するステップと、を含む。なお、その他の例については、上述した様々な実施の形態で説明した通りである。また、画像処理プログラムは、コンピュータにこのような画像処理方法を実行させるためのプログラムである。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記した実施の形態では、主に人の目の網膜細胞について説明したが、他の脊椎動物の網膜細胞に適用することも可能となる。また、以上で説明した複数の例は、適宜組み合わせて実施されることもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　画像を取得する画像取得部と、
　前記取得した画像に対して、第１の画像処理を行う第１の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行う第１のサンプリング部、および、前記抽出された１つ以上のサンプルの色を検出する色検出部を含む第１の画像処理部と、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う第２の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行う第２のサンプリング部、および、前記抽出された１つ以上のサンプルの色を削減する色削減部を含む第２の画像処理部と、
を備える画像処理装置。
（付記２）
　前記第１のサンプリング部のサンプリング数は、前記第２のサンプリング部のサンプリング数より少ない、付記１に記載の画像処理装置。
（付記３）
　前記第１の画像処理部は、脊椎動物の網膜細胞のうちの第１の網膜細胞を模倣した第１の画像処理を行い、
　前記第２の画像処理部は、脊椎動物の網膜細胞のうちの第２の網膜細胞を模倣した第２の画像処理を行う、付記１に記載の画像処理装置。
（付記４）
　前記第１の網膜細胞は、錐体細胞であり、前記第２の網膜細胞は、桿体細胞である、付記３に記載の画像処理装置。
（付記５）
　前記第１のサンプリング部は、前記第１の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第１のサンプリングを行い、
　前記第２のサンプリング部は、前記第２の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第２のサンプリングを行う、付記３に記載の画像処理装置。
（付記６）
　前記第１のサンプリング部は、前記第１の網膜細胞の分布に基づいて定められた確率分布にしたがって、第１のランダムサンプリングを行い、
　前記第２のサンプリング部は、前記第２の網膜細胞の分布に基づいて定められた確率分布にしたがって、第２のランダムサンプリングを行う、付記３に記載の画像処理装置。
（付記７）
　前記第１の網膜細胞の分布では、中央部において、前記第１の網膜細胞の数が前記第２の網膜細胞の数より多く密集しており、
　前記第２の網膜細胞の分布では、前記中央部の周囲において、前記第２の網膜細胞の数が前記第１の網膜細胞の数より多く密集している、付記５又は６に記載の画像処理装置。
（付記８）
　前記第１の画像処理部で処理された画像データと前記第２の画像処理部で処理された画像データを合成する合成部を更に備える、付記１～７のいずれか一項に記載の画像処理装置。
（付記９）
　画像を取得するステップと、
　前記取得した画像に対して、第１の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出するステップと、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減するステップと、
を含む、画像処理方法。
（付記１０）
　前記第１のサンプリングのサンプリング数は、前記第２のサンプリングのサンプリング数より少ない、付記９に記載の画像処理方法。
（付記１１）
　前記第１の画像処理を行うステップは、脊椎動物の網膜細胞のうちの第１の網膜細胞を模倣した第１の画像処理を行い、
　前記第２の画像処理を行うステップは、脊椎動物の網膜細胞のうちの第２の網膜細胞を模倣した第２の画像処理を行う、付記９に記載の画像処理方法。
（付記１２）
　前記第１の網膜細胞は、錐体細胞であり、前記第２の網膜細胞は、桿体細胞である、付記１１に記載の画像処理方法。
（付記１３）
　前記第１のサンプリングは、前記第１の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第１のサンプリングを行い、
　前記第２のサンプリングは、前記第２の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第２のサンプリングを行う、付記１１に記載の画像処理方法。
（付記１４）
　前記第１のサンプリングは、前記第１の網膜細胞の分布に基づいて定められた確率分布にしたがって、第１のランダムサンプリングを行い、
　前記第２のサンプリングは、前記第２の網膜細胞の分布に基づいて定められた確率分布にしたがって、第２のランダムサンプリングを行う、付記１１に記載の画像処理方法。
（付記１５）
　前記第１の網膜細胞の分布では、中央部において、前記第１の網膜細胞の数が前記第２の網膜細胞の数より多く密集しており、
　前記第２の網膜細胞の分布では、前記中央部の周囲において、前記第２の網膜細胞の数が前記第１の網膜細胞の数より多く密集している、付記１３又は１４に記載の画像処理方法。
（付記１６）
　前記第１の画像処理で処理された画像データと前記第２の画像処理で処理された画像データを合成するステップを更に含む、付記９～１５のいずれか一項に記載の画像処理方法。
（付記１７）
　画像を取得する処理と、
　前記取得した画像に対して、第１の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出する処理と、
　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減する処理と、
を含む動作をコンピュータに実行させる画像処理プログラム。
　この出願は、２０２０年１０月８日に出願された日本出願特願２０２０－１７０２６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　錐体細胞
　１２　桿体細胞
　２１　第１のセンサ部
　２２　第２のセンサ部
　１００　画像処理装置
　１０１　画像取得部
　１１０　第１の画像処理部
　１１２　サンプリング部
　１１３　色検出部
　１２０　第２の画像処理部
　１２２　サンプリング部
　１２３　色削減部
　１５０　合成部
　２００　画像処理装置
　２０１　画像取得部
　２０５　ブロック分割部
　２１０　第１の画像処理部
　２１１　ブロック分割部
　２１２　ランダムサンプリング部
　２１３　色検出部
　２２０　第２の画像処理部
　２２１　ブロック分割部
　２２２　ランダムサンプリング部
　２２３　色削減部
　２５０　合成部
　３００　目
　３０２　瞳孔
　３０３　水晶体
　３１０　中心窩
　３１２　黄斑部
　３２０　網膜
　３４０　視神経
　３４５　視神経乳頭

Claims (17)

  1. 　画像を取得する画像取得部と、
    　前記取得した画像に対して、第１の画像処理を行う第１の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行う第１のサンプリング部、および、前記抽出された１つ以上のサンプルの色を検出する色検出部を含む第１の画像処理部と、
    　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う第２の画像処理部であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行う第２のサンプリング部、および、前記抽出された１つ以上のサンプルの色を削減する色削減部を含む第２の画像処理部と、
    を備える画像処理装置。
  2. 　前記第１のサンプリング部のサンプリング数は、前記第２のサンプリング部のサンプリング数より少ない、請求項１に記載の画像処理装置。
  3. 　前記第１の画像処理部は、脊椎動物の網膜細胞のうちの第１の網膜細胞を模倣した第１の画像処理を行い、
    　前記第２の画像処理部は、脊椎動物の網膜細胞のうちの第２の網膜細胞を模倣した第２の画像処理を行う、請求項１に記載の画像処理装置。
  4. 　前記第１の網膜細胞は、錐体細胞であり、前記第２の網膜細胞は、桿体細胞である、請求項３に記載の画像処理装置。
  5. 　前記第１のサンプリング部は、前記第１の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第１のサンプリングを行い、
    　前記第２のサンプリング部は、前記第２の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第２のサンプリングを行う、請求項３に記載の画像処理装置。
  6. 　前記第１のサンプリング部は、前記第１の網膜細胞の分布に基づいて定められた確率分布にしたがって、第１のランダムサンプリングを行い、
    　前記第２のサンプリング部は、前記第２の網膜細胞の分布に基づいて定められた確率分布にしたがって、第２のランダムサンプリングを行う、請求項３に記載の画像処理装置。
  7. 　前記第１の網膜細胞の分布では、中央部において、前記第１の網膜細胞の数が前記第２の網膜細胞の数より多く密集しており、
    　前記第２の網膜細胞の分布では、前記中央部の周囲において、前記第２の網膜細胞の数が前記第１の網膜細胞の数より多く密集している、請求項５又は６に記載の画像処理装置。
  8. 　前記第１の画像処理部で処理された画像データと前記第２の画像処理部で処理された画像データを合成する合成部を更に備える、請求項１～７のいずれか一項に記載の画像処理装置。
  9. 　画像を取得するステップと、
    　前記取得した画像に対して、第１の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出するステップと、
    　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行うステップであって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減するステップと、
    を含む、画像処理方法。
  10. 　前記第１のサンプリングのサンプリング数は、前記第２のサンプリングのサンプリング数より少ない、請求項９に記載の画像処理方法。
  11. 　前記第１の画像処理を行うステップは、脊椎動物の網膜細胞のうちの第１の網膜細胞を模倣した第１の画像処理を行い、
    　前記第２の画像処理を行うステップは、脊椎動物の網膜細胞のうちの第２の網膜細胞を模倣した第２の画像処理を行う、請求項９に記載の画像処理方法。
  12. 　前記第１の網膜細胞は、錐体細胞であり、前記第２の網膜細胞は、桿体細胞である、請求項１１に記載の画像処理方法。
  13. 　前記第１のサンプリングは、前記第１の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第１のサンプリングを行い、
    　前記第２のサンプリングは、前記第２の網膜細胞の分布に基づいて定められたサンプリングマトリックスに基づいて第２のサンプリングを行う、請求項１１に記載の画像処理方法。
  14. 　前記第１のサンプリングは、前記第１の網膜細胞の分布に基づいて定められた確率分布にしたがって、第１のランダムサンプリングを行い、
    　前記第２のサンプリングは、前記第２の網膜細胞の分布に基づいて定められた確率分布にしたがって、第２のランダムサンプリングを行う、請求項１１に記載の画像処理方法。
  15. 　前記第１の網膜細胞の分布では、中央部において、前記第１の網膜細胞の数が前記第２の網膜細胞の数より多く密集しており、
    　前記第２の網膜細胞の分布では、前記中央部の周囲において、前記第２の網膜細胞の数が前記第１の網膜細胞の数より多く密集している、請求項１３又は１４に記載の画像処理方法。
  16. 　前記第１の画像処理で処理された画像データと前記第２の画像処理で処理された画像データを合成するステップを更に含む、請求項９～１５のいずれか一項に記載の画像処理方法。
  17. 　画像を取得する処理と、
    　前記取得した画像に対して、第１の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第１のサンプリングを行い、前記抽出された１つ以上のサンプルの色を検出する処理と、
    　前記取得した画像に対して、前記第１の画像処理とは異なる第２の画像処理を行う処理であって、前記取得された画像から、処理対象とする１つ以上のサンプルを抽出する第２のサンプリングを行い、前記抽出された１つ以上のサンプルの色を削減する処理と、
    を含む動作をコンピュータに実行させる画像処理プログラムを格納した非一時的なコンピュータ可読媒体。
PCT/JP2021/036928 2020-10-08 2021-10-06 画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体 WO2022075349A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/029,709 US20230360270A1 (en) 2020-10-08 2021-10-06 Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
JP2022555523A JPWO2022075349A5 (ja) 2021-10-06 画像処理装置、画像処理方法、及び画像処理プログラム
EP21877648.2A EP4228266A1 (en) 2020-10-08 2021-10-06 Image processing device, image processing method, and non-transitory computer readable medium whereon image processing program is stored

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-170261 2020-10-08
JP2020170261 2020-10-08

Publications (1)

Publication Number Publication Date
WO2022075349A1 true WO2022075349A1 (ja) 2022-04-14

Family

ID=81126035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036928 WO2022075349A1 (ja) 2020-10-08 2021-10-06 画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230360270A1 (ja)
EP (1) EP4228266A1 (ja)
WO (1) WO2022075349A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52592B2 (ja) 1974-04-26 1977-01-08
JP2006270199A (ja) 2005-03-22 2006-10-05 Nec Corp 画像圧縮システムおよび画像圧縮方法および画像圧縮用プログラムおよび記録媒体
JP2012194969A (ja) * 2011-02-11 2012-10-11 Fundacion Tecnalia Research & Innovation デジタル画像の色属性を処理し特徴付けするためのバイオインスパイアード・システム
JP2016076069A (ja) * 2014-10-06 2016-05-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6117206B2 (ja) 2011-08-25 2017-04-19 コーネル ユニヴァーシティー 機械視覚のための網膜符号化器
JP2020170261A (ja) 2019-04-01 2020-10-15 富士ゼロックス株式会社 画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52592B2 (ja) 1974-04-26 1977-01-08
JP2006270199A (ja) 2005-03-22 2006-10-05 Nec Corp 画像圧縮システムおよび画像圧縮方法および画像圧縮用プログラムおよび記録媒体
JP2012194969A (ja) * 2011-02-11 2012-10-11 Fundacion Tecnalia Research & Innovation デジタル画像の色属性を処理し特徴付けするためのバイオインスパイアード・システム
JP6117206B2 (ja) 2011-08-25 2017-04-19 コーネル ユニヴァーシティー 機械視覚のための網膜符号化器
JP2016076069A (ja) * 2014-10-06 2016-05-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020170261A (ja) 2019-04-01 2020-10-15 富士ゼロックス株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JPWO2022075349A1 (ja) 2022-04-14
US20230360270A1 (en) 2023-11-09
EP4228266A1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US11861873B2 (en) Event camera-based gaze tracking using neural networks
US10376141B2 (en) Fundus imaging system
US20170354329A1 (en) Pupil ptychography methods and systems
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
Yu et al. FlyingBuddy2: a brain-controlled assistant for the handicapped.
FR2975251A1 (fr) Procede et dispositif de commande d'un dispositif d'aide a la vision
WO2020086612A1 (en) Retinal stimulator
CN109963495A (zh) 具有边缘处理的视网膜成像器设备和系统
KR102559721B1 (ko) 사용자의 시야 영역에 따라 영상을 선택적으로 복원하는 전자 장치의 제어 방법
Xiong et al. Seeing in extra darkness using a deep-red flash
KR20240015654A (ko) 눈 이미지와 디지털 이미지 사이의 변환 방법 및 시스템
JP2020532346A (ja) 網膜撮像用焦点重ね合わせ
WO2022075349A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラムを格納した非一時的なコンピュータ可読媒体
KR20180052764A (ko) 눈의 자각적 굴절 성질을 결정하기 위한 방법 및 시스템
EP3897488B1 (fr) Dispositif médical d'aide à la perception d'environnement pour des utilisateurs aveugles ou malvoyants
US11399930B2 (en) Systems and methods for psycho-signal processing
FR3043818B1 (fr) Systeme d'elaboration, d'emission et d'interpretation d'un flux composite et procedes associes
CN112972889B (zh) 图像处理装置和方法及视网膜刺激器
JP7028752B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Shreya et al. Encoding the Photoreceptors of the Human Eye
Hocke et al. A compressed sensing model of crowding in peripheral vision
TW202347266A (zh) 用於隱私管理的圖像處理的系統和方法
CN109561262A (zh) 一种脉冲序列格式转换方法及系统
CN109584137A (zh) 一种脉冲序列格式转换方法及系统
JP2013026793A (ja) 画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555523

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021877648

Country of ref document: EP

Effective date: 20230508