WO2020119518A1 - 一种基于人工视网膜空间感知的控制方法及装置 - Google Patents

一种基于人工视网膜空间感知的控制方法及装置 Download PDF

Info

Publication number
WO2020119518A1
WO2020119518A1 PCT/CN2019/122655 CN2019122655W WO2020119518A1 WO 2020119518 A1 WO2020119518 A1 WO 2020119518A1 CN 2019122655 W CN2019122655 W CN 2019122655W WO 2020119518 A1 WO2020119518 A1 WO 2020119518A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spatial structure
request
user
original image
Prior art date
Application number
PCT/CN2019/122655
Other languages
English (en)
French (fr)
Inventor
夏轩
于峰崎
朱红梅
李南
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Publication of WO2020119518A1 publication Critical patent/WO2020119518A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Definitions

  • the present application relates to the field of artificial intelligence technology, and specifically relates to spatial environment perception for artificial retina.
  • Artificial Retina is also called Bionic Vision Prosthesis.
  • the artificial retina first uses an in vitro camera to collect images. After downsampling, the retinal nerve is stimulated by a limited number of electrodes implanted in the body to produce Phosphene, so that blind patients can regain their visual perception.
  • the existing artificial retinal imaging pixels are generally below 1000+ pixels.
  • the low pixels of the current bionic visual prosthesis image will cause a large amount of information loss, resulting in problems such as the scene space environment being difficult to recognize.
  • the patent CN200810034286.X uses an image processing module to pre-correct the image information of the acquired image, improve the image quality, and then simplify and enhance the image information.
  • this module does not perceive the environmental information and cannot obtain the spatial structure information of the environment where the blind patients are located.
  • the spatial information sensing technology under specific scenarios has been greatly developed.
  • the patent CN201810015224.8 proposes a road image segmentation method based on vanishing points for identifying roads
  • the patent CN201810193120.6 proposes a road extraction method based on fully convolutional neural network integrated learning.
  • the patent CN201810087761.3 proposes an image rendering method that can reconstruct a three-dimensional scene of a room from the room image. However, it requires the known three-dimensional spatial information of the room and the position and viewing angle of the image acquisition device, and cannot adapt to the usage scene of the artificial retina.
  • the convolutional neural network is used to reconstruct the three-dimensional model of the room through the indoor panorama, but the accuracy of the panorama shooting has a great influence on the modeling, and it is difficult to apply it to the artificial retina. Therefore, under the limited pixels of artificial retina, there is no universal good solution to the problem of how to perceive the spatial structure of the environment and express information efficiently.
  • Embodiments of the present application provide a data storage method and related device, which can avoid data migration and improve storage efficiency.
  • the embodiments of the present application provide a control method and device based on artificial retina spatial perception, which can effectively improve the problems of low effective pixels of the existing artificial retina and difficult to express complex scenes, improve the intelligent level of the artificial retina and enhance the mobility of blind patients .
  • a first aspect of an embodiment of the present application provides a control method based on artificial retinal spatial perception, including:
  • the request carrying the user's viewing requirements, and the request is used to instruct to send a target image that matches the user's request;
  • a second aspect of the embodiments of the present application provides a control device based on artificial retinal spatial perception, including:
  • the first image acquisition module is used to acquire the original image collected by the camera paired with the artificial retina
  • a second image acquisition module configured to input the original image into a spatial structure generation model for processing to obtain a binary spatial structure image corresponding to the original image
  • a request receiving module configured to receive a request sent by a user who uses the artificial retina, the request carries the user's viewing requirements, and the request is used to instruct to send a target image that matches the user's request;
  • An image processing module configured to perform image processing on the binary spatial structure image corresponding to the original image to obtain a target image that matches the user's request
  • the image sending module is used to send the target image to the artificial retina, so as to instruct the artificial retina to display.
  • a third aspect of the embodiments of the present application provides a computer-readable storage medium that stores a computer program, and the computer program is executed by a processor to implement the method.
  • the spatial structure information of the environment of the blind patient can be resolved at a low resolution Pixelate reconstruction of the artificial retinal image, and maintain the invariance of image semantics and human intelligibility; then perform image processing based on user needs, and send the target image to the artificial retina for display.
  • the problems of low effective pixels of the existing artificial retina and difficulty in expressing complex scenes are effectively improved, the intelligent level of the artificial retina is improved, and the mobility of blind patients is enhanced.
  • the present invention does not require the use of depth sensors, does not require known camera motion data and three-dimensional model data, and is not limited to indoor and outdoor use. Therefore, the invention can significantly reduce the cost of using related products for blind patients and expand the movable area of blind patients.
  • FIG. 1 is a schematic diagram of an interaction based on artificial retinal spatial perception provided by an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of a control method based on artificial retinal spatial perception provided by an embodiment of the present invention
  • FIG. 3 is a schematic flowchart of a control method based on artificial retinal spatial perception provided by an embodiment of the present invention
  • FIG. 4 is a schematic flowchart of a control method based on artificial retinal spatial perception provided by an embodiment of the present invention
  • FIG. 5 is a schematic diagram of spatial structure image conversion for spatial perception of an artificial retina provided by an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of a spatial structure data set/network training data set to be trained provided by an embodiment of the present invention
  • FIG. 7 is a schematic diagram of a network structure design and training process provided by an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a terminal according to an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a control device based on artificial retinal spatial perception provided by an embodiment of the present invention.
  • FIG. 1 is an interaction schematic diagram of a control method based on artificial retinal spatial perception according to an embodiment of the present invention.
  • the terminal 101 acquires the original image collected by the camera 102 paired with the artificial retina 104;
  • the terminal 101 inputs the original image into the space Process in the structure generation model to obtain a binary spatial structure image corresponding to the original image;
  • the terminal 101 receives a request sent by the user 103 using the artificial retina 104, and the request carries the viewing requirements of the user 103 , And the request is used to instruct to send a target image that matches the request of the user 103;
  • the terminal 101 performs image processing on the binary spatial structure image corresponding to the original image to obtain the request of the user 103 The matched target image;
  • the terminal 101 sends the target image to the artificial retina 104 to instruct the artificial retina 104 to display.
  • the spatial structure information of the environment of the blind patient can be resolved at a low resolution Pixelate reconstruction of the artificial retinal image, and maintain the invariance of image semantics and human intelligibility; then perform image processing based on user needs, and send the target image to the artificial retina for display.
  • the problems of low effective pixels of the existing artificial retina and difficulty in expressing complex scenes are effectively improved, the intelligent level of the artificial retina is improved, and the mobility of blind patients is enhanced.
  • FIG. 2 is a schematic flowchart of a control method based on artificial retinal spatial perception according to an embodiment of the present application. As shown in FIG. 2, it may include steps 201-205, as follows:
  • the camera and the artificial retina are paired and correspond to each other, and the camera sends the collected original image to the terminal;
  • the terminal inputs the original image into the spatial structure generation model for processing to obtain a binary spatial structure image corresponding to the original image.
  • the original image By converting the original image into a binary spatial structure image, the blind patient is located
  • the spatial structure information of the environment can be reconstructed pixelated in low-resolution artificial retinal images, and maintain the invariance of image semantics and human intelligibility.
  • 203 Receive a request sent by a user using the artificial retina, the request carries the user's viewing requirements, and the request is used to instruct to send a target image that matches the user's request;
  • it also includes receiving the request sent by the user, for example, the user can determine the type of image that the user wants to view by touching a key or voice input, etc.;
  • Option 2 Simultaneously display the spatial structure and image details
  • Option 3 While displaying image details, highlight the spatial structure.
  • the terminal When the user's request is to select 1, to obtain the spatial structure image, the terminal does not process the binary spatial structure image corresponding to the original image to obtain the target image;
  • the terminal obtains the down-sampled image of the original image; the binary spatial structure image corresponding to the original image and the down-sampled image are performed Merge operation to obtain the target image;
  • the terminal obtains the down-sampled image of the original image; inverts the binary spatial structure image corresponding to the original image with the The down-sampled image is merged to obtain the target image.
  • the spatial structure information of the environment of the blind patient can be resolved at a low resolution Pixelate reconstruction of the artificial retinal image, and maintain the invariance of image semantics and human intelligibility; then perform image processing based on user needs, and send the target image to the artificial retina for display.
  • the problems of low effective pixels of the existing artificial retina and difficulty in expressing complex scenes are effectively improved, the intelligence level of the artificial retina is improved, and the mobility of blind patients is enhanced.
  • the present invention does not require the use of depth sensors, known camera motion data and three-dimensional model data, and is not limited to indoor and outdoor use. Therefore, the invention can significantly reduce the cost of using related products for blind patients and expand the movable area of blind patients.
  • FIG. 3 is a schematic flowchart of a control method based on artificial retinal spatial perception according to an embodiment of the present application. As shown in FIG. 3, it may include steps 301-308, as follows:
  • a spatial structure data set to be trained wherein the spatial structure data set includes different real shot images in different scenes and a binary spatial structure image corresponding to the different real shot images;
  • the spatial structure generation model for processing to obtain a binary spatial structure image corresponding to the original image
  • the spatial structure information of the environment of the blind patient can be resolved at a low resolution Pixelate reconstruction of the artificial retinal image, and maintain the invariance of image semantics and human intelligibility; then perform image processing based on user needs, and send the target image to the artificial retina for display.
  • the spatial structure generation model is obtained through multiple trainings based on continuous training between the generator and the target; this solution effectively improves the problem of low effective pixels of the existing artificial retina and difficult to express complex scenes, which improves the artificial retina’s Intelligent level, enhance the mobility of blind patients.
  • the present invention does not require the use of depth sensors, known camera motion data and three-dimensional model data, and is not limited to indoor and outdoor use. Therefore, the invention can significantly reduce the cost of using related products for blind patients and expand the movable area of blind patients.
  • FIG. 4 is a schematic flowchart of a control method based on artificial retinal spatial perception provided by an embodiment of the present application. As shown in FIG. 4, it may include steps 401-403, as follows:
  • the spatial structure conversion network Y is equivalent to the spatial structure generation model of this solution
  • the artificial retina collects the original image x using an in vitro camera, and inputs x to Y to obtain a binary spatial structure image y;
  • the first one is to display y directly. At this time, the blind patient can see a clear image of the spatial structure, but other image details will be lost.
  • the second type is synthetic display. At this time, the spatial structure image and the down-sampled image of x are superimposed and displayed, which can simultaneously display the spatial structure and image details.
  • the third type reverse synthesis display.
  • the spatial structure image is inverted and superimposed on the down-sampled image of x, which can highlight the spatial structure while displaying the image details.
  • step 401 further includes the following steps:
  • the training of Y is based on a generative confrontation network and is divided into two parts: generator G and discriminator D. Train generator G and discriminator D to enable G to convert real shot images into binary spatial structure images. After training, the generator G is extracted separately, and G is the network Y.
  • FIG. 5 is a schematic diagram of spatial structure image conversion for spatial perception of an artificial retina in an embodiment of the present invention.
  • the artificial retina uses an in vitro camera to collect the original image x, input x to Y, and obtain a binary spatial structure image y.
  • the image x is down-sampled according to the resolution of the artificial retinal prosthesis to obtain the down-sampled image x′.
  • the size of x' is 33*44. It can be seen that the image becomes very blurred at this time, making it difficult to perceive the spatial structure of the environment.
  • the first one is to display y directly.
  • the second type, synthetic display yields y', which is provided to the artificial retinal prosthesis display.
  • y' the black pixels in y are valid pixels, and the merge operation is as follows:
  • the third type, reverse phase synthesis display obtains y', which is provided for artificial retinal prosthesis display.
  • the merge operation is as follows:
  • FIG. 6 shows a schematic structural diagram of a spatial structure data set/network training data set to be trained in an embodiment of the present invention.
  • the network training data set is composed of two parts, which are the real shot image set containing indoor and outdoor different viewing angles and the pixel space structure image set containing indoor and outdoor different viewing angles.
  • the two image sets represent two image domains, namely real shot image domain X r and pixel spatial structure image domain X p .
  • the purpose of network training is to train a network Y so that the following mapping from domain X r to domain X p is achieved:
  • the size of the real shot image sample is not limited, but is uniformly scaled to 480*640 during training.
  • the size of the pixel spatial structure image sample is 33*44, so the resolution of the artificial retinal prosthesis adapted by the training sample is 33*44.
  • FIG. 7 a schematic diagram of a network structure design and training process in an embodiment of the present invention is shown.
  • the generator G adopts an encoder-decoder structure.
  • B is the batch size of training
  • C is the number of channels.
  • the size of B can be adjusted according to the convergence during training, and the size of C can be adjusted according to the requirements of model complexity.
  • Den transforms z into an image x p-fake through deconvolution operation and the image size is 33*44.
  • the structure of the generator G in this example is shown in the following table:
  • the structure of the generator D in this example is shown in the following table:
  • G and D will form an adversarial relationship: generator G continuously generates fake images x p-fake , trying to deceive discriminator D to discriminate it as real images; discriminator D tries to distinguish real images x p- Real and x p-fake distinguish the former as a real image and the latter as a fake image.
  • generator G continuously generates fake images x p-fake , trying to deceive discriminator D to discriminate it as real images;
  • discriminator D tries to distinguish real images x p- Real and x p-fake distinguish the former as a real image and the latter as a fake image.
  • O 1 implements the mapping from distribution X r to distribution X p . To improve the conversion accuracy of the image pair, it is also necessary to impose a perceptual loss constraint:
  • k is the hyperparameter, which can be set to 10 in this example.
  • FIG. 8 is a schematic structural diagram of a terminal provided by an embodiment of the present application. As shown in the figure, it includes a processor, an input device, an output device, and a memory. The input device, the output device, and the memory are connected to each other, wherein the memory is used to store a computer program, the computer program includes program instructions, the processor is configured to call the program instructions, and the above program includes to execute the following Step instructions
  • the request carrying the user's viewing requirements, and the request is used to instruct to send a target image that matches the user's request;
  • the terminal includes a hardware structure and/or a software module corresponding to each function.
  • the present application can be implemented in the form of hardware or a combination of hardware and computer software. Whether a function is executed by hardware or computer software driven hardware depends on the specific application and design constraints of the technical solution. Professional technicians can use different methods for each specific application to implement the described functions, but such implementation should not be considered to be beyond the scope of this application.
  • the embodiments of the present application may divide the functional unit of the terminal according to the above method example, for example, each functional unit may be divided corresponding to each function, or two or more functions may be integrated into one processing unit.
  • the above integrated unit can be implemented in the form of hardware or software function unit. It should be noted that the division of the units in the embodiments of the present application is schematic, and is only a division of logical functions. In actual implementation, there may be another division manner.
  • FIG. 9 is a schematic structural diagram of a control device based on artificial retinal spatial perception according to an embodiment of the present application. It includes: a first image acquisition module 901, a second image acquisition module 902, a request receiving module 903, an image processing module 904, and an image sending module 905, specifically:
  • the first image acquisition module 901 is used to acquire the original image acquired by the camera paired with the artificial retina;
  • the second image acquisition module 902 is configured to input the original image into a spatial structure generation model for processing to obtain a binary spatial structure image corresponding to the original image;
  • the request receiving module 903 is configured to receive a request sent by a user who uses the artificial retina, the request carries the user's viewing requirements, and the request is used to instruct to send a target image that matches the user's request;
  • An image processing module 904 configured to perform image processing on the binary spatial structure image corresponding to the original image to obtain a target image that matches the user's request;
  • the image sending module 905 is used to send the target image to the artificial retina, so as to instruct the artificial retina to display.
  • the original image is input into the spatial structure generation model for processing to obtain a binary spatial structure image corresponding to the original image, so that the spatial structure information of the environment where the blind patient is located It can perform pixelated reconstruction in low-resolution artificial retina images, and maintain the invariance of image semantics and human intelligibility; then perform image processing based on user needs and send the target image to the artificial retina, For display.
  • the spatial structure generation model is obtained through multiple trainings based on continuous training between the generator and the target; this solution effectively improves the problem of low effective pixels of the existing artificial retina and difficult to express complex scenes, which improves the artificial retina’s Intelligent level, enhance the mobility of blind patients.
  • An embodiment of the present application further provides a computer storage medium, wherein the computer storage medium stores a computer program for electronic data exchange, and the computer program causes the computer to execute any of the artificial retina-based spatial perception as described in the above method embodiments Some or all steps of the control method.
  • An embodiment of the present application further provides a computer program product, the computer program product includes a non-transitory computer-readable storage medium storing a computer program, the computer program causes the computer to execute any of the methods described in the above method embodiments based on Part or all steps of the control method of artificial retinal spatial perception.
  • the disclosed device may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or may Integration into another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or software program modules.
  • the integrated unit is implemented in the form of a software program module and sold or used as an independent product, it may be stored in a computer-readable memory.
  • the technical solution of the present application essentially or part of the contribution to the existing technology or all or part of the technical solution can be embodied in the form of a software product, the computer software product is stored in a memory, Several instructions are included to enable a computer device (which may be a personal computer, server, network device, etc.) to perform all or part of the steps of the methods described in the embodiments of the present application.
  • the aforementioned memory includes: U disk, read-only memory (ROM), random access memory (RAM), mobile hard disk, magnetic disk or optical disk and other media that can store program codes.
  • the program may be stored in a computer-readable memory, and the memory may include: a flash disk , Read-only memory, random access device, magnetic disk or optical disk, etc.

Abstract

一种基于人工视网膜空间感知的控制方法及装置，包括：获取与人工视网膜配对的相机所采集的原始图像（201）；将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像（202）；接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求（203），且所述请求用于指示发送与所述用户的请求匹配的目标图像；对二值化空间结构图像进行图像处理，以获取与用户的请求匹配的目标图像（204）；将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示（205）。该方法有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。

Description

一种基于人工视网膜空间感知的控制方法及装置
本申请要求于2018年12月11日提交中国专利局、申请号为2018115093416、申请名称为“一种基于人工视网膜空间感知的控制方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，具体涉及用于人工视网膜的空间环境感知。
背景技术
人工视网膜(Artificial Retina)又称仿生视觉假体(Bionic Vision Prosthesis)。人工视网膜先使用体外相机采集图像，在降采样后，再通过体内植入的有限数量的电极刺激视网膜神经来产生光幻视(Phosphene)，从而使失明患者重获视觉感知能力。然而由于失明患者体内植入电极的数量十分有限，现有的人工视网膜成像像素普遍处于1000+像素以下。且由于受制于现有的电极制造、能量传输、植入体封装技术水平和安全性等方面的原因，暂时还难以期待仿生视觉假体成像像素能够发生飞跃性提升。所以当前仿生视觉假体图像的低像素会导致信息的大量丢失，导致场景空间环境难以辨认等问题。
传统图像处理技术难以处理降采样后信息丢失的问题，例如专利CN200810034286.X使用图像处理模块对获取的图像进行图像信息预校正,改善图像质量，然后进行图像信息简化、增强。但该模块并不感知环境信息，无法得到失明患者所处环境的空间结构信息。今年随着技术的进步，特定场景下的空间信息感知技术得到了极大的发展。针对室外场景，专利CN201810015224.8提出了一种基于消失点的道路图像分割方法用于识别道路，专利CN201810193120.6提出了一种基于全卷积神经网络集成学习的道路提取方法。但它们仅能针对标准的行车道路进行识别且相关技术并不直接用于人工视网膜。针对室内场景，专利CN201810087761.3提出了一种图像渲染方法，可以通过房间图像重建房间的三维场景。但其需要已知房间的三维空间信息和图像采集装置的位置和视角，无法适应人工视网膜的使用场景。文献【Zou C,Colburn A,Shan Q,et al.LayoutNet:Reconstructing the 3D Room Layout from a  Single RGB Image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018:2051-2059.】使用卷积神经网络通过室内全景图来重建房间的三维模型，但全景图的拍摄准确性对建模影响很大，而且难以实际应用于人工视网膜。因此在人工视网膜有限像素下，如何对感知环境的空间结构并进行高效的信息表示的问题还没有通用的好的解决方案。
发明内容
本申请实施例提供一种数据存储方法及相关装置，能够避免数据迁移，提升存储效率。
本申请实施例提供一种基于人工视网膜空间感知的控制方法及装置，能够有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升人工视网膜的智能化水平，增强失明患者的行动能力。
本申请实施例的第一方面提供了一种基于人工视网膜空间感知的控制方法，包括：
获取与人工视网膜配对的相机所采集的原始图像；
将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
本申请实施例的第二方面提供了一种基于人工视网膜空间感知的控制装置，包括：
第一图像获取模块，用于获取与人工视网膜配对的相机所采集的原始图像；
第二图像获取模块，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
请求接收模块，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
图像处理模块，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
图像发送模块，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
本申请实施例的第三方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。
实施本申请实施例，至少具有如下有益效果：
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
另一方面，与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所涉及到的附图作简单地介绍。
图1为本发明一实施例提供的一种基于人工视网膜空间感知的交互示意图；
图2是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法 流程示意图；
图3是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图；
图4是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图；
图5是本发明一实施例提供的用于人工视网膜的空间感知的空间结构图像转换示意图；
图6是本发明一实施例提供的待训练的空间结构数据集/网络训练数据集的构成示意图；
图7是本发明一实施例提供的网络结构设计与训练过程的示意图；
图8为本申请实施例提供的一种终端的结构示意图；
图9是本发明实施例提供的一种基于人工视网膜空间感知的控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实 施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参阅图1，图1为本发明一实施例提供的一种基于人工视网膜空间感知的控制方法的交互示意图。如图1所示，其包括终端101、相机102、用户103、人工视网膜104，其中，终端101获取与人工视网膜104配对的相机102所采集的原始图像；终端101将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；终端101接收使用所述人工视网膜104的用户103发送的请求，所述请求携带所述用户103的查看需求，且所述请求用于指示发送与所述用户103的请求匹配的目标图像；终端101对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户103的请求匹配的目标图像；终端101将所述目标图像发送至所述人工视网膜104，以便指示所述人工视网膜104进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
请参阅图2，图2为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图2所示，其可包括步骤201-205，具体如下：
201、获取与人工视网膜配对的相机所采集的原始图像；
其中，所述相机与所述人工视网膜为配对好的，其一一对应，相机将采集到的原始图像发送给终端；
202、将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
终端将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述 原始图像对应的二值化空间结构图像，通过将原始图像转换为二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性。
203、接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
其中，还包括接收用户发送的请求，如用户可通过触摸某一按键或者语音输入等，以确定所述用户想要查看到的图像的类型；
如选择1：看见清晰的空间结构图像，但其它图像细节丢失；
选择2：同时展示空间结构与图像细节；
选择3：在显示图像细节的同时，突出显示空间结构。
204、对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
当所述用户的请求为选择1，获取空间结构图像，则终端对所述原始图像对应的二值化空间结构图像不作处理，以得到所述目标图像；
当所述用户的请求为选择2，获取空间结构图像与图像细节，则终端获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作，以得到所述目标图像；
当所述用户的请求为选择3，显示图像细节同时突出显示空间结构，则终端获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所述降采样图像进行合并操作，以得到所述目标图像。
205、将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智 能化水平，增强失明患者的行动能力。
与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
请参阅图3，图3为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图3所示，其可包括步骤301-308，具体如下：
301、获取待训练的空间结构数据集，其中，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；
302、将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成与所述不同实拍图像对应的二值化空间结构图像；
303、将所述初始空间结构生成模型作为空间结构生成模型；
304、获取与人工视网膜配对的相机所采集的原始图像；
305、将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
306、接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
307、对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
308、将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。其中，空间结构生成模型是通过多次训练，根据生成器与目标之间的不断训练得到；采用本方案，有效 改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
请参阅图4，图4为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图4所示，其可包括步骤401-403，具体如下：
401：训练一个基于深度学习卷积神经网络的空间结构转换网络Y；
所述空间结构转换网络Y即相当于本方案的空间结构生成模型；
402：人工视网膜使用体外相机采集原始图像x，将x输入Y，得到二值化空间结构图像y；
403：将图像y提供给人工视网膜假体后，根据失明患者的需求，分三种显示方案显示给失明患者：
第一种，直接显示y。此时失明患者能看见清晰的空间结构图像，但其它图像细节将丢失。
第二种，合成显示。此时空间结构图像和x的降采样图像叠加显示，能同时展示空间结构与图像细节。
第三种，反相合成显示。此时空间结构图像反相后和x的降采样图像叠加显示，能在显示图像细节的同时，突出显示空间结构。
更具体的，步骤401进一步包括以下步骤：
4011：构建用于Y的训练的空间结构数据集。该数据集需要包含各种场景下的室内室外实拍图像及其对应的二值化空间结构图像；
4012：Y的训练基于生成式对抗网络，分为2个部分：生成器G、判别器D。训练生成器G与判别器D，使G能够将实拍图像转换为二值化空间结构图像。在训练完毕后单独提取生成器G，G即为网络Y。
参照图5，图5是本发明一实施例中用于人工视网膜的空间感知的空间结 构图像转换示意图。
首先，人工视网膜使用体外相机采集原始图像x，将x输入Y，得到二值化空间结构图像y。
然后，将图像x按人工视网膜假体分辨率进行降采样，得到降采样后的图像x′。该实例中，x′的尺寸为33*44。可以看到，此时图像变得十分模糊，难以感知环境的空间结构。
最后，根据失明患者的需求，分三种显示方案显示给失明患者：
第一种，直接显示y。
第二种，合成显示，得到y′，提供给人工视网膜假体显示。默认情况下，y中的黑色像素为有效像素，此时合并操作如下：
Figure PCTCN2019122655-appb-000001
第三种，反相合成显示，得到y′，提供给人工视网膜假体显示。此时合并操作如下：
Figure PCTCN2019122655-appb-000002
参照图6，图6示出了本发明一个实施例中待训练的空间结构数据集/网络训练数据集的构成示意图。
网络训练数据集由两部分组成，分别为包含室内室外不同视角的实拍图像集和包含室内室外不同视角的像素空间结构图像集。两种图像集代表了两种图像域，即实拍图像域X r和像素空间结构图像域X p。网络训练的目的即训练一个网络Y，使得实现如下从域X r到域X p的映射：
Y：X r→X p
在本实例中，实拍图像样本的大小不限，而在训练时被统一缩放为 480*640。像素空间结构图像样本的大小为33*44，因此该训练样本适应的人工视网膜假体分辨率为33*44。
参看图7，示出了本发明一个实施例中网络结构设计与训练过程的示意图。
其中，生成器G采用编码器-解码器结构。G先通过编码器En使用卷积运算将x变换为四维张量z＝[B,15,20,C]。其中，B为训练的批大小，C为通道数。B的大小可以根据训练时的收敛情况进行调整，C的大小可以根据模型复杂度的要求进行调整。Den再通过反卷积运算将z变换为图像x p-fake且图像尺寸为33*44。本实例中的生成器G的结构如下表所示：
Figure PCTCN2019122655-appb-000003
判别器D通过卷积运算将x p-real和x p-fake变换为长度为1的向量r。r用于指示输入给D的图片是真实图像(r＝1)还是伪造图像(r＝0)。本实例中的 生成器D的结构如下表所示：
Figure PCTCN2019122655-appb-000004
按照该网络结构，G与D将形成对抗关系：生成器G不断生成伪造图像x p-fake，试图欺骗判别器D使它将其判别为真实图像；判别器D则试图区分真实图像x p-real和x p-fake，将前者判别为真实图像，将后者判别为伪造图像。如此则同时形成了一个最大最小博弈，其目标函数可写为：
Figure PCTCN2019122655-appb-000005
O 1实现的是分布X r到分布X p的映射，若要提高图片对的转换精度，还需要施加感知损失约束：
Figure PCTCN2019122655-appb-000006
因此总的目标函数可写为：
O＝O 1+kO 2
其中k为超参数，本实例中可设置为10。
使用梯度下降法优化O，训练G与D，则根据生成式对抗网络的原理，x p-fake所属的图像域X p-fake将越来越接近x p-real所属的图像域X p-real。即G生成的伪造 图像x p-fake将越来越接近真实图像x p-real。在训练满足人工视网膜应用要求后，单独提取G，其即为空间结构转换网络Y。
与上述实施例一致的，请参阅图8，图8为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；
获取与人工视网膜配对的相机所采集的原始图像；
将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软 件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图9，图9为本申请实施例提供了一种基于人工视网膜空间感知的控制装置的结构示意图。其包括：第一图像获取模块901、第二图像获取模块902、请求接收模块903、图像处理模块904、图像发送模块905，具体地：
第一图像获取模块901，用于获取与人工视网膜配对的相机所采集的原始图像；
第二图像获取模块902，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
请求接收模块903，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
图像处理模块904，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
图像发送模块905，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
可以看出，通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。其中，空间结构生成模型是通过多次训练，根据生成器与目标之间的不断训练得到；采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于人工视网膜空间感知的控制方法的部分或全部步 骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于人工视网膜空间感知的控制方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

  1. 一种基于人工视网膜空间感知的控制方法，其特征在于，包括：
    获取与人工视网膜配对的相机所采集的原始图像；
    将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
    接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
    对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
    将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
  2. 根据权利要求1所述的方法，其特征在于，包括：
    获取待训练的空间结构数据集，其中，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；
    将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成所述与所述不同实拍图像对应的二值化空间结构图像；
    将所述初始空间结构生成模型作为所述空间结构生成模型。
  3. 根据权利要求2所述的方法，其特征在于，所述对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像，包括：
    当所述用户的请求为获取空间结构图像，则对所述原始图像对应的二值化空间结构图像不作处理；
    当所述用户的请求为获取空间结构图像与图像细节，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作；
    当所述用户的请求为显示图像细节同时突出显示空间结构，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所 述降采样图像进行合并操作。
  4. 根据权利要求3所述的方法，其特征在于，包括：
    当所述原始图像对应的二值化空间结构图像的有效像素为黑色像素时，则所述合并操作可表示为：
    Figure PCTCN2019122655-appb-100001
    其中，y′(n,m)为合并后的图像，n、m分别为对应图像的像素的横坐标、纵坐标，y(n,m)为所述原始图像对应的二值化空间结构图像，x′(n,m)为所述原始图像的降采样图像。
  5. 根据权利要求4所述的方法，其特征在于，包括：
    当所述原始图像对应的二值化空间结构图像的有效像素为白色像素时，则所述合并操作可表示为：
    Figure PCTCN2019122655-appb-100002
  6. 根据权利要求5所述的方法，其特征在于，包括：
    对所述将所述不同实拍图像输入至所述空间结构生成模型中进行多次训练，并设定目标函数，其中空间结构生成模型G与判别模型D之间的目标函数可表示为：
    Figure PCTCN2019122655-appb-100003
    其中，k为超参数，x r和x p分别为实拍图像及与所述实拍图像对应的二值化空间结构图像，M、N分别为图像的横向尺寸、纵向尺寸，x p-real为真实图像，x p-fake为伪造图像。
  7. 一种基于人工视网膜空间感知的控制装置，其特征在于，包括：
    第一图像获取模块，用于获取与人工视网膜配对的相机所采集的原始图像；
    第二图像获取模块，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
    请求接收模块，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
    图像处理模块，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
    图像发送模块，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
  8. 根据权利要求7所述的装置，其特征在于，所述第二图像获取模块，还用于：
    获取待训练的空间结构数据集，其中，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；
    将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成所述与所述不同实拍图像对应的二值化空间结构图像；
    将所述初始空间结构生成模型作为所述空间结构生成模型。
  9. 根据权利要求8所述的装置，其特征在于，所述图像处理模块还用于：
    当所述用户的请求为获取空间结构图像，则对所述原始图像对应的二值化空间结构图像不作处理；
    当所述用户的请求为获取空间结构图像与图像细节，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作；
    当所述用户的请求为显示图像细节同时突出显示空间结构，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所述降采样图像进行合并操作。
  10. 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。
PCT/CN2019/122655 2018-12-11 2019-12-03 一种基于人工视网膜空间感知的控制方法及装置 WO2020119518A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811509341.6 2018-12-11
CN201811509341.6A CN109711286B (zh) 2018-12-11 2018-12-11 一种基于人工视网膜空间感知的控制方法及装置

Publications (1)

Publication Number Publication Date
WO2020119518A1 true WO2020119518A1 (zh) 2020-06-18

Family

ID=66255647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/122655 WO2020119518A1 (zh) 2018-12-11 2019-12-03 一种基于人工视网膜空间感知的控制方法及装置

Country Status (2)

Country Link
CN (1) CN109711286B (zh)
WO (1) WO2020119518A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418296A (zh) * 2020-11-18 2021-02-26 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711286B (zh) * 2018-12-11 2022-11-11 中国科学院深圳先进技术研究院 一种基于人工视网膜空间感知的控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104825248A (zh) * 2015-05-25 2015-08-12 浙江诺尔康神经电子科技股份有限公司 一种人工视网膜系统
CN105496643A (zh) * 2016-01-18 2016-04-20 戴国群 后天性失明患者视觉复明智能穿戴装置及其制造方法
CN106030458A (zh) * 2013-12-31 2016-10-12 爱福露恩斯公司 用于基于凝视的媒体选择和编辑的系统和方法
CN106267560A (zh) * 2016-09-30 2017-01-04 深圳硅基仿生科技有限公司 用于神经刺激的脉冲电流产生电路及人工视网膜系统
US20170068119A1 (en) * 2014-02-19 2017-03-09 Evergaze, Inc. Apparatus and Method for Improving, Augmenting or Enhancing Vision
CN109711286A (zh) * 2018-12-11 2019-05-03 中国科学院深圳先进技术研究院 一种基于人工视网膜空间感知的控制方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016633A (en) * 1989-08-08 1991-05-21 Chow Alan Y Artificial retina device
US5712729A (en) * 1992-04-17 1998-01-27 Olympus Optical Co., Ltd. Artificial retina cell, artificial retina and artificial visual apparatus
US20050090875A1 (en) * 2003-09-10 2005-04-28 Palanker Daniel V. Optical projection and tracking system for retinal prosthesis
JP2015058142A (ja) * 2013-09-18 2015-03-30 株式会社トプコン 人工網膜システム
EP3320683A4 (en) * 2015-07-30 2018-12-05 Zhejiang Dahua Technology Co., Ltd Methods and systems for image compression
CN205681580U (zh) * 2015-12-30 2016-11-09 中国科学院深圳先进技术研究院 人造眼的距离感知装置
WO2018102988A1 (zh) * 2016-12-06 2018-06-14 深圳先进技术研究院 基于人造视网膜的图像识别方法及装置
CN106599816B (zh) * 2016-12-06 2023-04-07 深圳先进技术研究院 基于人造视网膜的图像识别方法和装置
CN107203758A (zh) * 2017-06-06 2017-09-26 哈尔滨理工大学 糖尿病人视网膜血管图像分割方法
CN108876745B (zh) * 2018-06-27 2020-09-01 厦门美图之家科技有限公司 图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030458A (zh) * 2013-12-31 2016-10-12 爱福露恩斯公司 用于基于凝视的媒体选择和编辑的系统和方法
US20170068119A1 (en) * 2014-02-19 2017-03-09 Evergaze, Inc. Apparatus and Method for Improving, Augmenting or Enhancing Vision
CN104825248A (zh) * 2015-05-25 2015-08-12 浙江诺尔康神经电子科技股份有限公司 一种人工视网膜系统
CN105496643A (zh) * 2016-01-18 2016-04-20 戴国群 后天性失明患者视觉复明智能穿戴装置及其制造方法
CN106267560A (zh) * 2016-09-30 2017-01-04 深圳硅基仿生科技有限公司 用于神经刺激的脉冲电流产生电路及人工视网膜系统
CN109711286A (zh) * 2018-12-11 2019-05-03 中国科学院深圳先进技术研究院 一种基于人工视网膜空间感知的控制方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418296A (zh) * 2020-11-18 2021-02-26 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112418296B (zh) * 2020-11-18 2024-04-02 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法

Also Published As

Publication number Publication date
CN109711286B (zh) 2022-11-11
CN109711286A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
Fischer et al. Rt-gene: Real-time eye gaze estimation in natural environments
CN111415422B (zh) 虚拟对象调整方法、装置、存储介质与增强现实设备
WO2021129642A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN111754415B (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN105072327B (zh) 一种防闭眼的人像拍摄处理的方法和装置
CN104584531B (zh) 图像处理装置以及图像显示装置
WO2021004257A1 (zh) 视线检测和视频处理的方法、装置、设备和存储介质
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
WO2023109753A1 (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
JP2016085579A (ja) 対話装置のための画像処理装置及び方法、並びに対話装置
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
WO2020119518A1 (zh) 一种基于人工视网膜空间感知的控制方法及装置
CN107203263A (zh) 一种虚拟现实眼镜系统及图像处理方法
CN114821675A (zh) 对象的处理方法、系统和处理器
Wang et al. Faithful face image completion for HMD occlusion removal
CN110717344A (zh) 基于智能可穿戴设备的辅助交流系统
CN108227925A (zh) 一种坐姿调整的方法、装置、设备及存储介质
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Kim et al. Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images
CN110070062A (zh) 一种基于双目主动红外的人脸识别的系统和方法
CN115239857A (zh) 图像生成方法以及电子设备
CN113362243A (zh) 模型训练方法、图像处理方法及装置、介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894511

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05/11/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19894511

Country of ref document: EP

Kind code of ref document: A1