WO2021134710A1 - 一种控制方法及相关装置 - Google Patents
一种控制方法及相关装置 Download PDFInfo
- Publication number
- WO2021134710A1 WO2021134710A1 PCT/CN2019/130962 CN2019130962W WO2021134710A1 WO 2021134710 A1 WO2021134710 A1 WO 2021134710A1 CN 2019130962 W CN2019130962 W CN 2019130962W WO 2021134710 A1 WO2021134710 A1 WO 2021134710A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye image
- position information
- display device
- gaze
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种控制方法及相关装置，其中，控制方法应用于头戴式显示装置（60），该头戴式显示装置（60）包括用于显示可移动平台发送的图像的显示装置（602）、用于对用户的眼睛进行拍摄的红外摄像装置（603）和用于对红外摄像装置（603）补光的红外补光灯（604）；头戴式显示装置（60）根据用户的眼部图像确定用户注视图像的注视位置信息，并将注视位置信息发送给可移动平台；可移动平台基于注视位置信息对图像进行处理，并将处理后的图像发送给头戴式显示装置（60）进行显示；处理后的图像中注视位置信息对应的目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。该方法可在确保图像的成像质量的情况下，有效减小传输时延。
Description
本申请涉及控制技术领域，尤其涉及一种头戴式显示装置的控制方法及相关装置。
图像作为传递信息的重要媒介，因其形象直观的优势，不论在人们日常生活方面，还是在科学研究方面，都起到非常重要的作用。
在图像领域，很难同时解决传输延时和成像质量的问题。例如，在可移动平台将采集到的图像发送给头戴式显示装置的场景下，图像的成像质量越高，头戴式显示装置的显示效果越好。由于传输带宽有限，所以可移动平台将成像质量较高的图像传输给头戴式显示装置，往往需要传输较大的数据量，导致传输时延增大。因此，如何在确保图像的成像质量的情况下，减小传输时延，成为研究的热点话题。
发明内容
本申请提供一种控制方法及相关装置，可在确保图像的成像质量的情况下，有效减小传输时延和充分利用传输带宽。
第一方面，本申请实施例提供了一种控制方法，应用于头戴式显示装置，其中，头戴式显示装置包括显示装置、用于对佩戴头戴式显示装置的用户的眼睛进行拍摄的红外摄像装置和用于对红外摄像装置补光的红外补光灯，其中，显示装置用于显示与头戴式显示装置通信连接的可移动平台采集的图像，所述方法包括：
获取红外摄像装置采集到的用户的眼部图像；
根据红外摄像装置采集到的眼部图像确定注视位置信息，其中，注视位置信息用于指示用户的眼睛注视的显示装置显示的图像的位置；
将注视位置信息发送给可移动平台，其中，注视位置信息用于指示可移动平台在采集到的图像中确定目标区域图像，并对图像进行处理，其中，处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像 的成像质量；
接收并控制显示装置显示可移动平台发送的处理后的图像。
第二方面，本申请实施例提供了一种头戴式显示装置，该头戴式显示装置与可移动平台之间通过无线通信链路连接，该装置包括红外补光灯、红外摄像装置、显示装置、存储器以及处理器，其中：
所述红外补光灯，用于对所述红外拍摄装置补光；
所述红外摄像装置，用于对佩戴所述头戴式显示装置的用户的眼睛进行拍摄得到眼部图像；
所述存储器，用于存储计算机程序；
所述处理器，调用所述计算机程序，用于：
根据红外摄像装置采集到的眼部图像确定注视位置信息，其中，注视位置信息用于指示用户的眼睛注视的显示装置显示的图像的位置；
将注视位置信息发送给可移动平台，其中，注视位置信息用于指示可移动平台在采集到的图像中确定目标区域图像，并对图像进行处理，其中，处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量；
接收可移动平台发送的处理后的图像；
所述显示装置，用于显示处理后的图像。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被执行时，实现如第一方面实施例所述的控制方法。
本申请实施例中，头戴式显示装置可以将用户注视图像的注视位置信息发送给可移动平台，可移动平台提高图像中注视位置信息对应的目标区域图像的成像质量，并将处理后的图像发送给头戴式显示装置进行显示。相比于提高整个图像的成像质量来说，能够确保用户注视的图像中的目标区域图像保持较高的成像质量时，减小头戴式显示装置与可移动平台之间的传输延时和充分利用传输带宽。
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种控制系统的架构示意图；
图2是本申请实施例提供的一种控制方法的流程示意图；
图3是本申请实施例提供的另一种控制方法的流程示意图；
图4是本申请实施例提供的一种红外补光灯在用户眼部形成光斑的示意图；
图5是本申请实施例提供的一种可移动平台根据注视位置信息对图像进行处理后的示意图；
图6是本申请实施例提供的一种头戴式显示装置的结构示意图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在各类远程控制系统中广泛应用无线图像传输技术来传输图像，图像的成像质量对用户体验或者科技研究都有着很大的影响，其中，图像的成像质量可以通过图像的分辨率、清晰度等体现。
以头戴式显示装置为FPV(First Person View，第一人称主视角)眼镜为例，在FPV眼镜和可移动平台互相通信的系统中，FPV眼镜可以接收并显示可移动平台采集到的图像，以便于用户通过FPV眼镜实时观测周边环境。在利用FPV眼镜和可移动平台互相通信的系统实施救援、追捕等场景中，如果在确保FPV眼镜显示的图像清晰的情况下，减少FPV眼镜与可移动平台之间的传输延时，将有利于救援、追捕行动的成功。
然而，头戴式显示装置与可移动平台之间的传输带宽及功率往往是有限的，图像的传输延时和图像的成像质量之间存在相互制约的问题。比如，保持图像 较好的成像质量，图像的传输延时会相应的增加。
本申请实施例提供一种控制方法及相关装置，其中，控制方法可应用于头戴式显示装置，该头戴式显示装置包括显示装置、红外摄像装置以及红外补光灯。其中，红外补光灯用于对红外摄像装置补光，红外摄像装置用于对用户的眼睛进行拍摄得到眼部图像，显示装置用于显示可移动平台发送的处理后的图像。该控制方法可包括：头戴式显示装置获取红外摄像装置采集到的用户的眼部图像；头戴式显示装置根据红外摄像装置采集到的眼部图像确定注视位置信息，该注视位置信息用于指示用户的眼睛注视的显示装置显示的图像的位置；头戴式显示装置将注视位置信息发送给可移动平台，其中，注视位置信息用于指示可移动平台在采集到的图像中确定目标区域图像，并对图像进行处理，其中，处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量；头戴式显示装置接收并控制显示装置显示可移动平台发送的处理后的图像。
需要说明的是，可移动平台可以为无人机飞行器、无人车或者无人船等等，头戴式显示装置可以包括头戴式回传装置、FPV眼镜、VR眼镜等等，本申请实施例对此不作限定。
可见，该控制方法可将用户注视图像的注视位置信息发送给可移动平台，可移动平台基于注视位置信息得到图像中的目标区域图像，并对图像进行处理。相比于提高整个图像的成像质量来说，既确保用户注视的目标区域图像的成像质量较好，也减少传输延时。
请参见图1，图1是本申请实施例提供的一种控制系统的架构示意图。如图1所示，该控制系统包括无人机101和头戴式显示装置102，其中，头戴式显示装置102包括显示装置1021、红外拍摄装置1022以及红外补光灯1023。无人机101通过无人机101的通信接口与头戴式显示装置102建立通信连接。头戴式显示装置102通过红外补光灯1023对红外拍摄装置1022补光，以便于红外拍摄装置1022对用户的眼睛进行拍摄得到眼部图像。头戴式显示装置102根据眼部图像确定用户注视显示装置1021显示的图像的位置，得到用户注视图像的注视位置信息，并将注视位置信息发送给无人机101。无人机101采集 图像，并基于注视位置信息确定图像中目标区域图像。无人机101基于图像中目标区域图像对图像进行处理，以提高图像中目标区域图像的成像质量。无人机101通过无人机101的通信接口将处理后的图像发送给头戴式显示装置102。头戴式显示装置102接收处理后的图像，并控制显示装置1021显示处理后的图像。
基于图1提供的控制系统的架构示意图，请参见图2，图2是本申请实施例提供的一种控制方法的流程示意图，该控制方法可以应用于图1所示的头戴式显示装置102中，该方法包括：
S201、获取红外摄像装置采集到的用户的眼部图像。
头戴式显示装置包括的红外摄像装置，红外摄像装置用于对用户的眼睛进行拍摄得到眼部图像，以便于头戴式显示装置根据用户的眼部图像，确定注视位置信息。
S202、根据采集到的用户的眼部图像确定注视位置信息。
注视位置信息用于指示用户的眼睛注视的显示装置显示的图像的位置，比如，用户注视显示装置显示的图像的左上角的位置，相应的，注视位置信息为包括图像的左上角的区域的位置信息，该位置信息可以为图像的左上角所在区域的中心位置。
在一种实现方式中，头戴式显示装置根据眼部图像确定注视位置信息的方法可以包括：头戴式显示装置根据眼部图像确定用户的眼睛的瞳孔在眼部图像中的位置；根据瞳孔在眼部图像中的位置确定注视位置信息。若用户注视显示装置显示的图像的不同的位置，用户的瞳孔在眼部图像中的位置也会发生相应的变化，那么头戴式显示装置根据用户眼睛的瞳孔在眼部图像中的位置，可计算出用户注视图像的注视位置信息。
进一步的，头戴式显示装置还可以根据第一转换参数和瞳孔在眼部图像中的位置，确定注视位置信息，具体实现方法可以包括：头戴式显示装置获取第一转换参数；并根据第一转换参数和用户眼睛的瞳孔在眼部图像中的位置，确定注视位置信息。其中，第一转换参数是根据多个注视位置信息和多个注视位置信息中每一个注视位置信息对应的瞳孔在眼部图像中的位置运行最小化拟合算法确定的。
可选的，头戴式显示装置获取第一转换参数的方法可以包括：头戴式显示装置通过显示装置显示注视提示信息，该注视提示信息用于指示佩戴头戴式显示装置的用户注视显示装置显示的图像中的多个注视位置信息；头戴式显示装置获取红外拍摄装置采集到的与多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；头戴式显示装置还根据多个注视位置信息和多个注视位置信息对应的用户的眼部图像中瞳孔的位置运行最小化拟合算法，以确定第一转换参数。
例如，注视提示信息用于指示佩戴头戴式显示装置的用户注视显示装置显示的图像中的12个预设的注视位置信息，相应的，用户按照注视提示信息注视12个预设的注视位置信息，那么头戴式显示装置可以获取12个预设的注视位置信息对应的用户的12个眼部图像中瞳孔的位置。头戴式显示装置对12个预设的注视位置信息，以及12个预设的注视位置信息对应的用户的12个眼部图像中瞳孔的位置进行最小化拟合算法，进而得到第一转换参数。
可选的，头戴式显示装置根据眼部图像确定用户的眼睛的瞳孔在眼部图像中的位置的方法可以包括：头戴式显示装置从眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状，以获取预设形状的区域图像；根据预设形状的区域图像中面积最大的预设形状的区域图像在眼部图像中的位置，确定用户的眼睛的瞳孔在眼部图像中的位置。
其中，头戴式显示装置可以采用人脸识别算法在眼部图像中识别出眼球对应的区域图像。例如人脸识别算法可以为物品检测算法(Haar Cascades)，通过粗略地定位眼部图像中眼球的位置，缩小眼部图像中眼球检测范围。头戴式显示装置对眼球对应的区域图像进行图像归一化处理，使得归一化处理后的图像具有固定的形式，方便后续的图像处理。头戴式显示装置基于归一化处理后的图像进行二值化处理，二值化处理后的区域图像呈现明显的黑白效果，以便于根据颜色获取眼部图像中瞳孔的位置。具体的，图像中灰度值为0的像素点表现为黑色，灰度值为255的像素点表现为白色，经过二值化处理后的区域图像中的各个像素点的灰度值只为0或255。可知二值化处理后的区域图像中瞳孔的像素点的灰度值为0，二值化处理后的区域图像中除瞳孔以外的区域图像 的像素点的灰度值为255。也就是说，处理后的区域图像中瞳孔呈现明显的黑色，进而确定出眼部图像中瞳孔的位置。
例如，一张图像的各个像素点的灰度值分布范围为0～255，灰度值0的像素点呈现黑色，灰度值255的像素点呈现白色，若采用的第一颜色阈值为灰度值100，那么眼球对应的区域图像二值化处理时，灰度值为小于或等于100的像素点的灰度值将会变为灰度值0，灰度值大于100的像素点的灰度值将会变为灰度值255。也就是说，二值化处理后的区域图像中瞳孔的像素点的灰度值为0，二值化处理后的区域图像中瞳孔以外的区域图像中像素点的灰度值为255。
需要说明的是，眼球对应的区域图像经过二值化处理后的区域图像中，呈现黑色的区域除包括瞳孔区域，还包括其他区域。因此可以采集到至少一个预设形状的区域图像，并将至少一个预设形状的区域图像中，面积最大的预设形状的区域图像在眼部图像中的位置确定为用户的眼睛的瞳孔在眼部图像中的位置。其中，预设形状可以包括椭圆形、多边形等等，本申请实施例对此不作限定。
S203、将注视位置信息发送给可移动平台。
注视位置信息用于指示可移动平台根据注视位置信息，在采集到的图像中确定目标区域图像，并对图像进行处理。处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。也就是说，用户注视图像的位置对应的目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。
头戴式显示装置得到用户注视显示装置显示的图像的注视位置信息后，头戴式显示装置将注视位置信息发送给可移动平台。可移动平台采集图像，并根据注视位置信息确定当前图像中注视位置信息对应的目标区域图像。可移动平台基于目标区域图像对图像进行处理，得到目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量的图像。
可选的，可移动平台根据注视位置信息确定图像的目标区域图像的方法可以为：可移动平台以图像中注视位置信息对应的坐标为中心，预设半径为半径，构成的圆形区域作为目标区域图像。可移动平台根据注视位置信息确定图像的 目标区域图像的方法还可以为，可移动平台以注视位置信息对应的坐标为中心，以任意形状构成的区域作为目标区域图像。本申请实施例对此不作限定。
S204、接收并控制显示装置显示可移动平台发送的处理后的图像。
头戴式显示装置通过通信接口接收可移动平台发送的处理后的图像，该处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。头戴式显示装置还可控制显示装置显示处理后的图像，以使用户可以看到目标区域图像更加清晰的图像。
本申请实施例中，头戴式显示装置可以得到用户实时的注视位置信息，并将注视位置信息发送给可移动平台。可移动平台基于注视位置信息得到图像中的目标区域图像，并基于图像中的目标区域图像对图像进行处理，处理后的图像中用户注视的位置对应的目标区域图像的成像质量更高。本申请实施例基于用户注视位置信息对图像进行处理，相比于将整个图像处理后进行传输来说，能够在确保用户注视的目标区域图像的成像质量较高的同时，减少传输延时。
请参见图3，图3是本申请实施例提供的另一种控制方法的流程示意图，该方法包括：
S301、获取红外摄像装置采集到的用户的眼部图像。
头戴式显示装置包括红外补光灯，该红外补光灯可以给红外摄像装置补光，方便红外摄像装置采集用户的眼部图像。具体地，红外补光灯发射的光束可以在用户的眼部形成反射光斑，因此红外摄像装置采集到的用户的眼部图像中包括用户的瞳孔和红外补光灯的光斑。相应的，头戴式显示装置根据采集到的用户的眼部图像，确定红外补光灯的光斑在眼部图像中的位置。
如图4所示，图4是本申请实施例提供的一种红外补光灯在用户眼部形成光斑的示意图。其中，红外补光灯401产生光束，该光束照射在用户眼部形成光斑。相应的，红外摄像装置402采集用户的眼部图像403，该眼部图像403中包括用户的瞳孔和红外补光灯的光斑。
在一种实现方式中，头戴式显示装置在用户的眼部图像中，确定红外补光灯的光斑的位置的方法可包括：头戴式显示装置从眼部图像中识别出眼球对应的区域图像；根据第二颜色阈值对眼球对应的区域图像进行二值化处理；根据 二值化处理后的区域图像中灰度极大值区域图像在眼部图像中的位置确定用户的眼睛的光斑在眼部图像中的位置。
例如，一张图像的各个像素点的灰度值分布范围为0～255，灰度值0的像素点呈现黑色，灰度值255的像素点呈现白色。若采用的第二颜色阈值为灰度值200，那么眼球对应的区域图像二值化处理时，灰度值为小于或等于200的像素点的灰度值将会变为灰度值0，灰度值大于200的像素点的灰度值将会变为灰度值255。也就是说，二值化处理后的区域图像中光斑的像素点的灰度值为255，二值化处理后的区域图像中光斑以外的区域图像的像素点的灰度值为0。
在另一种实现方式中，头戴式显示装置在用户的眼部图像中，确定红外补光灯的光斑的位置的方法可包括：头戴式显示装置从眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对眼球对应的区域图像进行二值化处理；将二值化后的区域图像中灰度极小值区域图像拟合成预设形状以获取预设形状的区域图像；从预设形状的区域图像中面积最大的预设形状的区域图像中确定灰度极大值的区域图像；根据灰度极大值的区域图像在眼部图像中的位置确定所述红外补光灯的光斑在眼部图像中的位置。
可以理解的是，上述两种在眼部图像中确定红外补光灯的光斑位置的方法的不同之处在于：后一种实现方法中，头戴式显示装置首先在二值化处理后的区域图像中确定瞳孔的区域图像；头戴式显示装置再在瞳孔的区域图像中选取灰度极大值的区域图像确定红外补光灯的光斑的位置。
S302、根据用户的眼部图像中的瞳孔的位置和红外补光灯的光斑的位置，确定注视位置信息。
在一种实现方式中，头戴式显示装置可以通过确定瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差，来确定用户的注视位置信息。其中，位置偏差是指瞳孔的位置和光斑的位置之间的相对差值。比如，瞳孔的位置对应的坐标为(2,4)，光斑的位置对应的坐标为(2,3)，则瞳孔的位置和光斑的位置之间的位置偏差为(0,1)。可以理解的是，注视位置信息每一次发生变化，头戴式显示装置都可以确定相应的瞳孔的位置和光斑的位置之间的位置偏差，因此，可以通过确定瞳孔在眼部图像中的位置和红 外补光灯的光斑在眼部图像中的位置之间的位置偏差，来确定用户的注视位置信息。
进一步的，头戴式显示装置还可以获取第二转换参数，并根据眼部图像中瞳孔的位置和光斑的位置之间的位置偏差与第二转换参数确定注视位置信息。其中，第二转换参数是根据多个注视位置信息和多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法确定的。
可选的，头戴式显示装置获取第二转换参数的方法可以包括：头戴式显示装置在显示装置上显示注视提示信息，该注视提示信息用于指示佩戴头戴式显示装置的用户注视显示装置显示的图像中的多个注视位置信息；头戴式显示装置获取红外摄像装置采集到的与多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；根据每一个注视位置信息对应的用户的眼部图像，确定瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差；根据多个注视位置信息和多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法，进而确定第二转换参数。
具体地，头戴式显示装置在显示装置上显示注视提示信息，用于提示用户注视多个显示装置显示的注视位置(x
s,i，y
s,i)，其中，s为注视位置，i为用户注视显示装置显示的注视位置的次数，i＝1、2、…N,N为正整数。头戴式显示装置可采集到多张用户注视显示装置显示的图像的眼部图像，从而根据眼部图像确定出多个注视位置信息中每一个注视位置信息对应的位置偏差。假设头戴式显示装置在显示装置上显示的注视提示信息的数量为12，那么头戴式显示装置根据最小化拟合算法拟合求出第二转换参数a
x,k、a
y,k，k＝1、2…6。然后，头戴式显示装置根据第二转换参数可得到用户的瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差(x
e,y
e)，与用户的注视位置信息之间的映射关系：
其中，
以此求出用户注视显示装置显示的图像的注视位置信息，与瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差(x
e,y
e)之间的映射关系。
因此，如果头戴式显示装置任意时刻获取到用户的眼部图像，则可以根据用户的瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差，与用户的注视位置信息之间的映射关系，得到用户实时的注视位置信息：
其中，(x
s,y
s)为用户注视显示装置的注视位置信息。
S303、将注视位置信息发送给可移动平台。
头戴式显示装置将注视位置信息发送给可移动平台，以使可移动平台基于注视位置信息确定采集到的图像中的目标区域图像，进而基于目标区域图像对图像进行处理。其中，处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。
在一种实现方式中，可移动平台根据注视位置信息对应的目标区域图像对图像进行处理的方法可以包括：可移动平台根据注视位置信息截取图像中注视位置信息对应的目标区域图像的局部图像；可移动平台采用低通滤波器对未截取目标区域图像的全局图像进行滤波处理，得到相比目标区域图像的局部图像更加模糊的全局图像；可移动平台对目标区域图像的局部图像以及未截取目标区域图像的全局图像融合处理为一张图像，并将该图像编码后发送给头戴式显 示装置。可选的，可移动平台除将目标区域图像的局部图像以及未截取目标区域图像的全局图像融合处理为一张图像发送给头戴式显示装置，可移动平台还可以将目标区域图像的局部图像，和未截取目标区域图像的全局图像分别编码发送给头戴式显示装置。相应的，用户可以通过头戴式显示装置选择显示装置显示目标区域图像的局部图像，或者显示未截取目标区域图像的全局图像。可知，可移动平台采用截取图像中目标区域图像的局部图像，并降低全局图像的分辨率的方式，使得处理后的图像中目标区域图像相对于目标区域图像以外的区域图像更加清晰，并且这种处理方式并未增加图像编码的数据量，进而在确保图像中目标区域图像的成像质量相对较好的同时，也减少传输延时。
在另一种实现方式中，可移动平台根据注视位置信息对应的目标区域图像对图像进行处理的方法可以包括：可移动平台采用第一滤波器对图像中目标区域图像进行滤波处理，采用第二滤波器对图像中目标区域图像以外的区域图像进行滤波处理，并对经过滤波处理后的图像进行编码，且将编码处理后的图像发送给头戴式显示装置。其中，第一滤波器的滤波强度参数小于第二滤波器的滤波强度参数。滤波强度参数越大，滤波处理后的图像越模糊。可知，可移动平台对图像中目标区域图像提高分辨率，对图像中目标区域图像以外的区域图像降低分辨率，而且不增加图像的数据量，可在确保图像中的目标区域图像具有较高清晰度的同时，不增加传输延时。
在又一种实现方式中，可移动平台根据注视位置信息对应的目标区域图像对图像进行处理的方法可以包括：可移动平台采用低通滤波器对图像中目标区域图像以外的区域图像进行滤波处理，使得图像中目标区域图像以外的区域图像相比图像中目标区域图像更加模糊。可见，采用降低图像中目标区域图像以外的区域图像的分辨率的方式，可使得图像中目标区域图像相比图像中目标区域图像以外的区域图像更加清晰，并且不增加图像的传输数据量，进而在确保图像中的目标区域图像具有较高清晰度的同时，不增加传输延时。
请参见图5，图5是本申请实施例提供的一种可移动平台根据注视位置信息对图像进行处理后的示意图。可移动平台根据头戴式显示装置发送的注视位置信息，可以确定注视位置信息指示图5所示图像中圆形虚线框的中心位置。那么可移动平台根据注视位置信息确定图像中的目标区域图像为圆形虚线框 所在区域。可移动平台通过上述实施例所述的方法，基于目标区域图像对图像进行处理，可获得处理后的图像(图5)，该图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。可移动平台将处理后的图像发送给头戴式显示装置，头戴式显示装置显示处理后的图像。
S304、接收并控制显示装置显示可移动平台发送的处理后的图像。
头戴式显示装置通过通信接口接收可移动平台发送的处理后的图像，并对处理后的图像进行解码，进而控制显示装置显示处理后的图像。该处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量。
本申请实施例中，头戴式显示装置可以根据用户的眼部图像中瞳孔的位置和光斑的位置之间的位置偏差，确定用户的注视位置信息。相应的，可移动平台基于注视位置信息对应的目标区域图像对图像进行处理，可以提高图像中目标区域图像的清晰度，并且不增加图像的传输延时。
请参见图6，图6是本申请实施例提供的一种头戴式显示装置的结构示意图，本申请实施例提供的头戴式显示装置60包括：处理器601、显示装置602、红外摄像装置603、红外补光灯604以及存储器605。红外补光灯604用于对红外摄像头补光。红外摄像装置603用于对佩戴头戴式显示装置的用户的眼睛进行拍摄得到眼部图像。显示装置602用于显示与头戴式显示装置60通信连接的可移动平台采集到的图像。
存储器605可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器605也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器605还可以包括上述种类的存储器的组合。
处理器601可以是中央处理器(central processing unit，CPU)。所述处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic， GAL)等。
本申请实施例提供的头戴式显示装置通过处理器601、显示装置602、红外摄像装置603、红外补光灯604以及存储器605用于实施上述图2～图3所示的本申请各实施例实现的方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体实现请参照图2～图3所示的本申请各实施例。
在一种实现方式中，存储器605中存储有计算机程序，处理器601、显示装置602、红外摄像装置603以及红外补光灯604可以调用存储器605中的计算机程序，当计算机程序被执行时，处理器601、显示装置602、红外摄像装置603以及红外补光灯604可以执行下述操作。红外补光灯604，用于对红外拍摄装置补光；红外摄像装置603，用于对佩戴头戴式显示装置的用户的眼睛进行拍摄得到眼部图像；处理器601，用于根据红外摄像装置采集到的眼部图像确定注视位置信息，其中，注视位置信息用于指示用户的眼睛的显示装置显示的图像的位置；将注视位置信息发送给可移动平台，其中，注视位置信息用于指示可移动平台在采集到的图像中确定目标区域图像，并对图像进行处理，其中，处理后的图像中目标区域图像的成像质量高于图像中目标区域图像以外的区域图像的成像质量；接收可移动平台发送的处理后的图像；显示装置602，用于显示处理后的图像。
在一种实现方式中，处理器601在根据红外摄像装置采集到的眼部图像确定注视位置信息时，具体用于：根据眼部图像确定用户的眼睛的瞳孔在眼部图像中的位置；根据瞳孔在眼部图像中的位置确定注视位置信息。
在一种实现方式中，处理器601在根据瞳孔在眼部图像中的位置确定注视位置信息时，具体用于：获取第一转换参数，其中，第一转换参数是根据多个注视位置信息和多个注视位置信息中每一个注视位置信息对应的瞳孔在眼部图像中的位置运行最小化拟合算法确定的；根据第一转换参数和瞳孔在眼部图像中的位置，确定注视位置信息。
在一种实现方式中，显示装置602，用于显示注视提示信息，其中，注视提示信息用于指示佩戴头戴式显示装置的用户注视显示装置显示的图像中的多个注视位置；处理器601在获取第一转换参数时，具体用于：获取红外摄像装置采集到的与多个注视位置信息中每一个注视位置信息对应的用户的眼部 图像；根据每一个注视位置信息的用户的眼部图像确定用户的眼睛的瞳孔在每一个注视位置信息对应的用户的眼部图像中的位置；根据多个注视位置信息和多个注视位置信息对应的用户的眼部图像中瞳孔的位置运行最小化拟合算法以确定第一转换参数。
在一种实现方式中，处理器601在根据瞳孔在眼部图像中的位置确定注视位置信息时，具体用于：根据眼部图像确定红外补光灯的光斑在眼部图像中的位置；根据瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置确定注视位置信息。
在一种实现方式中，处理器601在根据瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置确定注视位置信息时，具体用于：确定瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差；根据位置偏差确定注视位置信息。
在一种实现方式中，处理器601在根据位置偏差确定注视位置信息时，具体用于：获取第二转换参数；根据位置偏差和第二转换参数确定注视位置信息，其中，第二转换参数是根据多个注视位置信息和多个注视位置信息中每一个注视位置信息对应的位置参数运行最小化拟合算法确定的。
在一种实现方式中，显示装置602，用于显示注视提示信息，其中，注视提示信息用于提示佩戴头戴式显示装置的用户注视显示装置显示的图像中的多个注视位置信息；红外摄像装置603，用于采集与多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；处理器601获取第二转换参数时，具体用于：根据每一个注视位置信息对应的用户的眼部图像确定瞳孔在眼部图像中的位置和红外补光灯的光斑在眼部图像中的位置之间的位置偏差；根据注视位置信息和多个注视位置信息中每一个注视位置信息对应的位置偏差最小化拟合算法以确定第二转换参数。
在一种实现方式中，处理器601在根据眼部图像确定用户的眼睛的瞳孔在眼部图像中的位置时，具体用于：从眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状以获取预设形状的区域图像；根据预设形状的区域图像中面积最大的预设形状的区域图像在眼部图像中的 位置确定用户的眼睛的瞳孔在眼部图像中的位置。
在一种实现方式中，处理器601在根据眼部图像确定红外补光灯的光斑在眼部图像中的位置时，具体用于：从眼部图像中识别出眼球对应的区域图像；根据第二颜色阈值对眼球对应的区域图像进行二值化处理；根据二值化处理后的区域图像中灰度极大值区域图像在眼部图像中的位置确定用户的眼睛的光斑在眼部图像中的位置。
在一种实现方式中，处理器601在根据眼部图像确定红外补光灯的光斑在眼部图像中的位置时，具体用于：从眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状以获取预设形状的区域图像；从所述预设形状的区域图像中面积最大的预设形状的区域图像中确定灰度极大值的区域图像；根据灰度极大值的区域图像在眼部图像中的位置确定红外补光灯的光斑在眼部图像中的位置。
本实施例提供的头戴式显示装置能够执行前述实施例叙述的方法，其执行方式和有益效果类似，在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时，可以用于实现本申请实施例图2～图3所对应实施例中描述的控制方法，具体实施过程在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的头戴式显示装置的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述头戴式显示装置的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述头戴式显示装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述头戴式显示装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例 如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (22)
- 一种控制方法，应用于头戴式显示装置，其中，所述头戴式显示装置包括显示装置、用于对佩戴所述头戴式显示装置的用户的眼睛进行拍摄的红外摄像装置和用于对所述红外摄像装置补光的红外补光灯，其中，所述显示装置用于显示与所述头戴式显示装置通信连接的可移动平台采集的图像，其特征在于，包括：获取所述红外摄像装置采集到的用户的眼部图像；根据所述红外摄像装置采集到的所述眼部图像确定注视位置信息，其中，所述注视位置信息用于指示所述用户的眼睛注视的所述显示装置显示的图像的位置；将所述注视位置信息发送给所述可移动平台，其中，所述注视位置信息用于指示所述可移动平台在采集到的图像中确定目标区域图像，并对所述图像进行处理，其中，处理后的图像中所述目标区域图像的成像质量高于所述图像中目标区域图像以外的区域图像的成像质量；接收并控制所述显示装置显示所述可移动平台发送的所述处理后的图像。
- 根据权利要求1所述的方法，其特征在于，所述根据所述红外摄像装置采集到的所述眼部图像确定注视位置信息，包括：根据所述眼部图像确定所述用户的眼睛的瞳孔在所述眼部图像中的位置；根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息。
- 根据权利要求2所述的方法，其特征在于，所述根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息，包括：获取第一转换参数，其中，所述第一转换参数是根据多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的瞳孔在眼部图像中的位置运行最小化拟合算法确定的；根据所述第一转换参数和所述瞳孔在所述眼部图像中的位置，确定所述注视位置信息。
- 根据权利要求3所述的方法，其特征在于，所述获取第一转换参数，包括：在所述显示装置上显示注视提示信息，其中，所述注视提示信息用于指示佩戴所述头戴式显示装置的用户注视所述显示装置显示的图像中的所述多个注视位置信息；获取所述红外摄像装置采集到的与所述多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；根据所述每一个注视位置信息对应的用户的眼部图像确定所述用户的眼睛的瞳孔在所述每一个注视位置信息对应的用户的眼部图像中的位置；根据所述多个注视位置信息和所述多个注视位置信息对应的用户的眼部图像中瞳孔的位置运行最小化拟合算法以确定所述第一转换参数。
- 根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置；所述根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息，包括：根据所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置确定所述注视位置信息。
- 根据权利要求5所述的方法，其特征在于，所述根据所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置确定所述注视位置信息，包括：确定所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置之间的位置偏差；根据所述位置偏差确定所述注视位置信息。
- 根据权利要求6所述的方法，其特征在于，所述根据所述位置偏差确定所述注视位置信息，包括：获取第二转换参数；根据所述位置偏差和所述第二转换参数确定所述注视位置信息，其中，所述第二转换参数是根据多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法确定的。
- 根据权利要求7所述的方法，其特征在于，所述获取第二转换参数，包括：在所述显示装置上显示注视提示信息，其中，所述注视提示信息用于指示佩戴所述头戴式显示装置的用户注视所述显示装置显示的图像中的所述多个注视位置信息；获取所述红外摄像装置采集到的与所述多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；根据所述每一个注视位置信息对应的用户的眼部图像确定所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置之间的位置偏差；根据所述多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法以确定所述第二转换参数。
- 根据权利要求1所述的方法，其特征在于，所述根据所述眼部图像确定所述用户的眼睛的瞳孔在所述眼部图像中的位置，包括：从所述眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对所述眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状，以获取预设形状的区域图像；根据所述预设形状的区域图像中面积最大的预设形状的区域图像在所述眼部图像中的位置，确定所述用户的眼睛的瞳孔在所述眼部图像中的位置。
- 根据权利要求5所述的方法，其特征在于，所述根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置，包括：从所述眼部图像中识别出眼球对应的区域图像；根据第二颜色阈值对所述眼球对应的区域图像进行二值化处理；根据二值化处理后的区域图像中灰度极大值区域图像在所述眼部图像中的位置，确定所述用户的眼睛的光斑在所述眼部图像中的位置。
- 根据权利要求5所述的方法，其特征在于，所述根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置，包括：从所述眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对所述眼球对应的区域图像进行二值化处理；将二值化后的区域图像中灰度极小值区域图像拟合成预设形状，以获取预设形状的区域图像；从所述预设形状的区域图像中面积最大的预设形状的区域图像中确定灰度极大值的区域图像；根据所述灰度极大值的区域图像在所述眼部图像中的位置，确定所述红外补光灯的光斑在所述眼部图像中的位置。
- 一种头戴式显示装置，其特征在于，所述头戴式显示装置包括红外补光灯、红外摄像装置、显示装置、存储器以及处理器；所述红外补光灯，用于对所述红外拍摄装置补光；所述红外摄像装置，用于对佩戴所述头戴式显示装置的用户的眼睛进行拍摄得到眼部图像；所述存储器，用于存储计算机程序；所述处理器，调用所述计算机程序，用于：根据所述红外摄像装置采集到的所述眼部图像确定注视位置信息，其中，所述注视位置信息用于指示所述用户的眼睛注视的所述显示装置显示的图像的位置；将所述注视位置信息发送给所述可移动平台，其中，所述注视位置信息用于指示所述可移动平台在采集到的图像中确定目标区域图像，并对所述图像进行处理，其中，处理后的图像中所述目标区域图像的成像质量高于所述图像中目标区域图像以外的区域图像的成像质量；接收所述可移动平台发送的所述处理后的图像；所述显示装置，用于显示所述处理后的图像。
- 根据权利要求12所述的头戴式显示装置，其特征在于，所述处理器在根据所述红外摄像装置采集到的所述眼部图像确定注视位置信息时，具体用于：根据所述眼部图像确定所述用户的眼睛的瞳孔在所述眼部图像中的位置；根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息。
- 根据权利要求13所述的头戴式显示装置，其特征在于，所述处理器在根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息时，具体用于：获取第一转换参数，其中，所述第一转换参数是根据多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的瞳孔在眼部图像中的位置运行最小化拟合算法确定的；根据所述第一转换参数和所述瞳孔在所述眼部图像中的位置，确定所述注视位置信息。
- 根据权利要求14所述的头戴式显示装置，其特征在于，所述显示装置，用于显示注视提示信息，其中，所述注视提示信息用于指示佩戴所述头戴式显示装置的用户注视所述显示装置显示的图像中的所述多个注视位置信息；所述处理器在获取所述第一转换参数时，具体用于：获取所述红外摄像装置采集到的与所述多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；根据所述每一个注视位置信息对应的用户的眼部图像，确定所述用户的眼睛的瞳孔在所述每一个注视位置信息对应的用户的眼部图像中的位置；根据所述多个注视位置信息和所述多个注视位置信息对应的用户的眼部图像中瞳孔的位置运行最小化拟合算法，以确定所述第一转换参数。
- 根据权利要求13所述的头戴式显示装置，其特征在于，所述处理器在根据所述瞳孔在所述眼部图像中的位置确定所述注视位置信息时，具体用于：根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置；根据所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置确定所述注视位置信息。
- 根据权利要求16所述的头戴式显示装置，其特征在于，所述处理器在根据所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置确定所述注视位置信息时，具体用于：确定所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置之间的位置偏差；根据所述位置偏差确定所述注视位置信息。
- 根据权利要求17所述的头戴式显示装置，其特征在于，所述处理器在根据所述位置偏差确定所述注视位置信息时，具体用于：获取第二转换参数；根据所述位置偏差和所述第二转换参数确定所述注视位置信息，其中，所述第二转换参数是根据所述多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法确定的。
- 根据权利要求18所述的头戴式显示装置，其特征在于，所述显示装置，用于显示注视提示信息，其中，所述注视提示信息用于提示佩戴所述头戴式显示装置的用户注视所述显示装置显示的图像中的所述多个注视位置信息；所述红外摄像装置，用于采集与所述多个注视位置信息中每一个注视位置信息对应的用户的眼部图像；所述处理器获取所述第二转换参数时，具体用于：根据所述每一个注视位置信息对应的用户的眼部图像确定所述瞳孔在所述眼部图像中的位置和所述红外补光灯的光斑在所述眼部图像中的位置之间的位置偏差；根据所述多个注视位置信息和所述多个注视位置信息中每一个注视位置信息对应的位置偏差运行最小化拟合算法以确定所述第二转换参数。
- 根据权利要求12所述的头戴式显示装置，其特征在于，所述处理器在根据所述眼部图像确定所述用户的眼睛的瞳孔在所述眼部图像中的位置时，具体用于：从所述眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对所述眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状，以获取预设形状的区域图像；根据所述预设形状的区域图像中面积最大的预设形状的区域图像在所述眼部图像中的位置，确定所述用户的眼睛的瞳孔在所述眼部图像中的位置。
- 根据权利要求16所述的头戴式显示装置，其特征在于，所述处理器在根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置时，具体用于：从所述眼部图像中识别出眼球对应的区域图像；根据第二颜色阈值对所述眼球对应的区域图像进行二值化处理；根据二值化处理后的区域图像中灰度极大值区域图像在所述眼部图像中的位置，确定所述用户的眼睛的光斑在所述眼部图像中的位置。
- 根据权利要求16所述的头戴式显示装置，其特征在于，所述处理器在根据所述眼部图像确定所述红外补光灯的光斑在所述眼部图像中的位置时，具体用于：从所述眼部图像中识别出眼球对应的区域图像；根据第一颜色阈值对所述眼球对应的区域图像进行二值化处理；将二值化处理后的区域图像中灰度极小值区域图像拟合成预设形状，以获取预设形状的区域图像；从所述预设形状的区域图像中面积最大的预设形状的区域图像中，确定灰度极大值的区域图像；根据所述灰度极大值的区域图像在所述眼部图像中的位置，确定所述红外补光灯的光斑在所述眼部图像中的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/130962 WO2021134710A1 (zh) | 2019-12-31 | 2019-12-31 | 一种控制方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/130962 WO2021134710A1 (zh) | 2019-12-31 | 2019-12-31 | 一种控制方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021134710A1 true WO2021134710A1 (zh) | 2021-07-08 |
Family
ID=76686324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/130962 WO2021134710A1 (zh) | 2019-12-31 | 2019-12-31 | 一种控制方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2021134710A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672085A (zh) * | 2021-08-04 | 2021-11-19 | Oppo广东移动通信有限公司 | 参数控制方法、装置、头戴式显示设备以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054548A (zh) * | 2012-07-05 | 2013-04-24 | 东北电力大学 | 凝视点测量装置及瞳孔、普尔钦亮斑识别方法 |
| CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
| CN108139799A (zh) * | 2016-04-22 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 基于用户的兴趣区(roi)处理图像数据的系统和方法 |
| CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
| US20190004600A1 (en) * | 2017-06-28 | 2019-01-03 | Lenovo (Beijing) Co., Ltd. | Method and electronic device for image display |
| CN109613984A (zh) * | 2018-12-29 | 2019-04-12 | 歌尔股份有限公司 | Vr直播中视频图像的处理方法、设备及系统 |
| CN109801353A (zh) * | 2019-01-16 | 2019-05-24 | 北京七鑫易维信息技术有限公司 | 一种图像渲染的方法、服务器及终端 |
-
2019
- 2019-12-31 WO PCT/CN2019/130962 patent/WO2021134710A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054548A (zh) * | 2012-07-05 | 2013-04-24 | 东北电力大学 | 凝视点测量装置及瞳孔、普尔钦亮斑识别方法 |
| CN108139799A (zh) * | 2016-04-22 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 基于用户的兴趣区(roi)处理图像数据的系统和方法 |
| CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
| US20190004600A1 (en) * | 2017-06-28 | 2019-01-03 | Lenovo (Beijing) Co., Ltd. | Method and electronic device for image display |
| CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
| CN109613984A (zh) * | 2018-12-29 | 2019-04-12 | 歌尔股份有限公司 | Vr直播中视频图像的处理方法、设备及系统 |
| CN109801353A (zh) * | 2019-01-16 | 2019-05-24 | 北京七鑫易维信息技术有限公司 | 一种图像渲染的方法、服务器及终端 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113672085A (zh) * | 2021-08-04 | 2021-11-19 | Oppo广东移动通信有限公司 | 参数控制方法、装置、头戴式显示设备以及存储介质 |
| WO2023011103A1 (zh) * | 2021-08-04 | 2023-02-09 | Oppo广东移动通信有限公司 | 参数控制方法、装置、头戴式显示设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240127400A1 (en) | Gaze direction-based adaptive pre-filtering of video data | |
| US11480804B2 (en) | Distributed foveated rendering based on user gaze | |
| US10303973B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
| US10674069B2 (en) | Method and apparatus for blurring preview picture and storage medium | |
| RU2672502C1 (ru) | Устройство и способ для формирования изображения роговицы | |
| KR20150053730A (ko) | 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템 | |
| KR20200142539A (ko) | 동적 포비티드 파이프라인 | |
| US11068699B2 (en) | Image processing device, image processing method, and telecommunication system to generate an output image for telecommunication | |
| US10964067B2 (en) | Visual quality enhancement of reconstructed point clouds via color smoothing | |
| WO2018233217A1 (zh) | 图像处理方法、装置和增强现实设备 | |
| CN113192132B (zh) | 眼神捕捉方法及装置、存储介质、终端 | |
| US20230063309A1 (en) | Method for processing human body image and electronic device | |
| EP3710983A1 (en) | Pose correction | |
| CN107436681A (zh) | 自动调节文字的显示大小的移动终端及其方法 | |
| WO2021134710A1 (zh) | 一种控制方法及相关装置 | |
| CN110930340B (zh) | 一种图像处理方法及装置 | |
| WO2024021250A1 (zh) | 身份信息采集方法、装置、电子设备和存储介质 | |
| US20230281885A1 (en) | Systems and methods of image processing based on gaze detection | |
| US20230222757A1 (en) | Systems and methods of media processing | |
| WO2021232209A1 (zh) | 图像处理方法、设备、可移动平台和存储介质 | |
| CN115937959A (zh) | 注视信息的确定方法、装置、眼动追踪设备 | |
| CN114840084A (zh) | 一种基于人眼追踪预测的vr眼镜显示方法和装置 | |
| CN115877573A (zh) | 显示方法、头戴显示设备及存储介质 | |
| CN117478863A (zh) | 图像处理装置、方法及记录介质、眼镜型信息显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19958558 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19958558 Country of ref document: EP Kind code of ref document: A1 |