WO2017000796A1 - 人脸定向显示系统及方法 - Google Patents
人脸定向显示系统及方法 Download PDFInfo
- Publication number
- WO2017000796A1 WO2017000796A1 PCT/CN2016/086070 CN2016086070W WO2017000796A1 WO 2017000796 A1 WO2017000796 A1 WO 2017000796A1 CN 2016086070 W CN2016086070 W CN 2016086070W WO 2017000796 A1 WO2017000796 A1 WO 2017000796A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- face
- image
- face orientation
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
Definitions
- the present invention relates to the field of electronic technologies, and in particular, to a face orientation display system and method.
- Handheld devices such as smart phones and tablets generally use gravity sensors to obtain the difference between the placement direction of the device and the direction of gravity of the earth. Thereby adjusting the direction of the display content so that the direction of the display content and the direction of gravity of the earth are consistent.
- devices such as mobile phones and tablets rotate in a vertical plane, and the display content is always consistent with the direction of gravity of the earth. But the human posture is not always consistent with the direction of gravity of the Earth.
- An object of the present invention is to provide a face orientation display system that solves the above technical problems
- Face orientation display system including,
- Display device for displaying content
- An image capture device for capturing a user face image
- a face orientation device connected to the image capture device, determining a direction of the face according to a feature point of the face image
- the control device is respectively connected to the display device, the image capturing device, and the face orientation device, and adjusts display content of the display device to be consistent with the face orientation.
- the face orientation display system of the present invention further includes an image processing device coupled to the image capture device for preprocessing the acquired face image.
- the face orientation display system of the present invention further includes image feature point extraction means for extracting feature points of the face image.
- the image capturing device is a camera, and the camera is aligned with the orientation of the display device.
- the display device is an LCD display or an LED display or an OLED display.
- the present invention also provides a portable electronic device comprising the face orientation display system of claim 1.
- the invention also provides a face orientation display method, which is applied to a portable electronic device, comprising the following steps:
- Step 1 the portable electronic device is powered on
- Step 2 the display device displays the content in an initial direction
- Step 3 turning on the image capturing device to capture a user face image
- Step 4 determining a face direction according to the user face image
- step 5 the display content of the display device is adjusted to be consistent with the face orientation.
- the portable electronic device is a mobile phone, a tablet computer or a head mounted display.
- the present invention fundamentally solves the problem that the display content of the device and the viewing direction of the user are consistent, so that the display screen of the electronic device such as a television, a movie, a projection system, a computer, a mobile phone, a tablet, etc. is always displayed and the user The observation direction is consistent, showing the best display experience for the user.
- FIG. 1 is a display content diagram of a prior art electronic device adjusted by a gravity sensor after being rotated in a vertical plane;
- Figure 2 is a structural diagram of the system of the present invention.
- FIG. 3 is a flowchart of a face orientation display method according to the present invention.
- FIG. 4 is an application effect diagram of a face display technology according to the present invention.
- Figure 5-1 is a view showing the display effect of the display of the present invention fixed in a horizontal plane when the user is on the east side of the display;
- 5-2 is a view showing the display effect of the display of the present invention fixed in a horizontal plane and the user in the north of the display;
- 5-3 is a view showing the display effect of the display of the present invention fixed in a horizontal plane and the user on the west side of the display;
- Fig. 5-4 is a view showing the display effect of the display of the present invention fixed in the horizontal plane and the user on the south side of the display.
- the realization of the prior art mainly determines the direction of gravity of the earth by obtaining the information of the gravity sensor, and determines the rotation angle of the mobile phone and the flat plate to adjust the direction of the display content, so that the direction of the display content and the direction of the earth's gravity are consistent.
- Setting the direction of the display in the direction of the Earth's gravity can satisfy the basic needs of most users, because most people's postures are basically consistent with the direction of gravity of the Earth. However, for special occasions or special groups, it is often inconvenient.
- the present invention provides a face orientation display system, with reference to FIG. 2, including
- An image capture device 12 configured to capture a user face image
- the face orientation device 13 is connected to the image capture device 12, and determines the direction of the face according to the feature points of the face image;
- the control device 10 is connected to the display device 11, the image capturing device 12, and the face orientation device 13, respectively, and adjusts the display content of the display device 11 to match the face orientation.
- the face orientation display system of the present invention further includes an image processing device 14, and an image capture device 12 connection for pre-processing the acquired face image.
- the face orientation display system of the present invention further includes an image feature point extracting device 15 connected to the image processing device 14 for extracting feature points of the face image.
- the image capturing device 12 is a camera, the camera is aligned with the orientation of the display device 11, or a plurality of cameras can be disposed, and cameras are disposed on each side of the display device 11, and the user is located on different sides of the display device 11.
- the face image can be captured at any time.
- the display device 11 can be, but not limited to, an LCD display or an LED display or an OLED display.
- the invention utilizes an input device such as a camera to acquire a user face image, and then combines image processing and feature point extraction to realize face orientation. According to the observation direction of the face, the direction of the display content is adjusted, thereby ensuring the high consistency of the display content and the user's viewing direction, and fundamentally solving the problem that the display content and the user's viewing direction are inconsistent. Make the display of TV, movie, projection, computer, mobile phone, tablet and other devices consistent with the user's viewing direction. Present the best display experience to the user.
- the invention is particularly applicable to portable electronic devices.
- the present invention also provides a face orientation display method for a portable electronic device.
- the method includes the following steps:
- Step 1 the portable electronic device is powered on
- Step 2 The display device displays the content in an initial direction
- Step 3 turning on the image capturing device to capture the user face image
- Step 4 determining a face direction according to the user face image
- step 5 the display content of the display device is adjusted to be consistent with the face orientation.
- the portable electronic device can be a mobile phone, a tablet computer or Head-mounted display.
- the invention can make the direction in which the device displays the content coincide with the viewing direction of the user.
- the content shown in the figure is that the direction of the face is inconsistent with the direction of gravity of the earth.
- the display content "LCD" of the mobile phone is consistent with the direction of the face.
- the display is fixed in a horizontal plane, and the user is located at four angles of the southeast and northwest of the display to view the content "LCD" on the display. .
- the camera of the display device can capture the user's face image and obtain the user's face orientation. Adjust the direction of the display content "LCD" according to the face orientation. Enable users to stand in any position and get the best user experience.
Abstract
一种人脸定向显示系统及方法，应用于便携式电子设备，所述方法包括以下步骤：步骤1，便携式电子设备开机；步骤2，显示装置以一初始方向显示内容；步骤3，开启图像捕获装置以捕获用户人脸图像；步骤4，依据用户人脸图像判断人脸方向；步骤5，调整显示装置的显示内容使其和人脸方向一致。解决了设备显示内容和用户观察方向一致性的问题，使诸如电视、电影、投影系统、电脑、手机、平板等电子设备的显示画面始终和用户的观察方向一致，对用户呈现最佳的显示体验。
Description
本发明涉及电子技术领域，具体涉及一种人脸定向显示系统及方法。
现在电视、投影等显示设备，都是以固定方向显示画面，显示内容方向固定不变。而智能手机、平板等手持设备，一般都借助重力传感器获取设备的摆放方向和地球重力方向的差异。从而调整显示内容的方向，使显示内容方向和地球重力方向保持一致。如图1所示，手机、平板电脑等设备在垂直平面旋转，显示内容始终和地球重力方向保持一致。但是人的姿势并不是永远都和地球重力方向保持一致。特别是对于一些存在行动障碍的人，比如用户不能长时间的保持站立或坐正状态时，或者在一些特殊场景中，如当用户的使用环境失去重力加速度时，这些特殊的场景会使现有技术无法满足用户的需求。
发明内容
本发明的目的在于，提供一种人脸定向显示系统，解决以上技术问题；
本发明的目的还在于，提供一种人脸定向显示方法，解决以上技术问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
人脸定向显示系统，其中，包括，
显示装置，用于显示内容；
图像捕获装置，用于捕获用户人脸图像；
人脸定向装置，与所述图像捕获装置连接，依据人脸图像的特征点判断所述人脸的方向；
控制装置，分别与所述显示装置、所述图像捕获装置及所述人脸定向装置连接，调整所述显示装置的显示内容与所述人脸方向一致。
本发明的人脸定向显示系统，还包括图像处理装置，与所述图像捕获装置连接，用于对获取的人脸图像进行预处理。
本发明的人脸定向显示系统，还包括图像特征点提取装置，用于提取所述人脸图像的特征点。
本发明的人脸定向显示系统，所述图像捕获装置为摄像头，所述摄像头与所述显示装置的朝向一致。
本发明的人脸定向显示系统，所述显示装置为LCD显示屏或LED显示屏或OLED显示屏。
本发明还提供一种便携式电子设备，包括权利要求1所述的人脸定向显示系统。
本发明还提供一种人脸定向显示方法，应用于便携式电子设备，包括以下步骤：
步骤1，所述便携式电子设备开机；
步骤2，所述显示装置以一初始方向显示内容；
步骤3，开启所述图像捕获装置以捕获用户人脸图像；
步骤4，依据用户人脸图像判断人脸方向；
步骤5，调整显示装置的显示内容使其和人脸方向一致。
本发明的人脸定向显示方法，所述便携式电子设备为手机、平板电脑或头戴式显示器。
有益效果：由于采用以上技术方案，本发明从根本上解决设备显示内容和用户观察方向一致性的问题，使诸如电视、电影、投影系统、电脑、手机、平板等电子设备的显示画面始终和用户的观察方向一致，对用户呈现最佳的显示体验。
图1为现有技术的电子设备在垂直平面旋转后，通过重力传感器调整的显示内容图；
图2为本发明的系统结构图；
图3为本发明的人脸定向显示方法的流程图；
图4为本发明的人脸显示技术应用效果图；
图5-1为本发明的显示器在水平面固定，用户在显示器东边时的显示效果图；
图5-2为本发明的显示器在水平面固定，用户在显示器北边时的显示效果图；
图5-3为本发明的显示器在水平面固定，用户在显示器西边时的显示效果图；
图5-4为本发明的显示器在水平面固定，用户在显示器南边时的显示效果图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
现有技术的实现主要通过获取重力传感器的信息，判断地球重力方向，并判断出手机、平板的旋转角度从而调整显示内容的方向，使显示内容的方向和地球重力的方向保持一致。以地球重力的方向设置显示内容的方向可以满足大部分用户的基本需求，因为大部分人的姿势都基本保持和地球重力方向一致。然而对于特殊场合或特殊群体来说，却常常带来不便。
本发明提供了人脸定向显示系统，参照图2，包括，
显示装置11，用于显示内容；
图像捕获装置12，用于捕获用户人脸图像；
人脸定向装置13，与图像捕获装置12连接，依据人脸图像的特征点判断人脸的方向；
控制装置10，分别与显示装置11、图像捕获装置12及人脸定向装置13连接，调整显示装置11的显示内容与人脸方向一致。
本发明的人脸定向显示系统，还包括图像处理装置14，与图像捕获装置
12连接，用于对获取的人脸图像进行预处理。
本发明的人脸定向显示系统，还包括图像特征点提取装置15，与图像处理装置14连接，用于提取人脸图像的特征点。
本发明的人脸定向显示系统，图像捕获装置12为摄像头，摄像头与显示装置11的朝向一致或者可以设置多个摄像头，在显示装置11的各个侧面设置摄像头，使用者位于显示装置11的不同侧面时都可以捕捉到人脸图像。
本发明的人脸定向显示系统，显示装置11可以为但不限于LCD显示屏或LED显示屏或OLED显示屏。
本发明利用摄像头等输入设备获取用户人脸图像，再结合图像处理，特征点提取实现人脸定向。根据人脸的观察方向，调整显示内容的方向，从而保证显示内容和用户观察方向的高度一致性，从根本上解决显示内容和用户观察方向不一致的问题。使电视、电影、投影、电脑、手机、平板等设备的显示画面始终和用户的观察方向一致。对用户呈现最佳的显示体验。本发明特别适用于便携式电子设备。
本发明还提供一种人脸定向显示方法，应用于便携式电子设备，参照图3，包括以下步骤：
步骤1，便携式电子设备开机；
步骤2，显示装置以一初始方向显示内容；
步骤3，开启图像捕获装置以捕获用户人脸图像；
步骤4，依据用户人脸图像判断人脸方向；
步骤5，调整显示装置的显示内容使其和人脸方向一致。
本发明的人脸定向显示方法，便携式电子设备可以为手机、平板电脑或
头戴式显示器。如图4所示，无论人脸方向和地球重力方向是否一致。本发明都可以使设备显示内容的方向和用户的观察方向一致。图中显示的内容是人脸方向和地球重力方向不一致，当360度旋转手机的时候，手机的显示内容“LCD”都和人脸的方向保持一致。
另一种具体实施例，结合图5-1,5-2，5-3,5-4所示，显示器在水平面固定，用户位于显示器的东南西北等四个角度看显示器上的内容“LCD”。无论用户站在哪个方位，显示设备的摄像头都可以捕捉到用户人脸图像并获取用户的人脸方向。根据人脸方向，调整显示内容“LCD”的方向。使用户站在任何一个方位，都能获得最好的用户体验。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (8)
- 人脸定向显示系统，其特征在于，包括，显示装置，用于显示内容；图像捕获装置，用于捕获用户人脸图像；人脸定向装置，与所述图像捕获装置连接，依据人脸图像的特征点判断所述人脸的方向；控制装置，分别与所述显示装置、所述图像捕获装置及所述人脸定向装置连接，调整所述显示装置的显示内容与所述人脸方向一致。
- 根据权利要求1所述的人脸定向显示系统，其特征在于，还包括图像处理装置，与所述图像捕获装置连接，用于对获取的人脸图像进行预处理。
- 根据权利要求1所述的人脸定向显示系统，其特征在于，还包括图像特征点提取装置，用于提取所述人脸图像的特征点。
- 根据权利要求1所述的人脸定向显示系统，其特征在于，所述图像捕获装置为摄像头，所述摄像头与所述显示装置的朝向一致。
- 根据权利要求1所述的人脸定向显示系统，其特征在于，所述显示装置为LCD显示屏或LED显示屏或OLED显示屏。
- 一种便携式电子设备，其特征在于，包括权利要求1所述的人脸定向显示系统。
- 人脸定向显示方法，其特征在于，应用于便携式电子设备，用于权利要求1至5任意一项所述的人脸定向显示系统，包括以下步骤：步骤1，所述便携式电子设备开机；步骤2，所述显示装置以一初始方向显示内容；步骤3，开启所述图像捕获装置以捕获用户人脸图像；步骤4，依据用户人脸图像判断人脸方向；步骤5，调整显示装置的显示内容使其和人脸方向一致。
- 根据权利要求7所述的人脸定向显示方法，其特征在于，所述便携式电子设备为手机、平板电脑或头戴式显示器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510381563.4A CN106325484A (zh) | 2015-06-30 | 2015-06-30 | 人脸定向显示系统及方法 |
| CN201510381563.4 | 2015-06-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017000796A1 true WO2017000796A1 (zh) | 2017-01-05 |
Family
ID=57607758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/086070 WO2017000796A1 (zh) | 2015-06-30 | 2016-06-16 | 人脸定向显示系统及方法 |
Country Status (4)
| Country | Link |
|---|---|
| CN (1) | CN106325484A (zh) |
| HK (1) | HK1231593A1 (zh) |
| TW (1) | TW201701191A (zh) |
| WO (1) | WO2017000796A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628545A (zh) * | 2021-09-06 | 2021-11-09 | 越达光电科技(浙江)有限公司 | 一种全面显示穿戴设备及手表 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558842A (zh) * | 2018-11-30 | 2019-04-02 | 北京七鑫易维信息技术有限公司 | 一种调整图像显示方向的方法、装置、设备和介质 |
| CN115494961B (zh) * | 2022-11-17 | 2023-03-24 | 南京熊大巨幕智能科技有限公司 | 基于人脸识别的新型交互式环绕智能显示设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102760024A (zh) * | 2011-04-26 | 2012-10-31 | 鸿富锦精密工业（深圳）有限公司 | 屏幕图像旋转方法及系统 |
| CN102934157A (zh) * | 2011-03-04 | 2013-02-13 | 松下电器产业株式会社 | 显示装置及显示方向切换方法 |
| KR20130056553A (ko) * | 2011-11-22 | 2013-05-30 | 주식회사 이랜텍 | 디스플레이 화면 회전 기능을 갖는 장치 |
| CN103885694A (zh) * | 2012-12-24 | 2014-06-25 | 鸿富锦精密工业(武汉)有限公司 | 显示屏幕自动调节系统及方法 |
| CN103970259A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 屏幕模式切换的方法和终端设备 |
| CN104137028A (zh) * | 2012-01-10 | 2014-11-05 | 三星电子株式会社 | 控制被显示图像的旋转的设备和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598869A (zh) * | 2014-07-25 | 2015-05-06 | 北京智膜科技有限公司 | 基于人脸识别装置的智能广告推送方法 |
| CN105786168A (zh) * | 2014-12-26 | 2016-07-20 | 富泰华工业（深圳）有限公司 | 智能调整显示内容大小的系统及方法 |
-
2015
- 2015-06-30 CN CN201510381563.4A patent/CN106325484A/zh active Pending
-
2016
- 2016-06-16 WO PCT/CN2016/086070 patent/WO2017000796A1/zh active Application Filing
- 2016-06-29 TW TW105120450A patent/TW201701191A/zh unknown
-
2017
- 2017-05-19 HK HK17105097.2A patent/HK1231593A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102934157A (zh) * | 2011-03-04 | 2013-02-13 | 松下电器产业株式会社 | 显示装置及显示方向切换方法 |
| CN102760024A (zh) * | 2011-04-26 | 2012-10-31 | 鸿富锦精密工业（深圳）有限公司 | 屏幕图像旋转方法及系统 |
| KR20130056553A (ko) * | 2011-11-22 | 2013-05-30 | 주식회사 이랜텍 | 디스플레이 화면 회전 기능을 갖는 장치 |
| CN104137028A (zh) * | 2012-01-10 | 2014-11-05 | 三星电子株式会社 | 控制被显示图像的旋转的设备和方法 |
| CN103885694A (zh) * | 2012-12-24 | 2014-06-25 | 鸿富锦精密工业(武汉)有限公司 | 显示屏幕自动调节系统及方法 |
| CN103970259A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 屏幕模式切换的方法和终端设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628545A (zh) * | 2021-09-06 | 2021-11-09 | 越达光电科技(浙江)有限公司 | 一种全面显示穿戴设备及手表 |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1231593A1 (zh) | 2017-12-22 |
| CN106325484A (zh) | 2017-01-11 |
| TW201701191A (zh) | 2017-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9560269B2 (en) | Collaborative image capturing | |
| TWI539810B (zh) | 全景景象拍攝及瀏覽之行動裝置、系統及方法 | |
| US9811910B1 (en) | Cloud-based image improvement | |
| CN106973228B (zh) | 一种拍摄方法及电子设备 | |
| US20150085184A1 (en) | Smartphone and tablet having a side-panel camera | |
| US20160299574A1 (en) | Method and System for Adjusting Viewing Angle of Display Automatically and a Display | |
| CN106101687B (zh) | Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统 | |
| WO2017000796A1 (zh) | 人脸定向显示系统及方法 | |
| TW201111947A (en) | Notebook computer with multi-image capture function | |
| WO2016054945A1 (zh) | 终端显示界面的显示方法及装置 | |
| CN105721739B (zh) | 屏幕影像画面防抖系统及方法 | |
| US8537246B2 (en) | View angle feedback device and method | |
| TWI553544B (zh) | 電子裝置及影像調整方法 | |
| CN106791787A (zh) | 一种具有拍摄功能的终端设备 | |
| TW201403454A (zh) | 顯示畫面旋轉的方法及系統 | |
| US20170119135A1 (en) | Frame for Portable Electronic Media Device | |
| CN106210701A (zh) | 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统 | |
| TWI603225B (zh) | 液晶顯示器顯示視角的調整方法和裝置 | |
| US9536133B2 (en) | Display apparatus and control method for adjusting the eyes of a photographed user | |
| TWI498829B (zh) | 電子顯示設備及其選擇用戶介面的方法 | |
| CN109804408B (zh) | 一致的球面照片和视频朝向校正 | |
| MX2015011967A (es) | Metodo y sistema para estabilización y encuadre. | |
| CN110493457A (zh) | 一种终端设备控制方法及终端设备 | |
| US9609211B2 (en) | Method of image conversion operation for panorama dynamic IP camera | |
| US20150365574A1 (en) | Handheld mobile apparatus with four-direction photography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16817160 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16817160 Country of ref document: EP Kind code of ref document: A1 |