WO2023236225A1 - 终端、终端控制方法及其装置、图像处理方法及其装置 - Google Patents

终端、终端控制方法及其装置、图像处理方法及其装置 Download PDF

Info

Publication number
WO2023236225A1
WO2023236225A1 PCT/CN2022/098277 CN2022098277W WO2023236225A1 WO 2023236225 A1 WO2023236225 A1 WO 2023236225A1 CN 2022098277 W CN2022098277 W CN 2022098277W WO 2023236225 A1 WO2023236225 A1 WO 2023236225A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
terminal
information
imaging
Prior art date
Application number
PCT/CN2022/098277
Other languages
English (en)
French (fr)
Inventor
杨宗保
尹志东
Original Assignee
北京小米移动软件有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米移动软件有限公司 filed Critical 北京小米移动软件有限公司
Priority to PCT/CN2022/098277 priority Critical patent/WO2023236225A1/zh
Priority to CN202280001791.2A priority patent/CN117643046A/zh
Publication of WO2023236225A1 publication Critical patent/WO2023236225A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets

Definitions

  • the present disclosure relates to the technical field of image processing, and in particular, to a terminal, a terminal control method and its device, an image processing method and its device, electronic equipment and a storage medium.
  • Electronic devices are often equipped with front-facing cameras and rear-facing cameras. Users can use the front-facing cameras to control selfies, screen-holding, gesture detection, etc. However, screen-holding and gesture detection often require the front-facing camera to be in a normally open state. This results in high power consumption, and the images obtained when taking selfies with full-screen electronic devices are often of poor quality.
  • the rear camera collects images, it often runs alone and performs imaging based on its own imaging parameters, which makes the use of the rear camera more limited and cannot further improve the image quality of the rear camera.
  • the present disclosure provides a terminal, including:
  • the terminal provided by the present disclosure includes at least a first camera and some light leakage locations. Since the light leakage locations have good light transmittance, the first camera can collect images through the light leakage locations of the terminal. In the present disclosure, there is no light leakage location through the light leakage locations. Screen occlusion allows the collected images to avoid the problem of missing image information due to screen occlusion.
  • the second control function includes at least one of the following: controlling the The second camera adjusts photography parameters and controls the generation of photography guidance information;
  • the first camera is a camera in the terminal that collects images through a light leakage position of the terminal;
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the first camera is a camera in the terminal that collects images through a light leakage position of the terminal;
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the first acquisition module is used to acquire the first scene image collected by the first camera, and execute the first control function based on the first scene image;
  • the first control function includes at least one of the following: controlling the screen, Whether to perform gesture detection and control screen display adjustment;
  • the first camera is a camera in the terminal that collects images through a light leakage position of the terminal;
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the processor runs a program corresponding to the executable program code by reading the executable program code stored in the memory, so as to implement the terminal control method of the second embodiment of the present disclosure and the image processing of the third embodiment of the present disclosure. method.
  • the present disclosure provides a computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the terminal control method of the second embodiment of the present disclosure and the image of the third embodiment of the disclosure are implemented. Approach.
  • the present disclosure provides a computer program product, including a computer program.
  • the computer program When executed by a processor, the computer program implements the terminal control method of the second embodiment of the present disclosure and the image processing method of the third embodiment of the disclosure.
  • Figure 1 is a structural diagram of a terminal according to an embodiment of the present disclosure
  • Figure 2 is a structural diagram of a terminal according to another embodiment of the present disclosure.
  • Figure 3 is a structural diagram of a first camera in a terminal according to another embodiment of the present disclosure.
  • Figure 4 is a structural diagram of a first camera in a terminal according to another embodiment of the present disclosure.
  • Figure 6 is a flow chart of a terminal control method according to an embodiment of the present disclosure.
  • Figure 8 is a flow chart of an image processing method according to another embodiment of the present disclosure.
  • Figure 9 is a flow chart of a terminal control method according to another embodiment of the present disclosure.
  • Figure 11 is a schematic structural diagram of a terminal control device according to an embodiment of the present disclosure.
  • Figure 12 is a schematic structural diagram of an image processing device according to an embodiment of the present disclosure.
  • the terminal may include at least one first camera, and the first camera will pass through the light leakage locations of the terminal. Collecting images through light leakage locations can avoid occlusion caused by the screen.
  • the two structural members may include the screen and the middle frame of the terminal;
  • the two structural members may include the back cover of the terminal and the middle frame;
  • the two structural members may include the middle frame and the middle frame embedded in the middle frame. button.
  • the first position includes at least one of the following: a gap where the screen of the terminal is connected to the middle frame, a gap where the back cover of the terminal is connected to the middle frame, or a gap where the middle frame is connected to a button embedded in the middle frame.
  • the gap connecting the screen and the middle frame of the terminal can be the sound emission area of the earpiece on the screen and the non-imaging area of the arc edge R of the screen.
  • Figure 2 shows the entire terminal that can be used to implement embodiments of the present disclosure. frame. Among them, the sound emission area of the earpiece on the screen corresponds to gap 1, and the non-imaging area at the R corner of the screen corresponds to gap 2-1 and gap 2-2.
  • the first camera may be set in one of the above three areas, or may be set in multiple areas of the above three areas.
  • the gap connecting the middle frame and the buttons embedded in the middle frame can be the gap between the side middle frame and the buttons embedded in the side middle frame.
  • the buttons can be the power on/off button, the volume adjustment key and the middle frame. the gap between.
  • the second position includes at least one of the following: a sound outlet of the terminal earpiece, or a pin hole near the card slot in the terminal.
  • the card slot may be a SIM card slot on the terminal.
  • the first camera collects images through external light entering from the light leakage position.
  • the first camera is a separate camera module.
  • the terminal 100 includes the first camera 10 , a light leakage position 20 , a screen 30 and an under-screen camera 40 .
  • the under-screen camera 40 is the second camera in the embodiment of the present disclosure, and the first camera 10 is located directly behind the light leakage position 20 in the terminal. Since the light leakage position 20 has good light transmittance, the first camera 10 can directly obtain The light of the subject is collected to collect the image.
  • the first camera includes at least one light-collecting element disposed at a light leakage position for receiving external light and a camera module, wherein the first camera collects images through the external light received by the light-collecting element.
  • the light-collecting element includes at least one of the following: a prism structure and a waveguide structure.
  • the light-collecting element can be located in the above-mentioned light leakage position to receive external light, and then guide it to the sensor for imaging. That is to say, the first camera includes a camera module and a light-collecting component.
  • the terminal 100 includes a first camera 10 , a light leakage position 20 , a screen 30 and an under-screen camera 40 .
  • the first camera 10 includes a camera module 11 and a light guide prism 12, wherein the under-screen camera 40 is the second camera in the embodiment of the present disclosure.
  • the light guide prism 12 is used to obtain the reflected light of the object through the light leakage position 40, and introduce it into the camera module 101 for imaging.
  • the terminal 100 includes a first camera 10 , a light leakage position 20 , a screen 30 , and an under-screen camera 40 .
  • the first camera 10 includes a camera module 11 and a waveguide lens 13, wherein the under-screen camera 40 is the second camera in the embodiment of the present disclosure.
  • the waveguide lens 13 is used to obtain the reflected light of the object through the light leakage position 20 and guide it into the camera module 11 for imaging.
  • the size of the first camera meets the above size requirements of the light leakage location.
  • the first camera may be a micro camera.
  • the terminal in the present disclosure can perform a first control function based on the first camera, where the first control function includes at least one of the following: controlling the screen to pause, controlling whether to perform gesture detection, controlling screen display adjustment, etc.
  • the first control function includes at least one of the following: controlling the screen to pause, controlling whether to perform gesture detection, controlling screen display adjustment, etc.
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the front camera includes at least one of the following: a camera located under a non-opening area of the terminal screen, and a camera located under an opening area of the terminal screen.
  • the working time of the first camera on the terminal is greater than or equal to the working time of any camera in the terminal except the first camera; and/or, the working time of the first camera on the terminal is The power consumption per unit time of the first camera is less than or equal to the power consumption per unit time of any camera in the terminal except the first camera.
  • the first camera on the terminal is in a continuous working state to perform the first control function.
  • the terminal provided by the present disclosure includes at least one first camera and some light leakage locations. Since the light leakage locations have good light transmittance, the first camera can collect images through the light leakage locations of the terminal. In the present disclosure, there is no light leakage location through the light leakage locations. Screen occlusion allows the collected images to avoid the problem of missing image information due to screen occlusion.
  • S61 Obtain the first scene image collected by the first camera, and execute the first control function based on the first scene image.
  • the first control function includes at least one of the following: controlling the screen to rest, controlling whether to perform gesture detection, and controlling screen display adjustment.
  • performing a first control function based on the first scene image includes:
  • the screen is controlled to remain on.
  • the human eye can be identified from the first scene image, and the state of the human eye can be continuously tracked. In response to identifying the human eye If it remains open for longer than the set time, the control screen will remain on.
  • the control terminal performs gesture detection; optionally, perform target detection on the first scene image, detect the hand and the user's face, and respond to If there is overlap in the position of the hand and face, it can be determined that the user is performing tidying up input. Further, the trajectory of the hand can be tracked to detect a specific gesture input by the user, and wake-up gesture detection is performed based on the specific gesture.
  • the display parameters are adjusted through the environmental information control screen recognized by the first scene, where the environmental information includes at least one of the following: brightness and color temperature.
  • the display parameters may be at least one of the following: screen brightness and screen color temperature.
  • the brightness and color temperature of the screen can be adjusted based on the environment, so that the screen can adapt to the ambient light and improve the display effect.
  • multiple intervals can be divided in advance for the ambient brightness and ambient color temperature, and different intervals correspond to different display parameters.
  • the respective ranges of the environmental brightness and/or the environmental color temperature can be determined, and then the corresponding display parameters can be obtained.
  • the screen brightness and/or color temperature can be adjusted so that the display parameters of the screen are consistent with Environment matching allows users to clearly see the content displayed on the screen.
  • S62 Obtain the second scene image collected by the first camera, and perform the second control function on the second camera of the terminal based on the second scene image.
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the photographing guidance information may be some voice information, used to guide people's positioning and other prompt information.
  • the subject object in the second scene image can be identified, and according to the image position of the subject object in the second scene image, position prompt information when taking pictures can be generated.
  • the person can be guided to be in front of the subject object, or to the left, etc. Standing near the position makes the relative position relationship between the character and the subject more coordinated.
  • the type of the subject can be identified and posture prompt information can be generated when taking pictures.
  • the person can be guided to stand or sit down near the subject.
  • the color of the subject can be identified and the color prompt information of the person's clothes when taking the photo can be generated.
  • the appropriate color of clothing can be determined based on the color of the subject for prompting, so that the captured image can better meet the user's needs.
  • the photographing parameters may include at least one of the following parameters: brightness, RGB value, exposure duration, etc.
  • the facial information may include movements of facial parts such as eyes and mouth.
  • the expression information of the user on the terminal side can be determined through the movements of facial parts such as eyes and mouth.
  • the expression information may be generated based on the expression information to guide the second camera.
  • different shooting parameter adjustment strategies can be set for different facial information. Based on the currently recognized facial information, the mapping relationship between the facial information and the adjustment strategy can be queried, and then the adjustment mapping with the current facial information can be obtained. Strategy.
  • the brightness, color, exposure, etc. of the second camera can be increased to capture brightly colored images that match the user's mood.
  • the brightness, color, exposure, etc. of the second camera can also be increased to capture a brightly colored scene image to adjust the user's emotion.
  • the body information can be a hand-raising action, which can improve the brightness, color, exposure, etc. of the second camera.
  • the body information can be a nodding action, which can reduce the brightness, color, exposure, etc. of the second camera.
  • the above steps S61 and S62 can be executed individually or jointly. That is to say, the terminal provided by the above embodiment can have the first control function alone, can have the second control function alone, or can have the first control function and both at the same time. Second control function.
  • FIG. 7 is a schematic flowchart of an image processing method provided by the present disclosure. This image processing method is applicable to the terminal provided in the above embodiment.
  • the image processing method includes:
  • the first camera is a camera in the terminal that collects images through the light leakage position of the terminal
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the light leakage position includes at least one of the following: a first position where at least two structural members in the terminal are connected, and a second position in any structural member of the terminal that allows light to enter.
  • the imaging impact information is information detected by the first camera that affects the imaging effect of the second camera of the terminal.
  • the imaging calibration information represents the degree of influence of different imaging environments on the imaging effect.
  • the imaging impact information may include at least one of the following: external environment brightness, external environment color temperature, and the current temperature of the first camera.
  • the imaging calibration information may include at least one of the following: basic calibration parameters such as the camera's effective focal length, aperture value, resolution, field of view, distortion, etc., and may also include the relationship between the first camera and the second camera, For example, it can include center distance, field of view difference, distortion difference, etc.
  • basic calibration parameters such as the camera's effective focal length, aperture value, resolution, field of view, distortion, etc.
  • the relationship between the first camera and the second camera For example, it can include center distance, field of view difference, distortion difference, etc.
  • the first camera is installed in the gap of the terminal. Since the first camera collects the first image through the light leakage position of the terminal device, and the light leakage position is not blocked by the screen, it can affect the information based on the imaging of the first camera. And/or the first image, and/or the imaging calibration information, adjust, complete and/or fuse the second image collected by the second camera to make the second image more accurate. Especially for the second camera located under the screen, since the first camera can capture pixels that cannot be captured by the camera under the screen, it can make up for the lack of image quality of the second image captured by the second camera under the screen, thereby obtaining better results.
  • the quality effect of the under-screen camera For example, it can solve problems such as resolution and stray light ghosting caused by screen pixel structure and low transmittance. For another example, it can solve problems such as false colors, glare, and ghosting caused by diffraction of lamps and point light sources.
  • FIG. 8 is a schematic flowchart of an image processing method provided by the present disclosure. This image processing method is applicable to the terminal provided in the above embodiment.
  • the image processing method includes:
  • the first camera collects the first image through a specific light leakage position on the terminal.
  • the light leakage position includes at least one of the following: a first position where at least two structural members in the terminal are connected, and a second position in any structural member of the terminal that allows light to enter.
  • a first position where at least two structural members in the terminal are connected
  • a second position in any structural member of the terminal that allows light to enter.
  • the imaging impact information includes at least one of the following: brightness of the external environment, color temperature of the external environment, and the current temperature of the first camera.
  • S82 Adjust the image parameters of the second image according to the imaging influence information to obtain the target image.
  • the image parameters of the second image include at least one of the following: brightness, color temperature, exposure duration, noise reduction intensity, and sharpening.
  • the imaging influence information can be obtained based on the first camera, and the image parameters of the second image can be adjusted to obtain the target image.
  • the brightness, color temperature, exposure time, and noise reduction intensity of the second image can be calculated based on the brightness of the external environment, the color temperature of the external environment, and the current temperature of the first camera acquired by the first camera. That is, based on the environmental information collected by the first camera, , sharpening and other image parameters are adjusted to obtain a target image that better matches the actual environment.
  • the first camera is installed in the gap of the terminal. Since the first camera collects the first image through the light leakage position of the terminal device, and the light leakage position is not blocked by the screen, it can affect the information based on the imaging of the first camera. And/or the first image, and/or the imaging calibration information, adjust the second image collected by the second camera, and output the adjusted second image as the target image, which can obtain a high-precision image that better matches the current environment. target image.
  • FIG. 9 is a schematic flowchart of an image processing method provided by the present disclosure. This image processing method is applicable to the terminal provided in the above embodiment.
  • the image processing method includes:
  • the first camera collects the first image through a specific light leakage position on the terminal.
  • the light leakage position includes at least one of the following: a first position where at least two structural members in the terminal are connected, and a second position in any structural member of the terminal that allows light to enter.
  • a first position where at least two structural members in the terminal are connected
  • a second position in any structural member of the terminal that allows light to enter.
  • the second image can be adjusted according to the image parameters of the first image to obtain the target image.
  • the image parameters of the first image include at least one of the following: brightness and color temperature. That is to say, based on the brightness and/or color temperature of the first image, the brightness, exposure duration and/or RGB ratio of the second image can be adjusted to obtain the target image.
  • the actual image brightness of the two images is quite different, obtain the brightness based on the first image, and adjust the gain and/or target exposure for the brightness of the second image. Time to perform brightness correction to obtain the target image.
  • RGB Red Green Blue
  • the edge area of the second image can be adjusted to perform image correction on the edge area of the second image to keep the color and brightness of the entire image consistent.
  • the second image can be adjusted based on the image information of the first image to obtain the target image, including:
  • the image area of the first image in the second image can be acquired from the second image, the images of the first image and the image area can be fused, and the fused image can be image as the target image.
  • the internal and external parameters of the two cameras are pre-calibrated, and the overlapping image of the first image and the second image can be determined based on the calibrated internal and external parameters of the camera and the relative relationship between the two cameras (including center distance and field of view angle).
  • area, the overlapping image area of the second image and the first image is regarded as the image area corresponding to the first image in the second image.
  • the second camera is a screen camera
  • the low-density screen pixel structure provided on the second camera will partially block the image of the second camera, resulting in the possibility of missing some pixels in the second image. Or blurry.
  • the clarity and brightness of the whole and part of the second image are obtained.
  • the clarity and/or brightness of some pixels in the second image are inconsistent with the whole, they can be determined as screen pixels.
  • the image area blocked by the structure allows processing of ghosts formed by light diffraction that may exist in the second image to improve the quality of the image.
  • the fusion process of the first image and the image of the image area includes:
  • the at least part of the image content is extracted from the first image, and this part of the image content is merged into the second image, for example, this part of the image content can be replaced to the image area of the second image to obtain the fused image as the target image.
  • the image features include at least one of the following: texture features and detail features of the image.
  • the first camera is provided in the gap of the terminal. Since the first camera collects the first image through the light leakage position of the terminal, and the light leakage position is not blocked by the screen, it can affect the information based on the imaging of the first camera, and /or the first image, and/or the imaging calibration information, adjust, complete and/or fuse the second image collected by the second camera to make the second image more accurate. Especially for the second camera located under the screen, since the first camera can capture pixels that cannot be captured by the camera under the screen, it can make up for the lack of image quality of the second image captured by the second camera under the screen, thereby obtaining better results.
  • the quality effect of the under-screen camera For example, it can solve problems such as resolution and stray light ghosting caused by screen pixel structure and low transmittance. For another example, it can solve problems such as false colors, glare, and ghosting caused by diffraction of lamps and point light sources.
  • FIG. 10 is a schematic flowchart of another image processing method provided by the present disclosure. This image processing method is applicable to the terminal provided in the above embodiment.
  • the image processing method includes:
  • the imaging calibration information represents the degree of influence of different imaging environments on the imaging effect, and the imaging calibration information can be obtained by pre-testing the first camera and the second camera.
  • the imaging calibration information includes strategies for adjusting image parameters in the second image under different imaging environments.
  • the brightness and/or color temperature of the second image can be adjusted.
  • the imaging calibration information includes different environmental brightness and/or environmental color temperature correspondences.
  • the adjustment information for adjusting the brightness and/or color temperature of the second image that is, there is a correspondence between the ambient brightness and/or the ambient color temperature and the adjustment information.
  • the imaging calibration information can be obtained based on the external ambient brightness and/or the external ambient color temperature.
  • Obtaining matching adjustment information may include, for example, adjustment information currently adjusting the brightness gain and/or exposure duration of the second image, and adjusting the second image acquired by the second camera based on the adjustment information to obtain the target image.
  • the adjustment information currently used to adjust the image parameters of the second image is determined from the imaging calibration information, and the second image is adjusted based on the adjustment information.
  • the second image acquired by the camera is adjusted to obtain the target image.
  • image parameters such as image brightness and color temperature and/or exposure duration of the first image are obtained, and the image brightness, color temperature and/or exposure duration of the first image are used to determine the current calibration of the second image from the imaging calibration information.
  • Adjustment information for adjusting image parameters In some implementations, a target image parameter among the brightness value and exposure duration of the first image is obtained, the brightness adjustment information is obtained from the imaging calibration information, and based on the target image parameter and the brightness adjustment information, the brightness of the second positive image is calculated. Make adjustments.
  • the adjustment gain and/or the target exposure time required for adjusting the image brightness to the calibrated image brightness can be obtained, and the gain and/or target exposure time can be adjusted based on the brightness. /or target exposure time, adjust the brightness of the second image to obtain the target image.
  • the current adjustment information for adjusting the second image is determined from the imaging calibration information based on the current imaging environment information monitored by the second camera, and the second image is adjusted according to the adjustment information to obtain the target image.
  • the information about the current imaging environment may include at least one of the following: brightness of the external environment and color temperature of the external environment.
  • matching adjustment information is obtained from the imaging calibration information, which may include, for example, the current adjustment information for adjusting the brightness gain and/or exposure duration of the second image, and based on the The adjustment information adjusts the second image acquired by the second camera to obtain the target image.
  • the imaging calibration information also includes the calibrated module temperatures of the two cameras, obtain the first module temperature of the first camera and the second module temperature of the second camera during current imaging, obtain the first module temperature and The first temperature difference between the temperature of the calibration module of the first camera, and the second temperature difference between the temperature of the second module and the temperature of the calibration module of the second camera, in response to the first temperature difference being within the first temperature range, and the second temperature difference being within Within the second temperature range, the step of adjusting the second image acquired by the second camera based on the acquired imaging influence information, and/or the first image, and/or the imaging calibration information is performed.
  • the second image is adjusted to obtain a target image for output.
  • the imaging calibration information may include adjustment information of image parameters of the second image under different shooting scenarios.
  • the current shooting scene of the first camera and the second camera can be identified.
  • the current shooting scene can be identified as an indoor scene, an outdoor scene, a sunny day, a cloudy day, a point light source, etc.
  • shooting scenes with simple colors such as indoor scenes, outdoor scenes, sunny days, and cloudy days are used as non-target shooting scenes
  • shooting scenes with complex colors such as lamp tubes and point light sources are used as target shooting scenes.
  • the second image is used as the image to be corrected, the imaging calibration information in the target shooting scene can be obtained, and the second image is corrected to obtain target image.
  • the imaging calibration information may also include adjustment information of image parameters of the first image under different shooting scenarios.
  • the first image is used as the image to be corrected, and the non-target shooting scene can be obtained Based on the imaging calibration information, image correction is performed on the first image to obtain the target image.
  • the image that needs to be corrected can be distinguished from the first image and the second image, making the adjustment more accurate and flexible.
  • the adjustment parameters of the shooting scene are pre-calibrated, and adaptation can be performed based on the shooting scene.
  • Sexual image adjustment makes the adjusted image more optimized.
  • the first camera is installed in the gap of the terminal. Since the first camera collects the first image through the light leakage position of the terminal device, and the light leakage position is not blocked by the screen, it can affect the information based on the imaging of the first camera. And/or the first image, and/or the imaging calibration information, adjust, complete and/or fuse the second image collected by the second camera to make the second image more accurate. Especially for the second camera located under the screen, since the first camera can capture pixels that cannot be captured by the camera under the screen, it can make up for the lack of image quality of the second image captured by the second camera under the screen, thereby obtaining better results.
  • the quality effect of the under-screen camera For example, it can solve problems such as resolution and stray light ghosting caused by screen pixel structure and low transmittance. For another example, it can solve problems such as false colors, glare, and ghosting caused by diffraction of lamps and point light sources.
  • FIG 11 is a structural diagram of a terminal control device according to an embodiment of the present disclosure. As shown in Figure 11, the terminal control device 110 includes:
  • the first acquisition module 111 acquires the first scene image collected by the first camera, and performs a first control function based on the first scene image; the first control function includes at least one of the following: controlling whether the screen is turned off, controlling whether Perform gesture detection and control screen display adjustment;
  • the first camera is a camera in the terminal that collects images through a light leakage position of the terminal;
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the first acquisition module 111 is also used to:
  • the environmental information includes at least one of the following: brightness and color temperature.
  • Photographing parameters of the two cameras, and/or, based on the facial information and/or body information generate an adjustment strategy for guiding the second camera to adjust the photographing parameters for photographing the scene on the other side of the terminal.
  • Acquisition module 121 configured to acquire imaging impact information determined by the first camera, and/or the first image acquired by the first camera, and/or imaging determined by the first camera and the second camera.
  • Calibration information is information that affects the imaging effect of the second camera of the terminal detected by the first camera;
  • the imaging calibration information represents the degree of impact of different imaging environments on the imaging effect;
  • the first camera is a camera in the terminal that collects images through a light leakage position of the terminal;
  • the second camera includes at least one of the following: a front camera and a rear camera.
  • the imaging impact information includes at least one of the following: brightness of the external environment, color temperature of the external environment, and the current temperature of the first camera;
  • the image parameters of the second image include at least one of the following: brightness, color temperature, and exposure duration. , noise reduction intensity, sharpening.
  • the image output module 122 is also used to:
  • the image parameters of the first image include at least one of the following: brightness and color temperature.
  • the image output module 122 is also used to:
  • the fusion process includes at least one of the following: replacing at least part of the image content in the image information of the first image into the image area, fusing at least part of the image features in the image information of the first image into the image area; the image features include at least one of the following: texture features and detail features of the image.
  • the image output module 122 is also used to:
  • the imaging impact information determined by the first camera or according to the image parameters of the first image acquired by the first camera, or according to the information of the current imaging environment monitored by the second camera, or according to the information acquired by the second camera image parameters of the second image, determining the adjustment information currently used to adjust the second image from the imaging calibration information;
  • the imaging calibration information represents a strategy for adjusting the image parameters in the second image under different imaging environments.
  • the acquisition module 121 is also used for:
  • the corresponding strategy for adjusting the second image under the determined imaging environment is used as the imaging calibration information.
  • the first camera is installed in the gap of the terminal. Since the first camera collects the first image through the light leakage position of the terminal device, and the light leakage position is not blocked by the screen, it can affect the information based on the imaging of the first camera. And/or the first image, and/or the imaging calibration information, adjust, complete and/or fuse the second image collected by the second camera to make the second image more accurate. Especially for the second camera located under the screen, since the first camera can capture pixels that cannot be captured by the camera under the screen, it can make up for the lack of image quality of the second image captured by the second camera under the screen, thereby obtaining better results.
  • the quality effect of the under-screen camera For example, it can solve problems such as resolution and stray light ghosting caused by screen pixel structure and low transmittance. For another example, it can solve problems such as false colors, glare, and ghosting caused by diffraction of lamps and point light sources.
  • the present disclosure also provides an electronic device, a readable storage medium, and a computer program product.
  • FIG. 13 it includes a memory 131, a processor 132, and a computer program stored in the memory 131 and executable on the processor 132.
  • the processor 132 executes the program, the aforementioned image acquisition method is implemented.
  • references to the terms “one embodiment,” “some embodiments,” “an example,” “specific examples,” or “some examples” or the like means that specific features are described in connection with the embodiment or example. , structures, materials or features are included in at least one embodiment or example of the invention. In this specification, the schematic expressions of the above terms are not necessarily directed to the same embodiment or example. Furthermore, the specific features, structures, materials or characteristics described may be combined in any suitable manner in any one or more embodiments or examples. Furthermore, those skilled in the art may combine and combine different embodiments or examples and features of different embodiments or examples described in this specification unless they are inconsistent with each other.

Abstract

一种终端、终端控制方法及装置、图像处理方法及其装置，属于图像处理技术领域。其中，该终端包括：至少一个第一相机；第一相机通过终端的漏光位置采集图像；漏光位置包括如下至少一种：终端中至少两个结构件连接的第一位置、终端任一结构件中允许光线进入的第二位置。该控制方法包括：基于第一相机采集的第一场景图像执行第一控制功能，和/或基于第一相机采集的第二场景图像对第二相机执行第二控制功能。该图像处理方法包括基于由第一相机确定的成像影响信息，第一图像，和/或成像校准信息，对第二相机获取的第二图像进行调整，得到目标图像。第一相机通过漏光位置采集图像，并基于第一相机进行终端控制和图像处理。

Description

终端、终端控制方法及其装置、图像处理方法及其装置 技术领域
本公开涉及图像处理技术领域，尤其涉及一种终端、终端控制方法及其装置、图像处理方法及其装置、电子设备及存储介质。
背景技术
电子设备中往往配置前置摄像头和后置摄像头，用户可以通过前置摄像头进行自拍、屏幕息屏、手势检测等控制，但是在屏幕息屏、手势检测方面往往需要前置摄像头处于常开状态，导致功耗较大，而且针对全面屏的电子设备自拍得到的图像往往画质较差。而后置摄像头在采集图像时，往往是单独运行，基于自身的成像参数进行成像，使得后置摄像头的使用过程较为局限，无法进一步提升后置摄像头的图像质量。
发明内容
本公开提供了一种终端、终端控制方法及其装置、图像处理方法及其装置、电子设备及存储介质。
第一方面，本公开提供了一种终端，包括：
至少一个第一相机；
所述第一相机通过终端的漏光位置采集图像；
其中，所述漏光位置包括如下至少一种：所述终端中至少两个结构件连接的第一位置、所述终端任一结构件中允许光线进入的第二位置。
本公开提供的终端，包括至少一个第一相机和一些漏光位置，由于漏光位置具有较好的透光性，该第一相机通过终端的漏光位置可以采集图像，本公开中，通过漏光位置未存在屏幕遮挡，使得采集的图像可以避免由于屏幕遮挡而导致图像信息缺失的问题。
第二方面，本公开提供了一种终端控制方法，包括：
获取由第一相机采集的第一场景图像，基于所述第一场景图像执行第一控制功能；所述第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节；
和/或，
获取由所述第一相机采集的第二场景图像，基于所述第二场景图像对所述终端的第二相机执行第二控制功能；所述第二控制功能包括如下至少一种：控制所述第二相机调整拍照参数、控制生成拍照指导信息；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
本公开提供的终端上包括至少一个第一相机和一些漏光位置，由于漏光位置具有较好的透光性，该第一相机通过终端的漏光位置可以采集图像，本公开中，可以通过第一相机实现对终端的一些功能控制， 增加了终端控制的多样性和智能化。而且可以在第二相机的图像采集过程中进行矫正或引导，能够使得第二相机采集到图像的更加符合用户需求，以得到更好的图像。
第三方面，本公开提供了一种图像处理方法，包括：
获取由第一相机确定的成像影响信息，和/或由所述第一相机获取的第一图像，和/或由所述第一相机和所述第二相机确定的成像校准信息；所述成像影响信息为所述第一相机监测到影响所述终端的第二相机成像效果的信息；所述成像校准信息表征了不同成像环境对成像效果的影响程度；
基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整、补全和/或融合，使得第二图像更加准确。尤其对于处于屏幕下方的第二相机，由于第一相机可以采集到屏下相机采集不到的像素点，弥补屏幕下的第二相机采集的第二图像的画质不足的问题，进而获得更好的屏下相机画质效果。
第四方面，本公开提供了一种终端控制装置，包括：
第一获取模块，用于获取由第一相机采集的第一场景图像，基于所述第一场景图像执行第一控制功能；所述第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节；
和/或，
第二获取模块，用获取由所述第一相机采集的第二场景图像，基于所述第二场景图像对所述终端的第二相机执行第二控制功能；所述第二控制功能包括如下至少一种：控制所述第二相机调整拍照参数、控制生成拍照指导信息；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
第五方面，本公开提供了一种图像处理装置，包括：
获取模块，用于获取由第一相机确定的成像影响信息，和/或由所述第一相机获取的第一图像，和/或由所述第一相机和所述第二相机确定的成像校准信息；所述成像影响信息为所述第一相机监测到影响所述终端的第二相机成像效果的信息；所述成像校准信息表征了不同成像环境对成像效果的影响程度；
图像输出模块，用于基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
第六方面，本公开提供了另一种电子设备，包括存储器、处理器；
其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本公开第二方面实施例的终端控制方法和第三方面实施例的图像处理方法。
第七方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第二方面实施例的终端控制方法和第三方面实施例的图像处理方法。
第八方面，本公开提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第二方面实施例的终端控制方法和第三方面实施例的图像处理方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开一个实施例的终端的结构图；
图2是根据本公开另一个实施例的终端的结构图；
图3是根据本公开另一个实施例的终端内第一相机的结构图；
图4是根据本公开另一个实施例的终端内第一相机的结构图；
图5是根据本公开另一个实施例的终端内第一相机的结构图；
图6是根据本公开一个实施例的终端控制方法的流程图；
图7是根据本公开另一个实施例的图像处理方法的流程图；
图8是根据本公开另一个实施例的图像处理方法的流程图；
图9是根据本公开另一个实施例的终端控制方法的流程图；
图10是根据本公开另一个实施例的图像处理方法的流程图；
图11是根据本公开一个实施例的终端控制装置的结构示意图；
图12是根据本公开一个实施例的图像处理装置的结构示意图；
图13是用来实现本公开实施例的图像获取方法的电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面结合参考附图描述本公开的终端、终端控制方法和装置、图像处理方法和装置、电子设备及存储介质。
终端的屏幕对屏幕下的相机有不可避免的遮挡，而终端上在结构上会存在一些漏光位置，本公开实施例中，终端可以包括至少一个第一相机，该第一相机通过终端的漏光位置采集图像，通过漏光位置采集的图像可以避免由屏幕而导致的遮挡。
图1为本公开实施例提供的一种终端的结构示意图。如图1所示，终端100包括：至少一个第一相机10和漏光位置(图中未标记)。其中，漏光位置包括如下至少一种终端中至少两个结构件连接的第一位置、终端任一结构件中允许光线进入的第二位置。
可选地，两个结构件可以包括终端的屏幕和中框；可选地，两个结构件可以包括终端后盖与中框；可选地，两个结构件包括中框与嵌入中框的按键。
相应地，第一位置包括如下至少一种：终端的屏幕与中框连接的缝隙、终端的后盖与中框连接的缝隙、中框与嵌入中框的按键连接的缝隙。
在一些实现中，终端的屏幕与中框连接的缝隙可以为屏幕上听筒的出音区域和屏幕弧边R角非成像区域，图2示出了可以用来实施本公开实施例的终端的整体框架。其中，屏幕上听筒的出音区域对应缝隙1，屏幕弧边R角非成像区域对应缝隙2-1和缝隙2-2。第一相机可以设置在上述三个区域中的其中一个，也可以设置在上述三个区域中的多个区域。
在一些实现中，中框与嵌入中框的按键连接的缝隙可以为侧边中框与嵌入侧边中框的按键之间的缝隙，例如按键可以为开/关机键、音量调节键与中框之间的缝隙。
可选地，第二位置包括如下至少一种：终端听筒的出音孔、终端中卡槽附近的插针孔。例如，卡槽可以为终端上的SIM卡的卡槽。
作为一种可能的实现方式，第一相机通过由漏光位置进入的外界光线采集图像。
作为一种可能的实现方式，第一相机为单独的相机模组，如图3所示，终端100包括第一相机10、漏光位置20、屏幕30和屏下相机40。其中，屏下相机40为本公开实施例中的第二相机，第一相机10位于终端内漏光位置20的正后方，由于漏光位置20具有较好的透光性，第一相机10可以直接获取被摄物体的光线，进而采集到图像。
作为另一种可能的实现方式，第一相机包括至少一个设置于漏光位置，用于接收外界光线的收光元件和一个相机模组，其中，第一相机通过收光元件接收的外界光线采集图像。可选地，收光元件包括如下至少一种：棱镜结构、波导结构。其中，收光元件可以在上述漏光位置内，用于接收外界光线，然后导入传感器进行成像。也就是说，第一相机包括相机模组和收光组件，此时相机模组可以设置在终端的上述漏光位置的附近，利用收光组件获取被摄物体的反射光线，进而采集到图像。可选地，收光组件可以为导光棱镜或波导镜片。本公开中，通过收光组件来实现收光，能够使得第一相机的设置位置不再单纯地设置在漏光位置正后方，可以使得设置位置更加灵活。进一步地，收光组件可以使得光线更加聚集，可以将较多的光线进入到相机模组内进行成像。
如图4所示，终端100包括第一相机10、漏光位置20、屏幕30和屏下相机40。其中，第一相机10包括相机模组11和一个导光棱镜12，其中，屏下相机40为本公开实施例中的第二相机。本公开中 导光棱镜12用于将透过漏光位置40获取被摄物体的反射光线，并导入相机模组101进行成像。
如图5所示，终端100包括第一相机10、漏光位置20、屏幕30、屏下相机40。其中，第一相机10包括相机模组11和一个波导镜片13，其中，屏下相机40为本公开实施例中的第二相机。波导镜片13用于将透过漏光位置20获取被摄物体的反射光线，并导入相机模组11进行成像。
需要说明的是，第一相机的尺寸满足上述漏光位置的尺寸要求，例如，第一相机可以为微型相机。
本公开中的终端可以基于第一相机执行第一控制功能，其中，第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调等。关于第一控制功能的具体介绍可参见下述实施例中相关内容的记载，此处不再赘述。
可选地，本公开中的终端还包括第二相机，在一些实现中，终端可以基于第一相机和第二相机执行第二控制功能和/或图像处理。其中，第二控制功能包括如下至少一种：控制第二相机调整拍照参数、控制生成拍照指导信息。关于第二控制功能的具体介绍可参见下述实施例中相关内容的记载，此处不再赘述。
可选地，第二相机包括如下至少一种：前置相机、后置相机。其中，前置相机包括如下至少一种：位于终端屏幕非开孔区域下的相机、位于终端屏幕开孔区域下的相机。
在上述实施例的基础之上，终端上的第一相机处于工作状态的工作时长，大于或等于所述终端中除第一相机之外的任一相机的工作时长；和/或，终端上的第一相机单位时间内的功耗，小于或等于终端中除所述第一相机之外的任一相机单位时间内的功耗。可选地，终端上的第一相机处于持续工作状态，以进行第一控制功能。
可选地，第一相机可以采用低功耗的微型相机，终端可以控制该微型相机处于常开状态，进而通过第一相机能够对终端进行注视不息屏检测、手势感应检测、场景识别等应用。进一步地，可以通过第一相机采集到的用户表情引导第二相机进行拍照参数的调整和/或引导，使得终端的功能更加智能化和多样性。
本公开提供的终端上包括至少一个第一相机和一些漏光位置，由于漏光位置具有较好的透光性，该第一相机通过终端的漏光位置可以采集图像，本公开中，通过漏光位置未存在屏幕遮挡，使得采集的图像可以避免由于屏幕遮挡而导致图像信息缺失的问题。
进一步地，可以通过第一相机实现对终端的一些功能控制，增加了终端控制的多样性和智能化。而且可以在第二相机的图像采集过程中进行矫正或引导，能够使得第二相机采集到画质更好的图像。
图6为本公开提供的一种终端控制方法的流程示意图。该终端控制方法可以适用于在上述实施例的终端。该终端控制方法包括：
S61，获取由第一相机采集的第一场景图像，基于第一场景图像执行第一控制功能。
其中，第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节。
其中，第一相机为终端中通过终端的漏光位置采集图像的相机。关于第一相机的相关介绍可参见上 述实施例中相关内容的记载，此处不再赘述。
可选地，基于所述第一场景图像执行第一控制功能，包括：
若通过第一场景图像判定用户当前注视屏幕，则控制屏幕不息屏，可选地，可以从第一场景图像中识别出人眼，并对人眼的状态进行持续跟踪，响应于识别人眼持续处于睁开状态超过设定时长，则控制屏幕不息屏。
和/或，若通过第一场景图像判定当前用户正在执行手势输入，则控制终端进行手势检测；可选地，对第一场景图像进行目标检测，从中检测手部和用户的脸部，响应于手部和脸部的位置存在重叠，则可以确定用户正在执行收拾输入。进一步地，可以对手部的轨迹进行跟踪，以检测到用户输入的特定手势，并基于该特定手势进行唤醒手势检测。
和/或，通过第一场景识别的环境信息控制屏幕进行显示参数的调节，其中，环境信息包括如下至少一种：亮度、色温。显示参数可以如下至少一种：屏幕亮度、屏幕色温。也就是说，可以基于环境调整屏幕的亮度和色温，使得屏幕能够自适应环境光，提高显示的效果。
本公开中，可以预先为环境亮度和环境色温划分多个区间范围，不同的区间范围对应不同的显示参数。在获取到环境信息后，可以判断环境亮度和/或环境色温各自所处的区间范围，进而得到对应的显示参数，得到显示参数后可以调整屏幕亮度和/或色温，以使得屏幕的显示参数与环境匹配，使得用户可以清晰的看到屏幕上的显示内容。
S62，获取由第一相机采集的第二场景图像，基于第二场景图像对终端的第二相机执行第二控制功能。
可选地，第二相机包括如下至少一种：前置相机、后置相机。
其中，第二控制功能包括如下至少一种：控制第二相机调整拍照参数、控制生成拍照指导信息。
可选地，拍照调整信息通常是自动调整一些参数如调焦、曝光参数等。可选地，基于第二场景图像可以识别当前拍摄场景为室内场景、室外场景、晴天、阴天或点光源等。本公开中，可以预先为不同的拍摄场景标定不同的拍照参数。在获取到第一相机采集的第二场景图像，可以识别出当前拍摄场景，并获取与当前拍摄场景关联的拍照参数，对第二相机的拍照参数进行调整。
可选地，拍照指导信息可以是一些语音信息，用于指导人物站位之类的提示信息。可选地，可以识别第二场景图像中主体物，根据主体物在第二场景图像中的图像位置，生成拍照时的站位提示信息，例如可以引导人物在主体物的前方、或者左方等位置附近站立，使得人物与主体物的相对位置关系更加协调。可选地，可以识别主体物的类型，生成拍照时的站姿提示信息，例如可以引导人物在主体物附近站立或者坐下等姿态。可选地，可以识别主体物的颜色，生成拍照时的人物衣服的颜色提示信息，例如，可以基于主体物的颜色确定出适配的衣服颜色进行提示，使得拍出的图像更加符合用户需求。
可选地，基于第二场景图像对终端的第二相机执行第二控制功能，包括：
根据第二场景图像识别位于终端一侧用户的面部信息和/或肢体信息，基于面部信息和/或肢体信息调整对终端另一侧的场景进行拍照的第二相机的拍照参数，和/或，基于面部信息和/或肢体信息生成用 于指导对终端另一侧的场景进行拍照的第二相机进行拍照参数调整的调整策略。其中，拍照参数可以包括如下参数中的至少一种：亮度、RGB值、曝光时长等。
可选地，面部信息可以包括眼睛、嘴部动作等面部器官的动作，通过眼睛、嘴巴等面部器官的动作来以确定终端一侧用户的表情信息，可以基于表情信息生成用于指导第二相机在对另一侧场景进行拍照时拍照参数的调整策略。本公开中，可以为不同的面部信息设置不同的拍摄参数的调整策略，可以基于当前识别出的面部信息，查询面部信息与调整策略之间的映射关系，进而得到与当前面部信息存在映射的调整策略。
例如，在基于表情信息检测到用户处于开心状态时，可以提高第二相机的亮度、颜色、曝光等，以拍摄到与用户心情匹配的颜色鲜艳的图像。再例如，在基于表情信息检测到用户处于悲伤状态时，同样可以提高第二相机的亮度、颜色、曝光等，以拍摄到颜色鲜艳的场景图像，以调节用户的情绪。
可选地，肢体信息可以包括手部、头部等姿态，通过手部、头部等姿态，生成用于指导第二相机在对另一侧的场景进行拍照时的拍照参数调整策略。本公开中，可以为不同的肢体信息设置不同的拍摄参数的调整策略，可以基于当前识别出的肢体信息，查询肢体信息与调整策略之间的映射关系，进而得到与当前肢体信息存在映射的调整策略。
例如，肢体信息可以为举手动作，可以提高第二相机的亮度、颜色、曝光等。再例如，肢体信息可以为点头动作，可以降低第二相机的亮度、颜色、曝光等。
需要说明的是，获取到的调整策略中可以包括亮度的调整信息、RGB值的调整信息和曝光时长的调整信息中的一个或多个的组合，本公开中对此不做限制。
上述步骤S61和S62可以单独执行，也可以联合执行，也就是说，上述实施例提供的终端可以单独具有第一控制功能，也可以单独具有第二控制功能，也可以同时具有第一控制功能和第二控制功能。
本公开提供的终端上包括至少一个第一相机和一些漏光位置，由于漏光位置具有较好的透光性，该第一相机通过终端的漏光位置可以采集图像，本公开中，可以通过第一相机实现对终端的一些功能控制，增加了终端控制的多样性和智能化。而且可以在第二相机的图像采集过程中进行矫正或引导，能够使得第二相机采集到画质更好的图像。
图7为本公开提供的一种图像处理方法的流程示意图。该图像处理方法适用于上述实施例提供的终端。该图像处理方法包括：
S71，获取由第一相机确定的成像影响信息，和/或由第一相机获取的第一图像，和/或由第一相机和第二相机确定的成像校准信息。
其中，第一相机为所述终端中通过终端的漏光位置采集图像的相机，第二相机包括如下至少一种：前置相机、后置相机。可选地，漏光位置包括如下至少一种：终端中至少两个结构件连接的第一位置、终端任一结构件中允许光线进入的第二位置。关于第一位置和第二位置的具体介绍，参加上述实施例中相关内容的记载，此处不再赘述。
需要说明的是，成像影响信息为第一相机监测到影响终端的第二相机成像效果的信息。成像校准信 息表征了不同成像环境对成像效果的影响程度。
可选地，成像影响信息可以包括如下至少一种：外界环境亮度、外界环境色温、第一相机的当前温度。
可选地，成像校准信息可以包括如下至少一种：相机的有效焦距、光圈值、分辨率、视场角、畸变等标定基本参数，还可以包括第一相机和第二相机之间的关系，例如可以包括中心距、视场角差异、畸变差异等等。
S72，基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机获取的第二图像进行调整，得到待输出的目标图像。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整、补全和/或融合，使得第二图像更加准确。尤其对于处于屏幕下方的第二相机，由于第一相机可以采集到屏下相机采集不到的像素点，弥补屏幕下的第二相机采集的第二图像的画质不足的问题，进而获得更好的屏下相机画质效果。例如，可以解决因屏幕像素结构和低透过率造成的解析力、杂光鬼影等问题。又例如，可以解决因灯管、点光源衍射造成的伪色、炫光、鬼影等问题。
图8为本公开提供的一种图像处理方法的流程示意图。该图像处理方法适用于上述实施例提供的终端。该图像处理方法包括：
S81，获取由第一相机确定的成像影响信息。
第一相机通过终端上的特定漏光位置采集到第一图像。可选地，漏光位置包括如下至少一种：终端中至少两个结构件连接的第一位置、终端任一结构件中允许光线进入的第二位置。关于第一位置和第二位置的具体介绍，参加上述实施例中相关内容的记载，此处不再赘述。
其中，成像影响信息包括如下至少一种：外界环境亮度、外界环境色温、所述第一相机的当前温度。
S82，根据成像影响信息对第二图像的图像参数进行调整，得到目标图像。
其中，第二图像的图像参数包括如下至少一种：亮度、色温、曝光时长、降噪强度、锐化。
本公开中可以基于第一相机获取到成像影响信息，对第二图像的图像参数进行调整，得到目标图像。例如，可以基于第一相机获取到的外界环境亮度、外界环境色温、第一相机的当前温度，也就是基于第一相机采集的环境信息对第二图像的亮度、色温、曝光时长、降噪强度、锐化等图像参数进行调整，以得到与实际环境更加匹配的目标图像。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整，将调整后的第二图像作为目标图像进行输出，能够得到与当前环境更加匹配的高精度的目标图像。
图9为本公开提供的一种图像处理方法的流程示意图。该图像处理方法适用于上述实施例提供的终 端。该图像处理方法包括：
S91，获取由第一相机获取的第一图像。
第一相机通过终端上的特定漏光位置采集到第一图像。可选地，漏光位置包括如下至少一种：终端中至少两个结构件连接的第一位置、终端任一结构件中允许光线进入的第二位置。关于第一位置和第二位置的具体介绍，参加上述实施例中相关内容的记载，此处不再赘述。
S92，根据第一图像对第二图像进行调整，得到目标图像。
由于第一相机和第二相机往往存在硬件和视场角等差异情况，采集的第一图像和第二图像也会出现图像区域、颜色、亮度等不一致，为了解决上述问题，作为一种可能的实现方式，可以根据第一图像的图像参数对第二图像进行调整，得到目标图像。其中，第一图像的图像参数包括如下至少一种：亮度、色温。也就是说，可以基于第一图像的亮度和/或色温，对第二图像的亮度、曝光时长和/或RGB比值进行调整，得到目标图像。
可选地，获取第一图像和第二图像各自的实际图像亮度，两个图像的实际图像亮度相差较大，获取基于第一图像的亮度，对第二图像的亮度调节增益和/或目标曝光时间进行亮度矫正，以得到目标图像。
可选地，获取第一图像和第二图像各自的实际三原色(Red Green Blue，RGB)值，响应于两个图像的实际RGB值差异较大，基于第一图像的RGB值，确定第二图像各颜色通道之间的比值，并基于该RGB的比值，对第二图像的RGB值进行调整，得到目标图像。
可选地，可以基于第一图像中心区域的亮度和/或色温，对第二图像的边缘区域进行调整，以对第二图像的边缘区域进行图像矫正，使图像整体的颜色和亮度保持一致。
作为另一种可能的实现方式，可以基于第一图像的图像信息，对第二图像进行调整，得到目标图像，包括：
在获取到第一图像和第二图像后，可以从第二图像中获取到第一图像在第二图像中的图像区域，将第一图像和图像区域的图像进行融合处理，将融合处理后的图像作为目标图像。
在一些实现中，预先标定两个相机的内外参数，可以根据标定的相机内外参数和两个相机的相对关系(包括中心距、视场角)，确定出第一图像和第二图像的重叠图像区域，将第二图像与第一图像的重叠图像区域，作为第一图像在第二图像中对应的图像区域。
在另一些实现中，可以将第一图像和第二图像进行相对度比较，例如可以分别提前两个图像的特征信息，基于特征信息进行相似度比较，以得出相似图像部分，将相似的图像部分，即为第一图像在第二图像中对应的图像区域。
在又一些实现中，若第二相机为屏幕相机，由于第二相机上面设置有低密度屏幕像素结构，会对第二相机成像形成部分遮挡，导致第二图像中可能存在某些像素点的缺失或模糊，例如，在灯管或点光源等常规屏下相机效果较差的场景下，第二图像中可能存在光衍射形成的虚影。作为一种可能的实现方式，获取第二图像整体和部分的清晰度和亮度，当识别出第二图像中部分像素点的清晰度和/或亮度与整体不一致，可以将其确定为被屏幕像素结构遮挡的图像区域，从而可以对第二图像中可能存在的光衍射形 成的虚影进行处理，以提高图像的质量。
可选地，将第一图像和图像区域的图像进行融合处理包括：
可选地，基于第一图像中在第二图像中的图像区域，从第一图像中提取该至少部分图像内容，将这部分图像内容融合到第二图像中，例如，可以这部分图像内容替换到第二图像的图像区域，以得到融合后的图像，作为目标图像。
可选地，基于第一图像中在第二图像中的图像区域，从第一图像中提取至少部分图像，提取该部分图像的图像特征融合到第二图像的图像区域中，以得到融合后的图像，作为目标图像。可选地，图像特征包括如下至少一种：图像的纹理特征、细节特征。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整、补全和/或融合，使得第二图像更加准确。尤其对于处于屏幕下方的第二相机，由于第一相机可以采集到屏下相机采集不到的像素点，弥补屏幕下的第二相机采集的第二图像的画质不足的问题，进而获得更好的屏下相机画质效果。例如，可以解决因屏幕像素结构和低透过率造成的解析力、杂光鬼影等问题。又例如，可以解决因灯管、点光源衍射造成的伪色、炫光、鬼影等问题。
图10为本公开提供的另一种图像处理方法的流程示意图。该图像处理方法适用于上述实施例提供的终端。该图像处理方法包括：
S101,获取由第一相机和第二相机确定的成像校准信息。
其中，成像校准信息表征了不同成像环境对成像效果的影响程度，成像校准信息可以为第一相机和第二相机进行预先测试得到。可选地，成像校准信息包括在不同的成像环境下第二图像中图像参数需要进行调整的策略。
S102，基于获取的成像校准信息，对第二相机获取的第二图像进行调整，得到目标图像。
作为一种可能的实现方式，根据由第一相机确定的成像影响信息，从成像校准信息中确定当前对第二图像进行调整的调整信息，进一步地，根据调整信息对第二图像进行调整，得到目标图像。例如，成像影响信息可以包括如下至少一种：外界环境亮度、外界环境色温、第一相机的当前温度。
可选地，基于第一相机采集的外界环境亮度和/或外界环境色温，可以调整第二图像的亮度和/或色温，本公开中成像校准信息中包括不同的环境亮度和/或环境色温对应的第二图像的亮度和/或色温进行调整的调整信息，即存在环境亮度和/或环境色温与调整信息之间的对应关系，可以基于外界环境亮度和/或外界环境色温，从成像校准信息得到匹配的调整信息，例如可以包括当前对第二图像的亮度增益和/或曝光时长进行调整的调整信息，并基于该调整信息对第二相机获取的第二图像进行调整，得到目标图像。
作为另一种可能的实现方式，根据第一相机获取的第一图像的图像参数，从成像校准信息中确定当前对第二图像的图像参数进行调整的调整信息，并基于该调整信息对第二相机获取的第二图像进行调整， 得到目标图像。
可选地，获取第一图像的图像亮度和、色温和/或曝光时长等图像参数，并第一图像的图像亮度、色温和/或曝光时长，从成像校准信息中确定当前对第二图像的图像参数进行调整的调整信息。在一些实现中，获取第一图像的亮度值和曝光时长中的一个目标图像参数，从成像校准信息中获取亮度调整信息，并基于该目标图像参数和亮度调整信息，对第二正图像的亮度进行调整。例如，可以基于第一图像的图像亮度，在图像亮度非标定图像亮度时，获取该图像亮度向标定图像亮度的调整时所需的调整增益和/或目标曝光时间，并基于该亮度调整增益和/或目标曝光时间，对第二图像进行亮度调整，得到目标图像。
在另一些实现中，获取第一图像的RGB值，从成像校准信息中获取颜色调整信息，并基于RGB值和颜色调整信息，对第二图像的颜色进行调整。例如，可以基于第一图像的色温即实际RGB值，在第一图像的实际RGB值与对应的标定RGB值不同，获取该实际RGB值向标定RGB值调整时所需各颜色通道之间的比值，并基于各颜色通道之间的比值，对第二图像进行颜色调整，得到目标图像。
作为另一种可能的实现方式，基于第二相机监测的当前成像环境的信息从成像校准信息中确定当前对第二图像进行调整的调整信息，根据调整信息对第二图像进行调整，得到目标图像。例如，可以例如，当前成像环境的信息可以包括如下至少一种：外界环境亮度、外界环境色温。本公开中，基于外界环境亮度和/或外界环境色温，从成像校准信息得到匹配的调整信息，例如可以包括当前对第二图像的亮度增益和/或曝光时长进行调整的调整信息，并基于该调整信息对第二相机获取的第二图像进行调整，得到目标图像。
作为另一种可能的实现方式，根据第二相机获取的第二图像的图像参数，从成像校准信息中确定当前对所述第二图像进行调整的调整信息。可选地，获取第二图像的图像亮度和、色温和/或曝光时长等图像参数，并第二图像的图像亮度、色温和/或曝光时长，从成像校准信息中确定当前对第二图像的图像参数进行调整的调整信息。在一些实现中，获取第二图像的亮度值和曝光时长中的一个目标图像参数，从成像校准信息中获取亮度调整信息，并基于该目标图像参数和亮度调整信息，对第二正图像的亮度进行调整。在另一些实现中，获取第二图像的RGB值，从成像校准信息中获取颜色调整信息，并基于RGB值和颜色调整信息，对第二图像的颜色进行调整。
可选地，成像校准信息中还包括两个相机的标定模组温度，获取当前成像时第一相机的第一模组温度和第二相机的第二模组温度，获取第一模组温度与第一相机的标定模组温度的第一温差，以及第二模组温度与第二相机的标定模组温度的第二温差，响应于第一温差处于第一温度范围内，且第二温差处于第二温度范围内，则执行基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机获取的第二图像进行调整的步骤。
响应于第一温差未处于第一温度范围内，且第二温差处于第二温度范围内，基于第二图像对应的成像影响数据，对第二图像进行调整，得到目标图像进行输出。
响应于第一温差处于第一温度范围内，且第二温差未处于第二温度范围内，或者，第一温差未处于 第一温度范围内，且第二温差未处于第二温度范围内，返回重新拍摄第一图像和第二图像。
本公开中，通过设定相机模组的模组温度，可以避免相机模组温度异常导致拍摄的图像较差，以保证进行融合或调整图像为正常情况下准确的图像，以便于通过调整后得到最好的目标图像。
作为另一种可能的实现方式，成像校准信息可以包括不同的拍摄场景下的第二图像的图像参数的调整信息。
本公开中，可以对第一相机和第二相机的当前拍摄场景进行识别，例如，可以识别当前拍摄场景为室内场景、室外场景、晴天、阴天或点光源等。可选地，将室内场景、室外场景、晴天、阴天等色彩简单的拍摄场景作为非目标拍摄场景，将灯管、点光源等色彩复杂的拍摄场景作为目标拍摄场景。响应于当前拍摄场景为目标拍摄场景，此时屏下相机受环境干扰比较大，将第二图像作为待矫正图像，可以获取目标拍摄场景下的成像校准信息，对第二图像进行图像矫正，得到目标图像。
可选地，成像校准信息也可以包括不同的拍摄场景下第一图像的图像参数的调整信息，响应于当前拍摄场景非目标拍摄场景，将第一图像作为待矫正图像，可以获取非目标拍摄场景下的成像校准信息，对第一图像进行图像矫正，得到目标图像。
本公开中，通过对拍摄场景的识别，能够从第一图像和第二图像中区分需要矫正的图像，使得调整更加精准和灵活，而且预先标定拍摄场景的调整参数，可以基于拍摄场景进行适配性的图像调整，使得调整后的图像更合优化。
可选地，在获取第一相机和第二相机确定的成像校准信息之前，还包括：
在相同成像环境下，根据第一相机成像的图像参数和第二相机成像的图像参数，确定在成像环境下需对第二相机确定的第二图像进行调整的策略，将确定的成像环境下对应的对第二图像进行调整的策略，作为成像校准信息。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整、补全和/或融合，使得第二图像更加准确。尤其对于处于屏幕下方的第二相机，由于第一相机可以采集到屏下相机采集不到的像素点，弥补屏幕下的第二相机采集的第二图像的画质不足的问题，进而获得更好的屏下相机画质效果。例如，可以解决因屏幕像素结构和低透过率造成的解析力、杂光鬼影等问题。又例如，可以解决因灯管、点光源衍射造成的伪色、炫光、鬼影等问题。
图11是根据本公开一个实施例的终端控制装置的结构图，如图11所示，终端控制装置110包括：
第一获取模块111，获取由第一相机采集的第一场景图像，基于所述第一场景图像执行第一控制功能；所述第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节；
和/或，
第二获取模块112，获取由所述第一相机采集的第二场景图像，基于所述第二场景图像对所述终端的第二相机执行第二控制功能；所述第二控制功能包括如下至少一种：控制所述第二相机调整拍照参数、 控制生成拍照指导信息；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
可选地，第一获取模块111，还用于：
若通过所述第一场景图像判定用户当前注视屏幕，则控制所述屏幕不息屏；
和/或，若通过所述第一场景图像判定当前用户正在执行手势输入，则控制所述终端进行手势检测；
和/或，通过所述第一场景识别的环境信息控制屏幕进行显示参数的调节；所述环境信息包括如下至少一种：亮度、色温。
可选地，第二获取模块112，还用于：
根据所述第二场景图像识别位于所述终端一侧用户的面部信息和/或肢体信息，基于所述面部信息和/或肢体信息调整对所述终端另一侧的场景进行拍照的所述第二相机的拍照参数，和/或，基于所述面部信息和/或肢体信息生成用于指导对所述终端另一侧的场景进行拍照的所述第二相机进行拍照参数调整的调整策略。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整，将调整后的第二图像作为目标图像进行输出，能够得到与当前环境更加匹配的高精度的目标图像。
图12是根据本公开一个实施例的图像处理装置的结构图，如图12所示，图像处理装置120包括：
获取模块121，用于获取由第一相机确定的成像影响信息，和/或由所述第一相机获取的第一图像，和/或由所述第一相机和所述第二相机确定的成像校准信息；所述成像影响信息为所述第一相机监测到影响所述终端的第二相机成像效果的信息；所述成像校准信息表征了不同成像环境对成像效果的影响程度；
图像输出模块122，用于基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像；
其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
可选地，图像输出模块122，还用于：
根据所述成像影响信息对所述第二图像的图像参数进行调整，得到所述目标图像；
其中，所述成像影响信息包括如下至少一种：外界环境亮度、外界环境色温、所述第一相机的当前温度；所述第二图像的图像参数包括如下至少一种：亮度、色温、曝光时长、降噪强度、锐化。
可选地，图像输出模块122，还用于：
根据所述第一图像的图像参数和/或所述第一图像的图像信息，对所述第二图像进行调整，得到所述目标图像；
其中，所述第一图像的图像参数包括如下至少一种：亮度、色温。
可选地，图像输出模块122，还用于：
确定所述第一图像在所述第二图像中对应的图像区域，将所述第一图像和所述图像区域的图像进行融合处理，将融合处理后的图像作为所述目标图像；
其中，所述融合处理包括如下至少一种：将所述第一图像的图像信息中的至少部分图像内容替换到所述图像区域中、将所述第一图像的图像信息中至少部分图像特征融合到所述图像区域中；所述图像特征包括如下至少一种：图像的纹理特征、细节特征。
可选地，图像输出模块122，还用于：
根据由所述第一相机确定的成像影响信息，或者根据所述第一相机获取的第一图像的图像参数，或者根据第二相机监测的当前成像环境的信息，或者根据所述第二相机获取的第二图像的图像参数，从所述成像校准信息中确定当前对所述第二图像进行调整的调整信息；
根据所述调整信息对所述第二图像进行调整，得到所述目标图像；
其中，所述成像校准信息表征了在不同的成像环境下所述第二图像中个图像参数需要进行调整的策略。
可选地，获取模块121，还用于：
在相同成像环境下，根据所述第一相机成像的图像参数和所述第二相机成像的图像参数，确定在成像环境下需对所述第二相机确定的第二图像进行调整的策略；
将确定的成像环境下对应的对第二图像进行调整的策略，作为所述成像校准信息。
本公开实施例中终端的缝隙内设置的第一相机，由于第一相机通过终端设备的漏光位置采集第一图像，而漏光位置不受屏幕的遮挡，因此可以基于第一相机的成像影响信息，和/或第一图像，和/或成像校准信息，对第二相机采集的第二图像进行调整、补全和/或融合，使得第二图像更加准确。尤其对于处于屏幕下方的第二相机，由于第一相机可以采集到屏下相机采集不到的像素点，弥补屏幕下的第二相机采集的第二图像的画质不足的问题，进而获得更好的屏下相机画质效果。例如，可以解决因屏幕像素结构和低透过率造成的解析力、杂光鬼影等问题。又例如，可以解决因灯管、点光源衍射造成的伪色、炫光、鬼影等问题。
需要说明的是，前述对图像获取方法实施例的解释说明也适用于该实施例的图像获取装置，此处不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图13示出了可以用来实施本公开的实施例的示例电子设备130的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，包括存储器131、处理器132及存储在存储器131上并可在处理器132上运行的计算机程序，处理器132执行程序时，实现前述的图像获取方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

  1. 一种终端，其特征在于，包括至少一个第一相机；
    所述第一相机通过终端的漏光位置采集图像；
    其中，所述漏光位置包括如下至少一种：所述终端中至少两个结构件连接的第一位置、所述终端任一结构件中允许光线进入的第二位置。
  2. 根据权利要求1所述的终端，其特征在于，
    所述第一位置包括如下至少一种：所述终端的屏幕与中框连接的缝隙、所述终端的后盖与中框连接的缝隙、所述中框与嵌入中框的按键连接的缝隙；
    所述第二位置包括如下至少一种：所述终端听筒的出音孔、所述终端中卡槽附近的插针孔。
  3. 根据权利要求1所述的终端，其特征在于，
    所述第一相机通过由所述漏光位置进入的外界光线采集图像；
    和/或，所述第一相机包括至少一个设置于所述漏光位置，用于接收外界光线的收光元件，所述第一相机通过所述收光元件接收的外界光线采集图像；
    所述收光元件包括如下至少一种：棱镜结构、波导结构。
  4. 根据权利要求1所述的终端，其特征在于，
    所述终端基于所述第一相机执行第一控制功能；
    和/或，
    所述终端还包括第二相机；所述终端基于所述第一相机和所述第二相机执行第二控制功能和/或图像处理；
    其中，所述第二相机包括如下至少一种：前置相机、后置相机；所述前置相机包括如下至少一种：位于所述终端屏幕非开孔区域下的相机、位于所述终端屏幕开孔区域下的相机。
  5. 根据权利要求1-4任一项所述的终端，其特征在于，
    所述第一相机处于工作状态的工作时长，大于或等于所述终端中除所述第一相机之外的任一相机的工作时长；
    和/或，所述第一相机单位时间内的功耗，小于或等于所述终端中除所述第一相机之外的任一相机单位时间内的功耗。
  6. 一种终端控制方法，其特征在于，包括：
    获取由第一相机采集的第一场景图像，基于所述第一场景图像执行第一控制功能；所述第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节；
    和/或，
    获取由所述第一相机采集的第二场景图像，基于所述第二场景图像对所述终端的第二相机执行第二控制功能；所述第二控制功能包括如下至少一种：控制所述第二相机调整拍照参数、控制生成拍照指导信息；
    其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
  7. 根据权利要求6所述的终端控制方法，其特征在于，所述基于所述第一场景图像执行第一控制功能，包括：
    若通过所述第一场景图像判定用户当前注视屏幕，则控制所述屏幕不息屏；
    和/或，若通过所述第一场景图像判定当前用户正在执行手势输入，则控制所述终端进行手势检测；
    和/或，通过所述第一场景识别的环境信息控制屏幕进行显示参数的调节；所述环境信息包括如下至少一种：亮度、色温。
  8. 根据权利要求6所述的终端控制方法，其特征在于，所述基于所述第二场景图像对所述终端的第二相机执行第二控制功能，包括：
    根据所述第二场景图像识别位于所述终端一侧用户的面部信息和/或肢体信息，基于所述面部信息和/或肢体信息调整对所述终端另一侧的场景进行拍照的所述第二相机的拍照参数，和/或，基于所述面部信息和/或肢体信息生成用于指导对所述终端另一侧的场景进行拍照的所述第二相机进行拍照参数调整的调整策略。
  9. 一种图像处理方法，其特征在于，包括：
    获取由第一相机确定的成像影响信息，和/或由所述第一相机获取的第一图像，和/或由所述第一相机和所述第二相机确定的成像校准信息；所述成像影响信息为所述第一相机监测到影响所述终端的第二相机成像效果的信息；所述成像校准信息表征了不同成像环境对成像效果的影响程度；
    基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像；
    其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
  10. 根据权利要求9所述的图像处理方法，其特征在于，所述基于获取的成像影响信息对所述第二 相机获取的第二图像进行调整，得到待输出的目标图像，包括：
    根据所述成像影响信息对所述第二图像的图像参数进行调整，得到所述目标图像；
    其中，所述成像影响信息包括如下至少一种：外界环境亮度、外界环境色温、所述第一相机的当前温度；所述第二图像的图像参数包括如下至少一种：亮度、色温、曝光时长、降噪强度、锐化。
  11. 根据权利要求9所述的图像处理方法，其特征在于，所述基于获取的第一图像对所述第二相机获取的第二图像进行调整，得到待输出的目标图像，包括：
    根据所述第一图像的图像参数和/或所述第一图像的图像信息，对所述第二图像进行调整，得到所述目标图像；
    其中，所述第一图像的图像参数包括如下至少一种：亮度、色温。
  12. 根据权利要求11所述的图像处理方法，其特征在于，所述根据所述第一图像的图像信息，对所述第二图像进行调整，得到所述目标图像，包括：
    确定所述第一图像在所述第二图像中对应的图像区域，将所述第一图像和所述图像区域的图像进行融合处理，将融合处理后的图像作为所述目标图像；
    其中，所述融合处理包括如下至少一种：将所述第一图像的图像信息中的至少部分图像内容替换到所述图像区域中、将所述第一图像的图像信息中至少部分图像特征融合到所述图像区域中；所述图像特征包括如下至少一种：图像的纹理特征、细节特征。
  13. 根据权利要求9所述的图像处理方法，其特征在于，所述基于获取的成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像，包括：
    根据由所述第一相机确定的成像影响信息，或者根据所述第一相机获取的第一图像的图像参数，或者根据第二相机监测的当前成像环境的信息，或者根据所述第二相机获取的第二图像的图像参数，从所述成像校准信息中确定当前对所述第二图像进行调整的调整信息；
    根据所述调整信息对所述第二图像进行调整，得到所述目标图像；
    其中，所述成像校准信息表征了在不同的成像环境下所述第二图像中个图像参数需要进行调整的策略。
  14. 根据权利要求9所述的图像处理方法，其特征在于，在获取第一相机和所述第二相机确定的成像校准信息之前，还包括：
    在相同成像环境下，根据所述第一相机成像的图像参数和所述第二相机成像的图像参数，确定在成像环境下需对所述第二相机确定的第二图像进行调整的策略；
    将确定的成像环境下对应的对第二图像进行调整的策略，作为所述成像校准信息。
  15. 一种终端控制装置，其特征在于，包括：
    第一获取模块，用于获取由第一相机采集的第一场景图像，基于所述第一场景图像执行第一控制功能；所述第一控制功能包括如下至少一种：控制屏幕息屏、控制是否进行手势检测、控制屏幕显示调节；
    和/或，
    第二获取模块，用获取由所述第一相机采集的第二场景图像，基于所述第二场景图像对所述终端的第二相机执行第二控制功能；所述第二控制功能包括如下至少一种：控制所述第二相机调整拍照参数、控制生成拍照指导信息；
    其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
  16. 一种图像处理装置，其特征在于，包括：
    获取模块，用于获取由第一相机确定的成像影响信息，和/或由所述第一相机获取的第一图像，和/或由所述第一相机和所述第二相机确定的成像校准信息；所述成像影响信息为所述第一相机监测到影响所述终端的第二相机成像效果的信息；所述成像校准信息表征了不同成像环境对成像效果的影响程度；
    图像输出模块，用于基于获取的成像影响信息，和/或第一图像，和/或成像校准信息，对所述第二相机获取的第二图像进行调整，得到待输出的目标图像；
    其中，所述第一相机为所述终端中通过终端的漏光位置采集图像的相机；所述第二相机包括如下至少一种：前置相机、后置相机。
  17. 一种电子设备，其特征在于，包括存储器、处理器；
    其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求6-8中任一项所述的方法，或者用于实现如权利要求9-14中任一项所述的方法。
  18. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-8中任一项所述的方法，或者用于实现如权利要求9-14中任一项所述的方法。
  19. 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如权利要求6-8中任一项所述的方法，或者用于实现如权利要求9-14中任一项所述的方法
PCT/CN2022/098277 2022-06-10 2022-06-10 终端、终端控制方法及其装置、图像处理方法及其装置 WO2023236225A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/098277 WO2023236225A1 (zh) 2022-06-10 2022-06-10 终端、终端控制方法及其装置、图像处理方法及其装置
CN202280001791.2A CN117643046A (zh) 2022-06-10 2022-06-10 终端、终端控制方法及其装置、图像处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/098277 WO2023236225A1 (zh) 2022-06-10 2022-06-10 终端、终端控制方法及其装置、图像处理方法及其装置

Publications (1)

Publication Number Publication Date
WO2023236225A1 true WO2023236225A1 (zh) 2023-12-14

Family

ID=89117429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098277 WO2023236225A1 (zh) 2022-06-10 2022-06-10 终端、终端控制方法及其装置、图像处理方法及其装置

Country Status (2)

Country Link
CN (1) CN117643046A (zh)
WO (1) WO2023236225A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076898A (zh) * 2013-03-27 2014-10-01 腾讯科技（深圳）有限公司 一种控制移动终端屏幕亮度的方法和装置
CN108632512A (zh) * 2018-05-17 2018-10-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2020124577A1 (zh) * 2018-12-21 2020-06-25 华为技术有限公司 相机拍摄参数的确定方法和装置
CN113194175A (zh) * 2021-04-29 2021-07-30 上海闻泰信息技术有限公司 一种移动终端及移动终端的屏下摄像方法
CN113949752A (zh) * 2020-07-15 2022-01-18 北京小米移动软件有限公司 传感器集成模组、移动终端以及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076898A (zh) * 2013-03-27 2014-10-01 腾讯科技（深圳）有限公司 一种控制移动终端屏幕亮度的方法和装置
CN108632512A (zh) * 2018-05-17 2018-10-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2020124577A1 (zh) * 2018-12-21 2020-06-25 华为技术有限公司 相机拍摄参数的确定方法和装置
CN113949752A (zh) * 2020-07-15 2022-01-18 北京小米移动软件有限公司 传感器集成模组、移动终端以及控制方法
CN113194175A (zh) * 2021-04-29 2021-07-30 上海闻泰信息技术有限公司 一种移动终端及移动终端的屏下摄像方法

Also Published As

Publication number Publication date
CN117643046A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US9747492B2 (en) Image processing apparatus, method of processing image, and computer-readable storage medium
CN109005366A (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
JP5108093B2 (ja) 撮像装置及び撮像方法
US11532076B2 (en) Image processing method, electronic device and storage medium
CN107277388A (zh) 移动终端及其补光方法
WO2010131416A1 (ja) 電子カメラ、画像処理装置および画像処理方法
CN103747183B (zh) 一种手机拍摄对焦方法
CN102857690B (zh) 追踪装置、追踪方法、摄像装置以及摄像方法
US11321830B2 (en) Image detection method and apparatus and terminal
JP2019106045A (ja) 画像処理装置、方法及びプログラム
JP2016111475A (ja) 画像処理装置、画像処理方法、及び撮像システム
KR20200117695A (ko) 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
WO2023236225A1 (zh) 终端、终端控制方法及其装置、图像处理方法及其装置
US9389489B2 (en) Photographing apparatus for recognizing type of external device, method of controlling the photographing apparatus, and the external device
CN112153300A (zh) 多目摄像头曝光方法、装置、设备及介质
CN113497880A (zh) 一种拍摄图像的方法及电子设备
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN106878606A (zh) 一种基于电子设备的图像生成方法和电子设备
CN115633260A (zh) 一种色度信息的确定方法及相关电子设备
WO2021154807A1 (en) Sensor prioritization for composite image capture
WO2021237493A1 (zh) 图像处理方法及装置、相机组件、电子设备、存储介质
CN116055855B (zh) 图像处理方法及其相关设备
JP2020191546A (ja) 画像処理装置、画像処理方法、およびプログラム
CN116051434B (zh) 一种图像处理方法及相关电子设备
WO2023160190A1 (zh) 自动曝光方法与电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945366

Country of ref document: EP

Kind code of ref document: A1