WO2017034321A1 - 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치 - Google Patents

카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치 Download PDF

Info

Publication number
WO2017034321A1
WO2017034321A1 PCT/KR2016/009389 KR2016009389W WO2017034321A1 WO 2017034321 A1 WO2017034321 A1 WO 2017034321A1 KR 2016009389 W KR2016009389 W KR 2016009389W WO 2017034321 A1 WO2017034321 A1 WO 2017034321A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
photographing area
terminal
camera
signal
Prior art date
Application number
PCT/KR2016/009389
Other languages
English (en)
French (fr)
Inventor
빈잠비시누
칸살아뿌르브
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201680049317.1A priority Critical patent/CN107925724B/zh
Priority to US15/754,970 priority patent/US10868956B2/en
Publication of WO2017034321A1 publication Critical patent/WO2017034321A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present disclosure relates to a photographing support technique in a device having a camera, and to a support technique for providing a cue to take an improved selfie or a snapshot.
  • 1 is an example of a picture taken by a user in a selfie format.
  • a picture is taken in a form in which all or part of a face of a person corresponding to a subject is included in a frame.
  • the user In general photography, the user identifies the subject and takes a picture through the viewfinder, so that the user can take a picture so that the subject is positioned at an appropriate position in the frame.
  • the selfie (selfie) is photographed by pressing the photographing button in the state that the user is facing the lens of the camera-equipped terminal toward itself. That is, in the case of selfie, the user takes a picture through a viewfinder without properly identifying the subject. Accordingly, the selfie may be taken in an incomplete form such as not including all or part of the subject in the frame or the subject being disposed at an inappropriate position.
  • the present disclosure provides a technique for taking a selfie or a snapshot including a desired subject with a single click (or a button input).
  • the present disclosure provides a technique that can prevent in advance the result of not including all or part of the subject in the photographing area or the subject is placed in an inappropriate position when taking a selfie or snapshot using the camera-equipped terminal.
  • the present disclosure provides a technique for preventing a result of photographing a photo including an unknown person in the photographing area in advance.
  • the present disclosure provides a method for supporting photographing in a camera-equipped device, the method comprising: recognizing a face of a subject in a photographing area of the camera when the camera is driven; Determining a signal indicative of a change of the photographing area based on the recognized face information; And outputting a signal indicative of a change of the photographing area based on the determination.
  • the present disclosure provides a camera-equipped apparatus for supporting photographing, comprising: a camera that recognizes a face of a subject in a photographing area; And a controller configured to determine a signal instructing to change the photographing area based on the recognized face information, and to control a signal output indicating the change of the photographing area based on the determination.
  • the user can easily take a selfie.
  • a user may take a picture excluding an unwanted subject (eg, an unknown person) with a single click.
  • an unwanted subject eg, an unknown person
  • 1 is an exemplary view of a picture taken by a user in a selfie format
  • FIG. 2 is a diagram illustrating a face recognition process of a camera-equipped terminal according to the present disclosure
  • FIG. 3 is a diagram illustrating a method in which a camera-equipped terminal according to the present disclosure supports preferred selfie imaging based on face recognition;
  • FIG. 4 is an exemplary view of a terminal with a camera according to the present disclosure outputting a visual signal indicating a change in a shooting area through a display;
  • FIG. 5 is an exemplary view of the terminal with a camera according to the present disclosure outputs a visual signal for instructing to change the shooting area through the LED flash light;
  • FIG. 6 is an exemplary diagram in which a terminal with a camera according to the present disclosure outputs a sound signal for instructing to change a shooting area through a speaker;
  • FIG. 7 illustrates an example of outputting a vibration signal through a vibrator instructing a camera-equipped terminal according to the present disclosure to change a photographing area
  • FIG. 8 is a diagram illustrating a process of checking a face missing from a photographing area and outputting a photographing area change instruction signal by a terminal with a camera according to the present disclosure
  • FIG. 9 is a view illustrating an example of a method of identifying a face missing from a photographing area by a camera-equipped terminal according to the present disclosure as an example
  • FIG. 10 is a diagram illustrating a method of confirming a missing face by a terminal with a camera according to the present disclosure and taking a selfie by using a zoom function of the terminal;
  • FIG. 11 is a diagram illustrating a process of a camera-equipped terminal confirming an unknown face in a photographing area and outputting a photographing area change instruction signal according to the present disclosure
  • FIG. 12 is a diagram illustrating a process of determining a candidate of an unknown face located in a photographing area by calculating a z-distance and a z-interval by a camera terminal according to the present disclosure
  • FIG. 13 illustrates a concept of acquiring a z-axis distance of a recognized face in a photographing area by a camera-equipped terminal according to the present disclosure
  • FIG. 14 is a diagram illustrating a case where a camera-equipped terminal according to the present disclosure recognizes an unknown face in a photographing area
  • 15 is another diagram illustrating a case where a camera-equipped terminal according to the present disclosure recognizes an unknown face in a photographing area
  • 16 is a still another diagram illustrating a case where a camera-equipped terminal according to the present disclosure recognizes an unknown face in a photographing area;
  • 17 is a diagram illustrating a case where a terminal with a camera according to the present disclosure recognizes an unknown face in a photographing area and applies the picture in wide photography;
  • FIG. 18 is a diagram illustrating a process of a camera-equipped terminal confirming a face cut in a photographing area and outputting a photographing area change instruction signal according to the present disclosure
  • 19 is a diagram illustrating a case where a terminal with a camera according to the present disclosure checks a face cut in a shooting area and determines a shooting area change instruction signal;
  • FIG. 20 is a diagram illustrating a method of checking a face cut in a photographing area by a camera-equipped terminal according to the present disclosure using an actual photograph as an example;
  • 21 is an exemplary view illustrating an exemplary method of sequentially performing three cases in which a camera-equipped terminal according to the present disclosure determines that a shooting area needs to be changed;
  • FIG. 22 is an exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change instruction signal to an exemplary photograph;
  • FIG. 23 is another exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph;
  • FIG. 24 is another exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph;
  • 25 is another exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph;
  • 26 is another exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change instruction signal to an exemplary photograph;
  • FIG. 27 is another exemplary diagram in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph;
  • FIG. 28 is a diagram schematically illustrating a configuration of a terminal device according to the present disclosure.
  • 'user equipment equipped with a camera' refers to all kinds of devices having a digital camera, that is, a device having a camera.
  • the terminal may be a device such as a smartphone, a tablet, a compact camera.
  • the terminal may also be referred to as a UE, a mobile station (MS), a mobile equipment (ME), a device, a terminal, or the like.
  • a range of a picture to be taken means a target area to be photographed by a camera-equipped terminal.
  • a shooting button on the shooting area When the user presses a shooting button on the shooting area, a picture of the shooting area may be taken.
  • the photographing area may be replaced with the term frame.
  • a missed face means a face that is expected to be included in the photographing area but is not included.
  • an unknown face refers to a face of a person who is unknown to a user who takes a picture.
  • a cut face refers to a face in which a complete face is not included in the photographing area and only a part of the face is included.
  • a terminal having a camera performs face recognition (or face recognition) of a subject in a shooting area, and sends a signal instructing to change a shooting area by using the recognized face information, thereby allowing a user to capture the camera.
  • face recognition or face recognition
  • FIG. 2 is a diagram illustrating a face recognition process of a terminal with a camera according to the present disclosure.
  • Face recognition is a technique for recognizing a person in a picture.
  • 2 (a) and 2 (b) illustrate a face recognition operation of a subject (that is, a person) in a camera photographing terminal in the drawing.
  • the rectangles surrounding the face of the person indicate that the terminal equipped with the camera recognizes the person's face in the photographing area.
  • the face of the person can be recognized at all facial angles.
  • Each person (ie, face) in the imaging area can be uniquely identified by using the relative position or shape of the eyes, mouth, nose, cheekbones, or chin.
  • 2 (c) shows that a person can be identified even at various face angles.
  • cross shaped points 210, 212, and 214 in the rectangle surrounding the face represent the positions of eyes and mouth recognized through facial recognition technology.
  • This face recognition technique may be used in the present disclosure to determine the operations required for taking a picture in which all of the subjects are appropriately included. The detailed description of the specific implementation of the face recognition technique is omitted since it may blur the essence of the present disclosure.
  • FIG. 3 is a diagram illustrating a method in which a terminal with a camera according to the present disclosure supports preferred selfie imaging based on face recognition.
  • the camera of the terminal can be driven by a camera application, for example.
  • the terminal performs face recognition on the subject in the photographing area of the camera (300).
  • the subject may be, for example, a person.
  • the terminal may determine whether the current photographing area needs to be changed based on the result of the face recognition operation 300, and if necessary, may determine a signal indicating change of the photographing area. For example, the terminal may determine that the photographing area needs to be changed by determining whether the recognized complete face is included in the photographing area. By doing so, the terminal can prevent the photo of the face cut off. As another example, the terminal may determine that the shooting area needs to be changed by comparing the information about the face recognized in the previous shooting area with the information about the face recognized in the current shooting area. By doing so, the terminal can include the missing face in the picture. As another example, the terminal may determine that the shooting area needs to be changed by calculating a three-dimensional image distance between faces included in the shooting area. By doing so, the terminal can remove an unknown face (the face of another person not known to the user who is taking the selfie) from the photographing area.
  • the terminal may determine that the photographing area needs to be changed by determining whether the recognized complete face is included in the photographing area. By doing so,
  • the terminal may output a signal instructing to change the photographing area based on the determination 305 (310).
  • the 'signal' may be replaced with the term 'cue'.
  • the signal instructing to change the photographing area may be expressed in various forms that the terminal can output.
  • the indication signal may be a visual signal output through a display or a light emitting diode (LED) flashlight or the like, a sound signal output through a speaker, or a vibration output through a vibrator. It may have a form of a vibration signal.
  • the terminal detects the face recognition operation 300, whether the shooting area needs to be changed 305, and the shooting area change command signal. At least one of the output operations 310 may be performed again to support more desirable selfie imaging.
  • FIG. 4 is an exemplary diagram in which a terminal with a camera according to the present disclosure outputs a visual signal indicating a change in a photographing area through a display.
  • the camera-equipped terminal may output a visual signal in the form of an image or icon illustrated in FIG. 4 through the display unit.
  • the user who checks the visual signal performs an operation corresponding to the visual signal, thereby adjusting the direction of attention of the camera provided in the terminal, and as a result, the photographing area of the camera can be changed.
  • 4 (a) is an exemplary signal indicating an action of turning the left end of the terminal to the opposite side of the user, that is, 'turn left'.
  • FIG. 4B is an exemplary signal indicating an action of turning the right end of the terminal to the opposite side of the user, that is, 'turn right'.
  • 4 (c) is an exemplary signal indicating an action of turning the top end of the terminal to the opposite side of the user, that is, 'turn up'.
  • 4 (d) is an exemplary signal indicating an action of turning the bottom end of the terminal to the opposite side of the user, that is, 'turn down'.
  • 4 (e) is an exemplary signal indicating an action of turning the terminal in the vertical direction to the horizontal direction, that is, 'rotate 90-horizontal' or 'flip'.
  • 4 (f) is an exemplary signal indicating the action of turning the terminal in the horizontal direction to the vertical direction, that is, 'rotate 90-vertical' or 'flip'.
  • 4 (g) is an exemplary signal indicating an action of moving the terminal to the right (without rotating), that is, 'move right'.
  • 4 (h) is an exemplary signal indicating an action of moving the terminal to the left (without rotating), that is, 'move left'.
  • FIG 5 is an exemplary view of the terminal with a camera according to the present disclosure outputs a visual signal indicating a change in the shooting area through the LED flash light.
  • 5 (a) to 5 (j) illustrate a case in which a camera-equipped terminal includes two LED flashlights 500 and 510 next to a camera lens.
  • FIGS. 5 (h) to 5 (j) are examples of signals instructing to change the photographing area based on the color of the LED flash light
  • FIGS. 5 (h) to 5 (j) are flashes of the LED flash light.
  • the distances are examples of signals for instructing to change a photographing area according to a blink ratio.
  • FIG. 5A illustrates a state in which the LED flashlights 500 and 510 are all turned off, and the terminal does not output a signal to the user.
  • 5 (b) shows that when two LED flashlights are arranged up and down, the LED flashlight located in the 'down' direction (for example) to which the terminal should move (for example) turns red (for example) It is an example signal indicating 'move down'.
  • 5 (c) is an exemplary signal indicating that an appropriate shooting area change has been made by a user by turning (for example) green the LED flashlight located in the 'down' direction.
  • FIG. 5 (d) shows that when two LED flashlights are arranged left and right, the LED flashlight located in the 'left' direction (for example) to which the terminal should move (for example) turns red (for example), It is an exemplary signal indicating 'move left'.
  • FIG. 5 (e) is an exemplary signal indicating that an appropriate shooting area change has been made by the user by turning (for example) green the LED flashlight located in the 'left' direction.
  • FIG. 5 (f) shows that when the two LED flashlights are arranged left and right, the LED flashlight located in the 'right' direction (for example) to which the terminal should move (for example) turns red (for example) It is an exemplary signal indicating 'move right'.
  • FIG. 5G is an exemplary signal indicating that an appropriate shooting area change has been made by the user by turning (for example) green the LED flashlight located in the 'right' direction.
  • FIG. 5 (h) shows that when the two LED flashlights are disposed up and down, the LED flashlight (for example) located in the 'down' direction (for example) to which the terminal should move (for example) blinks, Is an exemplary signal indicating 'move down'.
  • the terminal increases or decreases the blink rate (blinking speed) of the LED flashlight located in the 'down' direction. This may indicate that a desired change is made. For example, in the case where the desired change is made by reducing the blink rate, the LED flash light located in the 'down' direction as shown in FIG. 5 (h) as shown in FIG.
  • the LED flash light located in the 'down' direction as shown in FIG. 5 (h) as shown in FIG. For example, by turning it on completely, the user may be informed that the appropriate shooting area change is completed by the user.
  • FIG. 6 is an exemplary diagram in which a terminal with a camera according to the present disclosure outputs a sound signal for instructing to change a shooting area through a speaker.
  • the terminal is the "Turn left”, “Turn right”, “Turn up”, “Turn down” through the speaker 600 ",” Move left “,” Move right “,” Move up “,” Move down “,” Move backward “, Voice signals such as “Move forward”, “Rotate 90 degree”, “Zoom in”, or “Zoom out” can be output.
  • the terminal may output a sound signal such as a beep sound to the user. In this case, the terminal may distinguish the contents of the operation to be instructed by varying the number of beep sounds.
  • FIG. 7 is a diagram illustrating an example of outputting a vibration signal through a vibrator instructing a camera-equipped terminal according to the present disclosure to change a photographing area.
  • the terminal according to the present disclosure may have vibrations at the four ends by providing vibrators at four ends of the housing, respectively. That is, the terminal may instruct the user to change the shooting area through the localized vibration.
  • FIG. 7A illustrates an operation of turning the right end of the terminal to the opposite side of the user by driving the vibrator of the right end to generate a vibration signal at the right end, that is, 'turn right' An example of the vibration signal indicating '.
  • FIG. 7B illustrates an operation of turning the left end of the terminal to the opposite side of the user by generating a vibration signal at the left end by driving the vibrator of the left end, that is, 'turn left'.
  • FIG. 7C illustrates an operation of turning the lower end of the terminal to the opposite side of the user, ie, 'turning down' by driving the vibrator of the bottom end to generate a vibration signal at the lower end. Illustrates a vibration signal to indicate.
  • FIG. 7 (d) and 7 (e) illustrate a vibration signal indicating a 90 degree rotation by the terminal simultaneously driving the vibrator at two adjacent ends of the four ends to generate a vibration signal.
  • FIG. 7 (d) shows an operation of rotating the terminal in the vertical direction to the horizontal direction, that is, rotating 90 degrees (horizontal) by outputting a vibration signal at the bottom end and the right end at the same time.
  • An example of a vibration signal indicating ')' is illustrated.
  • FIG. 7E illustrates an operation of rotating the terminal in the horizontal direction, that is, rotating 90 degrees vertically by simultaneously outputting a vibration signal at the lower end and the left end. To illustrate the vibration signal.
  • FIG. 8 is a diagram illustrating a process in which a terminal with a camera according to the present disclosure checks a face missing from a photographing area and outputs a photographing area change instruction signal.
  • the camera of the terminal can be driven by a camera application, for example.
  • the terminal performs face recognition on the subject in the photographing area of the camera (800).
  • the terminal calculates information on all the recognized faces (805).
  • the information on the face may be, for example, the number of recognized faces located around the face, and may have a form of a radial graph.
  • the radial graph may be calculated for each uniquely identified face. The radial graph will be described in more detail with reference to FIG. 9 below.
  • the terminal may determine whether there is a missing face in the photographing area based on the information about the recognized face (810).
  • the presence or absence of a missing face may be performed by comparing with information about a face in a previous photographing area stored by the terminal. That is, the terminal compares the information on the recognized face in the previous photographing area (for example, the radial graph) with the information on the recognized face in the current photographing area, and when the two information do not match. It may be determined that a missing face exists in the current photographing area. Therefore, when the terminal performs face recognition for the first time, the operation 810 may not be performed since there is no photographing area to be compared.
  • the terminal determines that the change of the shooting area is necessary, and may determine a signal indicating the change of the shooting area (815). For example, when the terminal determines that there is a missing face on the left side of the current photographing area, the terminal needs to extend the photographing area to the left so that the terminal indicates 'rotate to the left' or 'move to the left'.
  • a signal of (visual signal, sound signal, or vibration signal) can be determined.
  • the terminal may output the determined signal (820).
  • the terminal may simultaneously output an indication signal having the same meaning in two or more formats. For example, when taking a selfie by using the rear camera of the terminal, the user cannot check the visual signal output through the display, so the visual signal through the LED flashlight and the voice through the speaker may be used to increase the user's recognition. You can also output the signal at the same time.
  • the terminal may further perform an operation of checking whether a photographing area is changed by a user after outputting the photographing area change instruction signal (825).
  • the terminal may perform the operations 800 to 820 again, thereby supporting the improved selfie.
  • FIG. 9 is a diagram illustrating a method of checking a face missing from a photographing area by a terminal with a camera according to the present disclosure using an actual photograph as an example.
  • the terminal may recognize the presence of a missing face by performing face recognition to induce the user to adjust the camera.
  • the terminal may uniquely recognize all faces included in the photographing area and store information on the recognized faces. For example, the terminal may calculate a radial direction number as a radial graph for each of the recognized faces.
  • FIG. 9 (a) shows three faces recognized in a portion of the photographing area by three rectangles 900, 902, and 904, respectively.
  • FIG. 9 (b) illustrates that the terminal calculates information on the uniquely identified face 900.
  • the terminal may calculate the number of other faces recognized in the vicinity of the face 900 as the information in the form of a radial graph 910.
  • the radial graph 910 of FIG. 9B one recognized face is present at 10 o'clock of the face 900 recognized in FIG. 9A, and one recognized face is present at 2 o'clock. To indicate.
  • FIG. 9 (c) illustrates a principle of determining whether a missing face exists by comparing information of recognized faces in two photographing areas.
  • the terminal may confirm that there is one missing face 922 in the current photographing area 920.
  • the left image 920 represents the previous photographing area and the right image 930 represents the current photographing area.
  • the radial graph 952 of the face 950 recognized in the previous photographing area 920 indicates that there is one face in the 8 o'clock and 3 o'clock directions, respectively.
  • the radial graph 954 of the face 950 recognized in the current photographing area 930 indicates that there is one face only in the 8 o'clock direction. Therefore, the terminal may confirm that there is one missing face 932 in the current photographing area 930.
  • the terminal may determine that the photographing area needs to be changed to include the missing face 922 or 932 and may output a corresponding photographing area change indication signal.
  • FIG. 10 is a diagram illustrating a method of confirming a missing face by a terminal with a camera according to the present disclosure and taking a selfie by using a zoom function of the terminal.
  • the terminal confirming that there is a missing face on the left side through face recognition in the first capturing area 1000 may output a first signal instructing to change the shooting area (move to the left side).
  • the second photographing area 1010 is a photographing area after the camera is adjusted in response to the first signal.
  • the terminal confirming that there is a missing face on the right side through face recognition in the second capturing area 1010 knows that a face already missing on the left side may occur, and instead of outputting a signal instructing movement to the right side A second signal indicating zoom out may be output.
  • the second photographing area 1010 is a result of applying 2x zoom
  • the third photographing area 1020 is a result of applying 1.5x zoom.
  • the terminal may take the photographing area by immediately 'zooming out' the lens without outputting a signal instructing the user to 'zoom out'.
  • FIG. 11 is a diagram illustrating a process of confirming an unknown face in a photographing area and outputting a photographing area change instruction signal by a camera equipped terminal according to the present disclosure.
  • the camera of the terminal can be driven by a camera application, for example.
  • the terminal performs face recognition on the subject in the photographing area of the camera (1100).
  • the terminal calculates a distance (ie, a z-axis distance) and a distance on a two-dimensional plane (ie, an x-axis spacing) on the two-dimensional plane between the recognized faces (1105).
  • the terminal may determine candidates that may become 'unknown faces' using the z-axis distance and the x-axis interval.
  • determining the candidate for the unknown face using the z-axis distance and the x-axis spacing may include the operations illustrated in FIG. 12.
  • the terminal may check whether there is an unknown face in the photographing area by using the calculated z-axis distance and the x-axis interval (1110). For example, the terminal may identify a face whose z-axis distance from a specific face (for example, the face closest to the center of the photographing area) is larger than a preset threshold value as 'unknown face'. As another example, the terminal may identify that the face having the largest z-axis distance from a specific face (for example, the face closest to the center of the photographing area) does not know the face. As another example, the terminal may identify that the face of which the x-axis interval from a specific face (for example, the face closest to the center of the photographing area) is greater than a threshold is unknown.
  • the terminal may identify that the face having the largest x-axis interval from a specific face (for example, the face closest to the center of the photographing area) does not know the face.
  • the terminal may define one or more clusters, which are sets of fiducial points inside the recognized face, and identify the face inside the cluster having a small number of reference points as an unknown face. The verification method using the cluster will be described in more detail with reference to FIG. 16.
  • the terminal determines that the change of the shooting area is necessary, and may determine a signal indicating the change of the shooting area (1115). For example, when the terminal determines that there is a missing face on the left side of the current photographing area, the terminal needs to extend the photographing area to the left, so that the terminal indicates 'rotate to the right' or 'move to the right'.
  • a signal of (visual signal, sound signal, or vibration signal) can be determined.
  • the indication signal is a face missing from the user's position. 'Rotate to the right' or 'move to the right' direction opposite to the position (left) of.
  • the direction indicated by the indication signal will be described based on this understanding.
  • the terminal may output the determined signal (1120).
  • the terminal may simultaneously output an indication signal having the same meaning in two or more formats.
  • the terminal may further perform an operation of checking whether a photographing area is changed by a user after outputting the photographing area change instruction signal (1125).
  • the terminal may perform the operations 1110 to 1120 again, thereby supporting the photographing of the improved selfie.
  • FIG. 12 is a diagram illustrating a process of determining a candidate of an unknown face located in a photographing area by calculating a z-distance and a z-interval according to the present disclosure.
  • a z-axis distance between the recognized faces may be obtained from the camera (1200).
  • the concept of acquiring the z-axis distance of the recognized face by the terminal will be described as an example in FIG. 13.
  • the terminal may acquire a rectangular coordinate of the recognized face in the photographing area (1205).
  • the terminal acquires an x-axis spacing between faces using the rectangular coordinates (1210).
  • the terminal determines a face having an extreme x-axis interval among faces in the photographing area (1215).
  • the terminal may sort the obtained z-axis distance in order of magnitude (1225).
  • the terminal determines a face having the largest z-axis distance or a face larger than a preset threshold (1230).
  • the terminal may determine 1212 as a candidate for a face of the determined farthest x-axis interval, a face of the determined largest z-axis distance, or a face of unknown z-axis distance greater than a preset threshold.
  • FIG. 13 is a diagram illustrating a concept of acquiring a z-axis distance of a recognized face in a photographing area by a camera terminal according to the present disclosure.
  • Two-dimensional rectangular coordinates of one reference point 1302 in the face 1300 recognized in the photographing area may be represented by (XIm i k , YIm i k ).
  • XIm i k represents the x coordinate of the i-th reference point of the k-th face
  • YIm i k represents the y coordinate of the i-th reference point of the k-th face.
  • the terminal transmits two-dimensional orthogonal coordinates of the reference point 1302 of the face 1300 in three-dimensional orthogonal coordinates of the reference point 1312 of the face 1310 in real space (XR i k , YR i k). , ZR i k ).
  • XR i k represents the x coordinate of the i th reference point of the k th face
  • YR i k represents the y coordinate of the i th reference point of the k th face
  • ZR i k is the z coordinate of the i th reference point of the k th face Indicates.
  • the terminal may calculate the z-axis distance between the faces by using the z coordinate of the face 1300 in the photographing area.
  • the process of obtaining the 3D z coordinates from the 2D rectangular coordinates may be performed as follows.
  • the terminal may perform preprocessing to generate a model required to determine the z coordinate.
  • the preprocessing may include collecting a 2D reference point and 3D position training data and constructing the model from the 3D training data.
  • a procedure of determining a z coordinate by the terminal using the model is as follows. First, the terminal recognizes a face through a camera. Secondly, the terminal finds two-dimensional rectangular coordinates of the reference point of the recognized face. Third, the terminal inputs the two-dimensional rectangular coordinates in the model. Fourth, the terminal can obtain a z coordinate for the reference point from the model.
  • FIG. 14 is a diagram illustrating a case where a terminal with a camera according to the present disclosure recognizes an unknown face in a photographing area.
  • FIG. 14 illustrates a current photographing area of the terminal. Faces recognized by the terminal with respect to the photographing area are displayed as rectangles 1420, 1422, and 1424 in the right image.
  • the terminal calculates a z-axis distance for the recognized faces in the photographing area.
  • the x-axis spacing on the two-dimensional plane between the first face 1420 and the second face 1422 is similar to the x-axis spacing on the two-dimensional plane between the first face 1420 and the third face 1424.
  • the third face 1424 is far from the first face 1420 in the three-dimensional space.
  • the distance on the three-dimensional space may be determined through the z-axis distance on the x-axis 1400. That is, the z-axis distance 1404 between the first face 1420 and the third face 1424 is a z-axis distance 1402 between the first face 1400 and the second face 1402. Has a relatively large value.
  • the terminal may determine the third face 1424 as a unknown face.
  • the terminal may output an instruction signal 1410 to move the photographing area to the left, for example, to remove the unknown face 1424 located on the left side of the photographing area from the photographing area.
  • 15 is another diagram illustrating a case in which a terminal with a camera according to the present disclosure recognizes an unknown face in a photographing area.
  • FIG. 15 illustrates a current photographing area of the terminal. Faces recognized by the terminal with respect to the photographing area are displayed as rectangles 1520, 1522, 1524, and 1526 in the right image.
  • the terminal calculates an x-axis interval for the recognized faces in the photographing area.
  • the x-axis spacing 1502 on the two-dimensional plane between the first face 1520 and the second face 1522 is the x-axis on the two-dimensional plane between the second face 1520 and the third face 1524. It has a value similar to the interval 1504. However, it can be seen that the x-axis spacing 1500 of the first face 1520 and the fourth face 1526 is relatively large.
  • the terminal may determine that the fourth face 1526 is an unknown face. Accordingly, the terminal may output an instruction signal 1510 to rotate the photographing area to the right, for example, to remove the unknown face 1526 located on the right side of the photographing area from the photographing area.
  • FIG. 16 is a diagram illustrating another example in which a camera-equipped terminal recognizes an unknown face in a photographing area.
  • the terminal may cluster the recognized reference points inside the face based on the proximity of the position on the two-dimensional plane, and may determine that the face inside the cluster having the small number of reference points is an unknown face.
  • the terminal may detect a reference point of the recognized face.
  • FIG. 16 (a) illustrates a process of determining a rectangle surrounding a face by a camera of the terminal recognizing a reference point. That is, the terminal may determine the rectangle surrounding the face by recognizing the reference point in the order of 1600, 1602, 1604.
  • the terminal may designate an area in which reference points are collected as a cluster.
  • FIG. 16B illustrates clusters 1610, 1612, 1614, and 1616 that are sets of reference points of a face recognized by the terminal in the photographing area.
  • the terminal may merge clusters located close to each other on a two-dimensional plane into one cluster.
  • FIG. 16C illustrates the clusters 1610, 1612, and 1614 merged into one cluster 1620. In this case, since the cluster 1616 is not located close to each other, the cluster 1616 is located alone as a new cluster 1622 without merging.
  • the terminal may determine that the face 1636 included in the cluster 1622 including the small number of reference points among the clusters 1620 and 1622 is an unknown face.
  • 16 (d) shows an example in which 1636 of the recognized faces 1630, 1632, 1634, and 1636 are determined as an unknown face.
  • FIG. 17 is a diagram illustrating a case where a terminal with a camera according to the present disclosure recognizes an unknown face in a shooting area and applies the picture in wide shooting.
  • the image 1700 illustrates a case where a large number of people are taken in one picture through wide selfie shooting.
  • the face 1712 located on the upper right side of the image 1710 generated through the wide selfie imaging may be determined as the unknown face of the present disclosure.
  • the face 1712 may be determined as an unknown face because the face having the largest z-axis distance is used.
  • the terminal may automatically crop the unknown face 1712 through a post-processing process for the image 1710. Accordingly, the terminal can generate a new wide selfie photo 1720 that does not include an unknown face.
  • FIG. 18 is a diagram illustrating a process of confirming a face cut in a photographing area and outputting a photographing area change instruction signal by a terminal with a camera according to the present disclosure.
  • the camera of the terminal can be driven by a camera application, for example.
  • the terminal performs face recognition on a subject in the photographing area of the camera (1800).
  • the terminal determines a rectangular area surrounding each of the recognized faces (1805).
  • the quadrangle may be determined to include not only a face but also a buffer area for enclosing an area such as hair or ears.
  • the terminal checks whether a rectangle corresponding to the face is completely included in the photographing area by checking whether the rectangle is included in the photographing area. For example, the terminal may determine whether there is a face that is cut off based on a ratio of a rectangle corresponding to the recognized face in the photographing area. That is, when only a portion below a critical ratio (eg, 0.95) of a specific rectangle is included in the photographing area, the terminal may identify that the face corresponding to the specific rectangle is a cut face.
  • a critical ratio eg, 0.95
  • the terminal determines that the photographing area needs to be changed and determines a signal indicating the change of the photographing area. For example, when the terminal determines that there is a face cut off at the left side of the current shooting area, the terminal needs to extend the shooting area to the left, and thus, the terminal may indicate 'rotate left' or 'move left'. A signal of a visual signal, a sound signal, or a vibration signal). An example in which the terminal determines the indication signal will be described in more detail with reference to FIG. 19.
  • the terminal may output the determined signal (1820).
  • the terminal may simultaneously output an indication signal having the same meaning in two or more formats.
  • the terminal may further perform an operation of checking whether the photographing area is changed by the user after outputting the photographing area change instruction signal (1825).
  • the terminal may perform the operations 1810 to 1820 again, thereby supporting the improved selfie.
  • FIG. 19 is a diagram illustrating a case where a terminal with a camera according to the present disclosure checks a face cut in a shooting area and determines a shooting area change instruction signal.
  • the terminal may selectively perform the following operations.
  • the terminal may check whether a cut face is included (1900).
  • the terminal may determine not to output the indication signal (1915).
  • the terminal may check whether there is a gap available in a direction opposite to the direction in which the rectangle of the cut face is located (1905).
  • the terminal may output a photographing area change instruction signal for completely including a rectangle corresponding to the cut face in the photographing area. For example, the terminal may determine to output an indication signal such as “rotate to the left” (when there is a cut face on the left side of the photographing area) (1920).
  • the terminal may check whether the terminal is currently placed in the vertical direction (1910).
  • the terminal may output a signal instructing the terminal to be placed in the horizontal direction so as to further secure free space on the left and right sides.
  • the terminal may determine to output an indication signal such as "rotate 90 degrees (horizontal)" (1925).
  • the terminal When the terminal is not currently placed in the vertical direction, the terminal can no longer secure the free space on the side and the right, and thus, may determine to output a signal such as "zoom out” or "move back”. (1930).
  • FIG. 20 is a diagram for explaining a method of checking a face cut in a photographing area by a terminal with a camera according to the present disclosure using an actual photograph as an example.
  • the terminal recognizes four faces in the photographing area and determines four quadrangles corresponding to the faces.
  • the leftmost quadrangle 2000 of the four quadrangles is not completely included in the photographing area.
  • the terminal may identify that the face corresponding to the 'not complete' rectangle 2000 is a 'cut face'. Accordingly, the terminal may determine a signal output indicating a change of the photographing area in order to completely include a face corresponding to the cut face in the photographing area.
  • the terminal recognizes four faces in the photographing area and determines four quadrangles corresponding to the faces. A portion of the rightmost quadrangle 2010 among the four quadrangles is not included in the photographing area.
  • the terminal may identify that the face corresponding to the rectangle 2010 that does not include a portion is a 'cut face'. In this case, the terminal determines that there is a free space 2015 in a direction opposite to the direction in which the cut face 2010 is positioned (ie, the right side) in the photographing area (ie, the left side), and the cut face is located in the terminal.
  • an output of an indication signal such as 'turn to right' or 'move to right' may be determined.
  • FIG. 21 illustrates an exemplary method of sequentially performing three cases in which a camera-equipped terminal according to the present disclosure determines that a photographing area needs to be changed.
  • the camera of the terminal can be driven by a camera application, for example.
  • the terminal performs face recognition on the subject in the photographing area of the camera (2100).
  • the terminal uses the information about the recognized face to determine whether there is a cut face in the photographing area (2105), an operation of determining whether an unknown face is in the photographing area (2115), and misses the photographing area. At least one of the operations 2120 of determining whether a face is present may be sequentially performed. However, the terminal is not necessarily determined according to the order illustrated in FIG. 21 but may be determined by other orders. When the terminal determines that there is the cut face, the unknown face, or the missing face, the terminal may determine a signal indicating change of the photographing area.
  • the terminal may output an indication signal determined based on at least one of the determinations 2105, 2115, and 2120 (2110).
  • the terminal may further perform an operation of checking whether a photographing area is changed by a user after outputting the photographing area change instruction signal (2125).
  • the terminal may support to take a further improved selfie by performing at least one of the operations 2100 to 2120 again.
  • FIG. 22 illustrates an example in which the terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • the terminal may output an indication signal for disposing the faces 2200 and 2202 at the center of the photographing area.
  • the terminal may output a signal 2210 indicating 'rotate to the left' to extend the photographing area to the right.
  • FIG. 23 illustrates another example in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • the face quadrangle 2305 located at the far left and the face quadrangle 2300 positioned at the top of the faces recognized in the photographing area illustrated in FIG. 23 are in contact with an edge (that is, a border) portion of the photographing area.
  • the terminal may determine that the rectangles 2305 and 2300 are not intact and included in the photographing area, and may identify the rectangles 2305 and 2300 as the cut face.
  • the terminal may output an indication signal for the quadrangle corresponding to the cut faces 2305 and 2300 to be completely included in the photographing area. For example, the terminal may output signals (2310 and 2315) indicating 'rotate left' and 'rotate up' to extend the photographing area to the left and up.
  • FIG. 24 illustrates another example in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • the terminal may identify the face 2406 on the left having a large z-axis distance as an unknown face.
  • the terminal may output an indication signal for removing the unknown face 2406 from the photographing area.
  • the terminal may output a signal 2420 indicating '90 degree rotation (vertical) 'in order to change the current horizontal composition of the photographing area into the vertical composition of the photographing area. have.
  • FIG. 25 illustrates another example in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • the terminal may identify the face 2504 on the left having a large z-axis distance 2515 as an unknown face.
  • the terminal may output an instruction signal for removing the unknown face 2504 from the photographing area.
  • the terminal may output a signal 2520 indicating 'rotate left' to extend the photographing area to the right in order to remove the unknown face located on the left side of the current photographing area from the photographing area. .
  • FIG. 26 illustrates another example in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • Three recognized faces 2600, 2602, 2604 are located on the x-axis 2610 within the imaging area illustrated in FIG. 26.
  • the face 2604 located on the right side of the recognized faces has an x-axis spacing 2615 of a large value (eg, above a threshold) for the centered face 2602.
  • the terminal may identify the right face 2604 having a large x-axis interval 2615 as a unknown face.
  • the terminal may output an instruction signal for removing the unknown face 2604 from the photographing area.
  • the terminal changes the photographing area of the current horizontal composition to the photographing area of the vertical composition by '90 degrees.
  • a signal 2620 indicating 'rotation (vertical)' may be output.
  • FIG. 27 illustrates another example in which a terminal with a camera according to the present disclosure outputs a photographing area change indication signal to an exemplary photograph.
  • Three recognized faces 2700, 2702, and 2704 are disposed on the x-axis 2710 within the imaging area illustrated in FIG. 27.
  • the face 2704 located on the right side of the recognized faces has an x-axis interval 2715 of a large value (eg, above a threshold) for the centered face 2702.
  • the terminal may identify the right face 2704 having a large x-axis interval 2715 as an unknown face.
  • the terminal may output an instruction signal for removing the unknown face 2704 from the photographing area.
  • the terminal may output a signal 2720 indicating 'rotate to the right' to extend the photographing area to the left to remove the unknown face located on the right side of the current photographing area from the photographing area. .
  • FIG. 28 is a diagram schematically illustrating a configuration of a terminal device according to the present disclosure.
  • the terminal 2800 may include a controller 2810 and a camera 2830.
  • the controller 2810 can control the operation (s) of the method described in this disclosure.
  • the camera 2830 may perform operations such as photographing, face recognition, or calculating three-dimensional z-axis coordinates under the control of the controller 2810.
  • the terminal 2800 may further include at least one output unit for outputting at least one indication signal illustrated in the present disclosure.
  • the output unit may be a display 2820 for outputting an image signal, a speaker 2840 for outputting sound, a flash light 2850 for outputting light, or at least one vibrator 2870 for generating vibration.
  • the terminal 2800 may include one vibrator 2870 at each of at least two ends of four ends of the housing.
  • the terminal 2820 may further include a transceiver 2860 for communicating with a base station or another terminal of a network.
  • the photographing region example diagram illustrated in FIGS. 2 to 28, the flow chart of the support method, the example diagram of the indication signal, and the configuration diagram of the terminal are not intended to limit the scope of the present disclosure. That is, all of the components or steps of the operations described in FIGS. 2 to 28 are not to be interpreted as essential components for the implementation of the present disclosure, and a range that does not impair the essence of the present disclosure even if only a few components are included. It can be implemented within.
  • the operations described above can be realized by providing a memory device storing the corresponding program code to any component in the terminal device. That is, the controller of the terminal device can execute the above-described operations by reading and executing the program code stored in the memory device by the processor or the central processing unit (CPU).
  • the controller of the terminal device can execute the above-described operations by reading and executing the program code stored in the memory device by the processor or the central processing unit (CPU).
  • Various components, modules, etc. of the terminal device described herein may be hardware circuits, for example, complementary metal oxide semiconductor based logic circuits, firmware, software, software) and / or hardware circuitry such as a combination of hardware and firmware and / or software embedded in a machine readable medium.
  • various electrical structures and methods may be implemented using transistors, logic gates, and electrical circuits such as application specific semiconductors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서, 카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작; 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법을 제공한다.

Description

카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
본 개시는 카메라를 구비하는 장치에서의 사진 촬영 지원 기법에 관한 것으로써, 개선된 셀피(selfie) 또는 스냅샷을 촬영하도록 큐(cue)를 제공하는 지원 기법에 관한 것이다.
최근 스마트폰 및 태블릿과 같이 디지털카메라가 구비된 사용자 단말이 널리 사용됨에 따라서, 카메라 구비된 단말을 이용하여 사용자가 자신의 사진을 찍는 일(즉, 셀피)이 일상화되고 있다.
도 1은 사용자가 셀피의 형식으로 촬영한 사진의 일 예이다.
도 1을 참고하면, 프레임(frame) 내에 피사체(subject)에 해당하는 사람의 얼굴의 전부 또는 일부가 포함된 형태로 사진이 촬영되었음을 알 수 있다.
일반적인 사진 촬영에 있어서, 사용자는 뷰파인더를 통해 피사체를 확인하고 사진을 촬영하므로, 피사체가 프레임 내에 적절한 위치에 배치되도록 사진을 촬영 할 수 있다. 한편, 셀피(selfie)는 사용자가 카메라 구비 단말의 렌즈를 자신을 향하게 한 상태에서 촬영 버튼을 누름으로써 촬영된다. 즉, 셀피의 경우에 있어서, 사용자는 뷰파인더(viewfinder)를 통해, 피사체를 적절히 확인하지 못한 상태에서 사진을 촬영하게 된다. 따라서, 셀피는 프레임 내에 피사체의 전부 또는 일부가 포함되지 않거나 피사체가 적절하지 못한 위치에 배치되는 등의 불완전한 형태로 촬영되는 경우가 발생하게 된다.
본 개시는 한번의 클릭(또는 버튼 입력)만으로 원하는 피사체가 포함된 셀피 또는 스냅샷을 촬영할 수 있게 하는 기법을 제공한다.
또한, 본 개시는 카메라 구비 단말을 이용하여 셀피 또는 스냅샷을 촬영함에 있어서 촬영 영역 내에 피사체의 전부 또는 일부가 포함되지 않거나 피사체가 부적절한 위치에 배치되는 결과를 미리 예방할 수 있는 기법을 제공한다.
또한, 본 개시는 촬영 영역 내에 모르는 사람이 포함되는 사진이 촬영 되는 결과를 미리 방지할 수 있는 기법을 제공한다.
본 개시는 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서, 카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작; 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법을 제안한다.
또한 본 개시는 사진 촬영을 지원하는 카메라 구비 장치에 있어서, 촬영 영역 내에서 피사체의 얼굴을 인식하는 카메라; 및 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하고, 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호 출력을 제어하는 제어부를 포함하는 장치를 제안한다.
본 개시에 따르면, 사용자는 용이하게 셀피를 촬영할 수 있다. 또한, 단 한번의 클릭(또는 버튼 입력)만으로 피사체가 촬영 영역 내의 적절한 위치에 배치되는 사진을 촬영할 수 있다.
본 개시에 따르면 사용자가 전문가 인지 초보자인지 여부에 관계 없이 누구나 피사체를 포함하는 셀피를 완벽하게 촬영할 수 있다.
또한, 본 개시에 따르면 사용자는 한번의 클릭만으로 원하지 않는 피사체(예를 들어, 모르는 사람)를 제외시킨 사진을 찍을 수도 있다.
도 1은 사용자가 셀피의 형식으로 촬영한 사진의 일 예시도;
도 2는 본 개시에 따른 카메라 구비 단말의 얼굴 인식 과정을 예시하는 도면;
도 3은 본 개시에 따른 카메라 구비 단말이 얼굴 인식에 기반하여 바람직한 셀피 촬영을 지원하는 일 방법을 예시하는 도면;
도 4는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 디스플레이를 통해서 출력하는 예시도;
도 5는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 LED 플래쉬 라이트를 통해 출력하는 예시도;
도 6은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 소리 신호를 스피커를 통해 출력하는 예시도;
도 7은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 진동 신호를 바이브레이터를 통해 출력하는 예시도;
도 8은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 9는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면;
도 10은 본 개시에 따른 카메라 구비 단말이 누락된 얼굴을 확인하고 단말의 줌 기능을 이용하여 셀피를 촬영하는 방안을 예시하는 도면;
도 11은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 12는 본 개시에 따른 카메라 구비 단말이 z-거리 및 z-간격을 계산하여 촬영 영역 내에 위치하는 모르는 얼굴의 후보를 결정하는 과정을 예시하는 도면;
도 13은 본 개시에 따른 카메라 구비 단말이 촬영 영역 내의 인식된 얼굴의 z-축 거리를 획득하는 개념을 예시하는 도면;
도 14는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 도면;
도 15는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 다른 도면;
도 16은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 또 다른 도면;
도 17는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하고, 와이드 촬영에서 적용하는 경우를 예시하는 도면;
도 18는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면;
도 19는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 결정하는 경우를 예시하는 도면;
도 20은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면;
도 21는 본 개시에 따른 카메라 구비 단말이 촬영 영역의 변경이 필요함을 판단하는 3가지 경우를 순차적으로 수행하는 예시적 방법의 예시도;
도 22은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 예시도;
도 23은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 24는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 25는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 26는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 27는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예시도;
도 28은 본 개시의 따른 단말 장치의 구성을 개략적으로 설명하는 도면이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다.
본 개시에서 '카메라 구비 단말(user equipment equipped with a camera)'은 디지털카메라를 구비하는 모든 종류의 장치(apparatus) 즉, '카메라 구비 장치'를 의미한다. 예를 들어, 상기 단말은 스마트폰, 태블릿, 컴팩트 카메라와 같은 장치가 될 수 있다. 상기 단말은 UE, 이동국(Mobile Station; MS), 이동장비(Mobile Equipment; ME), 디바이스(device), 터미널(terminal) 등으로 지칭될 수도 있다.
본 개시에서 촬영 영역(a range of a picture to be taken)이란 카메라 구비 단말이 촬영을 하려고 하는 대상 영역을 의미한다. 상기 촬영 영역에 대해 사용자가 촬영(shooting) 버튼을 누름으로써, 상기 촬영 영역에 대한 사진이 촬영될 수 있다. 상기 촬영 영역은 프레임(frame)이라는 용어로 대체될 수도 있을 것이다.
본 개시에서 누락된 얼굴(missed face)는 촬영 영역에 포함될 것이 기대되지만 포함되지 않은 얼굴을 의미한다.
본 개시에서 모르는 얼굴(unknown face)이란 사진을 촬영하는 사용자가 모르는 사람의 얼굴을 의미한다.
본 개시에서 잘린 얼굴(cut face)는 촬영 영역에 완전한 얼굴이 포함되지 못하고 얼굴의 일부분만이 포함된 얼굴을 의미한다.
본 개시는 카메라 구비 단말이 촬영 영역에서 피사체의 얼굴 인식(또는 안면 인식)을 하고, 상기 인식된 얼굴의 정보를 이용하여, 촬영 영역의 변경을 지시하는 신호를 보냄으로써, 사용자가 상기 카메라의 촬영 영역을 변경할 수 있도록 하는 기법을 제안한다.
도 2는 본 개시에 따른 카메라 구비 단말의 얼굴 인식 과정을 예시하는 도면이다.
얼굴 인식(face recognition)은 사진 속의 사람을 인식하는 기술이다. 도 2(a)와 도 2(b)는 카메라 구비 단말이 카메라 촬영 영역내의 피사체(즉, 인물)의 얼굴 인식 동작을 도면으로 예시하고 있다. 도 2(a) 또는 도 2(b)에서 인물의 얼굴을 둘러싸는 사각형들(예를 들어, 200, 202)는 카메라 구비 단말이 촬영 영역 내에서 인물의 얼굴을 인식한 것을 나타내고 있다. 인물의 얼굴은 모든 얼굴 각도(facial angle)에서 인식될 수 있다. 상기 촬영 영역의 각 인물(즉, 얼굴)은 눈, 입, 코, 광대뼈 또는 턱의 상대적인 위치나 형태를 이용함으로써 고유하게 식별될 수 있다. 도 2(c)는 하나의 인물이 다양한 얼굴 각도들에서도 식별될 수 있음을 나타내고 있다. 도 2(c)에서 얼굴을 둘러싼 사각형 내의 십자형 포인트(cross shaped point)(210, 212, 214)는 얼굴 인식 기술을 통해 인식된 눈 및 입의 위치들을 나타낸다. 이러한 얼굴 인식 기술은 본 개시에서 피사체가 모두 적절히 포함된 사진을 찍기 위해 요구되는 동작들을 결정하는데 이용될 수 있다. 본 개시의 본질을 흐릴 수 있으므로 얼굴 인식 기술의 구체적인 구현의 자세한 설명은 생략된다.
도 3은 본 개시에 따른 카메라 구비 단말이 얼굴 인식에 기반하여 바람직한 셀피 촬영을 지원하는 일 방법을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(300). 상기 피사체는 예를 들어, 사람이 될 수 있다.
상기 단말은 상기 얼굴 인식 동작(300)의 결과에 근거하여, 현재의 촬영 영역이 변경될 필요가 있는지 판단하고, 필요하다면 촬영 영역 변경을 지시하는 신호를 결정할 수 있다(305). 예를 들어, 상기 단말은 상기 촬영 영역 내에 상기 인식된 완전한(complete) 얼굴이 포함되어 있는지 판단함으로써, 촬영 영역의 변경이 필요하다고 판단할 수 있다. 이렇게 함으로써, 상기 단말은 얼굴이 잘린(cut off) 사진을 방지할 수 있다. 다른 예로써, 상기 단말은 이전 촬영 영역에서 인식된 얼굴에 대한 정보와 현재 촬영 영역에서 인식된 얼굴에 대한 정보를 비교함으로써, 촬영 영역의 변경이 필요하다고 판단할 수 있다. 이렇게 함으로써, 상기 단말은 사진에 누락된 얼굴을 포함시킬수 있게 된다. 다른 예로써, 상기 단말은 상기 촬영 영역 내에 포함되는 얼굴들 사이의 3차원 상 거리의 격차를 산출함으로써, 촬영 영역의 변경이 필요하다고 판단할 수도 있다. 이렇게 함으로서, 상기 단말은 모르는 얼굴(unknown face; 셀피를 촬영하는 사용자가 알지 못하는 타인의 얼굴)을 촬영 영역에서 제거하도록 할 수 있다.
상기 단말은 상기 판단(305)에 근거하여 촬영 영역의 변경을 지시하는 신호를 출력할 수 있다(310). 본 개시에서 상기 '신호'는 '큐(cue)'라는 용어로 대체될 수 있다. 상기 촬영 영역의 변경을 지시하는 신호는 상기 단말이 출력할 수 있는 다양한 형태로 표현될 수 있다. 예를 들어, 상기 지시 신호는 디스플레이 또는 LED(light emitting diode) 플래쉬 라이트 등을 통해 출력되는 시각적(visual) 신호, 스피커를 통해 출력되는 소리(sound) 신호, 또는 바이브레이터(vibrator)를 통해 출력되는 진동(vibration) 신호의 형태를 가질 수 있다.
추가적으로, 상기 촬영 영역 변경 지시 신호에 의해서 (사용자에 의한) 촬영 영역의 변경이 발생한 경우, 상기 단말은 상기 얼굴 인식 동작(300), 촬영 영역 변경 필요여부 판단 동작(305) 및 촬영 영역 변경 지시 신호 출력 동작(310) 중 적어도 하나를 다시 수행하여 보다 바람직한 셀피 촬영을 지원할 수도 있을 것이다.
도 4는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 디스플레이를 통해서 출력하는 예시도이다.
즉, 본 개시에 따른 카메라 구비 단말은 도 4에 예시되는 이미지 또는 아이콘 형태의 시각적 신호를 디스플레이부를 통해 출력할 수 있다. 상기 시각적 신호를 확인하는 사용자는 상기 시각적 신호에 상응하는 동작을 수행함으로써, 상기 단말에 구비된 카메라가 주시하는 방향을 조정하게 되고, 결과적으로 상기 카메라의 촬영 영역을 변경할 수 있게 된다.
도 4(a)는 단말의 좌단부(left end)을 사용자의 반대편으로 돌리는 행동 즉, '좌측으로 회전(turn left)'을 지시하는 예시적 신호이다.
도 4(b)는 단말의 우단부(right end)를 사용자의 반대편으로 돌리는 행동 즉, '우측으로 회전(turn right)'을 지시하는 예시적 신호이다.
도 4(c)는 단말의 상단부(top end)를 사용자의 반대편으로 돌리는 행동 즉, '위로 회전(turn up)'을 지시하는 예시적 신호이다.
도 4(d)는 단말의 하단부(bottom end)를 사용자의 반대편으로 돌리는 행동 즉, '아래로 회전(turn down)'을 지시하는 예시적 신호이다.
도 4(e)는 수직 방향의 단말을 수평 방향으로 돌리는 행동 즉, '90도 회전(수평)(rotate 90-horizontal)' 또는 '플립(flip)'을 지시하는 예시적 신호이다.
도 4(f)는 수평 방향의 단말을 수직 방향으로 돌리는 행동 즉, '90도 회전(수직)(rotate 90-vertical)' 또는 '플립'을 지시하는 예시적 신호이다.
도 4(g)는 단말을 (회전시키지 않고) 우측으로 이동시키는 행동 즉, '우측으로 이동(move right)'을 지시하는 예시적 신호이다.
도 4(h)는 단말을 (회전시키지 않고) 좌측으로 이동시키는 행동 즉, '좌측으로 이동(move left)'을 지시하는 예시적 신호이다.
도 5는 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 시각적 신호를 LED 플래쉬 라이트를 통해 출력하는 예시도이다.
도 5(a)~5(j)는 카메라 구비 단말이 카메라 렌즈의 옆에 2개의 LED 플래쉬 라이트(500, 510)을 구비하고 있는 경우를 예시한다.
도 5(a)~5(g)는 LED 플래쉬 라이트의 색(color)에 근거하여 촬영 영역 변경을 지시하는 신호의 예시들이고, 도 5(h)~5(j)는 상기 LED 플래쉬 라이트의 깜박거리는(blink) 비율에 따라서 촬영 영역 변경을 지시하는 신호의 예시들이다.
도 5(a)는 LED 플래쉬 라이트 500, 510이 모두 꺼져 있는 상태로써, 단말이 사용자에게 신호를 출력하지 않는 상태를 예시한다.
도 5(b)는 2개의 LED 플래쉬 라이트가 상하로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '아래로 이동(move down)'을 지시하는 예시적 신호이다. 도 5(c)는 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(d)는 2개의 LED 플래쉬 라이트가 좌우로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '좌측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '좌측으로 이동(move left)'을 지시하는 예시적 신호이다. 도 5(e)는 '좌측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(f)는 2개의 LED 플래쉬 라이트가 좌우로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '우측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 빨간색으로 켬으로써, '우측으로 이동(move right)'을 지시하는 예시적 신호이다. 도 5(g)는 '우측' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 녹색으로 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 이루어졌음을 알리는 예시적 신호이다.
도 5(h)는 2개의 LED 플래쉬 라이트가 상하로 배치되어 있을 때, 단말이 이동해야 하는 (예를 들어) '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 깜박거림으로써, '아래로 이동(move down)'을 지시하는 예시적 신호이다. 상기 도 5(h)의 지시 신호에 의한 사용자의 단말 이동 작업이 바람직한 방향으로 이루어지는 경우, 상기 단말은 상기 '아래' 방향에 위치한 LED 플래쉬 라이트의 깜박거리는 비율(깜박거리는 속도)을 증가시키거나 감소시킴으로써 바람직한 변화가 이루어짐을 나타낼 수 있다. 예를 들어, 깜박거리는 비율을 감소시킴으로써 바람직한 변화가 이루어짐을 나타내는 경우라면, 도 5(i)에서와 같이 도 5(h)에서 상기 깜박거리던 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 완전히 끔으로써, 사용자에 의한 적절한 촬영 영역 변경이 완료되었음을 알릴 수 있다. 예를 들어, 깜박거리는 비율을 증가시킴으로써 바람직한 변화가 이루어짐을 나타내는 경우라면, 도 5(j)에서와 같이 도 5(h)에서 상기 깜박거리던 '아래' 방향에 위치한 LED 플래쉬 라이트를 (예를 들어) 완전히 켬으로써, 사용자에 의한 적절한 촬영 영역 변경이 완료되었음을 알릴 수도 있다.
도 6은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 소리 신호를 스피커를 통해 출력하는 예시도이다.
일 예로써, 상기 단말은 스피커(600)를 통해 "Turn left(좌측으로 회전)", "Turn right(우측으로 회전)", "Turn up(위로 회전)", "Turn down(아래로 회전)", "Move left(좌측으로 이동)", "Move right(우측으로 이동)", "Move up(위로 이동)", "Move down(아래로 이동)", "Move backward(뒤로 이동)", "Move forward(앞으로 이동)", "Rotate 90 degree(90도 회전)", "Zoom in(줌 인)", 또는 "Zoom out(줌 아웃)" 등의 음성(voice) 신호를 출력할 수 있다. 다른 예로써, 상기 단말은 비프음(beep sound)과 같은 소리 신호를 사용자에게 출력할 수도 있을 것이다. 이때, 상기 단말은 비프음의 회수를 달리함으로써 지시할 동작의 내용을 구분할 수 있다.
도 7은 본 개시에 따른 카메라 구비 단말이 촬영 영역 변경을 지시하는 진동 신호를 바이브레이터를 통해 출력하는 예시도이다.
본 개시에 따른 단말은 하우징의 네 단부에 각각 바이브레이터를 구비함으로써 상기 네 단부는 개별적으로 진동을 발생시킬 수 있다. 즉, 상기 단말은 국지적(localized) 진동을 통해 사용자에게 촬영 영역 변경을 위한 행동을 지시할 수 있다.
도 7(a)는 단말이 우단부(right end)의 바이브레이터를 구동시켜 상기 우단부에서 진동 신호를 발생시킴으로써, 상기 단말의 우단부를 사용자의 반대편으로 돌리는 행동 즉, '우측으로 회전(turn right)'을 지시하는 진동 신호를 예시한다.
도 7(b)는 단말이 좌단부(left end)의 바이브레이터를 구동시켜 상기 좌단부에서 진동 신호를 발생시킴으로써, 상기 단말의 좌단부를 사용자의 반대편으로 돌리는 행동 즉, '좌측으로 회전(turn left)'을 지시하는 진동 신호를 예시한다.
도 7(c)는 단말이 하단부(bottom end)의 바이브레이터를 구동시켜 상기 하단부에서 진동 신호를 발생시킴으로써, 상기 단말의 하단부를 사용자의 반대편으로 돌리는 행동 즉, '아래로 회전(turn down)'을 지시하는 진동 신호를 예시한다.
도 7(d), 7(e)는 단말이 네 개의 단부들 중 인접하는 두 개의 단부들에서 바이브레이터를 동시에 구동시켜 진동 신호를 발생시킴으로써, 90도 회전을 지시하는 진동 신호를 예시한다. 예를 들어, 도 7(d)는 하단부(bottom end) 및 우단부에서 동시에 진동 신호를 출력함으로써, 수직 방향의 단말을 수평 방향으로 돌리는 행동 즉, '90도 회전(수평)(rotate 90-horizontal)'을 지시하는 진동 신호를 예시한다. 예를 들어, 도 7(e)는 하단부 및 좌단부에서 동시에 진동 신호를 출력함으로써, 수평 방향의 단말을 수직 방향으로 돌리는 행동 즉, '90도 회전(수직)(rotate 90-vertical)'을 지시하는 진동 신호를 예시한다.
이하에서는, 본 개시에 따른 카메라 구비 단말의 지원 방법에서 촬영 영역의 변경이 필요하다고 판단하는 동작(305)에 대하여 보다 상세히 검토한다.
도 8은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(800).
상기 단말은 상기 인식된 모든 얼굴에 대한 정보를 계산한다(805). 상기 얼굴에 대한 정보란 예를 들어, 상기 얼굴 주변에 위치하는 인식된 얼굴의 개수일 수 있으며, 래디얼 그래프(radial graph)의 형식을 가질 수 있다. 상기 래디얼 그래프는 고유하게 식별된 각 얼굴마다 계산될 수 있다. 상기 래디얼 그래프에 대해서는 아래 도 9에서 보다 자세히 설명될 것이다.
상기 단말은 상기 인식된 얼굴에 대한 정보에 근거하여 촬영 영역 내에 누락된(missing) 얼굴이 존재하는지 확인할 수 있다(810). 누락된 얼굴이 존재하는지 여부는 상기 단말이 저장한 이전 촬영 영역 내의 얼굴에 대한 정보와의 비교를 통해 수행될 수 있다. 즉, 상기 단말은 이전 촬영 영역에서의 인식된 얼굴에 대한 정보(예를 들어, 래디얼 그래프)와 현재의 촬영 영역에서의 인식된 얼굴에 대한 정보를 비교하고, 상기 두 정보가 일치하지 않을 경우에 현재 촬영 영역에 누락된 얼굴이 존재한다고 판단할 수 있다. 따라서, 상기 단말이 처음으로 얼굴 인식을 수행한 경우라면 비교 대상인 촬영 영역이 없으므로 본 동작(810)은 수행되지 않을 수도 있다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(815). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 누락된 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '좌측으로 회전' 또는 '좌측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(820). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다. 예를 들어, 단말의 후면 카메라를 이용하여 셀피를 촬영하는 경우에는 사용자가 디스플레이를 통해 출력되는 시각적 신호를 확인할 수는 없으므로, 사용자의 인식도를 높이기 위해 LED 플래쉬 라이트를 통한 시각적 신호와 스피커를 통한 음성 신호를 동시에 출력할 수도 있을 것이다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(825). 이 경우, 상기 단말은 상기 800 내지 820 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 9는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 누락된 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면이다.
사용자가 단말의 전면에 위치한 카메라 또는 후면에 위치한 카메라를 이용하여 촬영을 할 때, 단말은 얼굴 인식을 수행함으로써 누락된 얼굴이 있음을 알려서 사용자의 카메라 조정을 유도할 수 있다.
상기 단말은 촬영 영역에 포함된 모든 얼굴을 고유하게 인식하고 인식된 얼굴에 대한 정보를 저장할 수 있다. 예를 들어, 상기 단말은 인식된 얼굴 각각에 대해 방사성 방향(radial direction) 숫자를 래디얼 그래프로 계산할 수 있다.
도 9(a)는 촬영 영역의 일부분에서 인식된 3개의 얼굴을 3개의 사각형(900, 902, 904)으로 각각 표시하고 있다.
도 9(b)는 단말이 고유하게 식별된 얼굴(900)에 대한 정보를 계산하는 것을 예시하고 있다. 예를 들어, 상기 단말은 상기 정보로써 상기 얼굴(900)의 주변에서 인식된 다른 얼굴의 개수를 래디얼 그래프(910)의 형식으로 계산할 수 있다. 도 9(b)의 상기 래디얼 그래프(910)는 도 9(a)에서 인식된 상기 얼굴(900)의 10시 방향에 1 개의 인식된 얼굴이 존재하고 2시 방향에 1개의 인식된 얼굴이 존재함을 나타낸다.
도 9(c)는 두 개의 촬영 영역 내에 인식된 얼굴의 정보를 비교함으로써 누락된 얼굴이 존재함을 판단하는 원리를 설명한다.
일 예로써, 우측 이미지(930)가 이전 촬영 영역을 나타내고 좌측 이미지(920)가 현재의 촬영 영역을 나타낸다고 가정한다. 이전 촬영 영역(930)에서 인식된 얼굴(940)의 래디얼 그래프(944)는 9시 방향과 4시 방향에 각각 1 개의 얼굴이 있음을 나타낸다. 현재 촬영 영역(920)에서 인식된 얼굴(940)의 래디얼 그래프(942)는 4시 방향에만 1개의 얼굴이 있음을 나타낸다. 따라서, 상기 단말은 현재 촬영 영역(920)에는 1개의 누락된 얼굴(922)이 있음을 확인할 수 있다.
다른 예로써, 좌측 이미지(920)가 이전 촬영 영역을 나타내고 우측 이미지(930)이 현재의 촬영 영역을 나타낸다고 가정한다. 이전 촬영 영역(920)에서 인식된 얼굴(950)의 래디얼 그래프(952)는 8시 방향과 3시 방향에 각각 1 개의 얼굴이 있음을 나타낸다. 현재 촬영 영역(930)에서 인식된 얼굴(950)의 래디얼 그래프(954)는 8시 방향에만 1개의 얼굴이 있음을 나타낸다. 따라서, 상기 단말은 현재 촬영 영역(930)에는 1개의 누락된 얼굴(932)이 있음을 확인할 수 있다.
따라서, 상기 단말은 상기 누락된 얼굴(922 또는 932)을 포함시키기 위한 촬영 영역의 변경이 필요하다고 판단하고, 상응하는 촬영 영역 변경 지시 신호를 출력할 수 있다.
도 10은 본 개시에 따른 카메라 구비 단말이 누락된 얼굴을 확인하고 단말의 줌 기능을 이용하여 셀피를 촬영하는 방안을 예시하는 도면이다.
제1 촬영 영역(1000)에서 얼굴 인식을 통해 좌측에 누락된 얼굴이 있음을 확인한 단말은 촬영 영역 변경(좌측으로 이동)을 지시하는 제1 신호를 출력할 수 있다. 제2 촬영 영역(1010)은 상기 제1 신호에 상응하여 카메라의 조정이 이루어진 후의 촬영 영역이다. 상기 제2 촬영 영역(1010)에서 얼굴 인식을 통해 우측에 누락된 얼굴이 있음을 확인한 단말은, 이미 좌측에서 누락된 얼굴이 발생할 수 있음을 알기에, 우측으로 이동을 지시하는 신호를 출력하는 대신 줌 아웃(zoom out)을 지시하는 제2 신호를 출력할 수 있다. 예를 들어, 상기 제2 촬영 영역(1010)은 2배의 줌이 적용된 결과이고, 제3 촬영 영역(1020)은 1.5배의 줌이 적용된 결과를 나타낸다. 선택적으로, 상기 단말은 사용자에게 '줌 아웃'을 지시하는 신호를 출력하지 않고 바로 렌즈를 '줌 아웃'하여 촬영 영역을 취할 수도 있을 것이다.
도 11은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(1100).
상기 단말은 상기 인식된 얼굴들 사이의 3차원 상의 거리(즉, z-축 거리)와 2차원 평면 상에서의 거리(즉, x-축 간격)을 계산한다(1105). 상기 단말은 상기 z-축 거리 및 x-축 간격을 이용하여 '모르는 얼굴'이 될 수 있는 후보들을 결정할 수 있다. 선택적으로, 상기 z-축 거리와 x-축 간격을 이용하여 모르는 얼굴의 후보를 결정하는 동작은 도 12에서 예시될 동작들을 포함할 수 있다.
상기 단말은 상기 계산된 z-축 거리와 x-축 간격을 이용하여 촬영 영역 내에 모르는 얼굴이 있는지 확인할 수 있다(1110). 예를 들어, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 z-축 거리가 미리 설정된 임계 값보다 큰 얼굴을 '모르는 얼굴'이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 z-축 거리가 가장 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 x-축 간격이 임계 값보다 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 특정 얼굴(예를 들면, 촬영 영역의 중앙에 가장 근접한 얼굴)로부터의 x-축 간격이 가장 큰 얼굴을 모르는 얼굴이라고 확인할 수 있다. 다른 예로써, 상기 단말은 인식된 얼굴 내부의 기준점(fiducial point)들의 집합인 하나 이상의 클러스터를 정의하고 적은 개수의 기준점을 갖는 클러스터 내부의 얼굴을 모르는 얼굴이라고 확인할 수도 있다. 상기 클러스터를 이용하는 확인 방법은 도 16에서 보다 자세히 설명할 것이다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(1115). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 누락된 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '우측으로 회전' 또는 '우측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다.
지시하는 방향에 대한 이해의 편의를 위해 부연 설명을 하자면, 카메라 촬영 영역에 배치되는 얼굴의 위치는 셀피를 촬영하는 사용자의 입장에서는 반대 방향에 위치하므로, 지시 신호는 상기 사용자의 입장에서 누락된 얼굴의 위치(좌측)의 반대 방향인 '우측으로 회전' 또는 '우측으로 이동'을 지시하게 된다. 본 개시에서, 지시 신호가 지시하는 방향은 이러한 이해에 근거하여 설명될 것이다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(1120). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(1125). 이 경우, 상기 단말은 상기 1110 내지 1120 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 12는 본 개시에 따른 카메라 구비 단말이 z-거리 및 z-간격을 계산하여 촬영 영역 내에 위치하는 모르는 얼굴의 후보를 결정하는 과정을 예시하는 도면이다.
상기 단말이 카메라를 구동하여 얼굴을 인식을 수행하면, 상기 카메라로부터 상기 인식된 얼굴들 사이의 z-축 거리를 획득할 수 있다(1200). 상기 단말이 인식된 얼굴의 z-축 거리를 획득하는 개념은 도 13에서 예로써 설명될 것이다.
상기 단말은 촬영 영역내의 인식된 얼굴의 직교 좌표(rectangular coordinate)를 획득할 수 있다(1205). 상기 단말은 상기 직교 좌표를 이용하여 얼굴들 사이의 x-축 간격을 획득한다(1210). 상기 단말은 상기 촬영 영역 내의 얼굴 들 중 가장 먼(extreme) x-축 간격을 갖는 얼굴을 결정한다(1215).
상기 단말은 상기 획득한 z-축 거리를 크기 순으로 정렬할 수 있다(1225). 상기 단말은 상기 z-축 거리가 가장 큰 얼굴 또는 미리 설정된 임계 값보다 큰 얼굴을 결정한다(1230).
상기 단말은 상기 결정된 가장 먼 x-축 간격의 얼굴, 상기 결정된 가장 큰 z-축 거리의 얼굴 또는 미리 설정된 임계 값보다 큰 z-축 거리의 얼굴을 모르는 얼굴의 후보로 결정할 수 있다(1220).
도 13은 본 개시에 따른 카메라 구비 단말이 촬영 영역 내의 인식된 얼굴의 z-축 거리를 획득하는 개념을 예시하는 도면이다.
촬영 영역 내에서 인식된 얼굴(1300) 내의 하나의 기준점(1302)의 2차원 직교 좌표는 (XImi k, YImi k)로 나타낼 수 있다. 여기서, XImi k 는 k번째 얼굴의 i번째 기준점의 x 좌표를 나타내고, YImi k 는 k번째 얼굴의 i번째 기준점의 y 좌표를 나타낸다. 상기 단말은 상기 얼굴(1300)의 상기 기준점(1302)의 2차원 직교 좌표를 실제 공간에서의 얼굴(1310)의 기준점(1312)의 3차원(3 dimensional) 직교 좌표 (XRi k, YRi k, ZRi k)로 변환할 수 있다. 여기서, XRi k 는 k번째 얼굴의 i번째 기준점의 x 좌표를 나타내고, YRi k 는 k번째 얼굴의 i번째 기준점의 y 좌표를 나타내고, ZRi k 는 k번째 얼굴의 i번째 기준점의 z 좌표를 나타낸다.
상기 단말은 상기 촬영 영역 내의 상기 얼굴(1300)에 대한 z 좌표를 이용함으로써, 얼굴들 사이의 z-축 거리를 계산할 수 있게 된다.
예를 들어, 상기 단말이 2차원 직교 좌표로부터 3차원의 z 좌표를 구하는 과정은 다음과 같이 수행될 수 있다. 우선, 상기 단말은 z 좌표를 결정하는데 필요한 모델을 생성하는 사전 처리를 수행할 수 있다. 상기 사전 처리는 2차원의 기준점과 3차원 위치 트레이닝 데이터를 수집하는 과정과 상기 3차원 트레이닝 데이터로부터 상기 모델을 구축하는 과정을 포함할 수 있다. 이어서, 상기 모델을 이용하여 상기 단말이 z 좌표를 결정하는 절차는 다음과 같다. 첫째로, 상기 단말은 카메라를 통해 얼굴을 인식한다. 둘째로, 상기 단말은 상기 인식된 얼굴의 기준점에 대한 2차원 직교 좌표를 찾는다. 셋째로, 상기 단말은 상기 모델에 상기 2차원 직교 좌표를 입력한다. 넷째로, 상기 단말은 상기 모델로부터 상기 기준점에 대한 z 좌표를 구할 수 있다.
도 14는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 도면이다.
도 14의 좌측 이미지는 단말의 현재 촬영 영역을 예시한다. 상기 촬영 영역에 대해 상기 단말이 인식한 얼굴이 우측 이미지 내에 사각형(1420, 1422, 1424)으로 표시된다.
상기 단말은 상기 촬영 영역 내의 인식된 얼굴들에 대해 z-축 거리를 계산한다. 제1 얼굴(1420)과 제2 얼굴(1422) 사이의 2차원 평면상의 x-축 간격은 상기 제1 얼굴(1420)과 제3 얼굴(1424) 사이의 2차원 평면상의 x-축 간격과 비슷한 값을 갖는다. 그렇지만, 상기 3차원 공간 상에서는 제3 얼굴(1424)이 상기 제1 얼굴(1420)과 멀리 떨어져 있음을 알 수 있다. 3차원 공간 상의 거리는 x-축(1400) 상의 z-축 거리를 통해 판단할 수 있다. 즉, 상기 제1 얼굴(1420)과 상기 제3 얼굴(1424) 사이의 z-축 거리(1404)는 상기 제1 얼굴(1400)과 상기 제2 얼굴(1402) 사이의 z-축 거리(1402)에 비해 상대적으로 큰 값을 갖는다.
상기 제3 얼굴(1424)과 상기 제1 얼굴(1420)이 동일한 z-축(1420) 위에 존재하더라도, 상기 제3 얼굴(1424)이 큰 값의 z-축 거리를 가지면 상기 제3 얼굴(1424)은 상기 제1 얼굴(1420)과 실제 3D 공간에서는 멀리 떨어져 있음을 의미한다. 따라서, 상기 제3 얼굴(1424)은 사진을 촬영하는 사용자(즉, 제1 얼굴(1420)가 모르는 얼굴일 가능성이 높으며, 상기 단말은 상기 제3 얼굴(1424)를 모르는 얼굴로 결정할 수 있다. 이때, 상기 단말은 촬영 영역의 좌측에 위치한 모르는 얼굴(1424)을 촬영 영역에서 제거하기 위해 예를 들어, 상기 촬영 영역을 좌측으로 이동하라는 지시 신호(1410)를 출력할 수 있다.
도 15는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 다른 도면이다.
도 15의 좌측 이미지는 단말의 현재 촬영 영역을 예시한다. 상기 촬영 영역에 대해 상기 단말이 인식한 얼굴이 우측 이미지 내에 사각형(1520, 1522, 1524, 1526)으로 표시된다.
상기 단말은 상기 촬영 영역 내의 인식된 얼굴들에 대해 x-축 간격을 계산한다. 제1 얼굴(1520)과 제2 얼굴(1522) 사이의 2차원 평면상의 x-축 간격(1502)은 상기 제2 얼굴(1520)과 제3 얼굴(1524) 사이의 2차원 평면상의 x-축 간격(1504)과 비슷한 값을 갖는다. 그렇지만, 상기 제1 얼굴(1520)과 제4 얼굴(1526)의 x-축 간격(1500)은 상대적으로 큼을 알 수 있다.
이와 같이, 상기 제4 얼굴(1526)이 상대적으로 큰 x-축 간격을 갖는 경우, 상기 단말은 상기 제4 얼굴(1526)을 모르는 얼굴로 결정할 수 있다. 따라서, 상기 단말은 촬영 영역의 우측에 위치한 모르는 얼굴(1526)를 촬영 영역에서 제거하기 위해 예를 들어, 상기 촬영 영역을 우측으로 회전하라는 지시 신호(1510)를 출력할 수 있다.
도 16은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하는 경우를 예시하는 또 다른 도면이다.
단말은 인식된 얼굴 내부의 기준점들을 2차원 평면 상의 위치의 근접도를 기준으로 클러스터링하고, 적은 개수의 기준점을 갖는 클러스터 내부의 얼굴을 모르는 얼굴로 판단할 수도 있다.
구체적으로, 상기 단말은 인식된 얼굴의 기준점을 감지할 수 있다. 도 16(a)는 상기 단말의 카메라가 기준점을 인식하여 얼굴을 둘러싸는 사각형을 결정하는 과정을 예시하고 있다. 즉, 상기 단말은 1600, 1602, 1604와 같은 순서로 기준점 인식하여 얼굴을 둘러싸는 사각형을 결정할 수 있다.
상기 단말은 기준점들이 모여있는 영역을 클러스터로 지정할 수 있다. 도 16(b)는 상기 단말이 촬영 영역에서 인식한 얼굴의 기준점들의 집합인 클러스터(cluster)들(1610, 1612, 1614, 1616)을 예시하고 있다.
상기 단말은 2차원 평면 상에서 가깝게 위치하는 클러스터들을 하나의 클러스터로 병합(merge)할 수 있다. 도 16(c)는 상기 클러스터 1610, 1612 및 1614가 하나의 클러스터 1620으로 병합된 것을 예시하고 있다. 이때, 상기 클러스터 1616은 가깝게 위치하는 클러스터가 없으므로 병합하지 않고 홀로 새로운 클러스터(1622)로 위치한다.
상기 단말은 상기 클러스터 1620, 1622 중 적은 개수의 기준점을 포함하는 클러스터 1622에 포함되는 얼굴(1636)을 모르는 얼굴로 결정할 수 있다. 도 16(d)는 인식된 얼굴 1630, 1632, 1634, 1636 중 1636을 모르는 얼굴로 결정한 예를 도시한다.
도 17는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 모르는 얼굴을 인식하고, 와이드 촬영에서 적용하는 경우를 예시하는 도면이다.
단말을 이동하면서 촬영하여 하나의 와이드 사진(파노라마 사진과 같은)을 촬영하는 와이드 셀피 촬영의 경우에도 본 개시의 모르는 얼굴 인식 기법이 적용될 수 있다. 이미지(1700)은 와이드 셀피 촬영을 통해 다수의 사람들이 하나의 사진에 촬영되는 경우를 예시하고 있다.
와이드 셀피 촬영을 통해 생성된 이미지(1710)에서 우측 상단에 위치한 얼굴(1712)은 본 개시의 모르는 얼굴로 결정될 수 있다. 예를 들어, 상기 얼굴(1712)은 z-축 거리가 가장 큰 얼굴이어서 모르는 얼굴로 결정될 수 있다. 이때, 상기 단말은 상기 이미지(1710)에 대한 후처리 과정을 통해 상기 모르는 얼굴(1712)을 자동적으로 크랍(crop)할 수 있다. 이로써, 상기 단말은 모르는 얼굴이 포함되지 않은 새로운 와이드 셀피 사진(1720)을 생성할 수 있게 된다.
도 18는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 출력하는 과정을 예시하는 도면이다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(1800).
상기 단말은 상기 인식된 얼굴들 각각을 둘러싸는 사각형 영역을 결정한다(1805). 이때, 상기 사각형은 얼굴뿐만 아니라 모발 또는 귀와 같은 영역을 둘러싸기 위한 버퍼 영역까지 포함하도록 결정될 수 있다.
상기 단말은 얼굴에 해당하는 사각형이 촬영 영역 내에 완전하게 포함되지 않았는지 체크함으로써 잘린 얼굴이 포함되었는지 확인할 수 있다(1810). 예를 들어, 상기 단말은 인식된 얼굴에 해당하는 사각형이 상기 촬영 영역 내에 포함된 비율에 근거하여 잘린 얼굴이 있는지 여부를 판단할 수 있다. 즉, 특정 사각형의 임계 비율(예를 들어, 0.95) 이하의 부분만이 촬영 영역 내에 포함된 경우, 상기 단말은 상기 특정 사각형에 해당하는 얼굴은 잘린 얼굴이라고 확인할 수 있다.
상기 확인 결과에 따라서 상기 단말은 촬영 영역의 변경이 필요하다고 판단하고, 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다(1815). 예를 들어, 상기 단말이 현재 촬영 영역의 좌측에서 잘린 얼굴이 있다고 확인한 경우, 상기 단말은 촬영 영역이 좌측으로 확장될 필요가 있으므로 '좌측으로 회전' 또는 '좌측으로 이동'을 지시하는 다양한 형식(시각적 신호, 소리 신호, 또는 진동 신호)의 신호를 결정할 수 있다. 상기 단말이 상기 지시 신호를 결정하는 예는 도 19에서 보다 자세히 설명할 것이다.
이어서 상기 단말은 상기 결정된 신호를 출력할 수 있다(1820). 선택적으로, 상기 단말은 동일한 의미의 지시 신호를 2 가지 이상의 형식으로 동시에 출력할 수도 있다.
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(1825). 이 경우, 상기 단말은 상기 1810 내지 1820 동작들을 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 19는 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하고 촬영 영역 변경 지시 신호를 결정하는 경우를 예시하는 도면이다.
도 18의 1810 동작이후 상기 단말은 이하의 동작을 선택적으로 수행할 수 있다.
상기 단말은 잘린 얼굴이 포함되었는지 체크할 수 있다(1900).
잘린 얼굴이 포함되지 않았다고 판단되는 경우, 상기 단말은 지시 신호를 출력하지 않을 것으로 결정할 수 있다(1915).
잘린 얼굴이 포함되었다고 판단되는 경우, 상기 단말은 상기 잘린 얼굴의 사각형이 위치한 방향의 반대 방향에 얼굴이 위치하지 않는 여유 공간(gap available)이 있는지 체크할 수 있다(1905).
상기 반대 방향에 여유 공간이 있는 경우, 상기 단말은 상기 잘린 얼굴에 해당하는 사각형을 완전히 촬영 영역에 포함시키기 위한 촬영 영역 변경 지시 신호를 출력할 수 있다. 예로써, 상기 단말은 (촬영 영역의 좌측에 잘린 얼굴이 있을 때) "좌측으로 회전" 과 같은 지시 신호를 출력하도록 결정할 수 있다(1920).
상기 반대 방향에 여유 공간이 없는 경우, 상기 단말은 상기 단말이 현재 수직 방향으로 놓여 있는지 체크할 수 있다(1910).
상기 단말이 현재 수직 방향으로 놓여 있는 경우, 상기 단말은 좌측 및 우측에 여유 공간을 더 확보하도록 상기 단말을 수평 방향으로 놓이도록 지시하는 신호를 출력할 수 있다. 예로써, 상기 단말은 "90도 회전(수평)"과 같은 지시 신호를 출력하도록 결정할 수 있다(1925).
상기 단말이 현재 수직 방향으로 놓여 있지 않은 경우, 상기 단말은 더 이상 측 및 우측의 여유공간을 확보할 수 없으므로, 예로써, "줌 아웃" 또는 "뒤로 이동"과 같은 신호를 출력하도록 결정할 수 있다(1930).
도 20은 본 개시에 따른 카메라 구비 단말이 촬영 영역에서 잘린 얼굴을 확인하는 방법을 실제 사진을 예로 들어 설명하는 도면이다.
도 20(a)을 예로 들면, 단말은 촬영 영역에서 4개의 얼굴들을 인식하고 상기 얼굴들에 해당하는 4 개의 사각형을 결정한다. 상기 4개의 사각형 중 가장 좌측에 위치한 사각형(2000)은 상기 촬영 영역 내에 완전하게 포함되지 않았다. 상기 단말은 상기 '완전하지 않은(not complete)' 사각형(2000)에 해당하는 얼굴이 '잘린 얼굴(cut face)'이라고 확인할 수 있다. 따라서, 상기 단말은 상기 잘린 얼굴에 해당하는 얼굴을 상기 촬영 영역 내에 완전하게 포함시키기 위해서 상기 촬영 영역의 변경을 지시하는 신호 출력을 결정할 수 있다.
도 20(b)를 예로 들면, 단말은 촬영 영역에서 4개의 얼굴들을 인식하고 상기 얼굴들에 해당하는 4 개의 사각형을 결정한다. 상기 4 개의 사각형 중 가장 우측에 위치한 사각형(2010)의 일부분은 상기 촬영 영역 내에 포함되지 않았다. 상기 단말은 일부분이 포함되지 않은 상기 사각형(2010)에 해당하는 얼굴이 '잘린 얼굴'이라고 확인할 수 있다. 이때, 상기 단말은 상기 촬영 영역에서 상기 잘린 얼굴(2010)이 위치하는 방향(즉, 우측)의 반대 방향(즉, 좌측)에 여유 공간(2015)이 있음을 확인하고, 상기 잘린 얼굴이 위치하는 방향으로 촬영 영역을 확대하기 위해 '우측으로 회전' 또는 '우측으로 이동'과 같은 지시 신호의 출력을 결정할 수 있다.
도 21는 본 개시에 따른 카메라 구비 단말이 촬영 영역의 변경이 필요함을 판단하는 3가지 경우를 순차적으로 수행하는 예시적 방법을 도시한다.
상기 단말의 카메라는 예를 들어 카메라 애플리케이션에 의해 구동될 수 있다. 상기 단말의 카메라가 구동되면, 상기 단말은 카메라의 촬영 영역 내의 피사체에 대해 얼굴 인식을 수행한다(2100).
상기 단말은 상기 인식된 얼굴에 대한 정보를 이용함으로써, 상기 촬영 영역 내에 잘린 얼굴이 있는지 판단하는 동작(2105), 모르는 얼굴이 상기 촬영 영역에 있는지 판단하는 동작(2115), 및 상기 촬영 영역에 누락된 얼굴이 있는지 판단하는 동작(2120) 중 적어도 하나를 순서대로 수행할 수 있다. 그러나, 상기 단말이 반드시 도 21에서 예시된 순서에 따라 판단해야 하는 것은 아니고 다른 순서에 의해 판단할 수도 있을 것이다. 상기 단말은 상기 잘린 얼굴이 있거나, 상기 모르는 얼굴이 있거나, 상기 누락된 얼굴이 있다고 판단하는 경우, 상기 촬영 영역의 변경을 지시하는 신호를 결정할 수 있다.
이어서 상기 단말은 상기 판단(2105, 2115, 2120) 중 적어도 하나에 근거하여 결정된 지시 신호를 출력할 수 있다(2110).
선택적으로 상기 단말은, 상기 촬영 영역 변경 지시 신호 출력 이후 사용자에 의해 촬영 영역이 변경되었는지 확인하는 동작을 더 수행할 수 있다(2125). 이 경우, 상기 단말은 상기 2100 내지 2120 동작들 중 적어도 하나를 다시 수행함으로써, 보다 개선된 셀피를 촬영할 수 있도록 지원할 수 있다.
도 22은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 일 예를 도시한다.
도 22에서 예시된 촬영 영역 내에 인식된 얼굴들(2200, 2202)는 모두 우측으로 치우쳐 있음을 알 수 있다. 이 경우, 단말은 상기 얼굴들(2200, 2202)을 상기 촬영 영역의 중앙에 배치시키기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 촬영 영역을 우측으로 확장시키기 위하여 '좌측으로 회전'을 지시하는 신호(2210)을 출력할 수 있다.
도 23은 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 23에서 예시된 촬영 영역 내에 인식된 얼굴들 중 가장 좌측에 위치한 얼굴 사각형(2305)와 가장 상부에 위치한 얼굴 사각형(2300)은 상기 촬영 영역의 테두리(즉, 경계) 부분과 접하고 있다. 단말은 상기 사각형 2305, 2300은 온전하지 않게 상기 촬영 영역 내에 포함되어 있다고 판단하고 상기 사각형 2305, 2300을 잘린 얼굴이라고 확인할 수 있다. 이 경우, 상기 단말은 상기 잘린 얼굴(2305, 2300)에 해당하는 사각형이 온전하게 상기 촬영 영역 내에 포함되도록 하는 지시 신호의 출력할 수 있다. 예를 들어, 상기 단말은 촬영 영역을 좌측 및 위로 확장시키기 위하여 '좌측으로 회전' 및 '위로 회전'을 지시하는 신호들(각각, 2310, 2315)을 출력할 수 있다.
도 24는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 24에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2400, 2402, 2406)은 z-축(2410) 상에 배치된다. 상기 인식된 얼굴들 중 좌측에 위치한 얼굴(2406)은 가운데 위치한 얼굴(2402)에 대해 큰 값(예를 들어, 임계 값 이상의)의 z-축 거리(2415)를 갖는다. 상기 단말은 큰 값의 z-축 거리를 갖는 상기 좌측의 얼굴(2406)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2406)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재의 가로 구도(horizontal composition)인 촬영 영역을 세로 구도(vertical composition)의 촬영 영역으로 바꾸기 위해 '90도 회전(수직)'을 지시하는 신호(2420)를 출력할 수 있다.
도 25는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 25에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2500, 2502, 2504)은 z-축(2510) 상에 배치된다. 상기 인식된 얼굴들 중 좌측에 위치한 얼굴(2504)은 가운데 위치한 얼굴(2502)에 대해 큰 값(예를 들어, 임계 값 이상의)의 z-축 거리(2515)를 갖는다. 상기 단말은 큰 값의 z-축 거리(2515)를 갖는 상기 좌측의 얼굴(2504)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2504)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 좌측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 상기 촬영 영역을 우측으로 확장하기 위한 '좌측으로 회전'을 지시하는 신호(2520)를 출력할 수 있다.
도 26는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 26에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2600, 2602, 2604)은 x-축(2610) 상에 배치된다. 상기 인식된 얼굴들 중 우측에 위치한 얼굴(2604)은 가운데 위치한 얼굴(2602)에 대해 큰 값(예를 들어, 임계 값 이상의)의 x-축 간격(2615)을 갖는다. 상기 단말은 큰 값의 x-축 간격(2615)를 갖는 상기 우측의 얼굴(2604)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2604)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 우측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 현재 가로 구도(horizontal composition)의 촬영 영역을 세로 구도(vertical composition)의 촬영 영역으로 바꾸기 위해 '90도 회전(수직)'을 지시하는 신호(2620)를 출력할 수 있다.
도 27는 본 개시에 따른 카메라 구비 단말이 예시적 사진에 대해 촬영 영역 변경 지시 신호를 출력하는 다른 예를 도시한다.
도 27에서 예시된 촬영 영역 내에 3개의 인식된 얼굴(2700, 2702, 2704)은 x-축(2710) 상에 배치된다. 상기 인식된 얼굴들 중 우측에 위치한 얼굴(2704)은 가운데 위치한 얼굴(2702)에 대해 큰 값(예를 들어, 임계 값 이상의)의 x-축 간격(2715)을 갖는다. 상기 단말은 큰 값의 x-축 간격(2715)를 갖는 상기 우측의 얼굴(2704)을 모르는 얼굴로 확인할 수 있다. 이 경우, 상기 단말은 상기 모르는 얼굴(2704)을 촬영 영역에서 제거하기 위한 지시 신호를 출력할 수 있다. 예를 들어, 상기 단말은 현재 촬영 영역의 우측에 위치한 모르는 얼굴을 상기 촬영 영역에서 없애기 위해, 상기 촬영 영역을 좌측으로 확장하기 위한 '우측으로 회전'을 지시하는 신호(2720)를 출력할 수 있다.
도 28은 본 개시의 따른 단말 장치의 구성을 개략적으로 설명하는 도면이다.
본 개시에 따른 단말(2800)은 제어부(2810) 및 카메라(2830)을 포함할 수 있다. 상기 제어부(2810)는 본 개시에서 설명된 방법의 동작(들)을 제어할 수 있다. 상기 카메라(2830)는 상시 제어부(2810)의 제어에 의해 사진 촬영, 얼굴 인식, 또는3차원상의 z-축 좌표 산출 등의 동작을 수행할 수 있다.
상기 단말(2800)은 본 개시에서 예시된 적어도 하나의 지시 신호를 출력하는 출력부를 적어도 하나 더 포함할 수 있다. 예를 들어, 상기 출력부는 영상 신호를 출력하는 디스플레이(2820), 소리를 출력하는 스피커(2840), 빛을 출력하는 플래쉬 라이트(2850) 또는 진동을 발생시키는 적어도 하나의 바이브레이터(2870)가 될 수 있다. 상기 단말(2800)은 하우징의 네 단부 중 적어도 2 개의 단부에 각각 하나씩의 바이브레이터(2870)를 포함할 수 있다.
상기 단말(2820)은 네트워크의 기지국 또는 타 단말과 통신을 수행하는 송수신부(2860)을 더 포함할 수도 있다.
상기 도 2 내지 도 28이 예시하는 촬영 영역 예시도, 지원 방법의 플로우 차트, 지시 신호의 예시도, 및 단말의 구성도는 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 2 내지 도 28에 기재된 모든 구성부, 또는 동작의 단계가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 단말 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 단말 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 단말 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 카메라 구비 장치에서 사진 촬영을 지원하는 방법에 있어서,
    카메라가 구동되면 상기 카메라의 촬영 영역 내에서 피사체의 얼굴을 인식하는 동작;
    상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작; 및
    상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 출력하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 신호는 상기 촬영 영역의 변경을 지시하는 시각적 신호, 소리 신호 및 진동 신호 중 적어도 하나임을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 시각적 신호는 상기 카메라 구비 장치의 디스플레이부를 통해 이미지 또는 아이콘의 형태로 출력됨을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 시각적 신호는 상기 카메라 구비 장치의 LED 플래쉬 라이트를 통해 빛의 형태로 출력됨을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 진동 신호는 상기 카메라 구비장치의 네 단부 중 적어도 2 개의 단부에 각각 구비되는 바이브레이터에서 생성되는 진동의 형태로 출력됨을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 누락된 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 누락된 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  7. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 모르는 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  8. 제1항에 있어서, 상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경이 필요한지 결정하는 동작은:
    상기 인식된 얼굴에 대한 정보를 이용하여 잘린 얼굴이 있는지 확인하는 동작; 및
    상기 촬영 영역에 잘린 얼굴이 있는 경우 상기 촬영 영역의 변경을 지시하는 신호를 결정하는 동작을 포함하는 방법.
  9. 제1항에 있어서,
    상기 신호는, 상기 카메라 구비 장치의 배치를 특정 방향으로 회전시키는 제1 신호, 상기 카메라 구비 장치의 배치를 특정 방향으로 이동시키는 제2 신호, 상기 카메라 구비 장치의 배치를 수평 구도 또는 수직 구도로부터 수직 구도 또는 수평 구도로 변경시키는 제3 신호, 또는 상기 카메라의 줌 기능을 조작하도록 지시하는 제4 신호 중 어느 하나임을 특징으로 하는 방법.
  10. 제6항에 있어서,
    상기 인식된 얼굴에 대한 정보는 래디얼 그래프의 형식으로 저장된 상기 얼굴에 근접하여 배치되는 타 얼굴의 개수이고,
    상기 촬영 영역에 누락된 얼굴이 있는지 확인하는 동작은:
    이전 촬영 영역 내의 인식된 얼굴에 대한 래디얼 그래프와 상기 촬영 영역 내의 상기 인식된 얼굴에 대한 래디얼 그래프가 서로 다른 값을 갖는 경우에 상기 촬영 영역에 누락된 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  11. 제7항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴에 대한 상기 촬영 영역 내의 z-축 거리 또는 x-축 간격이고,
    상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작은:
    상기 인식된 얼굴에 대한 z-축 거리 또는 x-축 간격이 미리 정해진 임계 값보다 큰 경우에 상기 촬영 영역에 모르는 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 인식된 얼굴의 기준점을 포함하는 사각형 영역이고,
    상기 촬영 영역에 잘린 얼굴이 있는지 확인하는 동작은:
    상기 인식된 얼굴에 대한 사각형 영역이 상기 촬영 영역에 온전히 포함되지 않는 경우에 상기 촬영 영역에 잘린 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  13. 제7항에 있어서,
    상기 인식된 얼굴에 대한 정보는 상기 촬영 영역 내에서 인식된 기준점들을 근접도에 따라서 병합한 적어도 두 개의 클러스터에 대한 정보이고,
    상기 촬영 영역에 모르는 얼굴이 있는지 확인하는 동작은:
    상기 적어도 두 개의 클러스터 중 기준점의 개수가 적은 클러스에 포함되는 얼굴을 상기 촬영 영역에 모르는 얼굴이 있다고 확인하는 동작임을 특징으로 하는 방법.
  14. 사진 촬영을 지원하는 카메라 구비 장치에 있어서,
    촬영 영역 내에서 피사체의 얼굴을 인식하는 카메라; 및
    상기 인식된 얼굴에 대한 정보에 근거하여 상기 촬영 영역의 변경을 지시하는 신호를 결정하고, 상기 결정에 근거하여 상기 촬영 영역의 변경을 지시하는 신호 출력을 제어하는 제어부를 포함하는 장치.
  15. 제14항에 있어서,
    상기 제어부는 상기 제2항 내지 13항 중 어느 하나의 방법을 수행하도록 구성됨을 특징으로 하는 장치.
PCT/KR2016/009389 2015-08-24 2016-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치 WO2017034321A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680049317.1A CN107925724B (zh) 2015-08-24 2016-08-24 在具有相机的设备中支持摄影的技术及其设备
US15/754,970 US10868956B2 (en) 2015-08-24 2016-08-24 Picture-taking technique for self-photography using device having camera and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150118712A KR102469694B1 (ko) 2015-08-24 2015-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법
KR10-2015-0118712 2015-08-24

Publications (1)

Publication Number Publication Date
WO2017034321A1 true WO2017034321A1 (ko) 2017-03-02

Family

ID=58100496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009389 WO2017034321A1 (ko) 2015-08-24 2016-08-24 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치

Country Status (4)

Country Link
US (1) US10868956B2 (ko)
KR (1) KR102469694B1 (ko)
CN (1) CN107925724B (ko)
WO (1) WO2017034321A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020138258A1 (ja) * 2018-12-28 2021-11-04 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11863863B2 (en) * 2020-07-22 2024-01-02 Unity IPR ApS System and method for frustum context aware digital asset suggestions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR20090017355A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 영상구도를 자동조정하는 영상촬영 장치 및 방법
JP2009105705A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮像装置およびその動作制御方法
WO2014189216A1 (ko) * 2013-05-22 2014-11-27 주식회사 파이브지티 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
WO2015122624A1 (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP2008225550A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20080089839A (ko) * 2007-04-02 2008-10-08 삼성테크윈 주식회사 영상 촬영 장치 및 방법
JP4818987B2 (ja) 2007-05-21 2011-11-16 オリンパスイメージング株式会社 撮像装置、表示方法、及びプログラム
JP2009055449A (ja) 2007-08-28 2009-03-12 Fujifilm Corp 撮影装置
JP4894712B2 (ja) * 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
KR101362765B1 (ko) * 2007-11-07 2014-02-13 삼성전자주식회사 촬영 장치 및 그 제어 방법
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
JP2010278624A (ja) 2009-05-27 2010-12-09 Sony Corp 撮影装置および方法、並びにプログラム
JP2012010162A (ja) 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
JP2014077994A (ja) * 2012-09-20 2014-05-01 Canon Inc 画像表示装置、その制御方法および制御プログラム並びに撮像装置
KR102092571B1 (ko) * 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
JP6641181B2 (ja) * 2016-01-06 2020-02-05 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
US10469730B2 (en) * 2016-05-18 2019-11-05 Canon Kabushiki Kaisha Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR20090017355A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 영상구도를 자동조정하는 영상촬영 장치 및 방법
JP2009105705A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮像装置およびその動作制御方法
WO2014189216A1 (ko) * 2013-05-22 2014-11-27 주식회사 파이브지티 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
WO2015122624A1 (ko) * 2014-02-12 2015-08-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
US10868956B2 (en) 2020-12-15
US20200244873A1 (en) 2020-07-30
KR20170023494A (ko) 2017-03-06
CN107925724B (zh) 2021-06-11
CN107925724A (zh) 2018-04-17
KR102469694B1 (ko) 2022-11-23

Similar Documents

Publication Publication Date Title
WO2017124792A1 (zh) 动态捕捉人脸摄像的方法、系统及移动终端
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2016006946A1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2021149980A1 (ko) 디스플레이 장치 및 그 제어방법
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2017090986A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2019004530A1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2018090455A1 (zh) 一种终端全景图像处理方法、装置及终端
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2016036059A1 (en) Photographing apparatus and photographing method
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2021157954A1 (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
WO2021158057A1 (en) Electronic device and method for displaying image at the electronic device
WO2015190668A1 (ko) 이동 단말기
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2017034321A1 (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839610

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16839610

Country of ref document: EP

Kind code of ref document: A1