WO2010058927A2 - 안면 영상 촬영장치 - Google Patents

안면 영상 촬영장치 Download PDF

Info

Publication number
WO2010058927A2
WO2010058927A2 PCT/KR2009/006676 KR2009006676W WO2010058927A2 WO 2010058927 A2 WO2010058927 A2 WO 2010058927A2 KR 2009006676 W KR2009006676 W KR 2009006676W WO 2010058927 A2 WO2010058927 A2 WO 2010058927A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference information
camera
calibration reference
information
Prior art date
Application number
PCT/KR2009/006676
Other languages
English (en)
French (fr)
Other versions
WO2010058927A3 (ko
Inventor
김근호
도준형
김종열
전영주
Original Assignee
한국한의학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국한의학연구원 filed Critical 한국한의학연구원
Publication of WO2010058927A2 publication Critical patent/WO2010058927A2/ko
Publication of WO2010058927A3 publication Critical patent/WO2010058927A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a facial imaging apparatus, and more particularly, to a facial imaging apparatus for photographing and correcting a front image to facilitate feature point extraction.
  • feature points in images of a specific person are used in various technical fields.
  • the feature points extracted from the face image of the target person may be usefully used in facial recognition technology to determine the identity of the target person through the image.
  • Feature points in these facial images can also be used in the medical field.
  • technologies are being developed that can measure the degree of health or abnormality by analyzing images of patients at a distance without facing doctors and patients directly. It is also possible to apply facial diagnosis in home-care systems or ubiquitous-healthcare systems.
  • the present invention has been made to solve the above-mentioned problems of the prior art, and an object thereof is to provide a facial imaging apparatus for acquiring a face image of a posture suitable for a set standard by correcting a posture of a target person manually or automatically. .
  • the face image photographing apparatus for solving the above problems is a camera for acquiring a front image of a target person in real time, a memory in which the image captured by the camera is stored, the image captured by the camera Display unit for outputting an image, when photographing the front image includes the position information of the center point of both eyes, the area information of both ears, the position information of the eyelid above the center point of the pupil and the position information of the apex of the ear And an image analyzer configured to generate calibration reference information using the feature point information, and a controller configured to store the front image in a memory when the calibration reference information satisfies a set reference range.
  • the image analyzer calculates first calibration reference information that is an angle formed by a straight line connecting the center points of both eyes and an imaginary horizontal line by finding the coordinates of the center points of both eyes in the front image.
  • the image analyzer calculates second calibration reference information which is an area ratio of both ears in the front image.
  • the image analyzer calculates third calibration reference information which is a vertical distance between a straight line connecting eyelids on a center point of both eyes and a straight line connecting vertices of both ears in the front image.
  • the image analyzer sequentially calculates the first to third calibration reference information, and calculates calibration reference information in the following order when the first to third calibration reference information satisfy each set reference range.
  • the image analyzer outputs a green indicator to the display unit when the first to third calibration reference information satisfy each set reference range, and outputs a red indicator to the display unit when the first to third calibration reference information do not satisfy each set reference range. Then, the calibration reference information is recalculated for the front image newly acquired by the camera.
  • the display unit displays an inclination angle from the calibration reference information on the face image obtained when the red indicator is output, so that the user can correct the posture.
  • the face image photographing apparatus for solving the above problems is a camera for acquiring a front image of a target person in real time, a drive module for changing the position or angle of the camera, the camera
  • the display unit outputs the image captured by the camera, and when the front image is photographed, the front image obtained by the camera includes position information of the center point of both eyes, area information of both ears, position information of the eyelid on the center point of the pupil, and position of the apex of the ear.
  • the image analyzer for generating calibration reference information using the feature point information including the information and if the calibration reference information does not satisfy the set reference range, correct the position or the photographing angle of the camera by an error from the set reference range. Control the driving module or the camera to retake the image, and the calibration reference information. When satisfied with the set reference range, and a controller for storing the face image in the memory.
  • the controller controls the driving module to move the camera along a virtual sphere having a radius of the distance between the camera and the target person.
  • the facial imaging apparatus configured as described above can acquire the facial image of the correct posture by using the feature points of the face, show the facial image acquisition posture in real time, and can immediately correct the posture when shooting.
  • the dimensional image it is possible to acquire an image of a correct posture in three dimensions, and feature point information can be extracted through the image information of the correct posture.
  • it has a wide range of applications as it can be used for games and entertainment by using two-dimensional image-based three-dimensional personal face model generation and animation.
  • FIG. 1 is a block diagram showing the configuration of a facial imaging apparatus according to a first embodiment of the present invention
  • FIGS. 2 to 4 are diagrams illustrating a method of calculating first to third calibration reference information according to the present invention
  • FIG. 5 is a diagram illustrating a display unit on which first to third calibration reference information calculated by the image analyzer 30 is displayed.
  • FIG. 6 is a block diagram showing the configuration of a facial imaging apparatus according to a second embodiment of the present invention.
  • FIGS. 7 to 9 are diagrams illustrating operations of a camera in the case of a front image according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method of acquiring a front image of a corrected posture by a facial imaging apparatus according to the present invention.
  • control unit 40 control unit
  • FIG. 1 is a block diagram showing the configuration of a facial imaging apparatus according to a first embodiment of the present invention.
  • a facial image capturing apparatus may include a camera 10 for obtaining a front image of a target person in real time, and a display unit 20 for outputting an image captured by the camera. And an image analyzer 30 for outputting a posture correction message to a target person by analyzing the image acquired by the camera, and a controller 40 storing the posture correction image in a memory when the posture correction image is finally determined. It is composed.
  • the camera 10 obtains an image of a target person, converts the image into an electrical signal, and transmits the image to the image analyzer 30.
  • the type of camera is not limited and generally a digital camera can be used.
  • the display unit 20 outputs the image acquired by the camera in real time.
  • an LCD display device may be used.
  • the display unit 20 outputs whether or not posture correction is necessary for the target person according to the image analyzed by the image analyzing unit, that is, whether it satisfies a set standard, and displays a portion or position that needs to be corrected in the image of the user. It also displays and guides the user how to correct his posture.
  • the image analyzer 30 captures the front image obtained by the camera, the position information of the center point of both eyes, the area information of both ears, the position information of the eyelid on the eye center point, and the position information of the apex of the ear.
  • the calibration reference information is generated using the feature point information.
  • the image analyzer 30 analyzes the front image of the target person and displays information necessary for posture correction on the image of the target person through the display unit such that Z-axis correction, Y-axis correction, and X-axis correction are sequentially performed. In addition, a message indicating whether the calibration is suitable for the subject is displayed.
  • the Z-axis refers to the axis indicating the shooting direction of the camera
  • the Y-axis refers to the axis perpendicular to the ground or the image perpendicular to the image of the camera
  • the X-axis refers to the axis horizontal to the ground or the axis of the image of the camera. That is, the Y-axis and the X-axis are based on the ground when the camera is installed horizontally with the ground, but when the camera is not horizontal with the ground, the Y-axis and the X-axis are the vertical and horizontal axes respectively in the image acquired by the camera.
  • the image analyzer 30 calculates first to third calibration reference information for calibrating the front image.
  • FIG. 2 is a diagram illustrating a method of calculating first calibration reference information according to the present invention.
  • the image analyzer 30 first coordinate reference information ⁇ 1 which is an angle formed by a straight line L1 connecting the center points of both eyes in the front image and connecting the center points of the two eyes with a virtual horizontal line L2.
  • the image analyzer 30 outputs a straight line L1 and a virtual horizontal line L2 or first calibration reference information connecting the center points of the two eyes through the display unit 20 so that the user can see and correct it. This can help to make it easier.
  • the image analyzing unit 30 determines whether the first correction reference information ⁇ 1 is 0, that is, whether both eyes are horizontal, and satisfies the set reference range T1 when both eyes are horizontal. A green indicator is output through the display unit 20.
  • the reference range T1 may be set to a specific range close to zero.
  • the image analyzer 30 If the first calibration reference information ⁇ 1 does not satisfy the set reference range, that is, the angle is not 0, the image analyzer 30 outputs a red indicator light through the display unit 20. do. In this case, the target person who is the user corrects his posture through the display unit so that the first calibration reference information ⁇ 1 becomes zero. That is, the user tilts the head from side to side with respect to the Z axis to calibrate.
  • the image analyzer 30 generates second calibration reference information for Y-axis calibration when the first calibration reference information ⁇ 1 satisfies 0. However, when the first calibration reference information ⁇ 1 satisfies 0, the image analyzer 30 generates a second calibration reference information. The image is newly acquired, and the first calibration reference information ⁇ 1 is recalculated to determine whether the set reference range is satisfied.
  • FIG. 3 is a diagram illustrating a method of calculating second calibration reference information according to the present invention.
  • the image analyzer 30 calculates second calibration reference information which is an area ratio of both ears in the front image.
  • the image analyzer 30 detects an ear from the front image and calculates areas A and B of both ears.
  • the area ratio (A / B) of both ears which is the second calibration reference information, is calculated and compared with the set reference range T2.
  • the second calibration reference information is not 1, that is, when the areas of both ears are different, the target person is calculated. Since the posture is skewed, the second correction reference information, that is, the area ratio of both ears is output to the display unit, and the target person corrects the posture, and the second correction reference information is calculated again through the newly obtained image. .
  • the area of both ears may be displayed on the display unit for visual viewing.
  • a red indicator is output to the display unit 20 to inform the user that the posture is incorrect.
  • the user may rotate the head with respect to the Y axis while looking at the display device to correct the posture so that the areas of the left and right ears are the same.
  • the image analysis unit 30 outputs a green indicator through the display unit 20 to maintain a posture.
  • the third calibration reference information is calculated for the X axis calibration.
  • FIG. 4 is a diagram illustrating a method of calculating third calibration reference information according to the present invention.
  • the image analyzer 30 calculates second calibration reference information which is an area ratio of both ears in the front image.
  • the image analyzer 30 may further include third calibration reference information D1 which is a vertical distance between a straight line L3 connecting eyelids on the center point of both eyes and a straight line L4 connecting vertices of both ears in the front image. ) Is compared with the set reference range T3.
  • the third calibration reference information is not 0, that is, when the height of the eyelid and the height of the apex on the pupil do not match, the posture of the target person is Since it means a skew, the two straight lines L3 and L4 or the distance D1 between the two straight lines are output to the display unit so that the target person corrects the posture, and then the third correction reference information is again obtained through the newly obtained image.
  • a red indicator is output to the display unit 20 to inform the user that the posture is incorrect.
  • the user may lower his or her head on the X axis while looking at the display device and correct the posture so that the height of the eyelid and the height of the apex on the pupil coincide with each other.
  • the image analysis unit 30 If the third calibration reference information is 0 or within a specific range set very close thereto, the image analysis unit 30 outputs a green indicator through the display unit 20 to maintain a posture. do.
  • the controller 40 finally stores the front image of the target person in the memory when the first to third calibration reference information satisfies each of the predetermined criteria T1, T2, and T3 sequentially.
  • 5 allows the first to third calibration reference information calculated by the image analyzer 30 to be displayed on the display unit.
  • FIG. 1 is a block diagram showing the configuration of a facial imaging apparatus according to a first embodiment of the present invention.
  • a facial image capturing apparatus may include a camera 10 for obtaining a front image of a target person in real time, and a display unit 20 for outputting an image captured by the camera. And an image analyzer 30 for outputting a posture correction message to a target person by analyzing the image acquired by the camera, and a controller 40 storing the posture correction image in a memory when the posture correction image is finally determined. It is composed.
  • the camera 10 obtains an image of a target person, converts the image into an electrical signal, and transmits the image to the image analyzer 30.
  • the type of camera is not limited and generally a digital camera can be used.
  • the display unit 20 outputs the image acquired by the camera in real time.
  • an LCD display device may be used.
  • the display unit 20 outputs whether or not posture correction is necessary for the target person according to the image analyzed by the image analyzing unit, that is, whether it satisfies a set standard, and displays a portion or position that needs to be corrected in the image of the user. It also displays and guides the user how to correct his posture.
  • the image analyzer 30 captures the front image obtained by the camera, the position information of the center point of both eyes, the area information of both ears, the position information of the eyelid on the eye center point, and the position information of the apex of the ear.
  • the calibration reference information is generated using the feature point information.
  • the image analyzer 30 analyzes the front image of the target person and displays information necessary for posture correction on the image of the target person through the display unit such that Z-axis correction, Y-axis correction, and X-axis correction are sequentially performed. In addition, a message indicating whether the calibration is suitable for the subject is displayed.
  • the Z-axis refers to the axis indicating the shooting direction of the camera
  • the Y-axis refers to the axis perpendicular to the ground or the image perpendicular to the image of the camera
  • the X-axis refers to the axis horizontal to the ground or the axis of the image of the camera. That is, the Y-axis and the X-axis are based on the ground when the camera is installed horizontally with the ground, but when the camera is not horizontal with the ground, the Y-axis and the X-axis are the vertical and horizontal axes respectively in the image acquired by the camera.
  • the image analyzer 30 calculates first to third calibration reference information for calibrating the front image.
  • FIG. 2 is a diagram illustrating a method of calculating first calibration reference information according to the present invention.
  • the image analyzer 30 first coordinate reference information ⁇ 1 which is an angle formed by a straight line L1 connecting the center points of both eyes in the front image and connecting the center points of the two eyes with a virtual horizontal line L2.
  • the image analyzer 30 outputs a straight line L1 and a virtual horizontal line L2 or first calibration reference information connecting the center points of the two eyes through the display unit 20 so that the user can see and correct it. This can help to make it easier.
  • the image analyzing unit 30 determines whether the first correction reference information ⁇ 1 is 0, that is, whether both eyes are horizontal, and satisfies the set reference range T1 when both eyes are horizontal. A green indicator is output through the display unit 20.
  • the reference range T1 may be set to a specific range close to zero.
  • the image analyzer 30 If the first calibration reference information ⁇ 1 does not satisfy the set reference range, that is, the angle is not 0, the image analyzer 30 outputs a red indicator light through the display unit 20. do. In this case, the target person who is the user corrects his posture through the display unit so that the first calibration reference information ⁇ 1 becomes zero. That is, the user tilts the head from side to side with respect to the Z axis to calibrate.
  • the image analyzer 30 generates second calibration reference information for Y-axis calibration when the first calibration reference information ⁇ 1 satisfies 0. However, when the first calibration reference information ⁇ 1 satisfies 0, the image analyzer 30 generates a second calibration reference information. The image is newly acquired, and the first calibration reference information ⁇ 1 is recalculated to determine whether the set reference range is satisfied.
  • FIG. 3 is a diagram illustrating a method of calculating second calibration reference information according to the present invention.
  • the image analyzer 30 calculates second calibration reference information which is an area ratio of both ears in the front image.
  • the image analyzer 30 detects an ear from the front image and calculates areas A and B of both ears.
  • the area ratio (A / B) of both ears which is the second calibration reference information, is calculated and compared with the set reference range T2.
  • the second calibration reference information is not 1, that is, when the areas of both ears are different, the target person is calculated. Since the posture is skewed, the second correction reference information, that is, the area ratio of both ears is output to the display unit, and the target person corrects the posture, and the second correction reference information is calculated again through the newly obtained image. .
  • the area of both ears may be displayed on the display unit for visual viewing.
  • a red indicator is output to the display unit 20 to inform the user that the posture is incorrect.
  • the user may rotate the head based on the Y axis while looking at the display device to correct the posture so that the areas of the left and right ears are the same.
  • the image analysis unit 30 outputs a green indicator through the display unit 20 to maintain a posture.
  • the third calibration reference information is calculated for the X axis calibration.
  • FIG. 4 is a diagram illustrating a method of calculating third calibration reference information according to the present invention.
  • the image analyzer 30 calculates second calibration reference information which is an area ratio of both ears in the front image.
  • the image analyzer 30 may further include third calibration reference information D1 which is a vertical distance between a straight line L3 connecting eyelids on the center point of both eyes and a straight line L4 connecting vertices of both ears in the front image. ) Is compared with the set reference range T3.
  • the third calibration reference information is not 0, that is, when the height of the eyelid and the height of the apex on the pupil do not match, the posture of the target person is Since it means a skew, the two straight lines L3 and L4 or the distance D1 between the two straight lines are output to the display unit so that the target person corrects the posture, and then the third correction reference information is again obtained through the newly obtained image.
  • a red indicator is output to the display unit 20 to inform the user that the posture is incorrect.
  • the user may lower his or her head on the X axis while looking at the display device and correct the posture so that the height of the eyelid and the height of the apex on the pupil coincide with each other.
  • the image analysis unit 30 If the third calibration reference information is 0 or within a specific range set very close thereto, the image analysis unit 30 outputs a green indicator through the display unit 20 to maintain a posture. do.
  • the controller 40 finally stores the front image of the target person in the memory when the first to third calibration reference information satisfies each of the predetermined criteria T1, T2, and T3 sequentially.
  • 5 allows the first to third calibration reference information calculated by the image analyzer 30 to be displayed on the display unit.
  • FIG. 6 is a block diagram showing the configuration of a facial imaging apparatus according to a second embodiment of the present invention.
  • a camera 10 for acquiring a front image of a target person in real time, a display unit 20 for outputting an image captured by the camera, a position of the camera or A driving module 60 for changing a photographing angle, an image analyzing unit 30 for analyzing calibration of the image acquired by the camera, and calculating calibration reference information, and controlling the operation of the camera or the driving module according to the calibration reference information.
  • It is configured to include a control unit 40.
  • the image analyzer 30 analyzes the acquired image and outputs a message through the display unit 20 to correct the posture by the target person.
  • the controller 40 is configured to adjust the photographing angle or position by driving the camera or the driving module in consideration of the calibration reference information calculated by the image analyzer 30 through the driving module 60 installed in the camera 10. .
  • the drive module 60 includes one or more drive motors, which are controlled by the controller 40 and adjust the photographing angle of the camera or the position of the camera.
  • the image analyzer 30 generates the first to sixth calibration reference information in the same manner as the first embodiment, and the controller 40 satisfies the reference range in which the first to sixth calibration reference information is set. If not, the position or photographing angle of the camera is corrected by an error from the set reference range.
  • the controller 40 controls the driving module to move the camera along a virtual sphere having a radius of the distance between the camera and the target person. Therefore, a support or the like for guiding the operation of the camera may be installed in the camera so that the camera can move along the virtual spherical surface as described above.
  • Figure 7 is a view showing a state that the correction is made based on the Z axis in the front image.
  • the controller 40 captures the photographing direction of the camera 10 such that the first calibration reference information is 0 °.
  • the camera is rotated with respect to the photographing direction axis (Z axis) while being fixed to face (). That is, the photographing angle of the camera is adjusted so that a straight line connecting the centers of two eyes of the target person in the front image is horizontal in the image of the camera.
  • the movement of the camera is performed by the drive module 60.
  • FIG. 8 illustrates a state in which calibration is performed based on the Y axis in the front image.
  • the control unit 40 fixes the photographing direction of the camera so that the second calibration reference information is 1 and faces the target person. Move left and right. That is, the camera 10 is moved to a position where the areas of both ears are the same in the front image. Similarly, the camera movement is performed by the drive module 60. At this time, the camera does not move in a straight line, but moves in a semicircular curvature around the subject.
  • Figure 9 is a view showing a state that the correction is made based on the X-axis in the front image.
  • the controller fixes the photographing direction of the camera 10 toward the target person so that the third calibration reference information is zero. Move up and down. That is, the camera 10 is moved to a position where the height of the eyelid and the height of the apex of the ear just above the center of the pupil are the same. Similarly, the movement of the camera is performed by the driving module 60. At this time, the camera does not move in a straight line but moves in a semicircular curvature around the target person.
  • the image analyzer 30 sequentially calculates the first to third calibration reference information, and when the first to the third calibration reference information satisfies each set reference range, the calibration reference information is performed in the following order. Calculate The controller 40 finally stores the front image satisfying the first to third calibration reference information in the memory.
  • the image analysis unit 30 outputs a green indicator to the display unit when the first to third calibration reference information satisfy each set reference range, and outputs a green indicator to the display unit when the first to third calibration reference information do not satisfy each set reference range.
  • the calibration reference information is recalculated for the front image newly acquired by the camera.
  • FIG. 10 is a flowchart illustrating a method of acquiring a front image of a corrected posture by a facial imaging apparatus according to the present invention.
  • a front image is first obtained using a camera (S10).
  • the first calibration reference information is generated to examine whether it meets the set reference range, and if the set reference range is satisfied, the second calibration reference information is generated, but if it is not corrected, the user is allowed to correct the posture based on the Z axis. Or, recalibrate the image after calibrating in the Z-axis direction by moving the camera, and generate new first calibration reference information based on the re-photographed image, compare with the set reference range, and repeat until satisfied (S20). .
  • Y-axis rotation calibration is performed using the second calibration reference information (S30), and X-axis rotation calibration is performed using the third calibration reference information (S40).
  • the first to third calibration reference information stores the front image satisfying each set reference range in a memory (S50).
  • the facial image of the correct posture can be obtained by using the feature points of the face, and the feature point information can be extracted through the image information of the correct posture, so that accurate diagnosis is possible at the time of diagnosis using the image. It can be used more effectively in the diagnostic field through.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 안면 영상 촬영장치에 관한 것으로서, 대상 인물의 정면 영상을 실시간으로 획득하는 카메라, 상기 카메라에 의해 촬영된 영상이 저장되는 메모리, 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부, 정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성하는 영상 분석부 및 상기 교정참조정보가 설정된 기준범위를 만족하는 경우에 상기 정면 영상을 메모리에 저장하는 제어부를 포함하여, 얼굴의 특징점을 이용하여 정확한 자세의 안면 영상을 획득할 수 있으며, 바른 자세의 영상 정보를 통해 특징점 정보를 추출할 수 있어, 영상을 이용한 진단시 정확한 진단이 가능한 효과가 있다.

Description

안면 영상 촬영장치
본 발명은 안면 영상 촬영장치에 관한 것으로서, 특히 특징점 추출이 용이하도록 정면 영상을 촬영하여 보정하는 안면 영상 촬영장치에 관한 것이다.
일반적으로 특정한 인물의 영상에서 특징점은 다양한 기술분야에서 사용된다. 특히 대상 인물의 안면 영상에서 추출된 특징점은 안면 인식 기술에서 유용하게 사용되어 영상을 통하여 대상 인물의 동일성을 판별하는데 사용되기도 한다.
이러한 안면 영상에서의 특징점은 의학분야에서도 이용될 수 있다. 현재 과학기술이 발전함에 따라 의사와 환자가 직접 대면하지 않고 원거리에서 환자의 영상만을 분석하여 건강의 정도나 이상 유무를 어느 정도 측정할 수 있는 기술들이 개발되고 있다. 또한 홈-케어(Home-Care) 시스템이나 유비쿼터스-헬스케어 시스템에서 안면 진단의 적용이 가능하다.
상기와 같이 환자의 얼굴 영상을 통해 진단이 이루어지기 위해서는 특징점을 정확하게 추출하는 것이 중요하다. 만약 사진 촬영시 얼굴이 기울어져 있으면 특징점 추출의 정확도가 저하된다. 이러한 경우에는 안면 영상을 통한 진단이 제대로 이루어지기 힘든 문제점이 있다. 따라서, 대상 인물의 자세를 교정하여 정확한 자세의 안면 영상을 획득할 수 있는 안면 영상 촬영장치가 필요하다.
또한 사람의 정면 얼굴 영상을 이용하여 2차원 영상 기반 3차원 개인 얼굴 모델 생성 및 애니메이션[1]에도 적용이 가능하여 휴대폰과 같은 곳에서의 3차원 얼굴을 이용한 게임 및 엔터테인먼트에도 쓸 수 있다.
[참고문헌]
[1] 김진우; 고한석; 김형곤; 안상철, “2차원 영상 기반 3차원 개인 얼굴 모델 생성 및 애니메이션”, 한국방송공학회 99 학술대회, 15-20(6), 1999.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 대상인물의 자세를 수동 또는 자동으로 교정하여 설정된 기준에 적합한 자세의 안면 영상을 획득하는 안면 영상 촬영장치를 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위한 본 발명의 제 1 특징에 따른 안면 영상 촬영장치는 대상 인물의 정면 영상을 실시간으로 획득하는 카메라, 상기 카메라에 의해 촬영된 영상이 저장되는 메모리, 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부, 정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성하는 영상 분석부 및 상기 교정참조정보가 설정된 기준범위를 만족하는 경우에 상기 정면 영상을 메모리에 저장하는 제어부를 포함한다.
여기서, 상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점의 좌표를 찾아 두 눈동자의 중심점을 연결하는 직선과 가상의 수평선이 이루는 각도인 제 1 교정참조정보를 계산한다.
또한, 상기 영상 분석부는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산한다.
또한, 상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점 위의 눈꺼풀을 연결한 직선과 양쪽 귀의 정점을 연결한 직선 간의 수직방향의 거리인 제 3 교정참조정보를 계산한다.
상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보를 순차적으로 계산하되, 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우에 다음 순서의 교정참조정보를 계산한다.
상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우 상기 디스플레이부로 녹색 표시등을 출력하고, 각각의 설정된 기준범위를 만족하지 않는 경우에는 상기 디스플레이부로 적색 표시등을 출력한 후 상기 카메라에 의해 새롭게 획득된 정면 영상에 대해 해당 교정참조정보를 다시 계산한다.
상기 디스플레이부는 적색 표시등을 출력할 때 획득된 안면 영상 위에 교정참조정보로부터 기울어진 각도를 표시하여, 사용자가 자세를 교정할 수 있도록 한다.
또한, 상기한 과제를 해결하기 위한 본 발명의 제 2 특징에 따른 안면 영상 촬영장치는 대상 인물의 정면 영상을 실시간으로 획득하는 카메라, 상기 카메라의 위치 또는 촬영각도를 변경시키는 구동모듈, 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부, 정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성하는 영상 분석부 및 상기 교정참조정보가 설정된 기준범위를 만족하지 않는 경우에는 상기 설정된 기준범위와의 오차만큼 상기 카메라의 위치 또는 촬영각도를 보정하여 재촬영하도록 상기 구동모듈 또는 카메라를 제어하고, 상기 교정참조정보가 설정된 기준범위를 만족하는 경우에는 상기 정면 영상을 메모리에 저장하는 제어부를 포함한다.
여기서, 상기 제어부는 상기 카메라와 상기 대상 인물 사이의 거리를 반경으로 하는 가상의 구면을 따라 상기 카메라가 이동하도록 상기 구동모듈을 제어한다.
상기와 같이 구성되는 본 발명에 따른 안면 영상 촬영장치는 얼굴의 특징점을 이용하여 정확한 자세의 안면 영상을 획득할 수 있으며, 실시간으로 안면 영상 취득 자세를 보여 주어 촬영시 바로 자세교정이 가능하며, 2차원 영상뿐만 아니라 3차원적으로 바른 자세의 영상 획득이 가능하고, 바른 자세의 영상 정보를 통해 특징점 정보를 추출할 수 있어, 영상을 이용한 진단시 정확한 진단이 가능한 효과가 있다. 또한 2차원 영상 기반 3차원 개인 얼굴 모델 생성 및 애니메이션을 이용하여 게임 및 엔터테인먼트에 사용 가능한 효과가 있어 응용 범위가 넓다.
도 1은 본 발명의 제 1 실시예에 따른 안면 영상 촬영장치의 구성이 도시된 블럭도,
도 2 내지 4는 본 발명에 따라 제 1 내지 제 3 교정참조정보를 계산하는 방법이 도시된 도,
도 5는 영상 분석부(30)에서 계산된 제 1 내지 제 3 교정참조정보가 표시된 디스플레이부가 도시된 도,
도 6은 본 발명의 제 2 실시예에 따른 안면 영상 촬영장치의 구성이 도시된 블럭도,
도 7 내지 도 9는 본 발명의 제 2 실시예에 따라 정면 영상의 경우 카메라의 동작이 도시된 도,
도 10은 본 발명에 따른 안면 영상 촬영장치가 교정된 자세의 정면 영상을 획득하는 방법이 도시된 순서도이다.
* 도면의 주요 부분에 관한 부호의 설명 *
10: 카메라
20: 디스플레이부
30: 영상 분석부
40: 제어부
50: 메모리
60: 구동모듈
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.
도 1은 본 발명의 제 1 실시예에 따른 안면 영상 촬영장치의 구성이 도시된 블럭도이다.
도 1을 참조하면, 본 발명의 제 1 실시예에 따른 안면 영상 촬영장치는 대상 인물의 정면 영상을 실시간으로 획득하는 카메라(10), 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부(20), 상기 카메라에 의해 획득된 영상을 분석하여 대상 인물에게 자세교정 메시지를 출력하는 영상 분석부(30) 및 최종적으로 자세교정이 이루어진 영상이 판별된 경우에는 메모리에 저장하는 제어부(40)를 포함하여 구성된다.
상기 카메라(10)는 대상 인물의 영상을 획득하여 전기적인 신호로 변환하여 영상 분석부(30)로 전송한다. 카메라의 종류는 제한이 없으며 일반적으로 디지털 카메라가 사용될 수 있다.
상기 디스플레이부(20)는 상기 카메라에 의해 획득된 영상이 실시간으로 출력한다. 일반적으로 LCD 디스플레이 장치가 사용될 수 있다.
또한, 상기 디스플레이부(20)는 상기 영상 분석부에 의해 분석된 영상에 따라 대상인물에게 자세교정이 필요한지 여부, 즉 설정된 기준에 맞는지 여부를 출력하며, 사용자의 영상에 교정이 필요한 부분이나 위치를 표시하여 사용자로 하여금 자세를 어떻게 교정할지 가이드하는 기능도 수행한다.
이하, 도 2 내지 4를 이용하여 교정된 자세의 정면 영상을 획득하는 과정을 설명한다.
상기 영상 분석부(30)는 정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성한다.
상기 영상 분석부(30)는 대상 인물의 정면 영상을 분석하여 Z축 교정, Y축 교정, X축 교정이 순자적으로 이루어지도록 상기 디스플레이부를 통해 대상인물의 영상에 자세교정에 필요한 정보를 표시하고, 대상인물에게 교정이 적합한지 여부에 관한 메시지를 출력한다.
여기서, Z축은 카메라의 촬영방향을 가리키는 축을 말하며, Y축은 지면과 수직인 축 또는 카메라의 영상 내에서 수직인 축을 말하며, X축은 지면과 수평인 축 또는 카메라의 영상 내에서 수평인 축을 말한다. 즉, Y축 및 X축은 카메라가 지면과 수평으로 설치된 경우에는 지면을 기준으로 하지만, 카메라가 지면과 수평이 아닌 경우에는 카메라에 의해 획득된 영상에서 각각 수직인 축과 수평인 축을 의미한다.
상기 영상 분석부(30)는 상기 정면 영상을 교정하기 위해 제1 내지 제3의 교정참조정보를 계산한다.
도 2는 본 발명에 따라 제 1 교정참조정보를 계산하는 방법이 도시된 도이다.
상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 눈동자의 중심점을 좌표를 찾아 두 눈동자의 중심점을 연결하는 직선(L1)과 가상의 수평선(L2)이 이루는 각도인 제 1 교정참조정보(θ1)를 계산한다.
또한, 상기 영상 분석부(30)는 상기 두 눈동자의 중심점을 연결하는 직선(L1)과 가상의 수평선(L2) 또는 제 1 교정참조정보를 디스플레이부(20)를 통해 출력하여 사용자가 이를 보고 교정이 용이하도록 도움을 줄 수 있다.
상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 0인지, 즉 양쪽 눈동자가 수평을 이루는지 판단하여 양쪽 눈동자가 수평을 이루는 경우에는 설정된 기준범위(T1)를 만족한 것으로 보고, 상기 디스플레이부(20)를 통해 녹색의 표시등을 출력한다. 이 경우 기준범위(T1)는 0과 가까운 특정한 범위로 설정될 수 있다.
만약, 상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 설정된 기준범위를 만족하지 못하는 경우, 즉 각도가 0이 아닌 경우에는 상기 디스플레이부(20)를 통해 적색의 표시등을 출력한다. 이 경우, 사용자인 대상 인물은 디스플레이부를 통해 자신의 자세를 교정하여 상기 제 1 교정참조정보(θ1)가 0이 되도록 한다. 즉, 사용자는 Z축을 기준으로 머리를 좌우로 기울여 교정하는 것이다.
상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 0을 만족하는 경우에는 Y축 교정을 위해 제 2 교정참조정보를 생성하지만, 만족하지 못하는 경우에는 자세가 교정된 대상 인물로부터 새롭게 영상을 획득하여 다시 제 1 교정참조정보(θ1)를 재계산하고, 설정된 기준범위를 만족하는지 판별한다.
도 3은 본 발명에 따라 제 2 교정참조정보를 계산하는 방법이 도시된 도이다.
도 3을 참조하면, 먼저 상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산한다.
상기 영상 분석부(30)는 상기 정면 영상에서 귀를 검출하여 양쪽 귀의 면적(A, B)를 계산한다. 제 2 교정참조정보인 양쪽 귀의 면적비(A/B)를 계산하여 설정된 기준범위(T2)와 비교하게 되는데, 상기 제 2 교정참조정보가 1이 아닌 경우, 즉 양쪽 귀의 면적이 다른 경우에는 대상 인물의 자세가 비뚤어진 것을 의미하므로, 상기 제 2 교정참조정보, 즉 양쪽 귀의 면적비를 디스플레이부에 출력하여 대상 인물로 하여금 자세를 교정하게 한 후 새롭게 입수한 영상을 통해 다시 제 2 교정참조정보를 계산한다. 이 경우 양쪽 귀의 면적을 시각적으로 볼 수 있도록 디스플레이부에 표시할 수도 있다.
이 경우, 디스플레이부(20)에 적색의 표시등을 출력하여 사용자로 하여금 자세가 틀렸다는 것을 알린다. 이 경우 사용자는 디스플레이 장치를 보면서 Y축을 기준으로 머리를 회전시켜 좌우 귀의 면적이 동일하도록 자세를 교정할 수 있다.
상기 영상 분석부(30)는 만약, 상기 제 2 교정참조정보가 1인 경우 혹은 그와 아주 가깝게 설정된 특정의 범위 이내인 경우에는 디스플레이부(20)를 통해 녹색의 표시등을 출력하여 자세를 유지하도록 하고 X축 교정을 위해 제 3 교정참조정보를 계산한다.
도 4는 본 발명에 따라 제 3 교정참조정보를 계산하는 방법이 도시된 도이다.
도 4를 참조하면, 먼저 상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산한다.
상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 눈동자의 중심점 위의 눈꺼풀을 연결한 직선(L3)과 양쪽 귀의 정점을 연결한 직선(L4) 간의 수직방향의 거리인 제 3 교정참조정보(D1)를 계산하여 설정된 기준범위(T3)와 비교하게 되는데, 상기 제 3 교정참조정보가 0이 아닌 경우, 즉 눈동자 위의 눈꺼풀의 높이와 귀의 정점의 높이가 일치하지 않는 경우에는 대상 인물의 자세가 비뚤어진 것을 의미하므로, 상기 두 직선(L3, L4) 또는 두 직선간의 거리(D1)를 디스플레이부에 출력하여 대상 인물로 하여금 자세를 교정하게 한 후 새롭게 입수한 영상을 통해 다시 제 3 교정참조정보를 계산한다.
이 경우, 디스플레이부(20)에 적색의 표시등을 출력하여 사용자로 하여금 자세가 틀렸다는 것을 알린다. 이 경우 사용자는 디스플레이 장치를 보면서 X축을 기준으로 고개를 숙이거나 고개를 들어 눈동자 위의 눈꺼풀의 높이와 귀의 정점의 높이가 일치하도록 자세를 교정할 수 있다.
상기 영상 분석부(30)는 만약, 상기 제 3 교정참조정보가 0인 경우 혹은 그와 아주 가깝게 설정된 특정의 범위 이내인 경우에는 디스플레이부(20)를 통해 녹색의 표시등을 출력하여 자세를 유지하도록 한다.
상기 제어부(40)는 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준(T1, T2, T3)를 순차적으로 모두 만족하는 경우에는 상기 대상 인물의 정면 영상을 최종적으로 메모리에 저장한다.
도 5는 상기 영상 분석부(30)에서 계산된 제 1 내지 제 3 교정참조정보가 디스플레이부에 표시되도록 한다.
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.
도 1은 본 발명의 제 1 실시예에 따른 안면 영상 촬영장치의 구성이 도시된 블럭도이다.
도 1을 참조하면, 본 발명의 제 1 실시예에 따른 안면 영상 촬영장치는 대상 인물의 정면 영상을 실시간으로 획득하는 카메라(10), 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부(20), 상기 카메라에 의해 획득된 영상을 분석하여 대상 인물에게 자세교정 메시지를 출력하는 영상 분석부(30) 및 최종적으로 자세교정이 이루어진 영상이 판별된 경우에는 메모리에 저장하는 제어부(40)를 포함하여 구성된다.
상기 카메라(10)는 대상 인물의 영상을 획득하여 전기적인 신호로 변환하여 영상 분석부(30)로 전송한다. 카메라의 종류는 제한이 없으며 일반적으로 디지털 카메라가 사용될 수 있다.
상기 디스플레이부(20)는 상기 카메라에 의해 획득된 영상이 실시간으로 출력한다. 일반적으로 LCD 디스플레이 장치가 사용될 수 있다.
또한, 상기 디스플레이부(20)는 상기 영상 분석부에 의해 분석된 영상에 따라 대상인물에게 자세교정이 필요한지 여부, 즉 설정된 기준에 맞는지 여부를 출력하며, 사용자의 영상에 교정이 필요한 부분이나 위치를 표시하여 사용자로 하여금 자세를 어떻게 교정할지 가이드하는 기능도 수행한다.
이하, 도 2 내지 4를 이용하여 교정된 자세의 정면 영상을 획득하는 과정을 설명한다.
상기 영상 분석부(30)는 정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성한다.
상기 영상 분석부(30)는 대상 인물의 정면 영상을 분석하여 Z축 교정, Y축 교정, X축 교정이 순자적으로 이루어지도록 상기 디스플레이부를 통해 대상인물의 영상에 자세교정에 필요한 정보를 표시하고, 대상인물에게 교정이 적합한지 여부에 관한 메시지를 출력한다.
여기서, Z축은 카메라의 촬영방향을 가리키는 축을 말하며, Y축은 지면과 수직인 축 또는 카메라의 영상 내에서 수직인 축을 말하며, X축은 지면과 수평인 축 또는 카메라의 영상 내에서 수평인 축을 말한다. 즉, Y축 및 X축은 카메라가 지면과 수평으로 설치된 경우에는 지면을 기준으로 하지만, 카메라가 지면과 수평이 아닌 경우에는 카메라에 의해 획득된 영상에서 각각 수직인 축과 수평인 축을 의미한다.
상기 영상 분석부(30)는 상기 정면 영상을 교정하기 위해 제1 내지 제3의 교정참조정보를 계산한다.
도 2는 본 발명에 따라 제 1 교정참조정보를 계산하는 방법이 도시된 도이다.
상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 눈동자의 중심점을 좌표를 찾아 두 눈동자의 중심점을 연결하는 직선(L1)과 가상의 수평선(L2)이 이루는 각도인 제 1 교정참조정보(θ1)를 계산한다.
또한, 상기 영상 분석부(30)는 상기 두 눈동자의 중심점을 연결하는 직선(L1)과 가상의 수평선(L2) 또는 제 1 교정참조정보를 디스플레이부(20)를 통해 출력하여 사용자가 이를 보고 교정이 용이하도록 도움을 줄 수 있다.
상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 0인지, 즉 양쪽 눈동자가 수평을 이루는지 판단하여 양쪽 눈동자가 수평을 이루는 경우에는 설정된 기준범위(T1)를 만족한 것으로 보고, 상기 디스플레이부(20)를 통해 녹색의 표시등을 출력한다. 이 경우 기준범위(T1)는 0과 가까운 특정한 범위로 설정될 수 있다.
만약, 상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 설정된 기준범위를 만족하지 못하는 경우, 즉 각도가 0이 아닌 경우에는 상기 디스플레이부(20)를 통해 적색의 표시등을 출력한다. 이 경우, 사용자인 대상 인물은 디스플레이부를 통해 자신의 자세를 교정하여 상기 제 1 교정참조정보(θ1)가 0이 되도록 한다. 즉, 사용자는 Z축을 기준으로 머리를 좌우로 기울여 교정하는 것이다.
상기 영상 분석부(30)는 상기 제 1 교정참조정보(θ1)가 0을 만족하는 경우에는 Y축 교정을 위해 제 2 교정참조정보를 생성하지만, 만족하지 못하는 경우에는 자세가 교정된 대상 인물로부터 새롭게 영상을 획득하여 다시 제 1 교정참조정보(θ1)를 재계산하고, 설정된 기준범위를 만족하는지 판별한다.
도 3은 본 발명에 따라 제 2 교정참조정보를 계산하는 방법이 도시된 도이다.
도 3을 참조하면, 먼저 상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산한다.
상기 영상 분석부(30)는 상기 정면 영상에서 귀를 검출하여 양쪽 귀의 면적(A, B)를 계산한다. 제 2 교정참조정보인 양쪽 귀의 면적비(A/B)를 계산하여 설정된 기준범위(T2)와 비교하게 되는데, 상기 제 2 교정참조정보가 1이 아닌 경우, 즉 양쪽 귀의 면적이 다른 경우에는 대상 인물의 자세가 비뚤어진 것을 의미하므로, 상기 제 2 교정참조정보, 즉 양쪽 귀의 면적비를 디스플레이부에 출력하여 대상 인물로 하여금 자세를 교정하게 한 후 새롭게 입수한 영상을 통해 다시 제 2 교정참조정보를 계산한다. 이 경우 양쪽 귀의 면적을 시각적으로 볼 수 있도록 디스플레이부에 표시할 수도 있다.
이 경우, 디스플레이부(20)에 적색의 표시등을 출력하여 사용자로 하여금 자세가 틀렸다는 것을 알린다. 이 경우 사용자는 디스플레이 장치를 보면서 Y축을 기준으로 머리를 회전시켜 좌우 귀의 면적이 동일하도록 자세를 교정할 수 있다.
상기 영상 분석부(30)는 만약, 상기 제 2 교정참조정보가 1인 경우 혹은 그와 아주 가깝게 설정된 특정의 범위 이내인 경우에는 디스플레이부(20)를 통해 녹색의 표시등을 출력하여 자세를 유지하도록 하고 X축 교정을 위해 제 3 교정참조정보를 계산한다.
도 4는 본 발명에 따라 제 3 교정참조정보를 계산하는 방법이 도시된 도이다.
도 4를 참조하면, 먼저 상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산한다.
상기 영상 분석부(30)는 상기 정면 영상에서 양쪽 눈동자의 중심점 위의 눈꺼풀을 연결한 직선(L3)과 양쪽 귀의 정점을 연결한 직선(L4) 간의 수직방향의 거리인 제 3 교정참조정보(D1)를 계산하여 설정된 기준범위(T3)와 비교하게 되는데, 상기 제 3 교정참조정보가 0이 아닌 경우, 즉 눈동자 위의 눈꺼풀의 높이와 귀의 정점의 높이가 일치하지 않는 경우에는 대상 인물의 자세가 비뚤어진 것을 의미하므로, 상기 두 직선(L3, L4) 또는 두 직선간의 거리(D1)를 디스플레이부에 출력하여 대상 인물로 하여금 자세를 교정하게 한 후 새롭게 입수한 영상을 통해 다시 제 3 교정참조정보를 계산한다.
이 경우, 디스플레이부(20)에 적색의 표시등을 출력하여 사용자로 하여금 자세가 틀렸다는 것을 알린다. 이 경우 사용자는 디스플레이 장치를 보면서 X축을 기준으로 고개를 숙이거나 고개를 들어 눈동자 위의 눈꺼풀의 높이와 귀의 정점의 높이가 일치하도록 자세를 교정할 수 있다.
상기 영상 분석부(30)는 만약, 상기 제 3 교정참조정보가 0인 경우 혹은 그와 아주 가깝게 설정된 특정의 범위 이내인 경우에는 디스플레이부(20)를 통해 녹색의 표시등을 출력하여 자세를 유지하도록 한다.
상기 제어부(40)는 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준(T1, T2, T3)를 순차적으로 모두 만족하는 경우에는 상기 대상 인물의 정면 영상을 최종적으로 메모리에 저장한다.
도 5는 상기 영상 분석부(30)에서 계산된 제 1 내지 제 3 교정참조정보가 디스플레이부에 표시되도록 한다.
도 6은 본 발명의 제 2 실시예에 따른 안면 영상 촬영장치의 구성이 도시된 블럭도이다.
본 발명의 제 2 실시예에 따른 안면 영상 촬영장치는 대상 인물의 정면 영상을 실시간으로 획득하는 카메라(10), 상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부(20), 상기 카메라의 위치 또는 촬영각도를 변경시키는구동모듈(60), 상기 카메라에 의해 획득된 영상을 분석하여 교정참조정보를 계산하는 영상 분석부(30) 및 상기 교정참조정보에 따라 상기 카메라 또는 구동모듈의 동작을 제어하는 제어부(40)를 포함하여 구성된다.
본 발명의 제 1 실시예에서는 영상 분석부(30)가 획득된 영상을 분석하여 디스플레이부(20)를 통해 메시지를 출력하여 대상 인물로 하여금 자세를 교정하도록 하였으나, 본 발명의 제 2 실시예에서는 카메라(10)에 설치된 구동모듈(60)을 통해 상기 영상 분석부(30)에서 계산한 교정참조정보를 고려하여 제어부(40)가 카메라 또는 구동모듈을 구동시켜 촬영각도나 위치를 조정하도록 구성된다.
상기 구동모듈(60)은 하나 이상의 구동모터를 포함하는데, 제어부(40)에 의해 제어되며 카메라의 촬영각도나 카메라의 위치등을 조정한다.
상기 영상 분석부(30)는 앞서 상기 제 1 실시예와 동일한 방식으로 제 1 내지 제 6 교정참조정보를 생성하며, 제어부(40)는 상기 제 1 내지 제 6 교정참조정보가 설정된 기준범위를 만족하지 않는 경우에는 상기 설정된 기준범위와의 오차만큼 상기 카메라의 위치 또는 촬영각도를 보정한다.
상기 제어부(40)는 상기 카메라와 상기 대상 인물 사이의 거리를 반경으로 하는 가상의 구면을 따라 상기 카메라가 이동하도록 상기 구동모듈을 제어한다. 따라서, 카메라가 상기와 같이 가상의 구면을 따라 이동할 수 있도록 카메라의 동작을 가이드하는 지지대 등이 상기 카메라에 설치될 수 있다.
상기 카메라가 가상의 구면을 따라 움직이면서 촬영이 이루어져야, 상기 제 1 실시예에서 대상 인물이 자세를 교정하는 것과 동일한 효과를 얻을 수 있다.
이하, 도 7 내지 도 9를 참조하여 본 발명의 제 2 실시예에 따른 안면 영상 촬영장치의 동작을 설명한다.
도 7 내지 도 9는 본 발명의 제 2 실시예에 따라 정면 영상의 경우 카메라의 동작을 도시한 것이다.
도 7의 경우 정면 영상에서 Z축을 기준으로 교정이 이루어지는 모습이 도시된 도이다.
도 7을 참조하면, 상기 제어부(40)는 상기 제 1 교정참조정보가 0°가 아닌 경우에는 상기 제 1 교정참조정보가 0°가 되도록 상기 카메라(10)의 촬영방향은 상기 대상인물(1)을 향하도록 고정한 채 상기 카메라를 촬영방향 축(Z축)을 기준으로 회전시킨다. 즉, 정면 영상에서 대상 인물의 두 눈동자의 중심을 연결하는 직선이 카메라의 영상 내에서 수평이 되도록 카메라의 촬영각도를 조절하는 것이다. 카메라의 움직임은 구동모듈(60)에 의해 수행된다.
도 8의 경우 정면 영상에서 Y축을 기준으로 교정이 이루어지는 모습이 도시된 도이다.
도 8을 참조하면, 상기 제어부(40)는 상기 제 2 교정참조정보가 1이 아닌 경우에는 상기 제 2 교정참조정보가 1이 되도록 상기 카메라의 촬영방향은 상기 대상인물을 향하도록 고정한 채 상기 카메라를 좌우로 이동시킨다. 즉, 정면 영상에서 양쪽 귀의 면적이 동일하게 보이는 위치로 카메라(10)를 이동시키는 것이다. 마찬가지로 카메라의 움직임은 구동모듈(60)에 의해 수행된다. 이때 카메라는 직선으로 움직이는 것이 아니라, 대상 인물을 중심으로 반원의 곡률을 이루며 움직인다.
도 9의 경우 정면 영상에서 X축을 기준으로 교정이 이루어지는 모습이 도시된 도이다.
도 9를 참조하면, 상기 제어부는 상기 제 3 교정참조정보가 0이 아닌 경우에는 상기 제 3 교정참조정보가 0이 되도록 상기 카메라(10)의 촬영방향은 상기 대상인물을 향하도록 고정한 채 상기 카메라를 상하로 이동시킨다. 즉, 눈동자 중심 바로 위의 눈꺼풀의 높이와 귀의 정점의 높이가 같아지는 위치로 카메라(10)를 이동시키는 것이다. 마찬가지로 카메라의 움직임은 구동모듈(60)에 의해 수행되며, 이때 카메라는 직선으로 움직이는 것이 아니라, 대상 인물을 중심으로 반원의 곡률을 이루며 움직인다.
상기 영상 분석부(30)는 상기 제 1 내지 제 3 교정참조정보를 순차적으로 계산하되, 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우에 다음 순서의 교정참조정보를 계산한다. 제어부(40)는 최종적으로 제 1 내지 제 3 교정참조정보를 만족하는 정면 영상을 메모리에 저장한다.
상기 영상 분석부(30)는 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우 상기 디스플레이부로 녹색 표시등을 출력하고, 각각의 설정된 기준범위를 만족하지 않는 경우에는 상기 디스플레이부로 적색 표시등을 출력한 후 상기 카메라에 의해 새롭게 획득된 정면 영상에 대해 해당 교정참조정보를 다시 계산한다. 이하 나머지 구성요소의 동작은 상기 제 1 실시예와 실질적으로 동일하므로 설명을 생략한다.
도 10은 본 발명에 따른 안면 영상 촬영장치가 교정된 자세의 정면 영상을 획득하는 방법이 도시된 순서도이다.
각 단계에서 구체적인 과정은 앞서 설명한 제 1 실시예 및 제 2 실시예에 포함되어 있는 내용과 동일하므로 있으므로, 상세한 설명은 생략한다.
도 10을 참조하면, 본 발명에 따른 안면 영상 촬영방법은 먼저 카메라를 이용하여 정면 영상을 일차적으로 획득한다(S10).
다음으로, 제 1 교정참조정보를 생성하여 설정된 기준범위와 맞는지 검토하여 설정된 기준범위를 만족하는 경우에는 제 2 교정참조정보를 생성하되, 맞지 않는 경우에는 사용자로 하여금 Z축을 기준으로 자세를 교정하도록 하거나, 카메라를 움직여 Z축 방향의 교정을 한 후 영상을 재촬영하고, 재촬영된 영상을 기준으로 제 1 교정참조정보를 새로 생성하여 설정된 기준범위와 맞는지 비교하며 만족할때까지 반복한다(S20).
마찬가지로 제 2 교정참조정보를 이용하여 Y축 회전 교정을 수행하며(S30), 제 3 교정참조정보를 이용하여 X축 회전 교정을 수행한다(S40).
상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 모두 만족하는 정면 영상을 메모리에 저장한다(S50).
이상과 같이 본 발명에 의한 안면 영상 촬영장치를 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
본 발명에 따르면, 얼굴의 특징점을 이용하여 정확한 자세의 안면 영상을 획득할 수 있으며, 바른 자세의 영상 정보를 통해 특징점 정보를 추출할 수 있어, 영상을 이용한 진단시 정확한 진단이 가능하므로, 안면 영상을 통한 진단 분야에 보다 효과적으로 이용될 수 있다.

Claims (17)

  1. 대상 인물의 정면 영상을 실시간으로 획득하는 카메라;
    상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부;
    정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성하는 영상 분석부; 및
    상기 교정참조정보가 설정된 기준범위를 만족하는 경우에 상기 정면 영상을 메모리에 저장하는 제어부를 포함하는 안면 영상 촬영장치.
  2. 청구항 1에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점의 좌표를 찾아 두 눈동자의 중심점을 연결하는 직선과 가상의 수평선이 이루는 각도인 제 1 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  3. 청구항 2에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  4. 청구항 3에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점 위의 눈꺼풀을 연결한 직선과 양쪽 귀의 정점을 연결한 직선 간의 수직방향의 거리인 제 3 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  5. 청구항 4에 있어서,
    상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보를 순차적으로 계산하되, 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우에 다음 순서의 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  6. 청구항 5에 있어서,
    상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우 상기 디스플레이부로 녹색 표시등을 출력하고, 각각의 설정된 기준범위를 만족하지 않는 경우에는 상기 디스플레이부로 적색 표시등을 출력한 후 상기 카메라에 의해 새롭게 획득된 정면 영상에 대해 해당 교정참조정보를 다시 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  7. 청구항 6에 있어서,
    상기 디스플레이부는 상기 제 1 내지 제 3 교정참조정보를 이용하여 대상 인물에게 자세교정이 필요한지 여부, 사용자의 영상에 교정이 필요한 부분이나 위치를 표시하여 사용자로 하여금 자세를 어떻게 교정할지 가이드하는 것을 특징으로 하는 안면 영상 촬영장치.
  8. 대상 인물의 정면 영상을 실시간으로 획득하는 카메라;
    상기 카메라의 위치 또는 촬영각도를 변경시키는 구동모듈;
    상기 카메라에 의해 촬영된 영상이 출력되는 디스플레이부;
    정면 영상 촬영시에는 상기 카메라에 의해 획득된 정면 영상을 양쪽 눈동자의 중심점의 위치정보, 양쪽 귀의 면적정보, 눈동자 중심점 위의 눈꺼풀의 위치정보 및 귀의 정점의 위치정보를 포함하는 특징점 정보를 이용하여 교정참조정보를 생성하는 영상 분석부; 및
    상기 교정참조정보가 설정된 기준범위를 만족하지 않는 경우에는 상기 설정된 기준범위와의 오차만큼 상기 카메라의 위치 또는 촬영각도를 보정하여 재촬영하도록 상기 구동모듈 또는 카메라를 제어하고, 상기 교정참조정보가 설정된 기준범위를 만족하는 경우에는 상기 정면 영상을 메모리에 저장하는 제어부를 포함하는 안면 영상 촬영장치.
  9. 청구항 8에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점의 좌표를 찾아 두 눈동자의 중심점을 연결하는 직선과 상기 정면 영상에서의 가상의 수평선이 이루는 각도인 제 1 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  10. 청구항 9에 있어서,
    상기 제어부는 상기 제 1 교정참조정보가 0°가 아닌 경우에는 상기 제 1 교정참조정보가 0°가 되도록 상기 카메라의 촬영방향은 상기 대상인물을 향하도록 고정한 채 상기 카메라를 촬영방향 축을 기준으로 회전시키는 것을 특징으로 하는 안면 영상 촬영장치.
  11. 청구항 10에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 귀의 면적비인 제 2 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  12. 청구항 11에 있어서,
    상기 제어부는 상기 제 2 교정참조정보가 1이 아닌 경우에는 상기 제 2 교정참조정보가 1이 되도록 상기 카메라의 촬영방향은 상기 대상인물을 향하도록 고정한 채 상기 카메라를 좌우로 이동시키는 것을 특징으로 하는 안면 영상 촬영장치.
  13. 청구항 12에 있어서,
    상기 영상 분석부는 상기 정면 영상에서 양쪽 눈동자의 중심점 위의 눈꺼풀을 연결한 직선과 양쪽 귀의 정점을 연결한 직선 간의 수직방향의 거리인 제 3 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  14. 청구항 13에 있어서,
    상기 제어부는 상기 제 3 교정참조정보가 0이 아닌 경우에는 상기 제 3 교정참조정보가 0이 되도록 상기 카메라의 촬영방향은 상기 대상인물을 향하도록 고정한 채 상기 카메라를 상하로 이동시키는 것을 특징으로 하는 안면 영상 촬영장치.
  15. 청구항 14에 있어서,
    상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보를 순차적으로 계산하되, 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우에 다음 순서의 교정참조정보를 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  16. 청구항 15에 있어서,
    상기 영상 분석부는 상기 제 1 내지 제 3 교정참조정보가 각각의 설정된 기준범위를 만족하는 경우 상기 디스플레이부로 녹색 표시등을 출력하고, 각각의 설정된 기준범위를 만족하지 않는 경우에는 상기 디스플레이부로 적색 표시등을 출력한 후 상기 카메라에 의해 새롭게 획득된 정면 영상에 대해 해당 교정참조정보를 다시 계산하는 것을 특징으로 하는 안면 영상 촬영장치.
  17. 청구항 14에 있어서,
    상기 제어부는 상기 카메라와 상기 대상 인물 사이의 거리를 반경으로 하는 가상의 구면을 따라 상기 카메라가 이동하도록 상기 구동모듈을 제어하는 것을 특징으로 하는 안면 영상 촬영장치.
PCT/KR2009/006676 2008-11-24 2009-11-13 안면 영상 촬영장치 WO2010058927A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0116691 2008-11-24
KR1020080116691A KR100982171B1 (ko) 2008-11-24 2008-11-24 안면 영상 촬영장치

Publications (2)

Publication Number Publication Date
WO2010058927A2 true WO2010058927A2 (ko) 2010-05-27
WO2010058927A3 WO2010058927A3 (ko) 2010-08-12

Family

ID=42198635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/006676 WO2010058927A2 (ko) 2008-11-24 2009-11-13 안면 영상 촬영장치

Country Status (2)

Country Link
KR (1) KR100982171B1 (ko)
WO (1) WO2010058927A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932407A (zh) * 2021-01-29 2021-06-11 上海市内分泌代谢病研究所 一种面部正面校准方法及系统
CN117968766A (zh) * 2024-02-02 2024-05-03 北京中讯四方科技股份有限公司 一种用于微波组件检测的产品质量分析系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331055B1 (ko) * 2010-08-18 2013-11-26 한국전자통신연구원 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
KR101381134B1 (ko) 2013-01-03 2014-04-04 계명대학교 산학협력단 모션 반응 게임을 이용한 전정 재활 훈련 시스템 및 재활 훈련 방법
KR101660596B1 (ko) * 2014-12-05 2016-09-27 한국 한의학 연구원 안면 형상 기울기 보정 방법 및 보정 시스템
KR102083619B1 (ko) 2015-08-31 2020-03-03 오스템임플란트 주식회사 치아 교정 계획을 위한 이미지 처리 방법, 이를 위한 장치 및 기록 매체
KR20200077775A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 전자 장치 및 그의 정보 제공 방법
KR102255342B1 (ko) * 2019-06-25 2021-05-26 고려대학교 산학협력단 가상현실 게임 및 복합 생체신호 센서 기반의 전정-안반사 재활 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100587430B1 (ko) * 2004-09-23 2006-06-09 전자부품연구원 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법
KR100783482B1 (ko) * 2006-11-06 2007-12-07 현대정보기술주식회사 여권 사진 촬영이 가능한 디지털 영상촬영장치, 방법, 및그 기록매체
JP2008227906A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100587430B1 (ko) * 2004-09-23 2006-06-09 전자부품연구원 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법
KR100783482B1 (ko) * 2006-11-06 2007-12-07 현대정보기술주식회사 여권 사진 촬영이 가능한 디지털 영상촬영장치, 방법, 및그 기록매체
JP2008227906A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932407A (zh) * 2021-01-29 2021-06-11 上海市内分泌代谢病研究所 一种面部正面校准方法及系统
CN117968766A (zh) * 2024-02-02 2024-05-03 北京中讯四方科技股份有限公司 一种用于微波组件检测的产品质量分析系统

Also Published As

Publication number Publication date
KR100982171B1 (ko) 2010-09-15
KR20100058031A (ko) 2010-06-03
WO2010058927A3 (ko) 2010-08-12

Similar Documents

Publication Publication Date Title
WO2010058927A2 (ko) 안면 영상 촬영장치
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2014204093A1 (en) Information providing method and apparatus for aligning x-ray tube and detector of mobile x-ray apparatus, and wireless detector
KR102039281B1 (ko) 구강 내시경 검사 시스템 및 그 검사 방법
WO2019132427A1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
WO2014077613A1 (ko) 정복 시술 로봇 및 그의 구동 제어 방법
US20190385377A1 (en) Virtual spatially registered video overlay display
WO2020027377A1 (ko) 3d 영상 정합 제공 장치 및 그 방법
JP5173395B2 (ja) 視機能検査装置
WO2018030818A1 (ko) 사시 자동측정기구
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2017164545A1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
WO2014189315A1 (ko) 골프 스윙에 대한 정보제공을 위한 골프 연습 시스템, 서버 및 이를 이용한 골프 스윙에 대한 정보 처리방법
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
WO2020204366A2 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2016148350A1 (ko) 의료 영상 재구성 장치 및 그 방법
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
WO2019004565A1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
WO2021215843A1 (ko) 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
WO2020209495A1 (ko) 영상 데이터의 전처리 장치
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2012169693A1 (ko) 영상처리방법 및 영상처리장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09827692

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09827692

Country of ref document: EP

Kind code of ref document: A2