WO2015137666A1 - 오브젝트 인식 장치 및 그 제어 방법 - Google Patents

오브젝트 인식 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2015137666A1
WO2015137666A1 PCT/KR2015/002221 KR2015002221W WO2015137666A1 WO 2015137666 A1 WO2015137666 A1 WO 2015137666A1 KR 2015002221 W KR2015002221 W KR 2015002221W WO 2015137666 A1 WO2015137666 A1 WO 2015137666A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional image
condition
preset
additional
Prior art date
Application number
PCT/KR2015/002221
Other languages
English (en)
French (fr)
Inventor
김병현
김상윤
박경재
정기준
조은희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP15761671.5A priority Critical patent/EP3091507A4/en
Priority to US15/125,751 priority patent/US10592759B2/en
Publication of WO2015137666A1 publication Critical patent/WO2015137666A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to an object recognition apparatus and a method thereof, and more particularly, to an object recognition apparatus and a control method for recognizing an object using a database.
  • the present invention is in accordance with the above-described needs, and an object of the present invention is to provide an object recognition apparatus capable of automatically constructing and updating a database and a control method thereof.
  • a method of controlling an object recognition apparatus may further include obtaining an initial image of a predetermined object, storing the initial image as a reference image, and a first additional image of the predetermined object. Determining whether the relative size of the object included in the initial image of the object included in the first additional image satisfies the first predetermined condition and when the first additional image satisfies the predetermined condition. Adding and storing the first additional image as a reference image.
  • the storing of the reference image may include storing at least two images generated by applying different histogram stretching to the initial image as the reference image.
  • the adding and storing of the reference image as the reference image may include storing the at least two images generated by applying different histogram stretching to the first additional image when the first additional image satisfies a preset condition along with the first additional image. It may be to save as.
  • the determining of whether the first predetermined condition is satisfied may include a relative size of the object included in the initial image of the object included in the first additional image to a preset first ratio or less than a preset second ratio. If it is within the range, it may be determined that the first predetermined condition is satisfied.
  • the preset first ratio may be 70%, and the preset second ratio may be 100%.
  • the determining whether the first condition is satisfied may include: when the feature information of the object included in the first additional image is similar to the feature information of the object included in the initial image, the object included in the first additional image. It may be to determine whether a relative size of the object included in the initial image of satisfies the first predetermined condition.
  • the object recognition control method may further include obtaining a second additional image of the preset object, and a relative size of the object included in the first additional image of the object included in the second additional image satisfies the preset second condition.
  • the method may further include determining whether the second additional image is to be stored as the reference image when the second additional image satisfies a predetermined condition.
  • the object recognition control method may further include obtaining a third additional image of the predetermined object, and a relative size of the object included in the first additional image of the object included in the third additional image satisfies the preset third condition. Determining whether or not the relative size of the object included in the initial image of the object included in the third additional image satisfies the preset fourth condition and the third additional image determines the third condition and the fourth condition. If satisfied, the method may further include updating the first additional image with the third additional image.
  • the third condition is a condition in which a relative size of the object included in the third additional image to the object included in the first additional image is in a range of 70% or more and 100% or less preset
  • the fourth condition is a third additional It may be a condition that a relative size of the object included in the image is 50% or more with respect to the object included in the initial image.
  • the object recognition control method may further include recognizing a predetermined object based on the stored reference image.
  • the preset object may be a face of a user.
  • the storage unit for acquiring the initial image of the predetermined object, and stores as a reference image and the first additional image for the predetermined object Determines whether the relative size of the object included in the additional image to the object included in the initial image satisfies the first predetermined condition.
  • the first additional image is referred to as the reference image.
  • the control unit In addition to the control unit to store.
  • the controller may store at least two images generated by applying different histogram stretching to the initial image as the reference image.
  • the controller may store at least two images generated by applying different histogram stretching to the first additional image as the reference image.
  • the controller may be configured to satisfy the preset first condition when the relative size of the object included in the initial image of the object included in the first additional image falls within a range that is equal to or greater than or equal to the preset second ratio. You can judge.
  • the preset first ratio may be 70%, and the preset second ratio may be 100%.
  • the controller may be further configured to obtain a second additional image of the preset object, and to determine whether a relative size of the object included in the first additional image of the object included in the second additional image satisfies the preset second condition. If the second additional image satisfies a preset condition, the second additional image may be added as a reference image and stored.
  • the controller may be further configured to acquire a third additional image of the preset object, and determine whether a relative size of the object included in the first additional image of the object included in the third additional image satisfies the preset third condition, and If the relative size of the object included in the initial image of the object included in the third additional image satisfies the preset fourth condition, and the third additional image satisfies the third condition and the fourth condition, The first additional image may be updated with the third additional image.
  • the controller may recognize the preset object based on the stored reference image.
  • the preset object may be a face of a user.
  • the recognition rate of the object recognizing apparatus may be improved, and thus the user's convenience may be improved.
  • FIG. 1 is a block diagram showing the configuration of an object recognition apparatus according to an embodiment of the present invention.
  • FIG. 2A is a block diagram illustrating a configuration of an object recognition apparatus according to another embodiment of the present invention.
  • 2B is a block diagram showing a detailed configuration of an object recognition unit according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of a face recognition apparatus according to another embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image to which a histogram stretching is applied according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating a relation between a recognition distance and a size of a recognized face according to an embodiment of the present invention
  • 6A to 6C are diagrams illustrating a method for determining whether to additionally register and update an additional image according to an embodiment of the present invention
  • FIGS. 7A to 7C are diagrams illustrating an entire process of constructing a database and registering an image in a storage unit according to an embodiment of the present invention
  • FIG. 8 is a diagram illustrating the entire process of updating the registration set 2 of the database according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a control method of a face recognition apparatus according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method of additional registration of a face recognition apparatus according to an embodiment of the present invention
  • FIG. 11 is a flowchart for explaining a method of updating a face recognition apparatus according to an exemplary embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an object recognizing apparatus according to an exemplary embodiment.
  • an object recognition apparatus 100 includes an image input unit 110, a control unit 120, and a storage unit 130.
  • the image input unit 110 functions to receive an image from the outside. For example, it may be implemented in the form of receiving an image from a camera provided in the object recognition apparatus 100 or receiving a captured image from the outside.
  • the storage unit 130 stores various data necessary for the operation of the object recognition apparatus 100.
  • the storage unit 130 obtains an initial image of a predetermined object and stores the initial image as a reference image.
  • the preset object may be a human face, but is not limited thereto.
  • the preset object may be implemented by a human hand or the like.
  • the storage unit 130 includes a database of objects.
  • the database may have the facial feature information and related information of the registrant.
  • the database may register or update data under the control of the controller 120.
  • the storage unit 130 may store programs and data for detecting the object area and automatically correcting the exposure according to the brightness of the object area when the object is recognized.
  • the storage unit 130 may provide a storage place for processing an image input from the image input unit 110.
  • the storage unit 130 may store various programs and data for controlling the overall operation of the object recognition apparatus 100, and may temporarily store data generated during the operation.
  • the storage unit 130 may be implemented as various storage devices such as a flash memory and a hard disk.
  • the controller 120 performs a control operation on various components of the object recognizing apparatus 100.
  • the controller 120 obtains a first additional image of the preset object, and determines whether a relative size of the object included in the initial image of the object included in the first additional image satisfies the preset first condition. You can judge. In this case, when the first additional image satisfies a predetermined condition, the controller 120 may add the first additional image to the storage 130 as a reference image and store the same.
  • the controller 120 satisfies the preset first condition when the relative size of the object included in the initial image of the object included in the first additional image falls within a range of more than a first preset ratio or less than a second preset ratio. You can judge that.
  • the controller 120 acquires a captured image of a face, and the relative size of the initial image previously stored in the storage unit 130 for the face area included in the image satisfies 70% or more and 100% or less.
  • the image may be added as a reference image and stored.
  • the controller 120 may store at least two images generated by applying different histogram stretching to the initial image as a reference image together with the initial image (hereinafter, at least two images generated by applying the initial image and different histogram stretching). Name the image set containing the image "Registration Set 1").
  • the histogram stretching will be described later with reference to the drawings.
  • the controller 120 may store at least two images generated by applying different histogram stretching to the first additional image as the reference image (see FIG.
  • an image set including at least two images generated by applying the first additional image and different histogram stretching will be referred to as "registration set 2").
  • the preset condition may be a condition that the relative size of the previously stored initial image satisfies 70% or more and 100% or less as described above.
  • the controller 120 may acquire a second additional image of the preset object, and determine whether a relative size of the object included in the first additional image of the object included in the second additional image satisfies the preset second condition. If the second additional image satisfies the preset condition, the second additional image may be added as the reference image.
  • the controller 120 may store at least two images generated by applying different histogram stretching to the second additional image as the reference image (see FIG.
  • an image set including at least two images generated by applying a second additional image and different histogram stretching will be referred to as "registration set 3").
  • the preset condition may be, for example, a condition that a relative size of the previously stored first additional image satisfies 70% or more and 100% or less.
  • the controller 120 acquires a third additional image of the preset object, and whether the relative size of the object included in the first additional image of the object included in the third additional image satisfies the preset third condition. It may be determined whether or not the relative size of the object included in the initial image of the object included in the third additional image satisfies the preset fourth condition. In this case, when the third additional image satisfies the third condition and the fourth condition, the controller 120 may update the first additional image with the third additional image.
  • the third condition may be, for example, a condition in which a relative size of the object included in the third additional image to the object included in the first additional image is in a range of 70% or more and 100% or less.
  • the fourth condition may be a condition that a relative size of the object included in the initial image of the object included in the third additional image is 50% or more.
  • the controller 120 performs search and extraction of the object area from the input image, extraction of the size and feature information of the object, pre-registration of the database, brightness calculation of the object area, exposure compensation value calculation, and exposure setting control. do.
  • the controller 120 may include an object recognition unit to be described later.
  • the controller 120 may analyze and register information about the object.
  • the controller 120 may acquire an initial image from the image input unit 110, register an initial object, and control to build a database of object size information and feature information. For example, when the object is a face, when the face of the user is input through a camera, the controller 120 extracts a face region of the input image data, obtains the size and feature information of the face of the user, and makes a database. Can be built.
  • the controller 120 may automatically store the feature information of the object having a different contrast in the database so as to be able to recognize the object image having a change in illumination.
  • the controller 120 may additionally generate a correction image by correcting contrast and brightness of the image by applying histogram stretching to the acquired initial image, and configure a set together with the initial image to control the data to be stored in a database.
  • each image in the configured set may be a reference image for recognizing or additionally registering an additional image input thereafter.
  • the number of images constituting the set may be variously set according to the degree of correction of contrast and brightness.
  • the controller 120 may obtain the size and feature information of the object included in the additional image and compare the object with the object included in the registered initial image to determine similarity.
  • the similarity may be determined for the histogram stretching applied images in the set stored in the database.
  • controller 120 may automatically store feature information of objects having different sizes in a database so as to reduce the influence on the recognition rate according to the distance at the time of recognition of the user.
  • the controller 120 when the relative size of the object included in the initial image of the object included in the additional image satisfies a preset condition, the controller 120 additionally registers the additional image in the database to generate a new reference image for object recognition. Can be controlled.
  • the control unit 120 may, like the initial image, apply histogram stretching to the additional image, configure a new set, and additionally register it in the database.
  • the controller 120 may control to continuously update the database to recognize even a smaller object.
  • the controller 120 may control to update the database if the relative size of the object previously stored in the database of the added object satisfies a preset condition.
  • updating means replacing an image in the set stored in the database with an additional image currently input.
  • the histogram stretching is also applied to the replaced additional image to replace the set registered in the database.
  • the object recognition apparatus 100 can efficiently construct various databases according to the change of the user recognition environment.
  • the control unit 120 may include an image data register 121, a registration data definer 122, an object recognizer 123, and an additional data register and update unit 124. It includes.
  • an image data register 121 may include an image data register 121, a registration data definer 122, an object recognizer 123, and an additional data register and update unit 124. It includes.
  • descriptions of parts overlapping with the description in FIG. 1 will be omitted.
  • the image data register 121 is an element that acquires initial image data from the image input unit 110 and registers an object.
  • the image data registration unit 121 may register and manage an object in the image data for each user or object as an initial image. Information about the object included in the initial image registered by the image data register 121 is transmitted to the registration data definer 122.
  • the registration data defining unit 122 may obtain size information about an object included in the initial image registered by the image data registering unit 121.
  • the size information of the object may be a criterion for determining whether additional images to be input later are registered in the database or whether the database is updated.
  • the registration data defining unit 122 may obtain feature information about the object included in the initial image.
  • histogram stretching may be applied to the initial image, and feature information about each of the contrast correction images generated accordingly may be additionally obtained.
  • the size information and feature information of the object thus obtained are transmitted to a database in the storage 130 and stored.
  • the initial image may be stored in the database by configuring a registration set together with the contrast correction images to which the histogram stretching is applied.
  • the object recognizer 123 is an element that recognizes an object in the additional image data transmitted from the image input unit 110.
  • the object recognizing unit 123 obtains size information of the object in the image data, and compares the object in the initial image data registered from the image data registration unit 121 with the object in the additional image data to determine the similarity of the object. A detailed method of determining the similarity of the object will be described in detail with reference to FIG. 2B.
  • the data addition registration and update unit 124 may determine whether to register the additional image in the database according to the similarity information and the size information obtained by the object recognition unit 123. If the similarity satisfies a predetermined condition, the object in the registered initial image data and the object in the additional image data are recognized as the same. When the object is recognized as the same, it is possible to determine whether to add additional images to the database and to update the existing images in the database if there are additional images stored in the database. . A detailed method of determining whether to register an additional image and whether to update the additional image will be described in detail with reference to FIGS. 5 to 7C.
  • the object recognizer 123 may include an object region extractor 123-1, an object size information unit 123-2, an object feature extractor 123-3, A recognition score calculator 123-4.
  • the object region extraction unit 123-1 is an element for extracting a target object region from the added image through an object detection algorithm.
  • the object region extraction is a preprocessing process for object recognition, thereby accurately separating the object region and the background, thereby improving the false recognition rate in the feature extraction and recognition process of the object.
  • the object size information unit 123-2 is an element for extracting object information considering the size from the data extracted by the object region extraction unit 123-1.
  • the object size information unit 123-2 may determine whether to additionally register a database for an object of a new size based on the size information of the object obtained here.
  • the object feature extraction unit 123-3 is an element that extracts a plurality of object feature information with respect to the object image extracted from the object region extraction unit 123-1.
  • object feature information such as eyes, nose, mouth, facial contour, face length, and skin color may be extracted.
  • the recognition score calculator 123-4 is an element that determines a degree of similarity of an object by comparing a plurality of facial feature information about an initial image and an additional image stored in a database.
  • the recognition score calculator 123-4 may calculate the recognition score by comparing the feature information of the object included in the initial image registered in the database with the feature information of the object included in the additional image currently acquired. In this case, the recognition score calculating unit 123-4 may calculate the recognition scores by comparing the corrected images to which the histogram stretching is applied to obtain the maximum score value Max_S and the minimum score value Min_S. .
  • the recognition score calculator 123-4 may calculate three recognition scores by comparing the additional image and the three images, respectively.
  • the maximum score value (Max_S) and the minimum score value (Min_S) of the three recognition scores can be obtained, and compared with the maximum threshold value (MaxThr) and the minimum threshold value (MinThr) of the preset similar range respectively Can be determined.
  • the similarity determination method is performed by the following equation (1).
  • the object included in the additional image may be recognized as the same as the object included in the initial image of the registration set when the maximum score value is greater than the maximum threshold value and the minimum score value is greater than the minimum threshold value. Only when the object is recognized as the same, the data is processed accordingly, and the data addition registration and update unit 124 determines whether or not to further register the additional image in the database through the size information of the object.
  • the face recognition apparatus 200 may include an image input unit 110, a control unit 120, a storage unit 130, a photographing unit 140, a communication unit 150, a user interface unit 160, and an audio processing unit ( 170) and a video processor 180.
  • an image input unit 110 may include an image input unit 110, a control unit 120, a storage unit 130, a photographing unit 140, a communication unit 150, a user interface unit 160, and an audio processing unit ( 170) and a video processor 180.
  • a detailed description of parts overlapping with those shown in FIG. 1 among the elements shown in FIG. 3 will be omitted.
  • the controller 120 controls the overall operation of the face recognition apparatus 200 using various programs stored in the storage 130.
  • the controller 120 controls the RAM 121, the ROM 122, the main CPU 123, the graphics processor 124, the first to n interfaces 125-1 to 125-n, and the bus 126. Include.
  • the RAM 121, the ROM 122, the main CPU 123, the graphics processor 124, and the first to n-interfaces 125-1 to 125-n may be connected to each other through the bus 126.
  • the first to n interfaces 125-1 to 125-n are connected to the various components described above.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 123 accesses the storage unit 130 and performs booting using an operating system stored in the storage unit 130. Then, various operations are performed using various programs, contents, data, etc. stored in the storage 130.
  • the ROM 122 stores a command set for system booting.
  • the main CPU 123 copies the O / S stored in the storage unit 130 to the RAM 121 according to the command stored in the ROM 122 and executes O / S.
  • the main CPU 123 copies various application programs stored in the storage unit 130 to the RAM 121 and executes the application programs copied to the RAM 121 to perform various operations.
  • the graphic processor 124 generates a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • An operation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which objects are displayed according to the layout of the screen based on the received control command.
  • the renderer generates a screen having various layouts including objects based on the attribute values calculated by the calculator.
  • the screen generated by the rendering unit (not shown) is displayed in the display area of the display unit (not shown).
  • the communication unit 150 communicates with an external device according to various types of communication methods.
  • the communication unit 150 may communicate with various servers including an SNS server.
  • the communication unit 150 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip.
  • the communication unit 150 may receive various image data necessary for face recognition from an external server or an external terminal.
  • the communication unit 150 may receive various information such as a message, an E-mail, and program update information from an SNS server, an E-mail server, a program management server, and the like.
  • the user interface 160 receives various user commands.
  • the user interface 160 may receive various user manipulations for the UI screen.
  • the user interface 160 may be implemented as a touch panel or a touch screen that receives a user touch input.
  • the audio processor 170 is a component that processes audio data.
  • the audio processor 170 may perform various processing such as decoding, amplification, noise filtering, or the like on the audio data.
  • the video processor 180 is a component that performs processing on video data.
  • the video processor 180 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.
  • the face recognition apparatus 200 may include a speaker (not shown) that outputs various notification sounds or voice messages as well as various audio data processed by the audio processor 170, and a user voice for controlling the face recognition apparatus 200. Or a microphone (not shown) for receiving other sounds and converting them into audio data. Meanwhile, the photographing unit 140 and the microphone (not shown) may be one component of the user interface unit 160 described above according to its function.
  • various external input ports may be further included for connecting to various external terminals such as a headset, a mouse, a LAN, and the like.
  • FIG. 3 is an example of a detailed configuration included in the face recognition apparatus 200. According to an embodiment, some of the components illustrated in FIG. 3 may be omitted or changed, and other components may be omitted. Further may be added.
  • the object is a user face
  • a method in which the controller 120 of the face recognizing apparatus 200 automatically constructs various databases with respect to changes in contrast and size of a user's face will be described in detail.
  • the present invention is not limited to the specific method described below, and the database can be constructed by various methods.
  • FIG. 4 is a diagram illustrating an image to which histogram stretching is applied according to an exemplary embodiment.
  • histogram refers to a graph showing a distribution of light and dark degrees of pixels constituting an image. That is, histogram stretching means adjusting the contrast or brightness of the image by adjusting the distribution of the pixel level of the image.
  • a database may be constructed by generating two images in which contrast and brightness of images are adjusted differently.
  • the horizontal axis of the histogram means a pixel level, and the pixel level is configured from 0 to 255.
  • the pixel level in the dark region is closer to zero, and the pixel level in the bright region is closer to 255.
  • the vertical axis of the histogram represents the frequency for the pixel. For example, if the graph of the histogram is more concentrated in the lower region, that is, the left part, it is a relatively dark image. Conversely, if the histogram's graph is more concentrated in the higher-level region, the right part, it is a relatively bright image.
  • the first corrected image 420 of FIG. 4A is an image in which the brightness of the original image 410 is adjusted to a predetermined lower limit
  • the second corrected image 430 of FIG. 4C is an original image 410. This is an image whose brightness is adjusted up to a preset upper limit.
  • the histogram 480 illustrated at the top of FIG. 4A linearly expands both end values of the histogram 470 of the original image 410, and then the pixel level region where the frequency of pixels is dark. Is adjusted to be relatively high at.
  • the histogram 490 shown at the top of FIG. 4 (c) linearly extends both end values of the histogram 470 of the original image 410, and then adjusts the frequency of pixels to be relatively high in a bright pixel level region. It is. That is, with respect to the original image 410, the first correction image 420 is relatively dark in contrast, and the second correction image 430 is relatively bright in contrast.
  • the sharpness can be increased to facilitate the extraction of facial features.
  • the face images 450 and 460 having variously corrected contrasts may be additionally generated. Can be configured.
  • applying the histogram stretching can improve the false recognition rate due to the change of the face according to the illumination without the additional cost of having the illumination sensor.
  • the manner and degree of adjustment of the histogram may be preset and stored by the user, respectively.
  • the number of automatically generated additional images constituting the registration set may be variously changed.
  • FIG. 5 illustrates a relationship between a recognition distance and a size of a recognized face according to an embodiment of the present invention.
  • FIG. 5A illustrates the size of a face recognized by the recognition apparatus when the user is separated from the photographing unit 140 by d1.
  • FIG. 5B illustrates the size of the face recognized by the recognition device when the user is separated from the photographing unit 140 by d2. This assumes that the size 550 of the face included in the first additional image 520 is reduced to 80% when the size 540 of the face included in the initial image 510 is 100%.
  • FIG. 5C illustrates the size of the face recognized by the recognition device when the user is separated from the photographing unit 140 by d3. This assumes that the size 560 of the face included in the second additional image 530 is reduced to 60% when the size 540 of the face included in the initial image 510 is 100%.
  • the size of the recognized face becomes smaller. Therefore, even in the same face, if the recognition distance is far, the recognition rate may be reduced. Accordingly, even if the size of the face is reduced to a certain range, it is required to build various databases so that they can be recognized. A detailed method of constructing a database of face size will be described in detail with reference to FIGS. 6 to 7C.
  • a first condition in which a relative size of a face included in an initial image of a face included in the first additional image is preset is set. Only when satisfied, the first additional image may be added to the database as a reference image and stored. In this case, the first additional image is stored by constructing registration set 2 by applying histogram stretching.
  • the first condition may be variously changed, and thus, object images of various sizes may be built in the database.
  • the first condition belongs to a range in which the relative size of the face included in the initial image of the face included in the first additional image is greater than or equal to a preset first ratio or less than a preset second ratio. It may be.
  • the difference between the size of the face included in the currently added image (Face_S), that is, the size of the face included in the first additional image and the size of the face included in the initial image (Face_S1) is determined by the face recognition apparatus based on the initial image. It is preferable that the face of the first additional image does not go out to be recognized while maintaining a certain level of confidence. For example, the greater the difference in size between the faces, the lower the confidence level.
  • the preset first ratio is 70% and the second ratio is 100%, a high confidence level can be maintained.
  • the method of determining whether the first condition is satisfied is performed by the following equation (2).
  • Table 1 is a table showing the relationship between the size ratio of the face and the confidence level according to an embodiment of the present invention.
  • the recognition rate of the face is meaningful only up to the rate of securing a confidence level close to 100%. Therefore, the high recognition rate of the object recognizing apparatus can be maintained by registering the first additional image in the database only when the relative size of the first additional image is within the range of 70% or more and 100% or less.
  • a second condition is set in which a relative size of the face included in the first additional image of the face included in the second additional image is preset. Only when satisfied is it possible to add and store the second additional image as a reference image in the database.
  • the second additional image is stored by constructing registration set 3 by applying histogram stretching.
  • the second condition may be variously changed, and accordingly, face images of various sizes may be constructed in the database.
  • the second condition is a range in which the relative size of the face included in the second additional image with respect to the face included in the first additional image is greater than or equal to a preset first ratio or less than a preset second ratio. It may belong to.
  • the difference between the size of the face included in the currently added image (Face_S), that is, the size of the face included in the second additional image and the size of the face included in the first additional image (Face_S2) may be determined by the face recognition apparatus. It is preferable that the face of the second additional image is not recognizable while maintaining a certain confidence level based on the image. For example, the greater the difference in size between the faces, the lower the confidence level.
  • the first ratio is 70% and the second ratio is 100%, as in the first condition, it is possible to maintain a high level of confidence.
  • the method of determining whether the second condition is satisfied is performed by the following equation (2).
  • the added image when the database has already been established up to registration set 3, the added image is no longer registered, and when the added image satisfies a predetermined condition, it is replaced and updated.
  • the third additional image of the user's face when it is assumed that the third additional image of the user's face is acquired, the relative size of the face included in the first additional image of the face included in the third additional image satisfies the preset third condition, When the relative size of the face included in the initial image of the face included in the third additional image satisfies the preset fourth condition, the first additional image may be updated with the third additional image (registration set 2 update). ).
  • the third condition and the fourth condition may be variously changed, and accordingly, object images of various sizes may be built in the database.
  • the third condition may be in a range in which a relative size of the face included in the first additional image is 70% or more and 100% or less.
  • the fourth condition may belong to a range in which the relative size of the face included in the initial image of the face included in the third additional image is 50% or more.
  • the third condition may be in a range in which the relative size of the face included in the second additional image of the face included in the third additional image is 70% or more and 100% or less.
  • the fourth condition may be in a range in which the relative size of the face included in the third additional image to the face included in the first additional image is 50% or more.
  • 6A to 6C illustrate a method for determining whether to additionally register and update an additional image, according to an exemplary embodiment.
  • the determination of whether to additionally register face data of the first additional image may be based on a ratio of the face size included in the first additional image to the size of the face included in the initial image (the reference image). .
  • the face size 610 of the initial image is a reference, it is assumed that the face size of the first additional image corresponds to the first condition. Only when the content is satisfied, that is, 70% or more and 100% or less of the face size 610 of the initial image may be additionally registered in the database.
  • the first additional image may be additionally registered in the database. If it is determined that the data can be additionally registered, the additional registration and update unit may apply the histogram stretching to the first additional image, extract the feature data, construct the registration set 1 together with the correction images to which the histogram stretching is applied, and store it in the storage unit. .
  • the stored registration set 1 may be a reference image of the second additional image, and may be a basis for recognizing and updating all images added thereafter.
  • the determination of whether to additionally register face data of the second additional image may be based on a ratio of the face size of the second additional image to the face size of the first additional image (reference image). .
  • the face size 620 of the first additional image is a reference, assuming that it is 100%, the face size of the second additional image is the second. Only when the condition is satisfied, that is, 70% or more and 100% or less of the face size 620 of the first additional image may be additionally registered in the database.
  • the second additional image may be additionally registered in the database. If it is determined that the data can be additionally registered, the additional registration and update unit may apply the histogram stretching to the second additional image, extract the feature data, and construct the registration set 2 together with the corrected images to which the histogram stretching has been applied and store it in the storage unit. .
  • the stored registration set 2 may be a reference image of the third additional image, and may be a basis for recognizing and updating all images added afterwards.
  • the determination of whether to update the face data for the registration set 2 of the third additional image includes the ratio of the face size of the third additional image to the face size of the initial image (third condition) and the first image.
  • the ratio of the face size of the third additional image to the face size of the additional image may be based on the fourth condition.
  • FIG. 6C satisfies a third condition in which the face 660 of the third additional image has a relative size of 70% or more and 100% or less with respect to the face 620 of the first additional image.
  • FIG. 4 illustrates a process of updating when the fourth condition that the relative size of the face 610 of the initial image is 50% or more is satisfied.
  • the face 660 of the third additional image may replace the face 620 of the first additional image and update the registration set 2 of the database.
  • the face recognition apparatus 200 may gradually recognize a face size as small as 50% of the size of the face 610 of the initial image through the database.
  • the face of the third additional image satisfies a condition in which the relative size of the face of the second additional image is 70% or more and 100% or less, and satisfies a condition in which the face of the first additional image is 50% or more. If so, the face of the third additional image may replace the face of the second additional image and update registration set 3.
  • FIGS. 7A to 7C are diagrams illustrating an entire process of establishing a database and registering an image in a storage unit according to an embodiment of the present invention.
  • FIG. 7A is a diagram illustrating a process of configuring registration set 1 in a database as an initial image as a reference image.
  • the registration data is defined through a histogram stretching process, and the registration set 1 is configured in the database.
  • FIG. 7B is a diagram illustrating a process of configuring registration set 2 in a database as the first additional image is a new reference image.
  • size information and feature information are obtained, and three recognition scores for the initial image and the correction images in the registration set 1 are respectively calculated to recognize the user's face.
  • maximum score value and the minimum score value are determined to be the same face by comparing the preset maximum threshold value and the minimum threshold value for the feature information, the relative size of the face is compared to determine whether the first condition is satisfied, and the first condition is satisfied.
  • the histogram stretches, it configures registration set 2 in the database.
  • FIG. 7C is a diagram illustrating a process of configuring registration set 3 in a database as the second additional image is a new reference image.
  • the size information and the characteristic information are obtained, and six recognition scores for the initial image, the first additional image, and their correction images in the registration set 3 and the registration set 2 are respectively calculated to respectively face the user's face. Recognize.
  • the maximum score value and the minimum score value are determined to be the same face by comparing the predetermined maximum threshold value and the minimum threshold value for the feature information, the relative size of the face is compared to determine whether the second condition is satisfied, and the second condition is satisfied.
  • the histogram stretches, it configures registration set 3 in the database.
  • FIG. 8 is a diagram illustrating the entire process of updating the registration set 2 of the database of the storage unit according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a control method of a face recognition apparatus according to an exemplary embodiment.
  • an initial image of a user's face is obtained and stored as a reference image (S910).
  • a first additional image of the face of the user is obtained, and it is determined whether a relative size of the face included in the initial image of the face included in the first additional image satisfies the first predetermined condition (S920). ).
  • the first additional image is added as the reference image and stored (S930).
  • a registration set may be configured by applying histogram stretching to the initial image. This process can be similarly applied to the step of storing the additional image as a reference image.
  • This process may also be similarly repeated if a second additional image of the user's face is subsequently obtained.
  • FIG. 10 is a flowchart illustrating a control method for additional registration of a face recognition apparatus according to an exemplary embodiment.
  • an initial image of the face of the user is obtained through imaging or input of image data (S1005).
  • the initial image is configured with the corrected image and registered as a reference image in the database (S1015).
  • the reference image is a reference for recognizing an image to be added later, additional registration or update of a database.
  • a first additional image of the face of the user is obtained through imaging or input of image data (S1020).
  • the recognition score is calculated by comparing the feature information of the images constituting the pre-stored registration set and the feature information of the first additional image, respectively (S1025).
  • the degree of similarity may be determined by comparing the maximum score value Max_S and the minimum score value Min_S with the maximum threshold value MaxThr and the minimum threshold value MinThr of the preset similar range, respectively. If it is determined that the predetermined range is satisfied (S1030: Y), the face is recognized as the same, and it is determined whether or not additional registration to the database (S1035).
  • step S1035 it is determined whether a relative size of the face included in the initial image of the face included in the first additional image satisfies the first condition that is 70% or more and 100% or less. If it is determined that the condition is not satisfied (S1035: N), it is determined that additional registration is not performed, and the additional registration determination process is terminated.
  • the registration set 2 is constructed in the database, the histogram stretching is applied to the first additional image (S1040), and further stored as a reference image for face recognition (S1045).
  • the additional registration judgment process ends.
  • FIG. 11 is a flowchart for explaining a method of updating a face recognition apparatus according to an exemplary embodiment.
  • the third additional image of the user's face is obtained through imaging or input of image data (S1110).
  • the recognition score is calculated by comparing the feature information of the images constituting the registered set and the feature information of the third additional image, respectively (S1120).
  • the similarity is determined by comparing the maximum score value Max_S and the minimum score value Min_S with the maximum threshold value MaxThr and the minimum threshold value MinThr of the preset similar range, respectively.
  • step S1140 If it is determined in step S1140 that the third condition is not satisfied (S1140: N), it is determined that the update is not performed and the update determination process ends.
  • step S1150 If it is determined in step S1150 that the fourth condition is not satisfied (1150: N), it is determined that the update is not performed and the update determination process ends.
  • step S1150 If it is determined in step S1150 that the fourth condition is satisfied (S1150: Y), the histogram stretching is applied to the third additional image (S1160) to update registration set 2 (S1170), and the update determination process is finished.
  • the recognition rate of the object recognizing apparatus may be improved, and thus the user's convenience may be improved.
  • a non-transitory computer readable medium may be provided in which a program for sequentially performing the object recognition method according to the present invention is stored.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.
  • acquiring an initial image of a preset object storing the reference image as a reference image, acquiring a first additional image of the preset object, and applying an object to the object included in the initial image of the object included in the first additional image.
  • a program for determining whether a relative size with respect to a predetermined first condition is satisfied; and if the first additional image satisfies a predetermined condition, adding and storing the first additional image as a reference image is stored.
  • a non-transitory computer readable medium may be provided.
  • the bus is not shown in the above-described block diagram of the terminal device, communication between each component in the recognition device may be performed through the bus.
  • the recognition device may further include a processor such as a CPU, a microprocessor, and the like for performing the above-described various steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

오브젝트 인식 장치가 개시된다. 본 장치는, 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 저장부 및, 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지의 초기 이미지에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하고, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 기준 이미지로 추가하여 저장하는 제어부를 포함한다.

Description

오브젝트 인식 장치 및 그 제어 방법
본 발명은 오브젝트 인식 장치 및 그 방법에 대한 것으로, 보다 상세하게는, 데이터베이스를 이용하여 오브젝트를 인식하는 오브젝트 인식 장치 및 그 제어방법에 대한 것이다.
최근 개인인증과 관련하여 생체 인식 기술이 대두되고 있다. 특히, 전자기기에 다양한 인식 시스템이 적용되고 있으며, 출입 보안 분야에서도 인식 시스템이 활용되고 있다. 이러한 인식 장치는 다양한 데이터베이스가 구축될수록 인식률이 높아지기 때문에 데이터베이스의 구축이 매우 중요하다.
따라서, 인식 기술분야에서는 인식 알고리즘 자체의 성능뿐만 아니라, 성능을 더 향상시킬 수 있도록 데이터베이스를 다양하게 구축하는 것이 필요하다. 이를 위해서 조도센서 및 거리센서 등 추가적인 센서를 통해 사용자의 인식환경을 고려하여 추가적으로 데이터베이스를 구축할 수도 있다.
하지만, 추가적인 센서를 활용하는 경우에는 비용적인 측면에서 비효율적이라는 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 자동적인 데이터베이스의 추가 구축 및 업데이트가 가능한 오브젝트 인식 장치 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오브젝트 인식 장치의 제어 방법은, 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 단계, 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계 및 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 기준 이미지로 추가하여 저장하는 단계를 포함한다.
또한, 기준 이미지로 저장하는 단계는, 초기 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 초기 이미지와 함께 기준 이미지로 저장하는 것일 수 있다.
또한, 기준 이미지로 추가하여 저장하는 단계는, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 제1 추가 이미지와 함께 기준 이미지로 저장하는 것일 수 있다.
또한, 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계는, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 경우 기설정된 제1 조건을 만족하는 것으로 판단하는 것일 수 있다.
또한, 기설정된 제1 비율은 70%이며, 기설정된 제2 비율은 100%일 수 있다.
또한, 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계는, 제1 추가 이미지에 포함된 오브젝트의 특징 정보가 초기 이미지에 포함된 오브젝트의 특징 정보와 유사한 경우, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하는 것일 수 있다.
또한, 오브젝트 인식 제어방법은, 기설정된 오브젝트에 대한 제2 추가 이미지를 획득하고, 제2 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제2 조건을 만족하는지 여부를 판단하는 단계 및 제2 추가 이미지가 기설정된 조건을 만족하는 경우 제2 추가 이미지를 기준 이미지로 추가하는 저장하는 단계를 더 포함할 수 있다.
또한, 오브젝트 인식 제어방법은, 기설정된 오브젝트에 대한 제3 추가 이미지를 획득하고, 제3 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제3 조건을 만족하는지 여부 및 제3 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제4 조건을 만족하는지 여부를 판단하는 단계 및 제3 추가 이미지가 제3 조건 및 제4 조건을 만족하는 경우, 제3 추가 이미지로 제1 추가 이미지를 업데이트하는 단계를 더 포함할 수 있다.
또한, 제3 조건은, 제3 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 70% 이상 기설정된 100% 이하인 범위인 조건이며, 제4 조건은, 제3 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 50% 이상인 조건일 수 있다.
또한, 오브젝트 인식 제어방법은, 저장된 기준 이미지에 기초하여 기설정된 오브젝트를 인식하는 단계를 더 포함할 수 있다.
또한, 기설정된 오브젝트는 사용자의 얼굴일 수 있다.
한편, 본 발명의 일 실시 예에 따른 오브젝트 인식 장치는, 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 저장부 및, 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하며, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 기준 이미지로 추가하여 저장하는 제어부를 포함한다.
또한, 제어부는, 초기 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 초기 이미지와 함께 기준 이미지로 저장할 수 있다.
또한, 제어부는, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 제1 추가 이미지와 함께 기준 이미지로 저장할 수 있다.
또한, 제어부는, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 경우 기설정된 제1 조건을 만족하는 것으로 판단할 수 있다.
또한, 기설정된 제1 비율은 70%이며, 상기 기설정된 제2 비율은 100%일 수 있다.
또한, 제어부는, 기설정된 오브젝트에 대한 제2 추가 이미지를 획득하고, 제2 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제2 조건을 만족하는지 여부를 판단하고, 제2 추가 이미지가 기설정된 조건을 만족하는 경우 제2 추가 이미지를 기준 이미지로 추가하여 저장할 수 있다.
또한, 제어부는, 기설정된 오브젝트에 대한 제3 추가 이미지를 획득하고, 제3 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제3 조건을 만족하는지 여부 및 제3 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제4 조건을 만족하는지 여부를 판단하며, 제3 추가 이미지가 제3 조건 및 제4 조건을 만족하는 경우, 제3 추가 이미지로 제1 추가 이미지를 업데이트할 수 있다.
또한, 제어부는, 저장된 기준 이미지에 기초하여 상기 기설정된 오브젝트를 인식할 수 있다.
또한, 기설정된 오브젝트는, 사용자의 얼굴일 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 오브젝트 인식 장치의 인식률을 향상시킬 수 있으므로 사용자의 편이성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른 오브젝트 인식 장치의 구성을 나타내는 블럭도,
도 2a는 본 발명의 다른 실시 예에 따른 오브젝트 인식 장치의 구성을 나타내는 블럭도,
도 2b는 본 발명의 일 실시 예에 따른 오브젝트 인식부의 세부 구성을 나타내는 블럭도,
도 3은 본 발명의 다른 실시 예에 따른 얼굴 인식 장치의 세부 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시 예에 따른 히스토그램 스트레칭이 적용된 이미지를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 인식거리와 인식되는 얼굴의 크기와의 관계를 도시한 도면,
도 6a 내지 도 6c는 본 발명의 일 실시 예에 따른 추가 이미지의 추가등록 및 업데이트 여부 판단 방법을 도시한 도면,
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 저장부에 데이터베이스가 구축되고 이미지가 등록되는 전 과정을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 데이터베이스의 등록 셋 2가 업데이트되는 전 과정을 도시한 도면,
도 9은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 제어 방법을 설명하기 위한 흐름도,
도 10은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 추가 등록 방법을 설명하기 위한 흐름도,
도 11는 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 업데이트 방법을 설명하기 위한 흐름도이다.
-
이하에서는 도면을 참조하여, 본 발명에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 오브젝트 인식 장치의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 오브젝트 인식 장치(100)는 영상 입력부(110), 제어부(120) 및, 저장부(130)를 포함한다.
영상 입력부(110)는 외부로부터 영상을 입력받는 기능을 한다. 예를 들어, 오브젝트 인식 장치(100)에 구비된 카메라로부터 영상을 입력받거나, 촬상된 영상을 외부로부터 수신하는 형태로 구현될 수 있다.
저장부(130)는 오브젝트 인식 장치(100)의 동작에 필요한 다양한 데이터를 저장한다.
특히, 저장부(130)는 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 기능을 한다. 여기서, 기설정된 오브젝트는 사람 얼굴이 될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 기설정된 오브젝트는 사람 손 등으로 구현될 수 있다.
구체적으로, 저장부(130)는 오브젝트에 대한 데이터베이스를 포함한다. 예를 들어, 오브젝트가 얼굴인 경우, 데이터베이스는 등록자의 얼굴특징 정보 및 관련정보를 가질 수 있다. 여기서, 데이터베이스는 제어부(120)의 제어 하에 데이터를 등록 또는 업데이트할 수 있다.
또한, 저장부(130)는 오브젝트 인식 시 오브젝트 영역을 검출하고 오브젝트 영역의 밝기에 따라 노출을 자동으로 보정하기 위한 프로그램들과 데이터를 저장할 수 있다.
또한, 저장부(130)는 영상 입력부(110)로부터 입력되는 이미지의 처리를 위한 저장 장소를 제공할 수 있다. 그 밖에도 저장부(130)는 오브젝트 인식 장치(100)의 전반적인 동작을 제어하기 위한 각종 프로그램들과 데이터를 저장할 수 있으며, 동작 중에 발생되는 데이터의 일시 저장 기능을 수행할 수 있다.
여기서, 저장부(130)는 플래시 메모리, 하드디스크 등 다양한 저장 장치로 구현될 수 있다.
제어부(120)는 오브젝트 인식장치(100)의 다양한 구성에 대한 제어 동작을 수행한다.
특히, 제어부(120)는 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단할 수 있다. 이 경우, 제어부(120)는 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 저장부(130)에 기준 이미지로 추가하여 저장할 수 있다. 여기서, 제어부(120)는 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 경우 기설정된 제1 조건을 만족하는 것으로 판단할 수 있다.
예를 들어, 제어부(120)는 얼굴에 대한 촬영 이미지를 획득하고, 해당 이미지에 포함된 얼굴 영역에 대한 저장부(130)에 기저장된 초기 이미지에 대한 상대적 크기가 70% 이상　 100% 이하를 만족하는 경우, 해당 이미지를 기준 이미지로서 추가하여 저장할 수 있다.　
또한, 제어부(120)는 초기 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 초기 이미지와 함께 기준 이미지로 저장할 수 있다(이하에서는 초기 이미지 및 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 포함하는 이미지 셋을 "등록 셋 1"이라 명명하도록 한다). 여기서, 히스토그램 스트레칭에 대해서는 도면을 참조하여 후술하도록 한다.
또한, 제어부(120)는 제1 추가 이미지가 기설정된 조건을 만족하는 경우　 제1 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 제1 추가 이미지와 함께 기준 이미지로 저장할 수 있다(이하에서는 제1 추가 이미지 및 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 포함하는 이미지 셋을 "등록 셋 2"이라 명명하도록 한다). 여기서, 기설정된 조건은 상술한 바와 같이 기저장된 초기 이미지에 대한 상대적 크기가 70% 이상 100% 이하를 만족하는 조건이 될 수 있다.
또한, 제어부(120)는 기설정된 오브젝트에 대한 제2 추가 이미지를 획득하고, 제2 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제2 조건을 만족하는지 여부를 판단하고, 제2 추가 이미지가 상기 기설정된 조건을 만족하는 경우 제2 추가 이미지를 기준 이미지로 추가하는 저장할 수 있다.
또한, 제어부(120)는 제2 추가 이미지가 기설정된 조건을 만족하는 경우 제2 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 제2 추가 이미지와 함께 기준 이미지로 저장할 수 있다(이하에서는 제2 추가 이미지 및 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 포함하는 이미지 셋을 "등록 셋 3"이라 명명하도록 한다). 여기서, 기설정된 조건은 예를 들어 기저장된 제1 추가 이미지에 대한 상대적 크기가 70% 이상 100% 이하를 만족하는 조건이 될 수 있다.
또한, 제어부(120)는 기설정된 오브젝트에 대한 제3 추가 이미지를 획득하고, 제3 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제3 조건을 만족하는지 여부 및 제3 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제4 조건을 만족하는지 여부를 판단할 수 있다. 이 경우, 제어부(120)는 제3 추가 이미지가 제3 조건 및 제4 조건을 만족하는 경우, 제3 추가 이미지로 제1 추가 이미지를 업데이트할 수 있다. 여기서, 제3 조건은 예를 들어, 제3 추가 이미지에 포함된 오브젝트의 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 70% 이상 기설정된 100% 이하인 범위인 조건이 될 수 있다. 또한, 제4 조건은, 제3 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 50% 이상인 조건이 될 수 있다.
구체적으로, 제어부(120)는 입력 이미지에서 오브젝트 영역의 탐색과 추출, 오브젝트의 크기 및 특징 정보의 추출, 데이터베이스의 기 등록 판별, 오브젝트 영역에 대한 밝기 연산, 노출 보정값 연산 및 노출 설정 제어를 수행한다. 이를 위하여, 제어부(120)는 후술할 오브젝트 인식부를 구비할 수 있다.
또한, 제어부(120)는 오브젝트에 관한 정보를 분석하고 등록할 수 있다. 제어부(120)는 영상 입력부(110)로부터 초기 이미지를 취득하여 초기 오브젝트를 등록하고, 오브젝트의 크기 정보 및 특징 정보에 대한 데이터베이스를 구축하도록 제어할 수 있다. 예를 들어, 오브젝트가 얼굴인 경우, 사용자의 얼굴이 카메라 등을 통해 입력되면, 제어부(120)는 입력된 영상 데이터의 얼굴 영역을 추출하고, 사용자의 얼굴에 대한 크기 및 특징 정보를 획득하여 데이터베이스를 구축할 수 있다.
또한, 제어부(120)는 자동적으로 명암을 달리한 오브젝트의 특징 정보를 데이터베이스에 저장하여 조명 변화가 있는 오브젝트 영상에 대해서도 인식이 가능하도록 제어할 수 있다. 구체적으로, 제어부(120)는 취득한 초기 이미지에 히스토그램 스트레칭을 적용하여 이미지의 명암대비 및 밝기를 보정한 보정 이미지를 추가적으로 생성하고 초기 이미지와 함께 셋(Set)을 구성하여 데이터베이스에 저장되도록 제어할 수 있다. 여기서, 구성된 셋 내의 각각의 이미지는 이후 입력되는 추가 이미지를 인식하거나 추가등록하기 위한 기준 이미지가 될 수 있다. 이 경우, 셋을 구성하는 이미지의 수는 명암대비 및 밝기의 보정 정도에 따라 다양하게 설정될 수 있다. 히스토그램 스트레칭이 적용되는 구체적인 방법에 대해서는 도 4에서 상세하도록 한다.
또한, 제어부(120)는 추가 이미지가 입력될 때, 추가 이미지에 포함된 오브젝트의 크기와 특징 정보를 획득하고 등록된 초기 이미지에 포함된 오브젝트와 비교하여 유사도를 판단할 수 있다. 이 경우, 데이터베이스에 저장된 셋 내부의 히스토그램 스트레칭 적용 이미지들에 대하여 각각 유사도를 판단할 수 있다.
또한, 제어부(120)는 자동적으로 크기를 달리하는 오브젝트의 특징 정보를 데이터베이스에 저장하여 사용자의 인식 당시의 거리에 따른 인식률에 대한 영향을 감소시키도록 제어할 수 있다.
구체적으로, 제어부(120)는 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 조건을 만족하면, 추가 이미지를 데이터베이스에 추가로 등록하여 오브젝트 인식을 위한 새로운 기준 이미지가 되도록 제어할 수 있다. 이 경우, 제어부(120)는 초기 이미지와 마찬가지로 추가 이미지에 히스토그램 스트레칭을 적용하고 새로운 셋을 구성하여 데이터베이스에 추가등록할 수 있음은 물론이다.
또한, 제어부(120)는 더 작은 오브젝트까지 인식할 수 있도록 데이터베이스를 지속적으로 업데이트하도록 제어할 수 있다. 구체적으로, 제어부(120)는 추가 이미지가 입력될 때, 추가된 오브젝트의 데이터베이스에 기저장된 오브젝트에 대한 상대적 크기가 기설정된 조건을 만족하면, 데이터베이스를 업데이트하도록 제어할 수 있다. 여기서 업데이트란, 데이터베이스에 저장된 셋 내부의 이미지를 현재 입력된 추가 이미지로 대체하는 것을 의미한다. 물론, 대체되는 추가 이미지에도 히스토그램 스트레칭이 적용되어 데이터베이스에 기등록된 셋을 대체할 수 있음은 물론이다.
이와 같이, 본 발명에 따른 오브젝트 인식 장치(100)는 사용자 인식환경의 변화에 따라 다양한 데이터베이스를 효율적으로 구축할 수 있게 된다.
도 2a는 본 발명의 다른 실시 예에 따른 오브젝트 인식 장치의 구성을 나타내는 블럭도이다. 도 2a를 참조하면, 본 발명의 다른 실시 예에 따른 제어부(120)는 영상데이터 등록부(121), 등록데이터 정의부(122), 오브젝트 인식부(123), 데이터 추가등록 및 업데이트부(124)를 포함한다. 이하에서는 도 1에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
영상데이터 등록부(121)는 영상 입력부(110)로부터 초기 영상 데이터를 취득하여 오브젝트를 등록하는 요소이다. 영상데이터 등록부(121)는 사용자 또는 오브젝트별로 영상 데이터 내의 오브젝트를 초기이미지로 등록하여 관리할 수 있다. 영상데이터 등록부(121)에서 등록된 초기 이미지 내에 포함된 오브젝트에 대한 정보는 등록데이터 정의부(122)로 전송된다.
등록데이터 정의부(122)에서는 영상데이터 등록부(121)에서 등록된 초기 이미지 내에 포함된 오브젝트에 대한 크기 정보를 획득할 수 있다. 오브젝트에 대한 크기 정보는 추후 입력될 추가 이미지를 데이터베이스에 추가로 등록할지 여부 또는 데이터베이스의 업데이트 여부를 판단하는 기준이 될 수 있다.
또한, 등록데이터 정의부(122)는 초기 이미지 내에 포함된 오브젝트에 대한 특징 정보를 획득할 수 있다. 이 경우, 초기 이미지에 대해 히스토그램 스트레칭을 적용하고 이에 따라 생성된 명암보정 이미지들 각각에 대한 특징 정보를 추가로 획득할 수 있다. 이렇게 획득된 오브젝트의 크기정보 및 특징 정보는 저장부(130) 내의 데이터베이스로 전송되어 저장된다. 이 때, 초기 이미지는 히스토그램 스트레칭이 적용된 명암보정 이미지들과 함께 등록 셋을 구성하여 데이터베이스에 저장될 수 있다.
오브젝트 인식부(123)는 영상 입력부(110)로부터 전송된 추가 영상 데이터 내의 오브젝트를 인식하는 요소이다. 오브젝트 인식부(123)는 영상 데이터 내의 오브젝트의 크기 정보를 획득하고, 영상데이터 등록부(121)로부터 등록된 초기 영상데이터 내의 오브젝트와 추가 영상 데이터 내의 오브젝트를 비교하여 오브젝트의 유사도를 판단한다. 오브젝트의 유사도를 판단하는 구체적인 방법에 대해서는 도 2b에서 상세히 설명하도록 한다.
한편, 데이터 추가등록 및 업데이트부(124)는 오브젝트 인식부(123)에서 얻어진 유사도 정보 및 크기 정보에 따라 데이터베이스에 추가 이미지를 등록할 것인지의 여부를 판단할 수 있다. 유사도가 일정 조건을 만족하면, 등록된 초기 영상 데이터 내의 오브젝트와 추가 영상 데이터 내의 오브젝트는 동일한 것으로 인식한다. 오브젝트가 동일한 것으로 인식되면, 인식에 따른 처리를 할 수 있도록 제어함과 동시에 추가 이미지를 데이터베이스에 추가등록할 것인지의 여부 및 데이터베이스에 기저장된 추가 이미지가 있다면 이를 업데이트할 것인지의 여부를 판단할 수 있다. 추가 이미지의 추가등록 여부 및 업데이트 여부를 결정하는 구체적인 방법에 대해서는 도 5 내지 도 7c에서 상세히 설명하도록 한다.
도 2b는 본 발명의 일 실시 예에 따른 오브젝트 인식부의 세부 구성을 나타내는 블럭도이다. 도 2b를 참조하면, 본 발명의 일 실시 예에 따른 오브젝트 인식부(123)는 오브젝트 영역 추출부(123-1), 오브젝트 크기 정보부(123-2), 오브젝트 특징 추출부(123-3), 인식스코어 산출부(123-4)를 포함한다.
오브젝트 영역 추출부(123-1)는, 추가된 영상으로부터 오브젝트 검출 알고리즘을 통해 대상 오브젝트 영역을 추출하기 위한 요소이다. 오브젝트 영역 추출은 오브젝트 인식을 위한 전처리 과정으로서 오브젝트 영역과 배경을 정확히 분리함으로써 오브젝트의 특징 추출 및 인식과정에서의 오 인식률을 개선할 수 있다.
오브젝트 크기 정보부(123-2)는, 상기 오브젝트 영역 추출부(123-1)에서 추출된 데이터에서 크기를 고려한 오브젝트 정보를 추출하는 요소이다. 오브젝트 크기 정보부(123-2)는 여기서 얻어진 오브젝트의 크기정보를 통해 새로운 크기의 오브젝트에 대한 데이터베이스를 추가로 등록할 것인지 여부를 판단할 수 있다.
오브젝트 특징 추출부(123-3)는, 오브젝트 영역 추출부(123-1)로부터 추출된 오브젝트 영상에 대해 다수의 오브젝트 특징 정보를 추출하는 요소이다. 예를 들어, 오브젝트가 얼굴인 경우, 눈, 코, 입, 얼굴윤곽, 얼굴길이, 피부색 등 다양한 특징 정보가 추출될 수 있다.
인식스코어 산출부(123-4)는, 데이터베이스에 저장된 초기 이미지 및 추가 이미지에 대한 다수의 얼굴특징 정보를 비교하여 오브젝트의 유사도를 판단하는 요소이다.
구체적으로, 인식스코어 산출부(123-4)는 데이터베이스에 등록된 초기 이미지에 포함된 오브젝트의 특징 정보와 현재 취득한 추가 이미지에 포함된 오브젝트의 특징 정보를 비교하여 인식스코어를 산출할 수 있다. 이 경우, 인식스코어 산출부(123-4)는 히스토그램 스트레칭이 적용된 보정 이미지에 대하여도 각각 비교를 통해 인식스코어를 산출하여 이 중 최대 스코어 값(Max_S)과 최소 스코어 값(Min_S)을 구할 수 있다.
예를 들어, 초기 이미지가 히스토그램 스트레칭을 통해 명암을 달리한 총 3개의 이미지로 등록 셋을 구성하여 데이터베이스에 구축되어 있다고 가정할 수 있다. 이 경우 인식스코어 산출부(123-4)는, 추가 이미지와 3개의 이미지를 각각 비교하여 총 3개의 인식 스코어를 산출할 수 있다. 이 때, 3개의 인식 스코어 중 최대 스코어 값(Max_S)과 최소 스코어 값(Min_S)을 구할 수 있는데, 이를 각각 기설정된 유사범위의 최대 임계값(MaxThr) 및 최소 임계값(MinThr)과 비교하여 유사도를 판단할 수 있다.
유사도 판단방법은 다음 수학식 1의 과정으로 행하여진다.
수학식 1
Figure PCTKR2015002221-appb-M000001
즉, 추가 이미지에 포함된 오브젝트는 최대 스코어 값이 최대 임계값보다 크고, 최소 스코어 값이 최소 임계값보다 클 때, 등록 셋의 초기 이미지에 포함된 오브젝트와 동일한 것으로 인식될 수 있다. 오브젝트가 동일한 것으로 인식될 때에만, 이에 따라 데이터가 처리되고, 데이터 추가등록 및 업데이트부(124)에서 오브젝트의 크기정보를 통해 추가 이미지를 데이터베이스에 추가로 등록할 것인지의 여부를 판단한다.
도 3은 본 발명의 다른 실시 예에 따른 얼굴 인식 장치의 세부 구성을 나타내는 블럭도이다. 도 3에 따르면, 얼굴 인식 장치(200)는 영상입력부(110), 제어부(120), 저장부(130), 촬영부(140), 통신부(150), 사용자 인터페이스부(160), 오디오 처리부(170) 및 비디오 처리부(180)를 포함한다. 도 3에 도시된 구성요소들 중 도 1에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
제어부(120)는 저장부(130)에 저장된 각종 프로그램을 이용하여 얼굴 인식 장치(200)의 동작을 전반적으로 제어한다.
구체적으로, 제어부(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(미도시)의 디스플레이 영역 내에 표시된다.
통신부(150)는 다양한 유형의 통신방식에 따라 외부기기와 통신을 수행한다.
특히, 통신부(150)는 SNS 서버를 포함하는 다양한 서버와 통신을 수행할 수 있다. 여기서, 통신부(150)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등 다양한 통신 칩을 포함할 수 있다. 예를 들어, 통신부(150)는 외부 서버 또는 외부 단말로부터 얼굴 인식에 필요한 다양한 이미지 데이터를 수신할 수 있다.
그 밖에 통신부(150)는 SNS 서버, E-mail 서버, 프로그램 관리 서버 등으로부터, 메시지, E-mail, 프로그램 업데이트 정보와 같은 다양한 정보를 수신할 수 있다.
사용자 인터페이스부(160)는 다양한 사용자 명령을 입력받는다.
특히, 사용자 인터페이스부(160)는 UI 화면에 대한 다양한 사용자 조작을 수신할 수 있다. 여기서, 사용자 인터페이스부(160)는 얼굴 인식 장치(200)가 휴대 가능한 휴대 단말로 구현되는 경우 사용자 터치 입력을 수신하는 터치 패널 또는 터치스크린으로 구현될 수 있다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(170)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(180)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
그 밖에 얼굴 인식 장치(200)는 오디오 처리부(170)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 스피커(미도시), 얼굴 인식 장치(200)를 제어하기 위한 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하는 마이크(미도시) 등의 구성을 포함할 수 있다. 한편, 촬영부(140) 및 마이크(미도시)는 그 기능에 따라 상술한 사용자 인터페이스부(160)의 일 구성이 될 수 있다.
또한, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트들이 더 포함될 수도 있다.　
한편, 도 3은 얼굴 인식 장치(200)에 포함된 세부 구성의 일 예를 든 것으로, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
이하에서는 오브젝트가 사용자 얼굴인 경우를 예를 들어 설명하도록 한다. 특히, 얼굴 인식 장치(200)의 제어부(120)가 사용자 얼굴의 명암 및 크기의 변화에 대해 다양한 데이터베이스를 자동적으로 구축하는 방식을 구체적으로 설명하기로 한다. 다만, 이하에서 설명되는 구체적인 방식에 한정되는 것은 아니며, 다양한 방식에 의해 데이터베이스를 구축할 수 있음은 물론이다.
도 4는 본 발명의 일 실시 예에 따른 히스토그램 스트레칭이 적용된 이미지를 도시한 도면이다.
여기서 히스토그램(Histogram)이란, 이미지를 이루고 있는 픽셀(pixel)의 밝고 어두운 정도의 분포를 나타낸 그래프를 의미한다. 즉, 히스토그램 스트레칭이란, 이미지의 픽셀레벨에 대한 분포를 조정함으로써 이미지의 명암대비 또는 밝기를 조절하는 것을 의미한다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 장치(200)에 있어서, 이미지의 명암 대비 및 밝기를 상이하게 조정한 두 개의 이미지를 생성하여 데이터베이스를 구축할 수 있음을 설명하기 위한 도면이다.
도 4에서 히스토그램의 가로축은 픽셀 레벨을 의미하며 픽셀 레벨은 0부터 255까지 구성되어 있다. 어두운 영역의 픽셀일수록 픽셀 레벨이 0에 가까우며, 밝은 영역의 픽셀일수록 픽셀 레벨이 255까지 근접한다. 히스토그램의 세로축은 픽셀에 대한 빈도수를 의미한다. 예를 들어, 히스토그램의 그래프가 레벨이 낮은 영역, 즉 왼쪽 부분에 더 많이 모인 경우는 상대적으로 어두운 이미지에 해당한다. 반대로 히스토그램의 그래프가 레벨이 높은 영역, 즉 오른쪽 부분에 더 많이 모인 경우는 상대적으로 밝은 이미지에 해당한다. 도 4(a)의 제1 보정이미지(420)는 원본 이미지(410)의 명도를 기설정한 하한까지 조정한 이미지이고 도 4(c)의 제2 보정이미지(430)는 원본 이미지(410)의 명도를 기설정한 상한까지 조정한 이미지이다.
도 4를 참조하면, 도 4(a) 상단에 도시된 히스토그램(480)은 원본 이미지(410)의 히스토그램(470)의 양 끝 값을 선형적으로 확장한 후, 픽셀의 빈도수가 어두운 픽셀 레벨 영역에서 상대적으로 높도록 조정한 것이다.
도 4(c) 상단에 도시된 히스토그램(490)은 원본 이미지(410)의 히스토그램(470)의 양 끝 값을 선형적으로 확장한 후, 픽셀의 빈도수가 밝은 픽셀 레벨 영역에서 상대적으로 높도록 조정한 것이다. 즉, 원본 이미지(410)에 대해서 제1 보정이미지(420)는 상대적으로 명암이 어둡게, 제2 보정이미지(430)는 상대적으로 명암이 밝게 보정된다.
또한, 히스토그램의 양 끝 값을 확장하여 명암대비 차가 높임으로써 선명도를 증가시켜 얼굴의 특징 추출을 용이하게 할 수 있다. 이에 따라, 원본 이미지(410)에 포함된 얼굴(440) 외에도, 명암을 다양하게 보정시킨 얼굴이미지(450, 460)를 추가적으로 생성할 수 있으며 각각의 얼굴의 특징 정보를 추출하여 데이터베이스에 등록 셋을 구성할 수 있다.
이와 같이, 히스토그램 스트레칭을 적용하면 조도센서를 구비하는 추가적 비용을 들이지 않고서도 조명에 따른 얼굴의 변화에 의한 오인식률을 개선할 수 있다.
한편, 히스토그램의 조정에 대한 방식 및 그 정도는 각각 사용자에 의해 미리 설정되어 저장될 수 있다. 또한, 그에 따라 등록 셋을 구성하는 자동적 추가 생성 이미지의 수도 다양하게 변경될 수 있음은 물론이다.
도 5는 본 발명의 일 실시 예에 따른 인식거리와 인식되는 얼굴의 크기와의 관계를 도시하였다.
도 5(a)는 사용자가 촬영부(140)로부터 d1 만큼 떨어져 있을 때 인식장치에서 인식되는 얼굴의 크기를 도시한 것이다.
도 5(b)는 사용자가 촬영부(140)로부터 d2 만큼 떨어져 있을 때 인식 장치에서 인식되는 얼굴의 크기를 도시한 것이다. 이는, 제1 추가 이미지(520)에 포함된 얼굴의 크기(550)는 초기 이미지(510)에 포함된 얼굴의 크기(540)가 100%라고 할 경우, 80%로 작아졌다고 가정한 것이다.
도 5(c)는 사용자가 촬영부(140)로부터 d3만큼 떨어져 있을 때 인식 장치에서 인식되는 얼굴의 크기를 도시한 것이다. 이는, 제2 추가 이미지(530)에 포함된 얼굴의 크기(560)는 초기 이미지(510)에 포함된 얼굴의 크기(540)가 100%라고 할 경우, 60%로 작아졌다고 가정한 것이다.
즉, 촬영부(140)에서 얼굴의 거리가 멀어질수록 인식되는 얼굴의 크기는 작아지게 된다. 따라서, 동일한 얼굴이라고 하더라도 인식 거리가 멀어지면 인식률이 감소될 수 있다. 이에 따라 얼굴의 크기가 일정 범위까지 작아지더라도 이를 인식가능하도록 다양한 데이터베이스를 구축할 것이 요청된다. 얼굴의 크기에 대한 데이터베이스를 구축하는 구체적인 방법에 대해서는 도 6 내지 도 7c에서 상세하도록 한다.
한편, 본 발명의 일 실시 예에 따르면, 사용자의 얼굴에 대한 제1 추가 이미지가 획득되면, 제1 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제1 조건을 만족하는 경우에만 제1 추가 이미지를 기준 이미지로 데이터베이스에 추가하여 저장할 수 있다. 이 경우, 제1 추가 이미지는 히스토그램 스트레칭이 적용되어 등록 셋 2을 구성하여 저장된다. 제1 조건은 다양하게 변경될 수 있으며, 이에 따라 다양한 크기의 오브젝트 이미지가 데이터베이스에 구축될 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 제1 조건은 제1 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 것일 수 있다. 현재 추가된 이미지에 포함된 얼굴의 크기(Face_S), 즉, 제1 추가 이미지에 포함된 얼굴의 크기와 초기 이미지에 포함된 얼굴의 크기(Face_S1)의 차이는 얼굴 인식 장치가 초기 이미지를 기초로 제1 추가 이미지의 얼굴을 일정 신뢰수준을 유지하면서 인식할 수 있을 정도를 벗어나지 않는 것이 바람직하다. 예를 들어, 양 얼굴의 크기 차이가 클수록 신뢰수준은 떨어질 것이다.
구체적으로, 본 발명의 다른 실시 예에 따르면, 기설정된 제1 비율은 70%이고, 제2 비율은 100%일 때, 높은 신뢰수준을 유지할 수 있다. 제1 조건의 만족 여부 판단 방법은 다음과 같은 수학식 2의 과정으로 행하여진다.
수학식 2
Figure PCTKR2015002221-appb-M000002
표 1은 본 발명의 일 실시 예에 따른 얼굴의 크기비율과 신뢰수준의 관계를 나타낸 표이다.
표 1
　　　 　비율　 　신뢰수준
　(a) 　Face_S1*0.90<Face_S<Face_S1　 　약 100%
　(b)　 　Face_S1*0.75<Face_S<Face_S1　 　약 96%
　(c)　 　Face_S1*0.55<Face_S<Face_S1　 　약 80%
표 1에 나타난 바와 같이, 제1 조건의 제1 비율을 90%로 설정한 경우(표 1 (a)), 신뢰수준은 약 100%에 달하였다. 또한, 제1 조건의 제1 비율을 75%로 설정한 경우(표 1 (b)), 신뢰수준은 약 96%에 달하였다. 또한, 제1 조건의 제1 비율을 55%로 설정한 경우(표 3 (c)), 신뢰수준은 약 80%에 달하였다.
즉, 100%에 근접한 신뢰수준이 확보되는 비율까지만 얼굴에 대한 인식률이 의미가 있다고 판단할 수 있다. 따라서, 제1 추가 이미지의 초기 이미지에 대한 상대적 크기가 70%이상 100%이하인 범위를 만족할 때에만 제1 추가 이미지를 데이터베이스에 등록하는 방법으로 오브젝트 인식 장치의 높은 인식률을 유지할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 얼굴에 대한 제2 추가 이미지가 획득되면, 제2 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제2 조건을 만족하는 경우에만 제2 추가 이미지를 기준 이미지로 데이터베이스에 추가하여 저장할 수 있다. 이 경우, 제2 추가 이미지는 히스토그램 스트레칭이 적용되어 등록 셋 3을 구성하여 저장된다. 제2 조건은 다양하게 변경될 수 있으며, 이에 따라 다양한 크기의 얼굴 이미지가 데이터베이스에 구축될 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 제2 조건은 제2 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 것일 수 있다. 현재 추가된 이미지에 포함된 얼굴의 크기(Face_S), 즉, 제2 추가 이미지에 포함된 얼굴의 크기와 제1 추가 이미지에 포함된 얼굴의 크기(Face_S2)의 차이는 얼굴 인식 장치가 제1 추가 이미지를 기초로 제2 추가 이미지의 얼굴을 일정 신뢰수준을 유지하면서 인식할 수 있을 정도를 벗어나지 않는 것이 바람직하다. 예를 들어, 양 얼굴의 크기 차이가 클수록 신뢰 수준은 떨어질 것이다.
구체적으로, 본 발명의 다른 실시 예에 따르면, 제1 조건과 마찬가지로 기설정된 제1 비율은 70%이고, 제2 비율은 100%일 때, 높은 신뢰 수준을 유지할 수 있다. 제2 조건의 만족 여부 판단방법은 다음과 같은 수학식 2의 과정으로 행하여진다.
수학식 3
Figure PCTKR2015002221-appb-M000003
한편, 본 발명의 일 실시 예에 따르면, 데이터베이스가 이미 등록 셋 3까지 구축되어 있는 경우, 이후 추가된 이미지는 더이상 등록되지 않고, 추가된 이미지가 일정 조건을 만족할 때 데이터베이스를 대체하여 업데이트 한다. 구체적으로, 사용자의 얼굴에 대한 제3 추가 이미지가 획득되었다고 가정했을 경우, 제3 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제3조건을 만족하고, 제3 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제4조건을 만족하는 경우에는, 제1 추가 이미지를 제3 추가 이미지로 업데이트 할 수 있다(등록 셋 2 업데이트). 제3 조건 및 제4 조건은 다양하게 변경될 수 있으며, 이에 따라 다양한 크기의 오브젝트 이미지가 데이터베이스에 구축될 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 제3 조건은 제3 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 70% 이상 100% 이하인 범위에 속하는 것일 수 있다. 또한 제4 조건은, 제3 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 50% 이상인 범위에 속하는 것일 수 있다.
제4 조건의 만족여부 판단방법은 다음과 같은 수학식 2의 과정으로 행하여진다.
수학식 4
Figure PCTKR2015002221-appb-M000004
한편, 등록 셋 3이 업데이트되는 경우, 제3 조건은 위와 마찬가지로 제3 추가 이미지에 포함된 얼굴의 제2 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 70% 이상 100% 이하인 범위에 속하는 것일 수 있다. 또한 제4 조건은, 제3 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 50% 이상인 범위에 속하는 것일 수 있다.
도 6a 내지 도 6c는 본 발명의 일 실시 예에 따른 추가 이미지의 추가등록 및 업데이트 여부 판단 방법을 도시한 것이다.
도 6a를 참조하면, 제1 추가 이미지의 얼굴 데이터 추가등록 여부에 대한 판단은 초기이미지(기준이미지)에 포함된 얼굴 크기에 대한 제1 추가 이미지에 포함된 얼굴 크기의 비율을 기준으로 할 수 있다.
본 발명의 일 실시 예에 따르면, 도 6a의 (a)에 도시된 바와 같이 초기이미지의 얼굴 크기(610)가 기준이므로 이를 100%이라고 가정하면, 제1 추가 이미지의 얼굴 크기는 제1 조건을 만족할 때에만, 즉, 초기이미지의 얼굴크기(610)의 70% 이상 100% 이하일 때에만 데이터베이스에 추가등록될 수 있다.
도 6a의 (b)는 제1 추가 이미지의 얼굴 크기(620)가 초기이미지의 얼굴크기(610)의 80%에 해당하는 경우이다. 이 경우, 제1 추가 이미지는 제1 조건을 만족하므로, 데이터베이스에 추가등록될 수 있다. 추가등록될 수 있다고 판단되면, 추가등록 및 업데이트부는 해당 제1 추가 이미지에 히스토그램 스트레칭을 적용하고 특징데이터를 추출하며 히스토그램 스트레칭이 적용된 보정 이미지들과 함께 등록 셋 1을 구축하여 저장부에 저장할 수 있다. 저장된 등록 셋 1은 제2 추가 이미지의 기준이미지가 될 수 있고, 이 후 추가되는 모든 이미지의 인식 및 업데이트를 위한 기초가 될 수 있다.
한편, 도 6a의 (c)에 도시된 바와 같이 제1 추가 이미지의 얼굴 크기(630)가 초기이미지의 얼굴크기(610)의 60%에 해당하는 경우, 제1 조건을 만족하지 못하므로, 제1 추가 이미지는 데이터베이스에 추가 등록될 수 없다.
한편, 도 6b를 참조하면, 제2 추가 이미지의 얼굴 데이터 추가등록 여부에 대한 판단은 제1 추가 이미지(기준이미지)의 얼굴 크기에 대한 제2 추가 이미지의 얼굴 크기의 비율을 기준으로 할 수 있다.
본 발명의 일 실시 예에 따르면, 도 6b의 (a)에 도시된 바와 같이 제1 추가 이미지의 얼굴 크기(620)가 기준이므로 이를 100%이라고 가정하면, 제2 추가 이미지의 얼굴 크기는 제2 조건을 만족할 때에만, 즉, 제1 추가 이미지의 얼굴크기(620)의 70% 이상 100% 이하일 때에만 데이터베이스에 추가등록될 수 있다.
도 6b의 (b)는 제2 추가 이미지의 얼굴 크기(640)가 제1 추가 이미지의 얼굴크기(620)의 80%에 해당하는 경우이다. 이 경우, 제2 추가 이미지는 제2 조건을 만족하므로, 데이터베이스에 추가등록될 수 있다. 추가등록될 수 있다고 판단되면, 추가등록 및 업데이트부는 해당 제2 추가 이미지에 히스토그램 스트레칭을 적용하고 특징데이터를 추출하며 히스토그램 스트레칭이 적용된 보정 이미지들과 함께 등록 셋 2를 구축하여 저장부에 저장할 수 있다. 저장된 등록 셋 2는 제3 추가 이미지의 기준이미지가 될 수 있고, 이 후 추가되는 모든 이미지의 인식 및 업데이트를 위한 기초가 될 수 있다..
한편, 도 6b의 (c)에 도시된 바와 같이 제2 추가 이미지의 얼굴 크기(650)가 제1 추가 이미지의 얼굴크기의 60%에 해당하는 경우, 제2 조건을 만족하지 못하므로, 제2 추가 이미지는 데이터베이스에 추가등록될 수 없다.
한편, 도 6c를 참조하면, 제3 추가 이미지의 등록 셋 2에 대한 얼굴 데이터 업데이트 여부에 대한 판단은 초기 이미지의 얼굴 크기에 대한 제3 추가 이미지의 얼굴 크기의 비율(제3 조건) 및 제1 추가 이미지의 얼굴 크기에 대한 제3 추가 이미지의 얼굴 크기의 비율(제4 조건)을 기준으로 할 수 있다.
본 발명의 일 실시 예에 따르면, 도 6c는 제3 추가 이미지의 얼굴(660)이 제1 추가 이미지의 얼굴(620)에 대한 상대적 크기가 70% 이상 100% 이하인 범위의 제3 조건을 만족하며, 초기 이미지의 얼굴(610)에 대한 상대적 크기가 50% 이상인 제4 조건을 만족했을 때 업데이트가 되는 과정을 도시한 것이다.
제3 조건과 제4 조건을 동시에 만족하면, 제3 추가 이미지의 얼굴(660)이 제1 추가 이미지의 얼굴(620)을 대체하며 데이터베이스의 등록 셋 2를 업데이트할 수 있다. 이 경우, 얼굴인식 장치(200)는 점진적으로 초기 이미지의 얼굴(610) 크기의 50% 만큼 작은 얼굴 크기까지도 데이터베이스를 통해 인식할 수 있게 된다.
한편, 제3 추가 이미지의 얼굴이 제2 추가 이미지의 얼굴에 대한 상대적 크기가 70% 이상 100% 이하인 범위의 조건을 만족하며, 제1 추가 이미지의 얼굴에 대한 상대적 크기가 50% 이상인 조건을 만족한다면 제3 추가 이미지의 얼굴이 제2 추가 이미지의 얼굴을 대체하며 등록 셋 3을 업데이트할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 저장부에 데이터베이스가 구축되고 이미지가 등록되는 전 과정을 도시한 도면이다.
도 7a는, 초기 이미지가 기준이미지로서, 데이터베이스에 등록 셋 1을 구성하는 과정을 도시한 도면이다. 초기 이미지가 입력되면, 히스토그램 스트레칭 과정을 거쳐 등록데이터가 정의되고, 데이터베이스에 등록 셋 1을 구성한다.
도 7b는, 제1 추가 이미지가 새로운 기준 이미지로서, 데이터베이스에 등록 셋 2를 구성하는 과정을 도시한 도면이다. 제1 추가 이미지가 입력되면, 크기정보 및 특징 정보를 획득하고, 등록 셋 1 내의 초기 이미지 및 보정 이미지들에 대한 3개의 인식 스코어를 각각 산출하여 사용자의 얼굴을 인식한다. 최대 스코어 값 및 최소 스코어 값을 특징 정보에 대한 기설정된 최대 임계값 및 최소 임계값과 비교하여 동일한 얼굴이라고 판단되면 얼굴의 상대적 크기를 비교하여 제1 조건을 만족하는지 판단하고, 제1 조건을 만족할 때 히스토그램 스트레칭 과정을 거쳐 데이터베이스에 등록 셋 2를 구성한다.
도 7c는, 제2 추가 이미지가 새로운 기준이미지로서, 데이터베이스에 등록 셋 3을 구성하는 과정을 도시한 도면이다. 제2 추가 이미지가 입력되면, 크기정보 및 특징 정보를 획득하고, 등록 셋 3 및 등록 셋 2 내의 초기 이미지, 제1 추가 이미지 및 그들의 보정 이미지들에 대한 6개의 인식 스코어를 각각 산출하여 사용자의 얼굴을 인식한다. 최대 스코어 값 및 최소 스코어 값을 특징 정보에 대한 기설정된 최대임계값 및 최소임계값과 비교하여 동일한 얼굴이라고 판단되면 얼굴의 상대적 크기를 비교하여 제2 조건을 만족하는지 판단하고, 제2 조건을 만족할 때 히스토그램 스트레칭 과정을 거쳐 데이터베이스에 등록 셋 3을 구성한다.
도 8은 본 발명의 일 실시 예에 따른 저장부의 데이터베이스의 등록 셋 2가 업데이트되는 전 과정을 도시한 도면이다.
도 8에 따르면, 제3 추가 이미지가 입력되면, 크기 정보 및 특징 정보를 획득하고, 등록 셋 1, 등록 셋 2 및 등록 셋 3 내의 초기 이미지, 제1 추가 이미지, 제2 추가 이미지 및 그들의 보정 이미지들에 대한 9개의 인식 스코어를 각각 산출하여 사용자의 얼굴을 인식한다. 이 경우, 최대 스코어 값 및 최소 스코어 값을 특징 정보에 대한 기설정된 최대 임계값 및 최소 임계값과 비교하여 동일한 얼굴이라고 판단되면 얼굴의 상대적 크기를 비교하여 제3 조건 및 제4 조건을 만족하는지 판단하고, 제3 조건 및 제4 조건을 동시에 만족할 때 히스토그램 스트레칭 과정을 거쳐 데이터베이스 내 등록 셋 2를 업데이트한다.
도 9는 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자의 얼굴에 대한 초기 이미지를 획득하고, 기준 이미지로 저장한다(S910).
이 후, 사용자의 얼굴에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단한다(S920).
이 후, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 기준 이미지로 추가하여 저장한다(S930).
여기서, 기준 이미지로 저장하는 S910 단계는, 초기 이미지에 히스토그램 스트레칭을 적용하여 등록 셋을 구성할 수 있다. 이러한 과정은 이후 추가 이미지를 기준 이미지로 추가하여 저장하는 단계에서도 마찬가지로 적용될 수 있다.
또한, 이러한 과정은 이 후 사용자의 얼굴에 대한 제2 추가 이미지가 획득된 경우에도 유사하게 반복될 수 있다.
도 10은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 추가 등록에 대한 제어 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 얼굴 인식 장치의 제1 추가 이미지의 추가 등록 방법에 따르면, 촬상 또는 영상데이터의 입력을 통해서 사용자의 얼굴에 대한 초기 이미지를 획득한다(S1005).
이어서, 초기 이미지에 대해 히스토그램 스트레칭을 적용하여 명암이 보정된 보정 이미지들을 추가로 획득한다(S1010).
이 후, 초기 이미지를 보정 이미지와 함께 셋을 구성하여 데이터베이스에 기준이미지로 등록한다(S1015). 여기서, 기준이미지는 이 후 추가되는 이미지의 인식, 데이터베이스의 추가 등록 또는 업데이트를 위한 기준이 된다.
이어서, 촬상 또는 영상 데이터의 입력을 통해서 사용자의 얼굴에 대한 제1 추가 이미지를 획득한다(S1020). 이 후, 기저장된 등록 셋을 구성하는 이미지들의 특징 정보와 제1 추가이미지의 특징 정보를 각각 비교하여 인식스코어를 산출한다(S1025).
S1030 단계에서 최대 스코어 값(Max_S)과 최소 스코어 값(Min_S)을 각각 기설정된 유사 범위의 최대 임계값(MaxThr) 및 최소 임계값(MinThr)과 비교하여 유사도를 판단한다. 기설정된 범위를 만족하는 것으로 판단되면(S1030:Y), 얼굴이 동일한 것으로 인식하고, 데이터베이스로의 추가등록 여부를 판단한다(S1035).
기설정된 범위를 만족하지 못하는 것으로 판단되면(S1030:N), 얼굴이 동일한 것이 아닌 것으로 인식하고, 추가등록 판단과정을 진행하지 않고 종료한다.
S1035 단계에서는, 제1 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 70% 이상 100% 이하인 제 1조건을 만족하는지 여부를 판단한다. 조건을 만족하지 못하는 것으로 판단되면(S1035:N), 추가등록이 되지 않는 것으로 판단하고 추가등록 판단과정을 종료한다.
제1 조건을 만족하는 것으로 판단되면(S1035:Y), 데이터베이스에 등록 셋 2를 구축하고 제1 추가 이미지에 대해 히스토그램 스트레칭을 적용하여(S1040) 얼굴 인식을 위한 기준이미지로 추가 저장하고(S1045) 추가등록 판단 과정을 종료한다.
도 11는 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 업데이트 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 등록 셋 업데이트 방법 예를 들어, 등록 셋 2의 업데이트 방법에 따르면, 촬상 또는 영상데이터의 입력을 통해서 사용자의 얼굴에 대한 제3 추가 이미지를 획득한다(S1110).
이 후, 기저장된 등록 셋을 구성하는 이미지들의 특징 정보와 제3 추가이미지의 특징 정보를 각각 비교하여 인식스코어를 산출한다(S1120).
S1130 단계에서 최대 스코어 값(Max_S)과 최소 스코어 값(Min_S)을 각각 기설정된 유사범위의 최대 임계값(MaxThr) 및 최소 임계값(MinThr)과 비교하여 유사도를 판단한다.
기설정된 범위를 만족하는 것으로 판단되면(S1130:Y), 얼굴이 동일한 것으로 인식하고, 데이터베이스의 업데이트 여부를 판단한다(S1140).
기설정된 범위를 만족하지 못하는 것으로 판단되면(S1130:N), 얼굴이 동일한 것이 아닌 것으로 인식하고, 업데이트 판단과정을 진행하지 않고 종료한다.
이어서, 제3 추가 이미지에 포함된 얼굴의 제1 추가 이미지에 포함된 얼굴에 대한 상대적 크기가 70% 이상 100% 이하인 제3 조건을 만족하는지 여부를 판단한다(S1140).
S1140 단계에서, 제3 조건을 만족하지 못하는 것으로 판단되면(S1140:N), 업데이트가 되지 않는 것으로 판단하고 업데이트 판단과정을 종료한다.
S1140 단계에서, 제3 조건을 만족하는 것으로 판단되면(S1140:Y), 제3 추가 이미지에 포함된 얼굴의 초기 이미지에 포함된 얼굴에 대한 상대적 크기가 50% 이상인 제4 조건을 만족하는지 여부를 판단한다(S1150).
S1150 단계에서 제4 조건을 만족하지 못하는 것으로 판단되면(1150:N), 업데이트가 되지 않는 것으로 판단하고 업데이트 판단과정을 종료한다.
S1150 단계에서 제4 조건을 만족하는 것으로 판단되면(S1150:Y), 제3 추가 이미지에 대해 히스토그램 스트레칭을 적용하여(S1160) 등록 셋 2를 업데이트하고(S1170), 업데이트 판단 과정을 종료한다.
상술한 본 발명의 다양한 실시 예에 따르면, 오브젝트 인식 장치의 인식률을 향상시킬 수 있으므로 사용자의 편이성이 향상된다.
한편, 본 발명에 따른 오브젝트 인식 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일 예로, 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 단계, 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 제1 추가 이미지에 포함된 오브젝트의 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계 및, 제1 추가 이미지가 기설정된 조건을 만족하는 경우 제1 추가 이미지를 기준 이미지로 추가하여 저장하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또한, 단말 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 인식 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 인식 장치에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였다. 그러나 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능하다. 또한, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 오브젝트 인식 장치의 제어 방법에 있어서,
    기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 단계;
    상기 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 상기 제1 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 제1 추가 이미지가 상기 기설정된 조건을 만족하는 경우 상기 제1 추가 이미지를 상기 기준 이미지로 추가하여 저장하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 기준 이미지로 저장하는 단계는,
    상기 초기 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 상기 초기 이미지와 함께 상기 기준 이미지로 저장하는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 기준 이미지로 추가하여 저장하는 단계는,
    상기 제1 추가 이미지가 상기 기설정된 조건을 만족하는 경우 상기 제1 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 상기 제1 추가 이미지와 함께 상기 기준 이미지로 저장하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계는,
    상기 제1 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 비율 이상 기설정된 제2 비율 이하인 범위에 속하는 경우 상기 기설정된 제1 조건을 만족하는 것으로 판단하는 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 기설정된 제1 비율은 70%이며, 상기 기설정된 제2 비율은 100%인 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 기설정된 제1 조건을 만족하는지 여부를 판단하는 단계는,
    상기 제1 추가 이미지에 포함된 오브젝트의 특징 정보가 상기 초기 이미지에 포함된 오브젝트의 특징 정보와 유사한 경우, 상기 제1 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 기설정된 오브젝트에 대한 제2 추가 이미지를 획득하고, 상기 제2 추가 이미지에 포함된 오브젝트의 상기 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 상기 기설정된 제2 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 제2 추가 이미지가 상기 기설정된 조건을 만족하는 경우 상기 제2 추가 이미지를 상기 기준 이미지로 추가하는 저장하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 기설정된 오브젝트에 대한 제3 추가 이미지를 획득하고, 상기 제3 추가 이미지에 포함된 오브젝트의 상기 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제3 조건을 만족하는지 여부 및 상기 제3 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제4 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 제3 추가 이미지가 상기 제3 조건 및 상기 제4 조건을 만족하는 경우, 상기 제3 추가 이미지로 상기 제1 추가 이미지를 업데이트하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  9. 제8항에 있어서,
    상기 제3 조건은,
    상기 제3 추가 이미지에 포함된 오브젝트의 상기 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 70% 이상 기설정된 100% 이하인 범위인 조건이며,
    상기 제4 조건은,
    상기 제3 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 50% 이상인 조건인 것을 특징으로 하는 제어 방법.
  10. 제1항에 있어서,
    상기 저장된 기준 이미지에 기초하여 상기 기설정된 오브젝트를 인식하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  11. 제1항에 있어서,
    상기 기설정된 오브젝트는,
    사용자의 얼굴인 것을 특징으로 하는 제어 방법.
  12. 기설정된 오브젝트에 대한 초기 이미지를 획득하고, 기준 이미지로 저장하는 저장부; 및
    상기 기설정된 오브젝트에 대한 제1 추가 이미지를 획득하고, 상기 제1 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제1 조건을 만족하는지 여부를 판단하고, 상기 제1 추가 이미지가 상기 기설정된 조건을 만족하는 경우 상기 제1 추가 이미지를 상기 기준 이미지로 추가하여 저장하는 제어부;를 포함하는 오브젝트 인식 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 초기 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 상기 초기 이미지와 함께 상기 기준 이미지로 저장하는 것을 특징으로 하는 오브젝트 인식 장치.
  14. 제12항에 있어서,
    상기 제어부는,
    상기 제1 추가 이미지가 상기 기설정된 조건을 만족하는 경우 상기 제1 추가 이미지에 상이한 히스토그램 스트레칭을 적용하여 생성된 적어도 두 개의 이미지를 상기 제1 추가 이미지와 함께 상기 기준 이미지로 저장하는 것을 특징으로 하는 오브젝트 인식 장치.
  15. 제12항에 있어서,
    상기 제어부는,
    상기 기설정된 오브젝트에 대한 제3 추가 이미지를 획득하고, 상기 제3 추가 이미지에 포함된 오브젝트의 상기 제1 추가 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제3 조건을 만족하는지 여부 및 상기 제3 추가 이미지에 포함된 오브젝트의 상기 초기 이미지에 포함된 오브젝트에 대한 상대적 크기가 기설정된 제4 조건을 만족하는지 여부를 판단하고,
    상기 제3 추가 이미지가 상기 제3 조건 및 상기 제4 조건을 만족하는 경우, 상기 제3 추가 이미지로 상기 제1 추가 이미지를 업데이트하는 것을 특징으로 하는 오브젝트 인식 장치.
PCT/KR2015/002221 2014-03-14 2015-03-09 오브젝트 인식 장치 및 그 제어 방법 WO2015137666A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15761671.5A EP3091507A4 (en) 2014-03-14 2015-03-09 Object recognition apparatus and control method therefor
US15/125,751 US10592759B2 (en) 2014-03-14 2015-03-09 Object recognition apparatus and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140030537A KR102200950B1 (ko) 2014-03-14 2014-03-14 오브젝트 인식 장치 및 그 제어 방법
KR10-2014-0030537 2014-03-14

Publications (1)

Publication Number Publication Date
WO2015137666A1 true WO2015137666A1 (ko) 2015-09-17

Family

ID=54072046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002221 WO2015137666A1 (ko) 2014-03-14 2015-03-09 오브젝트 인식 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10592759B2 (ko)
EP (1) EP3091507A4 (ko)
KR (1) KR102200950B1 (ko)
WO (1) WO2015137666A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2954459A4 (en) * 2013-02-08 2016-10-19 Emotient Inc HARVESTING MACHINE LEARNING TRAINING DATA FOR EXPRESSION RECOGNITION
CN107729877B (zh) * 2017-11-14 2020-09-29 浙江大华技术股份有限公司 一种基于级联分类器的人脸检测方法及装置
US11308339B2 (en) * 2018-01-30 2022-04-19 T-Mobile Usa, Inc. Methods and systems for identifying and profiling biological tissue
CN108427911B (zh) * 2018-01-30 2020-06-23 阿里巴巴集团控股有限公司 一种身份验证方法、系统、装置及设备
CN110210307B (zh) * 2019-04-30 2023-11-28 中国银联股份有限公司 人脸样本库部署方法、基于人脸识别业务处理方法及装置
KR102101351B1 (ko) * 2019-11-05 2020-04-20 최경진 개선된 공기조화를 지원하는 주행 장치
JP7318793B2 (ja) * 2020-02-21 2023-08-01 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラム
WO2023041970A1 (en) * 2021-09-16 2023-03-23 Sensetime International Pte. Ltd. Data collection method and apparatus, device and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018522A1 (en) * 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
US20070122009A1 (en) * 2005-11-26 2007-05-31 Hyung Keun Jee Face recognition method and apparatus
KR20070119105A (ko) * 2006-06-14 2007-12-20 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
KR20080064923A (ko) * 2007-01-06 2008-07-10 삼성테크윈 주식회사 얼굴 검색을 이용한 추가 데이터베이스화 방법
WO2011096651A2 (ko) * 2010-02-05 2011-08-11 주식회사 에스원 얼굴 식별 방법 및 그 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100300961B1 (ko) 1998-07-07 2001-09-06 윤종용 최적얼굴영역추출방법및그에따른얼굴인식방법
WO2000046752A1 (fr) * 1999-02-05 2000-08-10 Yis Corporation Systeme d'autorisation par oui/non d'operations
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
JP5067418B2 (ja) * 2007-03-16 2012-11-07 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
US8988609B2 (en) * 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
JP4389956B2 (ja) * 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
KR100901125B1 (ko) * 2007-04-24 2009-06-08 삼성전자주식회사 얼굴인식 방법과 장치
KR100886557B1 (ko) 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
JP2009223580A (ja) * 2008-03-14 2009-10-01 Omron Corp 優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体
JP2010238181A (ja) 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 顔認証装置および顔認証方法
KR101185243B1 (ko) 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
KR20110092848A (ko) * 2010-02-10 2011-08-18 주식회사 레드코어 얼굴 인증 및 등록방법
KR101214732B1 (ko) 2010-03-09 2012-12-21 삼성전자주식회사 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법
AU2012219277B2 (en) * 2011-02-18 2016-10-20 Google Llc Facial recognition
KR101322168B1 (ko) 2012-01-17 2013-10-28 성균관대학교산학협력단 실시간 얼굴 인식 장치
KR101582153B1 (ko) * 2012-02-06 2016-01-04 네이버 주식회사 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치
KR101399785B1 (ko) 2012-04-03 2014-06-27 조선대학교산학협력단 얼굴 검출 및 인식을 위한 얼굴 영상 획득 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018522A1 (en) * 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
US20070122009A1 (en) * 2005-11-26 2007-05-31 Hyung Keun Jee Face recognition method and apparatus
KR20070119105A (ko) * 2006-06-14 2007-12-20 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
KR20080064923A (ko) * 2007-01-06 2008-07-10 삼성테크윈 주식회사 얼굴 검색을 이용한 추가 데이터베이스화 방법
WO2011096651A2 (ko) * 2010-02-05 2011-08-11 주식회사 에스원 얼굴 식별 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3091507A4 *

Also Published As

Publication number Publication date
KR20150107499A (ko) 2015-09-23
KR102200950B1 (ko) 2021-01-12
EP3091507A4 (en) 2017-08-16
US20170004369A1 (en) 2017-01-05
US10592759B2 (en) 2020-03-17
EP3091507A1 (en) 2016-11-09

Similar Documents

Publication Publication Date Title
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2016204466A1 (en) User authentication method and electronic device supporting the same
WO2019216529A1 (en) Electronic apparatus and controlling method thereof
WO2017078361A1 (en) Electronic device and method for recognizing speech
WO2019107981A1 (en) Electronic device recognizing text in image
WO2019093819A1 (ko) 전자 장치 및 그 동작 방법
WO2019000462A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
EP3815035A1 (en) Electronic device for adjusting image including multiple objects and control method thereof
WO2020159147A1 (ko) 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
WO2018088806A1 (ko) 영상처리장치 및 영상처리방법
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2021020814A1 (en) Electronic device for providing avatar and operating method thereof
WO2016036044A1 (en) Image data processing method and electronic device supporting the same
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2019054791A1 (ko) 컨텐트를 실행하는 방법 및 장치
WO2015170832A1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2016182361A1 (en) Gesture recognition method, computing device, and control device
WO2020032567A1 (en) Electronic device for providing information on item based on category of item
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2020062615A1 (zh) 显示面板的伽马值调节方法、装置及显示设备
WO2019045521A1 (ko) 전자 장치 및 그 제어 방법
WO2019190142A1 (en) Method and device for processing image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15761671

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015761671

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015761671

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15125751

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE