WO2011053036A2 - 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2011053036A2
WO2011053036A2 PCT/KR2010/007513 KR2010007513W WO2011053036A2 WO 2011053036 A2 WO2011053036 A2 WO 2011053036A2 KR 2010007513 W KR2010007513 W KR 2010007513W WO 2011053036 A2 WO2011053036 A2 WO 2011053036A2
Authority
WO
WIPO (PCT)
Prior art keywords
area
face
image content
detected
trimming
Prior art date
Application number
PCT/KR2010/007513
Other languages
English (en)
French (fr)
Other versions
WO2011053036A3 (ko
Inventor
김대성
천지희
류중희
Original Assignee
(주)올라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)올라웍스 filed Critical (주)올라웍스
Priority to JP2012536687A priority Critical patent/JP5503011B2/ja
Priority to EP10827120.6A priority patent/EP2506218B1/en
Priority to US13/378,518 priority patent/US8306359B2/en
Publication of WO2011053036A2 publication Critical patent/WO2011053036A2/ko
Publication of WO2011053036A3 publication Critical patent/WO2011053036A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Definitions

  • the present invention relates to a method, a terminal, and a computer-readable recording medium for trimming an image content, and more particularly, to extract only a specific area of the image content through a predetermined criterion, and to perform a thumbnail function on the extracted area.
  • a zooming function, and a slide show function such as a terminal, a terminal, and a method for allowing a user to quickly check contents of a main person or an object included in a large number of image contents, and at the same time, to enjoy an interesting visual effect.
  • a computer readable recording medium is a method for trimming an image content, and more particularly, to extract only a specific area of the image content through a predetermined criterion, and to perform a thumbnail function on the extracted area.
  • a zooming function, and a slide show function such as a terminal, a terminal, and a method for allowing a user to quickly check contents of a main person or an object included in a large number of image contents, and at the same time, to enjoy an interesting visual
  • thumbnail images of still images or image contents can be displayed on one screen at the same time, thereby reducing the time and effort required to search for a specific file.
  • an advantage of using thumbnails of images may be increased. According to this advantage, a function of displaying an image file in thumbnail size is used.
  • the entire image file is reduced to the thumbnail size, it means that the resolution is also smaller, so that the smaller the thumbnail size, the harder it is to identify the contents of the image file. Therefore, rather than miniaturizing the entire image file to generate a thumbnail image, a technique of cutting out only a characteristic part included in the image file and minimizing it to generate a thumbnail image is utilized. In other words, if a thumbnail image is generated only for a specific area that best represents the contents of an image file, the reduction ratio becomes smaller than the case of generating a thumbnail image by reducing the entire image file. Since the characteristic part of the image file is generated as a thumbnail image, it is easy to identify the contents of the image file simply by checking the thumbnail image.
  • the method of finding the characteristic part of the current image file is only a method of analyzing the chroma histogram and the like to find an object included in the image file and determining the object as the feature region.
  • image files can contain people and objects, in which case an object called an object is most likely a background or environment.
  • the person called the person is an important object in the image file, but according to the conventional method, there is a fear that both the person and the object are judged as important areas.
  • there are several persons or objects there is also a problem in that all of them are regarded as important areas regardless of their importance. According to this, even if a critical region is extracted and a thumbnail image is generated based on the important region, the contents of the corresponding image file cannot be easily known through the thumbnail image.
  • the object of the present invention is to solve all the problems of the prior art described above.
  • another object of the present invention is to extract the feature region of the image content through a variety of criteria, and to provide the user with the extracted feature region in various ways, the user can more easily grasp the important content of the image content To make it interesting.
  • another object of the present invention is to extract the feature region of the image content, detecting the type, location, size, etc. of the object included in the image content, and according to whether the detected object is a person or an object, By applying different criteria according to the position, size, etc. occupied by the person and / or object, it is possible to extract a substantially important part as a feature area of the image content.
  • a method for trimming image content comprising: (a) a face detection technique and an object detection technique included in the image contents; Detecting a person and an object, (b) calculating an area of a face area of the detected person and an area of the detected object area, wherein a center point of the detected person's face is separated from a center point of the image content Calculating a distance away from a center point of the image content by a distance from a center point of the detected object, and (c) an area of the detected object area is first preset than an area of a face area of the detected person; If it is calculated that the ratio is greater than or equal to the ratio value, trimming is performed on the object, and the center point of the detected object is located at The distance away is less than a second preset value and the center point of the detected person's face is away from the center point of the image content, and the distance from the center point of the detected object is less than the distance from the center point of the image content. If it is calculated
  • a method for trimming image content comprising: (a) detecting an object included in the image content using object detection technology, (b Calculating the area of each detected object area when the number of the detected objects is plural, and calculating a distance that a center point of each detected object is separated from a specific point of the image content; and (c) (i) if the area of the first object area among the detected objects is calculated to be larger than the area of the second object area by a first predetermined ratio value, the criteria for increasing the priority for the first object; and (ii The distance between the center point of each of the first object and the second object is far from a specific point of the image content,
  • the trimming is performed according to a criterion for increasing the priority of the object, and if the area of the first object area is calculated to be larger than the area of the second object area by a second preset ratio value, the reference of (ii) is performed. Ignoring, wherein the second preset ratio value is set greater than the first preset ratio
  • a person and an object included in the image content using face detection technology and object detection technology Detects an area of the face area of the detected person and an area of the detected object area, and calculates a distance between the center point of the face of the detected person and the distance of the detected object from the center point of the image content. And after calculating a distance from the center point of the image content to the center point, if the area of the detected object area is calculated to be larger than the area of the face area of the detected person by a first preset ratio value, the detected object.
  • a feature region extractor which determines the detected object region as a feature region when it is calculated to be larger than a set value, a trimming performer that trims the image content based on the determined result, and a result of the trimming
  • a terminal including a display unit provided to a user is provided.
  • an object included in the image content is detected by using an object detection technique, and the number of the detected objects is detected.
  • the area of each detected object area is calculated, and the center point of each detected object is calculated to be a distance away from a specific point of the image content. If the area of the first object area is calculated to be larger than the area of the second object area by a first predetermined ratio value, the reference for increasing the priority with respect to the first object and (ii) each of the first object and the second object.
  • the distance between the center point and the specific point of the image content is compared to give priority to an object having a short distance from the specific point of the image content.
  • the feature region may be determined according to a reference to increase the height, and if the area of the first object region is calculated to be greater than or equal to the area of the second object region by a second preset ratio value, the feature region may be ignored.
  • An extraction unit-the second preset ratio value is set to be larger than the first preset ratio value-based on the determined result, a trimming execution unit that performs trimming on the image content, and a result of the trimming.
  • a feature region of an image content is extracted through various criteria, and in providing the extracted feature region to a user, a method of providing a thumbnail image, a method of providing a zoom function, or a navigation / slide show
  • a method of providing a thumbnail image By providing in a form, etc., the user can more easily grasp the contents of the plurality of image contents and at the same time provide the above special functions to the important part of the image contents to enjoy a variety of video effects.
  • the present invention different criteria are applied according to the position, size, etc. of the object in the image according to the type of the object included in the image content, and the feature region of the image content is extracted according to the standard. Therefore, it is possible to rationally extract a portion that is substantially more important than the method of extracting the feature region only through arithmetic operation as the feature region of the image content.
  • FIG. 1 is a diagram illustrating a configuration of a terminal for enabling trimming of image content and providing a result to a user according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of a feature region extraction unit according to an embodiment of the present invention.
  • 3A to 3N are diagrams for describing a process of extracting a feature region by a frame designator according to an embodiment of the present invention.
  • trimming refers to a screen configuration of image content such as a picture, and includes a feature of emphasizing only a characteristic part of the image content to a user by emphasizing the main part. It will be called a concept.
  • the present invention refers to a thumbnail generation, a zoom in / zoom out, a navigation / slide show function, etc. for a feature region in the image as a specific example of the trimming method, but is not necessarily limited thereto. Any effect applied to the above will be referred to as a concept.
  • FIG. 1 is a diagram illustrating a configuration of a terminal for enabling trimming of image content and providing a result to a user according to an embodiment of the present invention.
  • the terminal 100 of the present invention includes an input signal receiver 110 for receiving a command for a desired operation from a user, a feature region extractor 120 for extracting an important region from image content, Thumbnail image generating unit 130 for generating a portion extracted into the feature region as a thumbnail image, a zoom function providing unit 140 for zooming in or out of one or more portions extracted into the feature region, one or more features
  • a navigation / slide show function providing unit 150, a display unit 160, a communication unit 170, and a controller 180 that provide a navigation function or a slide show for an area may be configured.
  • the input signal receiver 110, the feature region extractor 120, the thumbnail image generator 130, the zoom function provider 140, the navigation / slide show function provider 150 may be program modules provided in the terminal 100.
  • Such program modules may be included in the terminal 100 in the form of an operating system, an application module, and other program modules, and may be physically stored on various known storage devices.
  • these program modules may be stored in a remote storage device that can communicate with the terminal 100.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the input signal receiving unit 110 performs a function of receiving a command input from a user.
  • the terminal 100 of the present invention may perform a trimming operation on an image content input from a user or a pre-stored image content.
  • the user starts a trimming operation and a thumbnail of a portion selected as a feature area.
  • the input of such a command may be made through an input unit (not shown) which is typically provided in the terminal 100, and the input signal receiving unit 110 performs a function of receiving a command input through such an input unit.
  • the feature region extractor 120 performs a function of extracting a feature region from an image content input or pre-stored by a user.
  • the feature area is an important part of the corresponding image content, and means the most characteristic part of the image content, that is, the part that best represents the content of the image content.
  • the feature region extractor 120 recognizes the image content and includes the person by giving priority to the person if it is recognized that the image content includes the person and the object. Extracts a feature region into a feature region).
  • the feature region may be extracted in the form of a rectangular frame, but is not necessarily limited thereto. The operation of the feature region extractor 120 will be described in detail later.
  • the thumbnail image generator 130 performs a function of generating a thumbnail image of the feature region extracted by the feature region extractor 120.
  • the feature region may be extracted in the form of a rectangular frame, and the thumbnail image generator 130 may generate such a frame as an image file having an appropriate resolution and size according to a user's selection.
  • the thumbnail image may be provided to the user through the display unit 160. That is, the user may input a command to generate a thumbnail image after the feature region is extracted by the feature region extractor 120 through an input unit that is typically provided in the terminal 100, and generate a thumbnail image according to the command.
  • the unit 130 generates the feature region as a thumbnail image.
  • the input unit may be an input unit implemented by a touch screen driving method.
  • a user interface for determining whether to generate a thumbnail image may be provided.
  • the thumbnail image generating unit 130 that is, a technique for generating a thumbnail image file from image contents, “R. C. Gonzalez, R. E. Woods, Digital Image Processing, 2nd edition, prentice-Hall, Inc., New Jersey, 2002. ”may be applied.
  • the zoom function providing unit 140 performs a function of zooming in or zooming out a feature region extracted by the feature region extractor 120 to provide a result to a user. do.
  • the number of feature regions extracted by the feature region extractor 120 may be one or more, and the result extracted as the feature region may be provided to the user through the display unit 160 while being displayed on the corresponding image content. If there is only one feature region, the user may be instructed to perform a zoom in or zoom out function on the feature region.
  • Such a command may be input through an input unit which is typically provided in the terminal 100.
  • the input unit may be implemented by a touch screen driving method.
  • the user may execute a zoom function for the corresponding region by touching a portion extracted as the feature region.
  • the zoom in function may be executed, and when the user touches twice, the zoom out function may be executed.
  • the degree of zoom in or zoom out depending on the time when the touch operation is performed. May be implemented to be different.
  • a user interface for entering a command for zooming in or zooming out may be provided to the user with the extraction result for the feature area, and depending on the user's command input through the user interface provided in this way, the user may zoom in or Zoom out may be performed.
  • a zoom in or zoom out function may be performed on at least one feature area selected by a user.
  • the zoom in or zoom out function for one or more feature areas may be performed sequentially or simultaneously in a selected order.
  • selection by the user may be made by the input unit. Since the selection method is the same as that of one extracted feature region, a description thereof will be omitted.
  • the navigation / slide show function providing unit 150 displays one or more feature regions extracted by the feature region extraction unit 120 to a user, and provides a navigation function for the feature regions. It can provide a slide show function.
  • the navigation function is a function of looking around the selected feature areas through manual selection of the feature areas, and the slide show function automatically performs the feature areas according to a predetermined turn without manual selection of the feature areas.
  • the user may be provided with a user interface for entering commands for providing the navigation function and / or the slide show function, and the user may use the navigation function and / or the slide show function. You can enter a command on whether or not to be provided.
  • the display unit 160 is provided by the feature region extractor 120, the thumbnail image generator 130, the zoom function provider 140, and the navigation / slide show function provider 150. Performs a function of processing various initial effects and states of various operations performed by the terminal 100 and providing them to the user.
  • the display unit 160 may be a flat panel display device such as a liquid crystal display (LCD) or an organic light emitting diode (OLED).
  • the communication unit 170 performs a function of transmitting and receiving data between the terminal 100 and an external device, for example, a server providing an application for the present service.
  • the controller 180 may include an input signal receiver 110, a feature region extractor 120, a thumbnail image generator 130, a zoom function provider 140, and a navigation / slide show.
  • the function providing unit 150, the display unit 160, and the communication unit 170 may control the flow of data. That is, the controller 180 according to the present invention controls the flow of data from the outside or between each component of the terminal 100, thereby receiving the input signal receiver 110, the feature region extractor 120, and the thumbnail image generator.
  • the control unit 130 may control the zoom function providing unit 140, the navigation / slide show function providing unit 150, the display unit 160, and the communication unit 170 to perform unique functions.
  • FIG. 2 is a diagram illustrating a configuration of a feature region extraction unit 120 according to an embodiment of the present invention.
  • the feature region extractor 120 may include an image content receiver 121, a noise remover 122, an object detector 123, and a frame designator 124.
  • the image content receiving unit 121 performs a function of receiving image content, which is a target of trimming, from a user.
  • the image content may be input from a user or may be previously stored.
  • the noise removing unit 122 performs a noise removing function for image content.
  • a noise reduction filter performs a function of reducing noise of image content
  • the filtering method is a smoothing process performed using a conventional method, for example, a Gaussian filter. Smoothing Process can be applied.
  • various other methods may be applied according to the needs of those skilled in the art.
  • the object detecting unit 123 detects an object included in the image content, and performs a function of reading the type of the detected object, the position of the object, the size, and the like.
  • the type of object can be largely divided into figures including faces and other objects.
  • the object detecting unit 123 may determine that the object is a person using at least one of various face detection technologies or an object using at least one of various object detection technologies. A process of detecting a face by the object detecting unit 123 will be described below. First, the skin color region is extracted from the image content, the luminance change of the extracted region is grasped, and the outline is extracted based on this.
  • the face may be detected by judging whether two eyes and the mouth exist in the area of the eye and mouth measured empirically.
  • the empirical method means detecting a face through a learned pattern.
  • a tree-shaped detector is created from a simplified face pattern to a complex face pattern. Faces can be detected by filtering objects.
  • Such a face detection method is exemplary, and various other methods may be used, for example, a method of detecting a face by matching an object included in image content to be trimmed with a face sample image previously stored in a database. It may be.
  • a process of detecting an object by the object detecting unit 123 will be described below.
  • a difference in luminance difference or a corresponding pixel value between adjacent pixels in an image content is measured, and a set of points having a difference greater than or equal to a predetermined threshold is determined as an edge of the object, and then based on this, You can isolate the background.
  • a technique of separating a subject and a background from a captured image described in Korean Patent Laid-Open Publication No. 2009-0064247 (a digital image photographing method and a photographing apparatus) may be applied.
  • an object other than the face detected according to the above-described method may be determined to be an object.
  • the frame designation unit 124 designates a frame for an area including an object detected by the object detection unit 123, but only a frame for an area including an object selected according to a predetermined criterion. It designates and extracts it as a feature area. That is, when there is only one object detected by the object detecting unit 123, a region including the object is designated as a frame having a rectangular shape and the corresponding region is extracted as a feature region, and when the number of detected objects is 2 or more, An area including an object selected according to a predetermined criterion or an area more defined therein is designated as a frame and extracted as a feature area.
  • FIGS. 3A to 3D are diagrams for describing a feature region extraction method when the object content is detected by the object detecting unit 123 to include the person and the object at the same time.
  • the priority may be given to the object if the size of the object with respect to the size of the face is greater than or equal to a predetermined threshold.
  • the size of the face and the size of the object may be defined as the width of the minimum area of the rectangular area including the face and the object, respectively. For example, assuming that the threshold is 6 times, the object may be given priority when the size of the object is 6 times larger than the size of the face.
  • the threshold is not limited to 6 times and may be generalized to n times. Accordingly, a frame is assigned to the area including the object and can be extracted as the feature area. However, when the size of the object is more than a predetermined ratio (for example, 80%) with respect to the size of the image content, the entire image content may be extracted as the feature region.
  • a predetermined ratio for example, 80%
  • the frame designator 124 may determine that the distance from the center point of the image content to the center of the face is longer than a predetermined ratio of the shorter length of the horizontal or vertical length of the entire image content. For example, in the image content illustrated in FIG. 3C, the vertical length b is shorter than the horizontal length a, and the distance d from the center point to the center point of the face corresponds to a predetermined ratio of the length b.
  • the detected face may be determined to be a face existing on the outer side.
  • the present invention is not limited to the numerical value of 0.6b given as an example above, and various modifications can be assumed as a matter of course.
  • the center point of the face may be detected through information on the middle value of the leftmost pixel and the rightmost pixel, the middle value of the top pixel and the bottom pixel based on the outline of the skin color region detected by the object detector 123.
  • the feature region extraction for the face may be omitted.
  • a predetermined ratio for example, 1/9
  • the feature region extraction for the face may be omitted.
  • an area including the object may be extracted as a feature area. If an object does not exist, the entire image content may be extracted as a feature area, and the feature area may be extracted. You may not.
  • the frame designator 124 extracts the feature-oriented feature area only when the size of the face included in the image content is greater than or equal to a predetermined reference in relation to the size of the entire image content. That is, by applying the differential ratio (the ratio of face size to the entire image content) according to the size of the face, the area including the face is extracted as a feature area only when an object called face exists as an important part in the image content. I can do it.
  • a differential ratio can be applied in three steps. First, if the face size falls within the first range (e.g., less than 2000 pixels), then the face size is defined relative to the total image content size.
  • the ratio is larger than 1 ratio (for example, 1/50), the region including the face can be extracted as the feature region.
  • the face size falls within a second range (eg, 2000 pixels or more and less than 5000 pixels), the face size is a second ratio (eg, 1/30) to the total image content size. Only when larger, the area including the face can be extracted as the feature area.
  • the face size falls within the third range (for example, 5000 pixels or more)
  • the face size is larger than the third ratio (for example, 1/12) with respect to the overall image content size. Only the area including the face can be extracted as the feature area.
  • the face size may be expressed as a product of a horizontal pixel and a vertical pixel of the rectangle having the smallest width among the rectangles including the outline of the face.
  • the above-mentioned range assumes that the resolution of the image content is 320 ⁇ 240, and the range may vary depending on the overall resolution of the image content.
  • the frame designator 124 may extract the feature region based on the following criteria. Basically, as shown in FIG. 3F, when a distance between faces is close, an area including all of the faces may be extracted as a feature area. For example, when the distance between faces is less than three times the length of the face (eg, the average face length of the faces), an area including all the faces may be extracted as the feature region. In addition, as shown in FIG. 3G, when the face size differs by more than a certain ratio, only a region including a relatively large face may be extracted as the feature region.
  • the size of one face is more than six times larger than the size of the other face, only an area including a large face can be extracted as a feature area, and if it is less than that, as shown in FIG. 3F.
  • an area including all two or more faces may be extracted as a feature area.
  • the feature region may be extracted except for the face existing on the outer side.
  • the same size of the face may be assumed to be a case where the difference in size is less than a predetermined ratio (eg, 10%).
  • the determination of whether a face is at the center of the image content or on the outer side is made by measuring the distance from the center of each face to the center of the image content, and the smaller the distance is, the more the face is at the center of the image. May be determined to be. Meanwhile, as shown in FIG. 3I, when faces having substantially the same size are all present on the outer side of the image content, that is, when there is no face existing in the center of the image content, the face on the left side and the upper side is larger. High priority can be given. However, the faces that are located near the left or top, as well as a specific point in the image content (for example, a right point or a specific point in the bottom) are given higher priority to extract only the area containing the object as the feature area. It may be.
  • an area including a face located at the upper left end may be extracted as the feature area.
  • the frame designator 124 may differentially designate the size of the feature region to be extracted for each number of face objects detected by the object detector 123.
  • the size of the feature area can be adjusted in four steps.
  • the feature region may be extracted by extending in the vertical, vertical, left and right directions of the face by a length corresponding to 40% of the relatively long vertical length.
  • FIGS. 3K and 3L when two and three faces are detected, the feature region may be extended by the second and third ratios of the longest length among the horizontal length and the vertical length of the face, respectively. Can be.
  • the feature region may be extracted by extending in the vertical, left, and right directions of the face by a length corresponding to 30% and 20% of the relatively long horizontal length, respectively.
  • the expansion ratio may be designated as 10%.
  • the feature region may be extracted in the following manner.
  • This part cannot be a feature area because it consists only of the same color, which means that the part is not an object, but a wall, a ceiling or a simple background.
  • an object to be included in the feature area may be specified according to the size and position of the object, as shown in FIG. 3M. This may be performed in the same manner as that of extracting feature regions when two or more faces are used. That is, by comparing the sizes of the objects, a region including a relatively large object may be extracted as a feature region, and a higher priority may be given to an object located at the upper left side according to the position of the object. In addition, priority may be given in order of increasing size of the object to extract an object having the highest priority or an area including a predetermined number of objects in order of high priority as a feature area. Meanwhile, as illustrated in FIG.
  • the entire area of the image content is not extracted as a feature area without extracting the area including the corresponding object.
  • the region may be extracted or the feature region itself may not be extracted.
  • the above-described method assumes that a distinctive face or object is detected clearly, or when there are a plurality of unspecified faces or objects, or when the face or object cannot be detected, the entire image content can be extracted as the feature region. will be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체가 제공된다.　 본 발명의 일 실시예에 따르면, 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 방법으로서, (a) 얼굴 검출(face detection) 기술 및 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 인물 및 물체를 검출하는 단계, (b) 검출된 인물의 얼굴 영역의 면적과 검출된 물체 영역의 면적을 산출하고, 검출된 인물의 얼굴의 중앙 지점이 이미지 컨텐츠의 중앙 지점에서 떨어진 거리와 검출된 물체의 중앙 지점이 이미지 컨텐츠의 중앙 지점에서 떨어진 거리를 산출하는 단계, 및 (c) 검출된 물체 영역의 면적이 검출된 인물의 얼굴 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 물체에 대한 트리밍을 수행하고, 검출된 물체의 중앙 지점이 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제2 기설정 값 이하이고 검출된 인물의 얼굴의 중앙 지점이 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 검출된 물체의 중앙 지점이 이미지 컨텐츠의 중앙 지점에서 떨어진 거리보다 제3 기설정 값 이상 큰 것으로 산출되면 물체에 대한 트리밍을 수행하는 단계를 포함하는 방법이 제공된다.

Description

이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
본 발명은 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 소정 기준을 통해 이미지 컨텐츠의 특정 영역만을 추출해내고, 추출된 영역에 대해 썸네일 기능, 줌 기능, 및 슬라이드 쇼 기능 등을 제공함으로써 사용자로 하여금 수많은 이미지 컨텐츠 내에 포함된 주요 인물 또는 사물 등에 대한 내용을 보다 신속히 확인할 수 있도록 함과 동시에 흥미로운 영상 효과 또한 느낄 수 있도록 하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
일반적으로 다양한 단말 장치 등의 시스템에 저장되는 파일의 개수가 많아지게 되면, 특정 파일을 검색하는 데에 많은 시간과 노력이 필요하게 된다.　 이렇게 소비되는 시간과 노력을 줄이기 위해 정지 영상 또는 이미지 컨텐츠에 대한 썸네일 이미지를 생성시켜 저장하는 기술이 널리 사용되고 있다.　 썸네일 크기의 영상을 생성해내면 다수의 이미지 컨텐츠에 대한 썸네일 영상을 하나의 화면에 동시에 표시할 수 있기 때문에, 특정 파일을 검색하는 데에 소요되는 시간과 노력을 줄일 수 있게 된다.　 특히, 비교적 적은 용량과 느린 처리 속도를 가진 이동 통신 단말기 또는 다수의 이미지 파일을 저장 및 관리하는 프로그램의 경우에는 영상의 썸네일을 사용함으로써 생기는 이점이 더 많아진다고 할 수 있다.　 이러한 이점에 따라 이미지 파일을 썸네일 사이즈로 나타내는 기능이 이용되고 있다.
그러나, 이미지 파일 전체를 썸네일 사이즈로 줄이게 되면 그 해상도 또한 작아짐을 의미하기 때문에, 썸네일 사이즈가 작을수록 해당 이미지 파일의 내용을 식별하기 어려워진다.　 따라서, 이미지 파일 전체를 축소시켜 썸네일 이미지를 생성하기 보다는 이미지 파일 내에 포함되는 특징적인 부분만을 잘라내고 이를 축소시켜 썸네일 이미지를 생성하는 기술이 활용되고 있다.　 즉, 이미지 파일의 내용을 가장 잘 나타내어주는 특정 영역만을 대상으로 썸네일 이미지를 생성시키게 되면 이미지 파일 전체를 축소시켜 썸네일 이미지를 생성시키는 경우보다 상대적으로 축소 비율이 작아지게 되어 이미지 식별이 용이해질 뿐만 아니라 이미지 파일의 특징적인 부분이 썸네일 이미지로 생성되기 때문에 썸네일 이미지를 확인하는 것만으로 해당 이미지 파일의 내용을 쉽게 파악해낼 수 있게 된다.
그러나, 현재 이미지 파일에서 특징적인 부분을 찾아내는 방법은 채도 히스토그램 등을 분석하여 이미지 파일 내에 포함되는 개체를 찾아내고, 해당 개체를 특징 영역으로 판단하는 방법에 그쳐있다.　 일반적으로 이미지 파일에는 인물과 물체가 포함되어 있을 수 있으며 이러한 경우 물체라는 개체는 배경 또는 주변 환경일 가능성이 높다.　 즉, 인물이라는 개체가 이미지 파일에서 중요 개체인데, 종래의 방법에 의하면 인물과 물체를 가리지 않고 모두 중요 영역으로 판단해버릴 우려가 있다.　 또한, 인물 또는 물체가 여러 개체 존재하는 경우, 그 중요도와 상관 없이 모두 중요 영역으로 판단해버리는 문제 또한 존재한다.　 이에 따르면, 중요 영역을 추출하고, 이를 기초로 썸네일 이미지를 생성한다 하더라도, 썸네일 이미지를 통해 해당 이미지 파일의 내용을 쉽게 알 수 없게 되는 문제가 있다.
따라서, 이미지 파일에 존재하는 각종 개체들 중 실질적으로 특징적인 부분, 즉, 그 이미지 파일에 있어서 가장 중요한 부분을 추출해내고, 이를 기초로 하여 썸네일 이미지를 생성하기 위한 기술이 시급한 실정이다.　 또한, 추출된 부분을 사용자에게 여러 가지 방식으로 제공함으로써 사용자가 흥미를 느낄 수 있도록 하는 기술에 대한 개발도 이루어져야 하는 실정이다.
본 발명은 상술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명의 다른 목적은 여러 가지 기준을 통해 이미지 컨텐츠의 특징 영역을 추출해내고, 추출된 특징 영역을 사용자에게 여러 가지 방식을 통해 제공함으로써 사용자가 보다 쉽게 해당 이미지 컨텐츠의 중요 내용을 파악해낼 수 있도록 하고 흥미를 느낄 수 있도록 하는 것이다.
한편, 본 발명의 또 다른 목적은 이미지 컨텐츠의 특징 영역을 추출함에 있어서, 이미지 컨텐츠에 포함되는 개체의 종류 및 위치, 사이즈 등을 검출하고, 검출된 개체가 인물인지 물체인지에 따라, 이미지 내에서 인물 및/또는 물체가 차지하는 위치, 사이즈 등에 따라, 서로 다른 기준을 적용함으로써 실질적으로 중요한 부분을 이미지 컨텐츠의 특징 영역으로 추출해낼 수 있도록 하는 것이다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 방법으로서, (a) 얼굴 검출(face detection) 기술 및 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 인물 및 물체를 검출하는 단계, (b) 상기 검출된 인물의 얼굴 영역의 면적과 상기 검출된 물체 영역의 면적을 산출하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리와 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리를 산출하는 단계, 및 (c) 상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 물체에 대한 트리밍을 수행하고, 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제2 기설정 값 이하이고 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리보다 제3 기설정 값 이상 큰 것으로 산출되면 상기 물체에 대한 트리밍을 수행하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 실시예에 따르면, 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 방법으로서, (a) 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 물체를 검출하는 단계, (b) 상기 검출된 물체의 개수가 복수 개일 경우, 상기 검출된 각각의 물체 영역의 면적을 산출하고, 상기 검출된 각각의 물체의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 산출하는 단계, 및 (c) (i) 상기 검출된 물체 중 제1 물체 영역의 면적이 제2 물체 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 제1 물체에 대해 우선순위를 높이는 기준 및 (ii) 상기 제1 물체 및 상기 제2 물체 각각의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 비교하여 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리가 짧은 물체에 대해 우선순위를 높이는 기준에 따라 트리밍을 수행하되, 상기 제1 물체 영역의 면적이 상기 제2 물체 영역의 면적보다 제2 기설정 비율 값 이상 큰 것으로 산출되면 상기 (ii)의 기준을 무시하는 단계 - 상기 제2 기설정 비율 값은 상기 제1 기설정 비율 값보다 크게 설정됨 - 를 포함하는 방법이 제공된다.
본 발명의 다른 실시예에 따르면, 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 단말기로서, 얼굴 검출(face detection) 기술 및 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 인물 및 물체를 검출하고, 상기 검출된 인물의 얼굴 영역의 면적과 상기 검출된 물체 영역의 면적을 산출하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리와 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리를 산출한 후, 상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 검출된 물체 영역을 특징 영역으로 결정하고, 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제2 기설정 값 이하이고 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리보다 제3 기설정 값 이상 큰 것으로 산출되면 상기 검출된 물체 영역을 특징 영역으로 결정하는 특징 영역 추출부, 상기 결정된 결과를 기초로 하여, 상기 이미지 컨텐츠에 대해 트리밍을 수행하는 트리밍 수행부, 및 상기 트리밍의 결과를 사용자에게 제공하는 표시부를 포함하는 단말기가 제공된다.
본 발명의 다른 실시예에 따르면, 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 단말기로서, 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 물체를 검출하고, 상기 검출된 물체의 개수가 복수 개일 경우, 상기 검출된 각각의 물체 영역의 면적을 산출하고 상기 검출된 각각의 물체의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 산출한 후, (i) 상기 검출된 물체 중 제1 물체 영역의 면적이 제2 물체 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 제1 물체에 대해 우선순위를 높이는 기준 및 (ii) 상기 제1 물체 및 상기 제2 물체 각각의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 비교하여 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리가 짧은 물체에 대해 우선순위를 높이는 기준에 따라 특징 영역을 결정하되, 상기 제1 물체 영역의 면적이 상기 제2 물체 영역의 면적보다 제2 기설정 비율 값 이상 큰 것으로 산출되면 상기 (ii)의 기준을 무시하는 특징 영역 추출부 - 상기 제2 기설정 비율 값은 상기 제1 기설정 비율 값보다 크게 설정됨 -, 상기 결정된 결과를 기초로 하여, 상기 이미지 컨텐츠에 대해 트리밍을 수행하는 트리밍 수행부, 및 상기 트리밍의 결과를 사용자에게 제공하는 표시부를 포함하는 단말기가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 여러 가지 기준을 통해 이미지 컨텐츠의 특징 영역이 추출되고, 추출된 특징 영역을 사용자에게 제공함에 있어서, 썸네일 이미지 형태로 제공하는 방식, 줌 기능 형태로 제공하는 방식 또는 내비게이션/슬라이드 쇼 형태로 제공하는 방식 등으로 제공하기 때문에, 사용자는 보다 쉽게 다수 이미지 컨텐츠의 내용을 파악해낼 수 있음과 동시에 이미지 컨텐츠의 중요 부분에 상기와 같은 특수한 기능을 제공하므로 다양한 영상 효과를 누릴 수 있게 된다.
또한, 본 발명에 따르면, 이미지 컨텐츠에 포함되는 개체의 종류에 따라, 이미지 내에서 개체가 차지하는 위치, 사이즈 등에 따라, 서로 다른 기준이 적용되고, 이러한 기준에 따라 해당 이미지 컨텐츠의 특징 영역이 추출되기 때문에, 단순히 산술적인 연산만을 통해 특징 영역을 추출해내는 방식보다 실질적으로 보다 중요한 부분을 합리적으로 이미지 컨텐츠의 특징 영역으로서 추출해낼 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 이미지 컨텐츠에 대한 트리밍을 가능하게 하고 그 결과를 사용자에게 제공하기 위한 단말기의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 특징 영역 추출부의 구성을 나타내는 도면이다.
도 3a 내지 도 3n은 본 발명의 일 실시예에 따른 프레임 지정부에 의해 특징 영역이 추출되는 과정을 설명하기 위한 도면이다.
<주요 도면부호에 관한 간단한 설명>
110: 입력 신호 수신부
120: 특징 영역 추출부
130: 썸네일 이미지 생성부
140: 줌 기능 제공부
150: 내비게이션/슬라이드 쇼 기능 제공부
121: 이미지 컨텐츠 수신부
122: 노이즈 제거부
123: 개체 검출부
124: 프레임 지정부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다.　 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.　 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.　 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.　 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.　 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.　 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 바람직한 실시예]
참고로, 본 발명에서 트리밍(trimming)이란, 사진 등 이미지 컨텐츠에 대한 화면 구성을 의미하는 것으로, 주요 부분을 강조하는 방식 등을 통해 이미지 컨텐츠의 특징적인 부분만을 강조하여 사용자에게 제공하는 것을 포괄하는 개념이라 할 것이다. 참고로, 본 발명에서는 트리밍 방법의 구체적인 예로서, 이미지 내의 특징 영역에 대한 썸네일 생성, 줌 인/줌 아웃, 내비게이션/슬라이드 쇼 기능 등을 언급하고 있으나, 반드시 이에 한정되는 것은 아니며, 특징 영역을 기준으로 적용되는 어떠한 효과도 이에 포함되는 개념이라 할 것이다.
단말기의 구성
도 1은 본 발명의 일 실시예에 따라 이미지 컨텐츠에 대한 트리밍을 가능하게 하고 그 결과를 사용자에게 제공하기 위한 단말기의 구성을 나타내는 도면이다.
도 1에 도시되는 바와 같이, 본 발명의 단말기(100)는 사용자로부터 원하는 동작에 대한 명령을 수신하는 입력 신호 수신부(110), 이미지 컨텐츠에 있어서 중요 영역을 추출해내는 특징 영역 추출부(120), 특징 영역으로 추출된 부분을 썸네일 이미지로서 생성해내는 썸네일 이미지 생성부(130), 특징 영역으로 추출된 일 이상의 부분을 줌(zoom) 인 또는 줌 아웃 시키는 줌 기능 제공부(140), 일 이상의 특징 영역에 대해 내비게이션 기능 또는 슬라이드 쇼를 제공하는 내비게이션/슬라이드 쇼 기능 제공부(150), 표시부(160), 통신부(170) 및 제어부(180)를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따르면, 입력 신호 수신부(110), 특징 영역 추출부(120), 썸네일 이미지 생성부(130), 줌 기능 제공부(140), 내비게이션/슬라이드 쇼 기능 제공부(150), 표시부(160), 통신부(170) 및 제어부(180)는 단말기(100) 내에 구비되는 프로그램 모듈들일 수 있다.　 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 단말기(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다.　 또한, 이러한 프로그램 모듈들은 단말기(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.　 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 입력 신호 수신부(110)는 사용자로부터 입력되는 명령을 수신하는 기능을 수행한다.　 후술되는 바와 같이 본 발명의 단말기(100)는 사용자로부터 입력되는 이미지 컨텐츠 또는 기 저장되어 있는 이미지 컨텐츠에 대한 트리밍 동작을 수행할 수 있는데, 사용자는 트리밍 동작의 시작, 특징 영역으로 선택된 부분에 대한 썸네일 생성 기능, 줌 기능, 내비게이션 또는 슬라이드 쇼 기능 등의 실행을 위한 명령을 입력할 수 있다.　 이러한 명령의 입력은 단말기(100)에 통상적으로 구비되는 입력부(미도시됨)를 통해 이루어질 수 있으며, 입력 신호 수신부(110)는 이러한 입력부를 통해 입력되는 명령을 수신하는 기능을 수행하는 것이다.
본 발명의 일 실시예에 따른 특징 영역 추출부(120)는 사용자로부터 입력되거나 기 저장되어 있는 이미지 컨텐츠를 대상으로 특징 영역을 추출해내는 기능을 수행한다.　 특징 영역이란 해당 이미지 컨텐츠의 중요 부분으로서, 그 이미지 컨텐츠의 가장 특징적인 부분, 즉, 그 이미지 컨텐츠의 내용을 가장 잘 표현하고 있는 부분을 의미한다.　 특징 영역 추출부(120)는 이미지 컨텐츠를 인식한 후, 여러 가지 기준(예를 들면, 이미지 컨텐츠가 인물과 물체를 포함하고 있는 것으로 인식된 경우, 인물에 우선순위를 부여하여 해당 인물을 포함하고 있는 영역을 특징 영역으로 추출함)을 통해 특징 영역을 추출해 낼 수 있다.　 특징 영역은 사각형 형상의 프레임 형태로 추출될 수 있지만, 반드시 이에 한정되는 것은 아니다.　 이러한 특징 영역 추출부(120)의 동작에 대해서는 추후에 상세히 설명하기로 한다.
본 발명의 일 실시예에 따른 썸네일 이미지 생성부(130)는 특징 영역 추출부(120)에 의해 추출된 특징 영역을 썸네일 이미지로 생성하는 기능을 수행한다.　 전술한 바와 같이 특징 영역은 사각형 형상의 프레임 형태로 추출될 수 있는데, 썸네일 이미지 생성부(130)는 사용자의 선택에 따라 이러한 프레임을 적정 해상도 및 크기를 가지는 이미지 파일로서 생성해낼 수 있으며, 이렇게 생성되는 썸네일 이미지는 표시부(160)를 통해 사용자에게 제공될 수 있다.　 즉, 사용자는 특징 영역 추출부(120)에 의해 특징 영역이 추출된 후에 썸네일 이미지를 생성하라는 명령을 단말기(100)에 통상적으로 구비되는 입력부를 통해 입력할 수 있고, 이러한 명령에 따라 썸네일 이미지 생성부(130)는 특징 영역을 썸네일 이미지로서 생성해내게 되는 것이다.　 본 발명의 일 실시예에 따르면 입력부는 터치스크린 구동 방식에 의해 구현되는 입력부일 수 있는데, 이 때, 썸네일 이미지의 생성을 원하는 지 여부를 결정할 수 있도록 하는 사용자 인터페이스가 제공될 수 있다.　 이러한 썸네일 이미지 생성부(130)의 동작, 즉, 이미지 컨텐츠로부터 썸네일 이미지 파일을 생성하기 위한 기술로서는 “R. C. Gonzalez, R. E. Woods, Digital Image Processing, 2nd edition, prentice-Hall, Inc., New Jersey, 2002.”에 개시된 기술 등이 적용될 수 있을 것이다.
본 발명의 일 실시예에 따른 줌 기능 제공부(140)는 특징 영역 추출부(120)에 의해 추출된 특징 영역에 대해 줌 인 또는 줌 아웃 기능을 수행하여 사용자에게 그 결과를 제공하는 기능을 수행한다.　 특징 영역 추출부(120)에 의해 추출되는 특징 영역의 개수는 일 이상이며, 특징 영역으로서 추출된 결과는 해당 이미지 컨텐츠에 표시된 채로 표시부(160)를 통해 사용자에게 제공될 수 있다.　 특징 영역이 하나인 경우에는 사용자가 해당 특징 영역에 대한 줌 인 또는 줌 아웃 기능을 수행해 줄 것을 명령할 수 있다.　 이러한 명령은 단말기(100)에 통상적으로 구비되는 입력부를 통해 입력될 수 있다.　 본 발명의 일 실시예에 따르면, 입력부는 터치스크린 구동 방식으로 구현될 수 있는데, 이러한 경우 사용자는 특징 영역으로 추출된 부분에 터치를 행함으로써 해당 영역에 대한 줌 기능을 실행시킬 수 있다.　 일례로서, 사용자가 해당 특징 영역을 한 번 터치하면 줌 인 기능이 실행되고, 두 번 터치하면 줌 아웃 기능이 실행될 수 있으며, 다른 예로서 터치 동작이 수행되는 시간에 따라 줌 인 또는 줌 아웃의 정도가 달라지도록 구현될 수도 있다.　　 또는, 줌 인 또는 줌 아웃에 대한 명령을 입력할 수 있는 사용자 인터페이스가 특징 영역에 대한 추출 결과와 함께 사용자에게 제공될 수 있고, 이렇게 제공되는 사용자 인터페이스를 통해 입력되는 사용자의 명령에 따라 줌 인 또는 줌 아웃이 실행될 수도 있다.　 한편, 추출된 특징 영역이 n(n은 2 이상의 정수)개 인 경우에는 사용자에 의해 선택된 일 이상의 특징 영역에 대해 줌 인 또는 줌 아웃 기능이 수행될 수 있다.　 일 이상의 특징 영역에 대한 줌 인 또는 줌 아웃 기능은 선택된 순서에 따라 순차적으로 이루어지거나, 동시에 이루어질 수 있다.　 이 경우에도 사용자에 의한 선택은 입력부에 의해 이루어질 수 있으며, 그 선택 방식은 추출된 특징 영역이 하나인 경우와 동일하므로 이에 대한 설명은 생략하기로 한다.
본 발명의 일 실시예에 따른 내비게이션/슬라이드 쇼 기능 제공부(150)는 특징 영역 추출부(120)에 의해 추출된 일 이상의 특징 영역을 사용자에게 표시하되, 이러한 특징 영역에 대해 내비게이션 기능을 제공하거나 슬라이드 쇼 기능을 제공할 수 있다.　 여기서, 내비게이션 기능은 상기 특징 영역들에 대한 수동적인 선택을 통해 선택된 특징 영역들을 둘러보는 기능이고,　슬라이드 쇼 기능은 상기 특징 영역들에 대한 수동적인 선택없이 자동적으로 소정의 차례에 따라 상기 특징 영역들에 포함된 이미지에 대한 정보를 연속하여 제공하는 기능이다. 이러한 내비게이션 기능 및/또는 슬라이드 쇼 기능을 위해 사용자에게는 내비게이션 기능 및/또는 슬라이드 쇼 기능의 제공에 대한 명령을 입력할 수 있는 사용자 인터페이스가 제공될 수 있으며, 사용자는 내비게이션 기능 및/또는 슬라이드 쇼 기능을 제공받을 지 여부에 대한 명령을 입력할 수 있다.　
본 발명의 일 실시예에 따른 표시부(160)는 특징 영역 추출부(120), 썸네일 이미지 생성부(130), 줌 기능 제공부(140), 내비게이션/슬라이드 쇼 기능 제공부(150)가 제공하는 각종 시작적 효과 및 단말기(100)가 수행하는 각종 동작에 대한 상태를 영상처리하여 사용자에게 제공하는 기능을 수행한다.　 표시부(160)는 통상의 액정표시장치(LCD: Liquid Crystal Display) 또는 유기발광다이오드(OLED: Organic Light Emitting Diodes) 등의 평판표시장치일 수 있다.
본 발명의 일 실시예에 따른 통신부(170)는 단말기(100)와 외부 장치, 예를 들면, 본 서비스를 위한 애플리케이션을 제공하는 서버와의 데이터 송수신을 수행하는 기능을 수행한다.
또한, 본 발명의 일 실시예에 따른 제어부(180)는 입력 신호 수신부(110), 특징 영역 추출부(120), 썸네일 이미지 생성부(130), 줌 기능 제공부(140), 내비게이션/슬라이드 쇼 기능 제공부(150), 표시부(160) 및 통신부(170) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다.　 즉, 본 발명에 따른 제어부(180)는 외부로부터의 또는 단말기(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 입력 신호 수신부(110), 특징 영역 추출부(120), 썸네일 이미지 생성부(130), 줌 기능 제공부(140), 내비게이션/슬라이드 쇼 기능 제공부(150), 표시부(160) 및 통신부(170)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이하에서는, 특징 영역 추출부(120)의 세부 구성과 함께 소정 기준을 통해 특징 영역이 추출되는 과정에 대해 상세히 설명하기로 한다.
특징 영역 추출부(120)의 구성
도 2는 본 발명의 일 실시예에 따른 특징 영역 추출부(120)의 구성을 나타내는 도면이다.
도 2에 도시되는 바와 같이, 특징 영역 추출부(120)는 이미지 컨텐츠 수신부(121), 노이즈 제거부(122), 개체 검출부(123), 프레임 지정부(124)를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따른 이미지 컨텐츠 수신부(121)는 트리밍의 대상이 되는 이미지 컨텐츠를 사용자로부터 수신하는 기능을 수행한다.　 이미지 컨텐츠는 사용자로부터 입력되는 것일 수도 있고 기 저장된 것일 수도 있다.
본 발명의 일 실시예에 따른 노이즈 제거부(122)는 이미지 컨텐츠에 대한 노이즈 제거 기능을 수행한다.　 구체적으로는, 소정의 노이즈 감쇄 필터를 이용하여 이미지 컨텐츠의 노이즈를 저감시키는 기능을 수행하는데, 그 필터링 방법으로는 통상적인 방식, 예를 들면, 가우시안 필터(Gaussian Filter)를 이용하여 수행되는 스무딩 프로세스(Smoothing Process)가 적용될 수 있다.　 이러한 필터링 방식 외에도 당업자의 필요에 따라 다른 여러 가지 방법이 적용될 수 있음은 물론이다.
본 발명의 일 실시예에 따른 개체 검출부(123)는 이미지 컨텐츠에 포함되는 개체를 검출하고, 검출된 개체의 종류, 개체의 위치, 사이즈 등을 판독하는 기능을 수행한다.　 개체의 종류는 크게 얼굴을 포함하는 인물과 그 외의 물체로 나뉘어 질 수 있다.　 개체 검출부(123)는 이미지 컨텐츠에 포함되는 개체를 검출함에 있어서, 다양한 얼굴 검출 기술 중 적어도 하나를 이용하여 인물로 판단하거나 다양한 사물 검출 기술 중 적어도 하나를 이용하여 물체로 판단할 수 있다.　 개체 검출부(123)에 의해 얼굴이 검출되는 과정을 예시적으로 설명하면 다음과 같다.　 먼저, 이미지 컨텐츠로부터 피부색 영역을 추출하고, 추출된 영역에 대한 휘도 변화를 파악한 후, 이에 기초하여 윤곽선을 추출해낸다.　 또한, 경험적으로 측정된 눈과 입의 영역에 두 눈과 입이 존재하는지를 판단함으로써 얼굴이 검출될 수 있다.　 경험적 방법이라는 것은 학습된 패턴을 통해 얼굴을 검출해내는 것을 의미하는데, 다양한 얼굴 패턴을 학습시켜 단순화된 얼굴 패턴으로부터 복잡한 얼굴 패턴에 이르는 트리구조의 검출기를 만든 후, 이러한 검출기로 이미지 컨텐츠에 포함되는 개체를 필터링시킴으로써 얼굴을 검출해낼 수 있다.　 이러한 얼굴 검출 방법은 예시적인 것이며, 다른 여러 가지 방식, 예를 들면, 트리밍 대상이 되는 이미지 컨텐츠에 포함되는 개체를 데이터베이스에 기 저장되어 있는 얼굴 표본 이미지와 매칭 시킴으로써 얼굴을 검출하는 방식 등이 이용될 수도 있다.
한편, 개체 검출부(123)에 의해 물체가 검출되는 과정을 예시적으로 설명하면 다음과 같다. 먼저, 이미지 컨텐츠에서 인접한 픽셀 간의 휘도 차 또는 해당 픽셀 값 등의 차이를 측정하고, 소정 임계값 이상의 차이를 보이는 지점들의 집합을 물체의 외곽선(edge)인 것으로 판단해낸 후, 이를 기초로 하여 물체와 배경을 분리해낼 수 있다. 예를 들어, 한국공개특허공보 제2009-0064247호(디지털 영상 촬영 방법 및 촬영 장치)에 기재된 촬영 영상으로부터 피사체와 배경을 분리해내는 기술 등을 적용할 수 있을 것이다. 참고로, 다른 예로서, 상기와 같은 방식에 따라 검출되는 얼굴 이외의 개체에 대해서는 물체인 것으로 판단해낼 수도 있다.
본 발명의 일 실시예에 따른 프레임 지정부(124)는 개체 검출부(123)에 의해 검출된 개체를 포함하는 영역에 대해 프레임을 지정하되, 소정 기준에 따라 선택되는 개체를 포함하는 영역에 대해서만 프레임을 지정하여 이를 특징 영역으로서 추출하는 기능을 수행한다.　 즉, 개체 검출부(123)에 의해 검출된 개체가 하나일 경우에는 해당 개체를 포함하는 영역을 사각형 형태의 프레임으로 지정하여 해당 영역을 특징 영역으로서 추출하고, 검출된 개체의 개수가 2 이상일 경우에는 소정 기준에 따라 선택되는 개체를 포함하는 영역 또는 그보다 더 한정되는 영역을 프레임으로 지정하여 특징 영역으로서 추출해낸다.
이하, 도 3a 내지 도 3n 을 참조하여, 프레임 지정부(124)에 의해 특징 영역으로서 추출되는 다양한 예에 대해 상세히 설명하기로 한다.
먼저, 도 3a 내지 도 3d는 개체 검출부(123)에 의해 검출 동작이 수행된 결과 해당 이미지 컨텐츠가 인물과 물체를 동시에 포함하고 있는 것으로 검출되는 경우의 특징 영역 추출 방식을 설명하기 위한 도면이다.
도 3a에 도시되는 바와 같이, 얼굴과 물체가 동시에 존재하는 경우 기본적으로는 얼굴에 우선순위가 부여된다.　 따라서, 얼굴을 포함하는 영역에 사각형, 바람직하게는 정사각형 형태의 프레임이 지정되고, 이 영역을 특징 영역으로 추출할 수 있다.　 그러나, 도 3b에 도시되는 바와 같이, 얼굴의 크기에 대한 물체의 크기가 소정의 임계값 이상이라면 물체에 우선순위가 부여될 수 있다.　 얼굴의 크기와 물체의 크기는 각각 얼굴 및 물체를 포함하는 사각형 형태의 영역 중 최소 영역의 넓이로 정의될 수 있다.　 예를 들어, 임계값이 6배인 경우를 가정하면 물체의 크기가 얼굴의 크기보다 6배 이상인 경우 물체에 우선순위가 부여되도록 할 수 있을 것이다.　 여기서, 임계값은 6 배로 한정되지 않으며, n 배로 일반화될 수 있을 것이다. 이에 따라 물체를 포함하는 영역에 프레임이 지정되고 특징 영역으로 추출할 수 있게 된다.　 단, 물체의 크기가 이미지 컨텐츠의 크기에 대해 소정 비율(예를 들면, 80%) 이상일 경우에는 이미지 컨텐츠 전체를 특징 영역으로 추출해낼 수도 있을 것이다.
한편, 얼굴과 물체가 동시에 존재한다 하더라도 도 3c에 도시되는 바와 같이 얼굴이 현저하게 외곽측에 위치하고 있고, 상대적으로 중앙에 물체가 존재하는 경우에는 중앙에 있는 물체에 우선순위가 부여되어 물체를 포함하는 영역이 특징 영역으로 추출될 수 있다.　 프레임 지정부(124)는 이미지 컨텐츠의 정중앙 지점에서 얼굴의 중앙 까지 거리가 전체 이미지 컨텐츠의 가로 길이 또는 세로 길이 중 짧은 길이의 소정 비율보다 긴 경우를 이러한 경우로 판단할 수 있다.　 예를 들어, 도 3c에 도시되는 이미지 컨텐츠에 있어서는 세로 길이(b)가 가로 길이(a)보다 짧은데, 정중앙 지점에서 얼굴의 정중앙 까지의 거리(d)가 세로 길이(b)의 소정 비율에 해당하는 길이, 예를 들면, 0.6b 의 길이보다 긴 경우에 검출된 얼굴을 외곽측에 존재하는 얼굴인 것으로 판단할 수 있다.　 여기서, 본 발명은 상기에서 예로서 제시된 0.6b라는 수치에 한정되는 것은 아니며, 다양한 변형예를 상정할 수 있음은 물론이라 할 것이다. 한편, 얼굴의 정중앙 지점은 개체 검출부(123)에 의해 검출된 피부색 영역의 외곽선을 기초로 하여 가장 좌측 픽셀과 가장 우측 픽셀의 중간 값, 최상단 픽셀과 최하단 픽셀의 중간 값에 대한 정보를 통해 검출될 수도 있을 것이다.
또한, 도 3d에 도시되는 바와 같이, 이미지 내에 포함된 얼굴 개체의 크기가 이미지 컨텐츠 크기의 소정 비율(예를 들면, 1/9) 미만인 경우 해당 얼굴에 대한 특징 영역 추출을 생략할 수 있다.　 이 때, 이미지 컨텐츠에 물체가 존재하는 경우에는 해당 물체를 포함하는 영역을 특징 영역으로 추출해낼 수 있고, 물체마저 존재하지 않는 경우에는 전체 이미지 컨텐츠를 특징 영역으로 추출할 수 있고, 특징 영역을 추출하지 않을 수도 있다.
다음으로, 도 3e를 참조하여 검출된 얼굴의 크기에 따른 특징 영역의 추출과정에 대해 설명하기로 한다.　 프레임 지정부(124)는 이미지 컨텐츠에 포함되는 얼굴의 크기가 전체 이미지 컨텐츠의 크기에 대한 관계에서 소정 기준 이상일 때에만 얼굴 위주의 특징 영역을 추출해 낸다.　 즉, 얼굴의 크기의 따라 차등적인 비율(전체 이미지 컨텐츠에 대한 얼굴 크기의 비율)을 적용하여 얼굴이라는 개체가 이미지 컨텐츠 내에서 중요 부분으로서 존재하는 경우에만 해당 얼굴을 포함하는 영역을 특징 영역으로 추출해낼 수 있다.　 예를 들어, 차등적인 비율을 세 단계로서 적용할 수 있는데, 첫째로, 얼굴 크기가 제1 범위(예를 들면, 2000 픽셀 미만)에 해당하는 경우에는 해당 얼굴 크기가 전체 이미지 컨텐츠 크기에 대해 제1 비율(예를 들면, 1/50)보다 클 경우에만 해당 얼굴을 포함하는 영역을 특징 영역으로서 추출해낼 수 있다.　 또한, 둘째로, 얼굴 크기가 제2 범위(예를 들면, 2000 픽셀 이상 5000 픽셀 미만)에 해당하는 경우에는 해당 얼굴 크기가 전체 이미지 컨텐츠 크기에 대해 제2 비율(예를 들면, 1/30)보다 클 경우에만 해당 얼굴을 포함하는 영역을 특징 영역으로서 추출해낼 수 있다.　 한편, 셋째로, 얼굴 크기가 제3 범위(예를 들면, 5000 픽셀 이상)에 해당하는 경우에는 해당 얼굴 크기가 전체 이미지 컨텐츠 크기에 대해 제3 비율(예를 들면, 1/12)보다 클 경우에만 해당 얼굴을 포함하는 영역을 특징 영역으로서 추출해낼 수 있다.　 여기서, 얼굴 크기는 얼굴의 윤곽선을 포함하는 사각형 중 가장 작은 넓이를 갖는 사각형의 가로 픽셀과 세로 픽셀의 곱으로 표현될 수 있다.　 또한, 위에서 예를 든 범위는 이미지 컨텐츠의 해상도가 320×240 인 경우를 가정한 것이며, 그 범위는 이미지 컨텐츠의 전체 해상도에 따라 달라질 수 있다.
한편, 프레임 지정부(124)는 개체 검출부(123)에 의해 검출된 얼굴의 개수가 2 이상일 경우에 다음과 같은 기준으로 특징 영역을 추출해낼 수 있다.　 기본적으로는, 도 3f에 도시되는 바와 같이, 얼굴 사이의 거리가 가까운 경우, 해당 얼굴들을 모두 포함하는 영역을 특징 영역으로서 추출해낼 수 있다.　 예를 들면, 얼굴 사이의 거리가 얼굴 길이(예를 들면, 얼굴들의 평균 얼굴 길이)의 3배 미만인 경우에 모든 얼굴을 포함하는 영역이 특징 영역으로 추출될 수 있다.　 또한, 도 3g에 도시되는 바와 같이, 얼굴 크기가 일정 비율 이상으로 차이나는 경우 상대적으로 큰 얼굴을 포함하는 영역만을 특징 영역으로 추출해낼 수 있다.　 예를 들면, 2개의 얼굴이 존재할 때 한 얼굴의 크기가 다른 얼굴의 크기보다 6배 이상으로 큰 경우에는 큰 얼굴을 포함하는 영역만을 특징 영역으로 추출해낼 수 있고, 그 이하인 경우에는 도 3f에 도시되는 바와 같은 방식으로 2개 이상의 얼굴을 모두 포함하는 영역을 특징 영역으로 추출해낼 수 있다.　 한편, 도 3h에 도시되는 바와 같이 얼굴들의 크기가 실질적으로 동일한 경우, 외곽측에 존재하는 얼굴을 제외하고 특징 영역을 추출해낼 수도 있다.　 얼굴의 크기가 동일하다는 것은 크기의 차이가 소정 비율(예를 들면, 10%) 미만인 경우로 가정할 수 있다.　 얼굴이 이미지 컨텐츠의 정중앙 지점에 있는지 외곽측에 존재하는 지에 대한 판단은, 각 얼굴의 정중앙 지점에서 이미지 컨텐츠의 정중앙 지점까지의 거리를 측정함으로써 이루어지며, 상대적으로 그 거리가 작을수록 정중앙에 있는 얼굴인 것으로 판단될 수 있다.　 한편, 도 3i에 도시되는 바와 같이, 실질적으로 동일한 크기를 갖는 얼굴들이 모두 이미지 컨텐츠의 외곽측에 존재하는 경우, 즉, 이미지 컨텐츠의 중앙에 존재하는 얼굴이 없는 경우에는 좌측, 상단에 있는 얼굴일수록 높은 우선순위를 부여할 수 있다.　 그러나, 좌측, 상단 뿐만 아니라 이미지 컨텐츠 내의 특정 지점(예를 들면, 우측, 하단의 특정 지점)과 가까운 위치에 존재하는 얼굴일수록 높은 우선순위를 부여하여 해당 개체를 포함하는 영역만을 특징 영역으로 추출해낼 수도 있다.
즉, 도 3i에 도시되는 예에서는 좌상단에 위치한 얼굴이 포함되는 영역이 특징 영역으로 추출될 수 있다.
그리고, 프레임 지정부(124)는 개체 검출부(123)에 의해 검출된 얼굴 개체의 개수별로 추출할 특징 영역의 크기를 차등적으로 지정할 수 있다.　 예를 들면, 네 단계로 특징 영역의 크기를 조절할 수 있다.　 먼저, 도 3j에 도시되는 바와 같이, 검출된 얼굴이 1개일 경우에는 얼굴의 가로 길이와 세로 길이 중 긴 길이의 제1 비율 만큼 특징 영역을 확장할 수 있다.　 예를 들면, 상대적으로 긴 세로 길이의 40% 만큼에 해당하는 길이만큼 얼굴의 상하좌우 방향으로 확장하여 특징 영역을 추출해낼 수 있다.　 다음으로, 도 3k 및 도 3l에 도시되는 바와 같이, 검출된 얼굴이 2개 및 3개인 경우에는 얼굴의 가로 길이와 세로 길이 중 긴 길이의 제2 비율 및 제3 비율 만큼 각각 특징 영역을 확장할 수 있다.　 예를 들면, 상대적으로 긴 가로 길이의 각각 30% 및 20% 만큼에 해당하는 길이만큼 얼굴의 상하좌우 방향으로 확장하여 특징 영역을 추출해낼 수 있다.　 한편, 도면에는 도시하지 않았지만, 얼굴의 개수가 4개 이상인 경우에는 확장 비율을 10% 로 지정할 수도 있다.
다음으로, 개체 검출부(123)에 의해 얼굴이 검출되지 않는 경우, 즉, 물체만 검출된 경우에는 다음과 같은 방식으로 특징 영역이 추출될 수 있게 된다.
먼저, 동일한 색상으로만 구성되는 특징 영역은 제외한다.　 동일한 색상으로만 구성된다는 것은 해당 부분이 물체가 아니라 벽, 천장 또는 단순 배경이라는 의미이기 때문에, 이러한 부분은 특징 영역이 될 수 없는 것이다.
한편, 검출된 물체가 2 이상일 경우에는 도 3m에 도시되는 바와 같이 물체의 크기와 위치에 따라 특징 영역에 포함될 물체가 특정될 수 있다.　 이는 얼굴이 2 개 이상인 경우에 특징 영역을 추출하는 방식과 동일한 방식으로 수행될 수 있다.　 즉, 물체의 크기를 비교하여 상대적으로 큰 물체를 포함하는 영역을 특징 영역으로 추출해낼 수 있으며, 물체의 위치에 따라서는 좌측 상단에 위치하는 물체에 상대적으로 높은 우선순위를 부여할 수 있다.　 또한, 물체의 크기가 큰 순서대로 우선순위를 부여하여 가장 높은 우선순위를 갖는 물체 또는 우선순위가 높은 순으로 소정 개수의 물체를 포함하는 영역을 특징 영역으로 추출해낼 수도 있다.　 한편, 도 3n에 도시되는 바와 같이 물체의 크기가 전체 이미지 컨텐츠 크기의 일정 비율(예를 들면, 1/9) 미만인 경우 해당 물체를 포함하는 영역을 특징 영역으로 추출하지 않고, 이미지 컨텐츠 전체를 특징 영역으로 추출하거나 특징 영역 자체를 추출하지 않을 수 있다.
한편, 이상 설명한 방식은 특징적인 얼굴 또는 물체가 뚜렷이 검출되는 경우를 가정한 것이나 불특정 다수의 얼굴 또는 물체가 있는 경우나 얼굴 또는 물체의 검출이 불가능한 경우에는 전체 이미지 컨텐츠를 특징 영역으로 추출해낼 수 있을 것이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시 예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (25)

  1. 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 방법으로서,
    (a) 얼굴 검출(face detection) 기술 및 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 인물 및 물체를 검출하는 단계,
    (b) 상기 검출된 인물의 얼굴 영역의 면적과 상기 검출된 물체 영역의 면적을 산출하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리와 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리를 산출하는 단계, 및
    (c) 상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 물체에 대한 트리밍을 수행하고, 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제2 기설정 값 이하이고 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리보다 제3 기설정 값 이상 큰 것으로 산출되면 상기 물체에 대한 트리밍을 수행하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 (c) 단계는,
    상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 상기 제1 기설정 비율 값 이상이 되지 못하는 것으로 산출되면 상기 얼굴에 대한 트리밍을 수행하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제4 기설정 값 이하인 것으로 산출되면 상기 얼굴에 대한 트리밍을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 (c) 단계는,
    상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 이미지 컨텐츠의 가로 길이 또는 세로 길이 중 짧은 길이에 대한 소정 비율보다 작은 길이에 해당되는 것으로 산출되면 상기 얼굴에 대한 트리밍을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (c) 단계는,
    상기 이미지 컨텐츠의 중앙에 존재하는 물체 또는 얼굴이 없는 경우, 상기 검출된 인물의 얼굴 및 물체 중 상기 이미지 컨텐츠의 특정 지점과 가까운 곳에 위치하는 상위 n개의 얼굴 또는 물체에 대해서만 트리밍을 수행하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 검출된 인물의 얼굴 영역 및 물체 영역의 면적은 상기 얼굴 또는 물체를 포함하는 최소의 사각형을 상하좌우 방향으로 소정 비율만큼 확장한 영역의 면적이되, 상기 소정 비율은 상기 사각형의 가로 길이 또는 세로 길이에 대한 비율이고, 상기 인물 또는 물체의 수에 따라 상기 소정 비율이 차등적으로 적용되는 방법.
  6. 제1항에 있어서,
    상기 (c) 단계는,
    상기 검출된 인물의 얼굴 영역 및 물체 영역의 면적이 상기 이미지 컨텐츠 크기에 대해 소정 비율 미만인 경우 상기 이미지 컨텐츠 전체에 대한 트리밍을 수행하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 트리밍을 수행하는 단계는 썸네일 이미지를 생성하는 단계를 포함하는 방법.
  8. 제2항에 있어서,
    상기 (c) 단계는,
    상기 트리밍이 수행된 인물의 얼굴 및 물체 중 사용자가 선택한 얼굴 또는 물체에 대한 줌 인 또는 줌 아웃 기능을 수행하는 단계를 포함하는 방법.
  9. 제2항에 있어서,
    상기 (c) 단계는,
    상기 트리밍이 수행된 얼굴 및 물체에 대한 사용자의 수동적인 선택에 따라 상기 선택된 얼굴 및 물체들을 둘러보는 기능인 내비게이션 기능을 수행하는 단계를 포함하는 방법.
  10. 제2항에 있어서,
    상기 (c) 단계는,
    상기 트리밍이 수행된 얼굴 및 물체에 대해 자동적으로 소정의 차례에 따라 상기 얼굴 및 물체들에 포함된 정보를 연속하여 제공하는 슬라이드 쇼 기능을 수행하는 단계를 포함하는 방법.
  11. 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 방법으로서,
    (a) 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 물체를 검출하는 단계,
    (b) 상기 검출된 물체의 개수가 복수 개일 경우, 상기 검출된 각각의 물체 영역의 면적을 산출하고, 상기 검출된 각각의 물체의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 산출하는 단계, 및
    (c) (i) 상기 검출된 물체 중 제1 물체 영역의 면적이 제2 물체 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 제1 물체에 대해 우선순위를 높이는 기준 및 (ii) 상기 제1 물체 및 상기 제2 물체 각각의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 비교하여 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리가 짧은 물체에 대해 우선순위를 높이는 기준에 따라 트리밍을 수행하되, 상기 제1 물체 영역의 면적이 상기 제2 물체 영역의 면적보다 제2 기설정 비율 값 이상 큰 것으로 산출되면 상기 (ii)의 기준을 무시하는 단계 - 상기 제2 기설정 비율 값은 상기 제1 기설정 비율 값보다 크게 설정됨 - 를 포함하는 방법.
  12. 제11항에 있어서,
    상기 (c) 단계는,
    상기 검출된 복수의 물체 중 우선순위가 높은 상위 n개의 물체에 대해서 트리밍을 수행하는 것을 특징으로 하는 방법.
  13. 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 단말기로서,
    얼굴 검출(face detection) 기술 및 사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 인물 및 물체를 검출하고, 상기 검출된 인물의 얼굴 영역의 면적과 상기 검출된 물체 영역의 면적을 산출하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리와 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리를 산출한 후, 상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 검출된 물체 영역을 특징 영역으로 결정하고, 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제2 기설정 값 이하이고 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 검출된 물체의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리보다 제3 기설정 값 이상 큰 것으로 산출되면 상기 검출된 물체 영역을 특징 영역으로 결정하는 특징 영역 추출부,
    상기 결정된 결과를 기초로 하여, 상기 이미지 컨텐츠에 대해 트리밍을 수행하는 트리밍 수행부, 및
    상기 트리밍의 결과를 사용자에게 제공하는 표시부를 포함하는 단말기.
  14. 제13항에 있어서,
    상기 특징 영역 추출부는,
    상기 검출된 물체 영역의 면적이 상기 검출된 인물의 얼굴 영역의 면적보다 상기 제1 기설정 비율 값 이상이 되지 못하는 것으로 산출되면 상기 검출된 인물의 얼굴 영역을 특징 영역으로 결정하고, 상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 제4 기설정 값 이하인 것으로 산출되면 상기 검출된 인물의 얼굴 영역을 특징 영역으로 결정하는 것을 특징으로 하는 단말기.
  15. 제14항에 있어서,
    상기 특징 영역 추출부는,
    상기 검출된 인물의 얼굴의 중앙 지점이 상기 이미지 컨텐츠의 중앙 지점에서 떨어진 거리가 상기 이미지 컨텐츠의 가로 길이 또는 세로 길이 중 짧은 길이에 대한 소정 비율보다 작은 길이에 해당되는 것으로 산출되면 상기 검출된 인물의 얼굴 영역을 특징 영역으로 결정하는 단말기.
  16. 제13항에 있어서,
    상기 특징 영역 추출부는,
    상기 이미지 컨텐츠의 중앙에 존재하는 물체 또는 얼굴이 없는 경우, 상기 검출된 인물의 얼굴 및 물체 중 상기 이미지 컨텐츠의 특정 지점과 가까운 곳에 위치하는 상위 n개의 얼굴 영역 또는 물체 영역만을 특징 영역으로 결정하는 단말기.
  17. 제13항에 있어서,
    상기 검출된 인물의 얼굴 영역 및 물체 영역의 면적은 상기 얼굴 또는 물체를 포함하는 최소의 사각형을 상하좌우 방향으로 소정 비율만큼 확장한 영역의 면적이되, 상기 소정 비율은 상기 사각형의 가로 길이 또는 세로 길이에 대한 비율이고, 상기 인물 또는 물체의 수에 따라 상기 소정 비율이 차등적으로 적용되는 단말기.
  18. 제13항에 있어서,
    상기 특징 영역 추출부는,
    상기 검출된 인물의 얼굴 영역 및 물체 영역의 면적이 상기 이미지 컨텐츠 크기에 대해 소정 비율 미만인 경우 상기 이미지 컨텐츠 전체를 특징 영역으로 결정하는 프레임 지정부를 포함하는 단말기.
  19. 제13항에 있어서,
    상기 트리밍 수행부는,
    썸네일 이미지를 생성하는 썸네일 이미지 생성부를 포함하는 단말기.
  20. 제14항에 있어서,
    상기 트리밍 수행부는,
    상기 트리밍이 수행된 인물의 얼굴 및 물체 중 사용자가 선택한 얼굴 또는 물체에 대한 줌 인 또는 줌 아웃 기능을 수행하는 줌 기능 수행부를 포함하는 단말기.
  21. 제14항에 있어서,
    상기 트리밍 수행부는,
    상기 트리밍이 수행된 얼굴 및 물체에 대한 사용자의 수동적인 선택에 따라 상기 선택된 얼굴 및 물체들을 둘러보는 기능인 내비게이션 기능을 수행하는 단말기.
  22. 제14항에 있어서,
    상기 트리밍 수행부는,
    상기 트리밍이 수행된 얼굴 및 물체에 대해 자동적으로 소정의 차례에 따라 상기 얼굴 및 물체들에 포함된 정보를 연속하여 제공하는 슬라이드 쇼 기능을 수행하는 단말기.
  23. 이미지 컨텐츠에 대해 트리밍(trimming)을 수행하기 위한 단말기로서,
    사물 검출(object detection) 기술을 이용하여 이미지 컨텐츠 내에 포함된 물체를 검출하고, 상기 검출된 물체의 개수가 복수 개일 경우, 상기 검출된 각각의 물체 영역의 면적을 산출하고 상기 검출된 각각의 물체의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 산출한 후, (i) 상기 검출된 물체 중 제1 물체 영역의 면적이 제2 물체 영역의 면적보다 제1 기설정 비율 값 이상 큰 것으로 산출되면 상기 제1 물체에 대해 우선순위를 높이는 기준 및 (ii) 상기 제1 물체 및 상기 제2 물체 각각의 중앙 지점이 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리를 비교하여 상기 이미지 컨텐츠의 특정 지점에서 떨어진 거리가 짧은 물체에 대해 우선순위를 높이는 기준에 따라 특징 영역을 결정하되, 상기 제1 물체 영역의 면적이 상기 제2 물체 영역의 면적보다 제2 기설정 비율 값 이상 큰 것으로 산출되면 상기 (ii)의 기준을 무시하는 특징 영역 추출부 - 상기 제2 기설정 비율 값은 상기 제1 기설정 비율 값보다 크게 설정됨 -,
    상기 결정된 결과를 기초로 하여, 상기 이미지 컨텐츠에 대해 트리밍을 수행하는 트리밍 수행부, 및
    상기 트리밍의 결과를 사용자에게 제공하는 표시부를 포함하는 단말기.
  24. 제23항에 있어서,
    상기 특징 영역 추출부는,
    상기 검출된 복수의 물체 중 우선순위가 높은 상위 n개의 물체를 특징 영역으로 결정하는 것을 특징으로 하는 단말기.
  25. 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2010/007513 2009-10-30 2010-10-29 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체 WO2011053036A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012536687A JP5503011B2 (ja) 2009-10-30 2010-10-29 イメージコンテンツに対してトリミングを実行するための方法、端末及びコンピュータ読み取り可能な記録媒体
EP10827120.6A EP2506218B1 (en) 2009-10-30 2010-10-29 Method, terminal, and computer-readable recording medium for trimming a piece of image content
US13/378,518 US8306359B2 (en) 2009-10-30 2010-10-29 Method, terminal, and computer-readable recording medium for trimming a piece of image content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0104637 2009-10-30
KR1020090104637A KR100999056B1 (ko) 2009-10-30 2009-10-30 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
WO2011053036A2 true WO2011053036A2 (ko) 2011-05-05
WO2011053036A3 WO2011053036A3 (ko) 2011-08-04

Family

ID=43512478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/007513 WO2011053036A2 (ko) 2009-10-30 2010-10-29 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US8306359B2 (ko)
EP (1) EP2506218B1 (ko)
JP (1) JP5503011B2 (ko)
KR (1) KR100999056B1 (ko)
WO (1) WO2011053036A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096086A1 (en) * 2011-12-20 2013-06-27 Qualcomm Incorporated Method and apparatus to enhance details in an image

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
CN102844766B (zh) * 2011-04-20 2014-12-24 中国科学院自动化研究所 基于人眼图像的多特征融合身份识别方法
JP5882975B2 (ja) * 2012-12-26 2016-03-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及び記録媒体
EP3745712B1 (en) * 2014-02-07 2024-03-06 Sony Interactive Entertainment LLC Scheme for determining the locations and timing of advertisements and other insertions in media
EP2916325A1 (en) 2014-03-06 2015-09-09 Thomson Licensing Method and device for processing a picture
US11282165B2 (en) 2016-02-26 2022-03-22 Netflix, Inc. Dynamically cropping digital content for display in any aspect ratio
JP6855007B2 (ja) * 2016-04-01 2021-04-07 株式会社ユピテル 装置及びプログラム
JP6525934B2 (ja) 2016-10-14 2019-06-05 キヤノン株式会社 画像処理装置および制御方法
KR102559407B1 (ko) 2016-10-19 2023-07-26 삼성전자주식회사 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
JP7292905B2 (ja) * 2019-03-06 2023-06-19 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064247A (ko) 2007-12-15 2009-06-18 한국전자통신연구원 디지털 영상 촬영 방법 및 촬영 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076149A (ja) * 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
EP1558015B1 (en) 2002-08-30 2009-10-07 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP2004235990A (ja) * 2003-01-30 2004-08-19 Canon Inc 画像選択装置
US7469064B2 (en) * 2003-07-11 2008-12-23 Panasonic Corporation Image display apparatus
KR100601709B1 (ko) 2004-11-22 2006-07-18 삼성전자주식회사 디지털 카메라의 트리밍 장치 및 방법
JP2008020944A (ja) * 2006-07-10 2008-01-31 Fujifilm Corp 画像処理方法、プログラムおよび装置
JP2008306236A (ja) * 2007-06-05 2008-12-18 Sony Corp 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体
KR101389775B1 (ko) 2007-10-26 2014-04-28 삼성전자주식회사 무선통신 단말에서 영상을 화면에 설정하기 위한 장치 및방법
KR20090067913A (ko) 2007-12-21 2009-06-25 삼성디지털이미징 주식회사 영상 트리밍 장치 및 방법
US8009921B2 (en) * 2008-02-19 2011-08-30 Xerox Corporation Context dependent intelligent thumbnail images
KR20090105374A (ko) 2008-04-02 2009-10-07 삼성디지털이미징 주식회사 디지털 영상 처리기에서 썸네일 영상 생성 장치 및 방법
US20100214445A1 (en) * 2009-02-20 2010-08-26 Sony Ericsson Mobile Communications Ab Image capturing method, image capturing apparatus, and computer program
JP5525757B2 (ja) * 2009-05-18 2014-06-18 オリンパス株式会社 画像処理装置、電子機器、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064247A (ko) 2007-12-15 2009-06-18 한국전자통신연구원 디지털 영상 촬영 방법 및 촬영 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. C. GONZALEZ; R. E. WOODS: "Digital Image Processing", 2002, PRENTICE-HALL, INC.
See also references of EP2506218A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096086A1 (en) * 2011-12-20 2013-06-27 Qualcomm Incorporated Method and apparatus to enhance details in an image

Also Published As

Publication number Publication date
JP2013509786A (ja) 2013-03-14
KR100999056B1 (ko) 2010-12-08
EP2506218B1 (en) 2015-10-28
WO2011053036A3 (ko) 2011-08-04
EP2506218A2 (en) 2012-10-03
EP2506218A4 (en) 2013-10-30
US8306359B2 (en) 2012-11-06
JP5503011B2 (ja) 2014-05-28
US20120093418A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
WO2011053036A2 (ko) 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
RU2380758C2 (ru) Cпособ и устройство для обнаружения дыма
EP2614422A1 (en) Motion control touch screen method and apparatus
WO2017074005A1 (ko) Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
WO2014061964A1 (ko) 화재 감지 방법 및 장치
US20210264210A1 (en) Learning data collection device, learning data collection system, and learning data collection method
EP2668555A2 (en) Terminal having touch screen and method for identifying touch event therein
JP2013250882A5 (ko)
US20080226138A1 (en) Eyelid detection apparatus and program therefor
WO2014035041A1 (ko) 증강현실 기술과 대용량 데이터의 통합을 위한 상호작용 방법 및 장치
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN111275645A (zh) 基于人工智能的图像去雾方法、装置、设备及存储介质
Xiong et al. Early smoke detection of forest fires based on SVM image segmentation
WO2019143137A1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
CN106503651A (zh) 一种手势图像的提取方法及系统
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
CN106598356A (zh) 一种红外发射源输入信号定位点检测方法、装置及系统
CN104866194B (zh) 图片搜索方法及装置
CN104063041B (zh) 一种信息处理方法及电子设备
CN113554022B (zh) 电力仪器检测试验数据的自动获取方法及装置
CN114627561A (zh) 动态手势识别方法、装置、可读存储介质及电子设备
WO2021167312A1 (ko) 라이다 센서를 구비한 터치 인식 방법 및 장치
WO2011043498A1 (ko) 지능형 영상 감시 장치
WO2024014789A1 (ko) 차트축감지방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10827120

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13378518

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012536687

Country of ref document: JP

Ref document number: 2010827120

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE