KR101867586B1 - Apparatus and method for processing image - Google Patents
Apparatus and method for processing image Download PDFInfo
- Publication number
- KR101867586B1 KR101867586B1 KR1020170122877A KR20170122877A KR101867586B1 KR 101867586 B1 KR101867586 B1 KR 101867586B1 KR 1020170122877 A KR1020170122877 A KR 1020170122877A KR 20170122877 A KR20170122877 A KR 20170122877A KR 101867586 B1 KR101867586 B1 KR 101867586B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- region
- original image
- object cut
- user input
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 66
- 238000003709 image segmentation Methods 0.000 claims description 34
- 230000003014 reinforcing effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 28
- 238000005516 engineering process Methods 0.000 abstract description 21
- 238000004458 analytical method Methods 0.000 abstract description 15
- 239000000284 extract Substances 0.000 abstract description 10
- 230000006870 function Effects 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 210000004556 brain Anatomy 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
Description
본 발명은 뉴럴 네트워크(neural network) 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능 기술을 이용하여 원본 영상으로부터 객체 컷을 추출하는 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method for extracting object cuts from an original image using an artificial intelligence technology that simulates functions of recognition, judgment, etc. of a human brain using a neural network learning algorithm.
컴퓨터 기술의 발달과 함께 데이터 트래픽이 지수함수 형태로 증가하면서 인공지능은 미래 혁신을 주도하는 중요한 트랜드로 자리 잡았다. 인공지능은 사람의 사고방식을 모방하는 방식이기 때문에 사실상 전 산업에 무한하게 응용이 가능하다.As data traffic increases in the form of exponential function with the development of computer technology, artificial intelligence has become an important trend to lead future innovation. Artificial intelligence is a way to mimic the way people think, so virtually all industries are infinitely adaptable.
인공지능의 대표적인 기술로는 패턴 인식, 기계 학습, 전문가 시스템, 뉴럴 네트워크, 자연어 처리 등이 있다. 인공지능은, 빅데이터를 자기 학습을 통해 확률적으로 인식률을 높일 수 있도록 하는 기계 학습과 인공신경망 기술을 통해, 디바이스가 합리적인 의사결정을 하는 것을 목표로 발전하였다.Representative technologies of artificial intelligence include pattern recognition, machine learning, expert system, neural network, and natural language processing. Artificial intelligence has been developed with the aim of making reasonable decision making of devices through machine learning and artificial neural network technology, which enable to increase recognition rate of big data through self learning.
1950년대 중반부터 개화를 시작한 인공지능 분야는, 2000년까지 인간의 지능을 넘는 범용 인공지능의 개발을 목표로 하였으나, 그 낙관은 점점 하락하는 추세였다. 그러나 1990년대 이후 들어 대량의 데이터가 지속적으로 축적되어가고 있고, CPU 등 관련 하드웨어의 성능이 개선되었다는 것, 딥 러닝(deep learning)과 같이 자기 학습이 가능한 알고리즘의 발전에 따라, 기계 학습과 인공신경망을 이용하는 디바이스에 대한 관심이 높아지고 있다.The field of artificial intelligence, which started to flow in the mid-1950s, aimed to develop general artificial intelligence beyond human intelligence by the year 2000, but the optimism was gradually declining. However, since the 1990s, there has been a steady accumulation of large amounts of data, improvements in the performance of related hardware such as CPU, and the development of self-learning algorithms such as deep learning, There has been a growing interest in devices that utilize such devices.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-described background technology is technical information that the inventor holds for the derivation of the present invention or acquired in the process of deriving the present invention, and can not necessarily be a known technology disclosed to the general public prior to the filing of the present invention.
전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 뉴럴 네트워크를 이용한 학습 결과를 이용하여, 원본 영상으로부터 객체 컷을 추출하는데 일 목적이 있다.It is an object of the present invention to extract an object cut from an original image by using a learning result using a neural network, which is devised to solve the above-mentioned problems and / or limitations.
본 발명의 일 실시 예에 따른 영상 처리 장치는, 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득하는 제1 분석부; 뉴럴 네트워크(neural network)를 이용한 학습 결과에 기초하여 상기 원본 영상으로부터 객체를 식별하고, 상기 영상 분할 정보를 이용하여 상기 원본 영상으로부터 추출한 상기 객체를 제1 영역 내지 제3 영역으로 구분한 구분 영상을 생성하며, 상기 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 출력하는 학습부; 및 상기 원본 영상 및 상기 보정 영상을 연산하여 생성한 객체 컷을 출력하고, 상기 원본 영상 및 상기 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 처리부;를 포함할 수 있다.An image processing apparatus according to an embodiment of the present invention includes a first analyzing unit for obtaining image segmentation information obtained by dividing an original image into a plurality of regions having similar characteristics to each other; A method for identifying an object from an original image based on a learning result using a neural network and segmenting the object extracted from the original image using the image segmentation information into a first region to a third region, And outputting a corrected image in which one of the divided images is clearly corrected; And a processing unit for outputting the object cut generated by calculating the original image and the corrected image, and including the original image and the classified image into learning using the neural network.
상기 영상 처리 장치는, 상기 객체 컷에 대한 불가 신호 수신에 대응하여, 상기 객체 컷으로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 수신부; 및 상기 객체 컷에 대한 상기 구분 영상의 일부를, 상기 제1 사용자 입력 정보 및 상기 제2 사용자 입력 정보에 대응하는 상기 영상 분할 정보를 기반으로 보강하여 추가 구분 영상을 생성하고, 상기 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력하는 제2 분석부;를 더 포함할 수 있다.Wherein the image processing apparatus comprises: a receiver for receiving first user input information and second user input information from the object cut in response to receipt of an invalid signal for the object cut; And an additional segment image by reinforcing a part of the segmented image for the object cut based on the image segmentation information corresponding to the first user input information and the second user input information, And a second analyzing unit for outputting an additional corrected image in which an area is clearly corrected.
상기 처리부는, 상기 원본 영상 및 상기 추가 보정 영상을 연산하여 생성한 추가 객체 컷을 출력하고, 상기 원본 영상 및 상기 추가 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다.The processing unit may output an additional object cut generated by calculating the original image and the additional corrected image, and may include the original image and the additional classified image in the learning using the neural network.
상기 영상 처리 장치는, 상기 추가 객체 컷에 대한 확인 신호가 수신될 때까지 상기 수신부, 상기 제2 분석부 및 상기 처리부의 동작을 반복 수행할 수 있다.The image processing apparatus may repeatedly perform the operations of the receiving unit, the second analyzing unit, and the processing unit until an acknowledgment signal for the additional object cut is received.
상기 수신부는, 상기 객체 컷에 포함되는 전경 영역에 대하여 상기 제1 사용자 입력 정보를 수신하고, 상기 객체 컷에 포함되는 배경 영역에 대하여 상기 제2 사용자 입력 정보를 수신할 수 있다.The receiving unit may receive the first user input information for a foreground area included in the object cut and receive the second user input information for a background area included in the object cut.
본 발명의 일 실시 예에 따른 영상 처리 방법은, 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득하는 단계; 뉴럴 네트워크(neural network)를 이용한 학습 결과에 기초하여 상기 원본 영상으로부터 객체를 식별하고, 상기 영상 분할 정보를 이용하여 상기 원본 영상으로부터 추출한 상기 객체를 제1 영역 내지 제3 영역으로 구분한 구분 영상을 생성하며, 상기 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 출력하는 단계; 및 상기 원본 영상 및 상기 보정 영상을 연산하여 생성한 객체 컷을 출력하고, 상기 원본 영상 및 상기 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 단계;를 포함할 수 있다.An image processing method according to an embodiment of the present invention includes: obtaining image segmentation information obtained by dividing an original image into a plurality of regions having similar characteristics; A method for identifying an object from an original image based on a learning result using a neural network and segmenting the object extracted from the original image using the image segmentation information into a first region to a third region, And outputting a corrected image in which one of the classified images is clearly corrected; And outputting an object cut generated by calculating the original image and the corrected image, and including the original image and the classified image in learning using the neural network.
상기 영상 처리 방법은, 상기 객체 컷에 대한 불가 신호 수신에 대응하여, 상기 객체 컷으로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 단계; 및 상기 객체 컷에 대한 상기 구분 영상의 일부를, 상기 제1 사용자 입력 정보 및 상기 제2 사용자 입력 정보에 대응하는 상기 영상 분할 정보를 기반으로 보강하여 추가 구분 영상을 생성하고, 상기 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력하는 단계;를 더 포함할 수 있다.The image processing method comprising: receiving first user input information and second user input information from the object cut in response to receiving an impossible signal for the object cut; And an additional segment image by reinforcing a part of the segmented image for the object cut based on the image segmentation information corresponding to the first user input information and the second user input information, And outputting an additional corrected image in which a certain region is clearly corrected.
상기 영상 처리 방법은, 상기 원본 영상 및 상기 추가 보정 영상을 연산하여 생성한 추가 객체 컷을 출력하고, 상기 원본 영상 및 상기 추가 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 단계;를 더 포함할 수 있다.The image processing method may further include outputting an additional object cut generated by operating the original image and the additional corrected image, and including the original image and the additional classified image in the learning using the neural network .
상기 영상 처리 방법은, 상기 추가 객체 컷에 대한 확인 신호가 수신될 때까지 상기 수신하는 단계, 상기 출력하는 단계 및 상기 포함시키는 단계의 동작을 반복 수행할 수 있다.The image processing method may repeatedly perform the operations of receiving, outputting, and including until an acknowledgment signal for the additional object cut is received.
상기 수신하는 단계는, 상기 객체 컷에 포함되는 전경 영역에 대하여 상기 제1 사용자 입력 정보를 수신하는 단계; 및 상기 객체 컷에 포함되는 배경 영역에 대하여 상기 제2 사용자 입력 정보를 수신하는 단계;를 포함할 수 있다.Wherein the receiving comprises: receiving the first user input information for a foreground region included in the object cut; And receiving the second user input information for the background area included in the object cut.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.In addition, other methods for implementing the invention, other systems, and computer programs for executing the methods may be further provided.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
실시 예들에 따르면, 기존의 사용자 입력 정보를 수동으로 입력하여 객체 컷이 추출되었으나, 본 실시 예에서는 뉴럴 네트워크를 이용한 학습 결과를 이용하여, 원본 영상으로부터 객체 컷을 자동으로 추출하여 제공함으로써, 사용자의 개입 없이 편리하게 객체 컷을 추출할 수 있어 편리하다.According to the embodiments, although the object cut is extracted by manually inputting the existing user input information, in the present embodiment, the object cut is automatically extracted from the original image and provided by using the learning result using the neural network, It is convenient to extract object cuts conveniently without intervention.
또한 뉴럴 네트워크를 이용한 학습 결과를 이용하여, 원본 영상으로부터 객체 컷을 자동으로 추출하여 제공하고, 추출한 객체 컷에 대해 사용자의 만족도가 저하되는 경우 사용자가 개입하여 추가 객체 컷을 추출하여 제공함으로써 추출한 객체 컷에 대한 사용자 만족도를 향상시킬 할 수 있다.In addition, the object cut is automatically extracted from the original image using the learning result using the neural network, and when the user's satisfaction with the extracted object cut is lowered, the user intervenes to extract the additional object cut, User satisfaction with cut can be improved.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템을 개략적으로 설명하기 위하여 도시한 도면이다.
도 2는 도 1의 영상 처리 시스템 중 영상 처리 장치의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 도 2의 영상 처리 장치 중 일 실시 예에 따른 인공 지능 처리부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 4는 도 3의 인공 지능 처리부 중 제1 분석부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 5는 도 2의 영상 처리 장치 중 다른 실시 예에 따른 인공 지능 처리부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 6은 도 5의 인공 지능 처리부 중 제2 분석부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 7은 도 1의 영상 처리 시스템 중 사용자 단말기의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 8a 내지 도 8h는 영상 처리 장치에서 처리하는 영상의 예시도 이다.
도 9 내지 도 12는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다.FIG. 1 is a view for schematically explaining an image processing system according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a detailed configuration of an image processing apparatus in the image processing system of FIG. 1; FIG.
FIG. 3 is a diagram for explaining a detailed configuration of an artificial intelligent processing unit according to an embodiment of the image processing apparatus of FIG. 2. Referring to FIG.
FIG. 4 is a view for schematically explaining a detailed configuration of a first analysis unit of the artificial intelligence processing unit of FIG. 3; FIG.
FIG. 5 is a diagram for explaining a detailed configuration of an artificial intelligent processing unit according to another embodiment of the image processing apparatus of FIG. 2. FIG.
FIG. 6 is a diagram for explaining a detailed configuration of a second analysis unit of the artificial intelligence processing unit of FIG. 5; FIG.
FIG. 7 is a diagram for explaining a detailed configuration of a user terminal in the image processing system of FIG. 1. FIG.
8A to 8H are views showing examples of images processed by the image processing apparatus.
9 to 12 are flowcharts for explaining an image processing method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Brief Description of the Drawings The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described in conjunction with the accompanying drawings. It should be understood, however, that the present invention is not limited to the embodiments set forth herein, but may be embodied in many different forms and includes all conversions, equivalents, and alternatives falling within the spirit and scope of the present invention . BRIEF DESCRIPTION OF THE DRAWINGS The above and other aspects of the present invention will become more apparent by describing in detail preferred embodiments thereof with reference to the attached drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. .
도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템을 개략적으로 설명하기 위하여 도시한 도면이다. 도 1을 참조하면, 영상 처리 시스템(1)은 영상 처리 장치(100), 사용자 단말기(200) 및 통신망(300)을 포함할 수 있다.FIG. 1 is a view for schematically explaining an image processing system according to an embodiment of the present invention. Referring to FIG. 1, the
본 발명의 일 실시 예에 따른 영상 처리 장치(100)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득하고, 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별하고, 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체를 제1 영역 내지 제3 영역으로 구분한 구분 영상을 생성하며, 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 출력하고, 원본 영상 및 보정 영상을 연산하여 생성한 객체 컷을 출력하고, 생성한 객체 컷에 대한 확인 신호 수신에 대응하여 원본 영상, 구분 영상 및 객체 컷을 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 여기서, 뉴럴 네트워크를 이용한 학습에 포함시킨다 함은, 원본 영상 및 구분 영상을 뉴럴 네트워크를 이용한 학습 데이터로 이용하는 것을 포함할 수 있다.The
일 실시 예에 따라 영상 처리 장치(100)는 생성한 객체 컷에 대한 불가 신호가 수신에 대응하여 객체 컷으로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하고, 객체 컷에 대한 상기 구분 영상의 일부를, 제1 사용자 입력 정보 및 제2 사용자 입력 정보에 대응하는 영상 분할 정보를 기반으로 보강하여, 추가 구분 영상을 생성하고, 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력하며, 원본 영상 및 추가 보정 영상을 연산하여 생성한 추가 객체 컷을 출력하며, 생성한 추가 객체 컷에 대한 확인 신호 수신에 대응하여 원본 영상 및 추가 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 여기서 영상 처리 장치(100)는 추가 객체 컷에 대한 확인 신호가 수신될 때까지 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 과정, 전경 영역에 대한 추가 구분 영상 생성 및 추가 보정 영상을 출력하는 과정, 추가 객체 컷을 출력하는 과정을 반복적으로 수행하고, 원본 영상 및 추가 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다.According to an embodiment, the
사용자 단말기(200)는 영상 처리 장치(100)가 제공하는 영상 처리 웹 페이지 및/또는 영상 처리 어플리케이션을 표시할 수 있다. 이를 위해 영상 처리 장치(100)는 통신망(300)을 통해 영상 표시 장치로써의 사용자 단말기(200)로 영상 처리 웹 페이지 및/또는 영상 처리 어플리케이션을 전송할 수 있다. 사용자 단말기(200)를 통하여 사용자의 접속 식별 정보(ID) 및 패스워드를 수신한 영상 처리 장치(100)는 영상 처리 웹 페이지 및/또는 영상 처리 어플리케이션에 사용자 인증을 수행할 수 있다.The
사용자 단말기(200)는 영상 처리 장치(100)로 원본 영상을 송신할 수 있다. 사용자 단말기(200)는 내부에 저장된 영상을 원본 영상으로 선택하여 영상 처리 장치(100)에 송신할 수 있다. 예를 들어, 사용자 단말기(200)는 사진첩 어플리케이션 등을 실행하여, 기 저장된 영상을 원본 영상으로 선택할 수 있다. 또한, 사용자 단말기(200)는 외부 서버로부터 영상을 수신하여 원본 영상으로 선택할 수 있다. 예를 들어, 사용자 단말기(200)는 소셜 네트워크 서버(social network server), 클라우드 서버(cloud server) 또는 콘텐트 제공 서버 등에 접근하여, 영상을 다운로드 할 수 있다. 또한 사용자 단말기(200)는 내부에 구비된 카메라를 이용하여, 영상을 캡처하고, 캡처한 영상을 원본 영상으로 선택할 수 있다. 이때 사용자 단말기(200)는 카메라 어플리케이션을 실행하여, 영상을 캡처할 수 있다.The
사용자 단말기(200)는 영상 처리 장치(100)로부터 수신한 객체 컷에 대하여 확인 신호 및/또는 불가 신호를 송신할 수 있다. 사용자 단말기(200)가 영상 처리 장치(100)로 불가 신호를 송신하는 경우, 영상 처리 장치(100)의 요청에 의해 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 송신할 수 있다. 사용자 단말기(200)가 객체 컷에 대하여 확인 신호를 영상 처리 장치(100)로 송신할 때까지, 제1 사용자 입력 정보 및 제2 사용자 입력 정보의 송신은 반복될 수 있다.The
이러한 사용자 단말기(200)는 사용자가 조작하는 데스크 탑 컴퓨터(도 1의 201), 스마트폰(도 1의 202), 노트북(도 1의 203), 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말기(200)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말기(200)는 상술한 내용에 제한되지 아니하며, 상술한 바와 같이 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.The
한편, 통신망(300)은 사용자 단말기(200)를 영상 처리 장치(100)와 연결하는 역할을 수행한다. 즉, 통신망(400)은 사용자 단말기(200)가 영상 처리 장치(100)에 접속한 후 소정의 정보를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미할 수 있다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Meanwhile, the
도 2는 도 1의 영상 처리 시스템(1) 중 영상 처리 장치(100)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 2를 참조하면, 영상 처리 장치(100)는 통신부(110), 저장 매체(120), 프로그램 저장부(130), 제어부(140), 데이터베이스(150) 및 인공지능 처리부(160)를 포함할 수 있다.FIG. 2 is a view for schematically explaining the detailed configuration of the
통신부(110)는 통신망(300)과 연동하여 영상 처리 장치(100)와 사용자 단말기(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(110)는 사용자 단말기(200)로부터 소정의 정보 요청 신호를 수신하는 역할을 할 수 있고, 인공지능 처리부(160)가 처리한 정보를 사용자 단말기(200)로 전송하는 역할을 수행할 수 있다. 여기서 통신망이라 함은, 영상 처리 장치(100)와 사용자 단말기(200)를 연결하는 역할을 수행하는 매개체로써, 사용자 단말기(200)가 영상 처리 장치(100)에 접속한 후 정보를 송수신할 수 있도록 접속 경로를 제공하는 경로를 포함할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The
저장 매체(120)는 제어부(140)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 저장 매체(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 저장 매체(120)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다. 본 실시 예에서 저장 매체(120)에는 뉴럴 네트워크를 구성하는 하나 이상의 인스트럭션, 뉴럴 네트워크를 제어하는 하나 이상의 인스트럭션을 포함할 수 있다. The
프로그램 저장부(130)는 사용자 단말기(200)로부터 수신한 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득하는 작업, 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별하는 작업, 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 상기 객체를 제1 영역 내지 제3 영역으로 구분한 구분 영상을 생성하는 작업, 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 생성 및 출력하는 작업, 원본 영상 및 보정 영상을 연산하여 생성한 객체 컷을 출력하는 작업, 원본 영상 및 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시키는 작업, 객체 컷에 대한 불가 신호 수신에 대응하여 사용자 단말기(200)에 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 요청하고 수신하는 작업, 제1 사용자 입력 정보, 제2 사용자 입력 정보 및 영상 분할 정보를 이용하여 객체 컷의 구분 영상의 일 부분을 명확하게 보정한 추가 구분 영상을 생성하는 작업 등을 수행하는 제어 소프트웨어를 탑재하고 있다.The
데이터베이스(150)는 사용자 단말기(200)로부터 수신한 원본 영상과, 영상 처리 장치(100)의 인공지능 처리로 생성한 각종 영상 및/또는 정보 예를 들어, 원본 영상에 대한 영상 분할 정보, 구분 영상, 보정 영상, 객체 컷을 뉴럴 네트워크를 위한 학습 데이터로 저장할 수 있다. 또한 데이터베이스(150)에는 객체 컷에 대한 불가 신호 수신에 대응하여 사용자로부터 수신한 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 기반으로 추가 객체 컷을 생성하는 일련의 처리 과정 정보(예를 들어, 추가 구분 영상, 추가 보정 영상, 추가 객체 컷)를 뉴럴 네트워크를 위한 학습 데이터로 저장할 수 있다.The
나아가, 데이터베이스(150)는 사용자 정보를 저장하는 유저 데이터베이스를 더 포함할 수 있다. 여기서, 유저 데이터베이스는 원본 영상으로부터 객체 컷을 추출하는 서비스를 이용하고자 하는 사용자에 대한 사용자 정보를 저장할 수 있다. 여기서, 사용자 정보에는 사용자의 이름, 소속, 인적 사항, 성별, 나이, 연락처, 이메일, 주소 등 사용자에 대한 기본적인 정보와, 아이디(ID) (또는 이메일) 및 패스워드(password) 등 인증(로그인)에 대한 정보, 접속 국가, 접속 위치, 접속에 이용한 장치에 대한 정보, 접속된 네트워크 환경 등 접속과 관련된 정보 등을 포함할 수 있다. Further, the
인공지능 처리부(160)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체 컷을 추출하여 제공하고, 객체 컷 추출을 위해 생성한 정보 및/또는 영상을 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 인공지능 처리부(160)는 추출한 객체 컷에 대해 사용자로부터 불가 신호를 수신하는 경우 사용자로부터 수신한 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 이용하여 추가 객체 컷을 추출하여 제공하고, 추가 컷 추출을 위해 생성한 정보 및/또는 영상을 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있으며, 사용자로부터 확인 신호를 수신할 때까지 객체 컷 추출 과정이 반복될 수 있다.The artificial
인공지능(Artificial Intelligence, AI) 기술은 인간 수준의 지능을 구현하는 컴퓨터 처리 기술로써, 기존 Rule 기반 스마트 기술과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 기술이다. 인공지능 기술은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다. Artificial intelligence (AI) technology is a computer processing technology that implements human-level intelligence. Unlike conventional rule-based smart technology, it is a technology that machines learn, judge and become smart. Artificial intelligence technology has become more and more recognizable as users use it, and existing rule-based smart systems are increasingly being replaced by deep-run-based artificial intelligence systems.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성될 수 있다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.Artificial intelligence technology can be composed of element technologies that utilize deep learning and machine learning. Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself. Element technology is a technology that simulates functions such as recognition and judgment of human brain using machine learning algorithms such as deep learning. Understanding, reasoning / prediction, knowledge representation, motion control, and the like.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함할 수 있다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 식별, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함할 수 있다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함할 수 있다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함할 수 있다.The various fields in which artificial intelligence technology is applied are as follows. Linguistic understanding is a technology for recognizing, applying / processing human language / character and may include natural language processing, machine translation, dialogue system, query response, speech recognition / synthesis, and the like. Visual understanding is a technology for recognizing and processing objects as human vision, and may include object identification, object tracking, image search, human recognition, scene understanding, spatial understanding, image enhancement, and the like. Inference prediction is a technique for judging and logically inferring and predicting information, including knowledge / probability based reasoning, optimization prediction, preference base planning, and recommendation. Knowledge representation is a technology that automates the processing of human experience information into knowledge data, which can include knowledge building (data generation / classification) and knowledge management (data utilization). The motion control is a technique for controlling the autonomous travel of the vehicle and the motion of the robot, and may include motion control (navigation, collision, traveling), operation control (behavior control), and the like.
일반 적으로 원본 영상으로부터 객체 컷을 추출하기 위해서는 사용자의 수동 개입이 필수적이었으나, 본 실시 예에서는 인공지능을 기반으로 한 뉴럴 네트워크를 이용한 학습 결과를 이용하여, 원본 영상으로부터 객체 컷을 자동으로 추출하여 제공함으로써, 사용자의 개입 없이 편리하게 객체 컷을 추출할 수 있다.Generally, in order to extract an object cut from an original image, manual intervention of a user is essential. In this embodiment, an object cut is automatically extracted from an original image using a learning result using a neural network based on artificial intelligence It is possible to extract the object cuts conveniently without user intervention.
또한 뉴럴 네트워크를 이용한 학습 결과를 이용하여, 원본 영상으로부터 객체 컷을 자동으로 추출하여 제공하고, 추출한 객체 컷에 대해 사용자의 만족도가 저하되는 경우 사용자가 개입하여 추가 객체 컷을 추출하여 제공함으로써 추출한 객체 컷에 대한 사용자 만족도를 향상시킬 할 수 있다.In addition, the object cut is automatically extracted from the original image using the learning result using the neural network, and when the user's satisfaction with the extracted object cut is lowered, the user intervenes to extract the additional object cut, User satisfaction with cut can be improved.
도 3은 도 2의 영상 처리 장치(100) 중 일 실시 예에 따른 인공 지능 처리부(160)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 3을 참조하면, 인공지능 처리부(160)는 제1 분석부(161), 학습부(162) 및 처리부(163)를 포함할 수 있다.FIG. 3 is a diagram for explaining a detailed configuration of the artificial
제1 분석부(161)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득할 수 있다. 제1 분석부(161)는 원본 영상 내의 임의의 위치를 씨드(seed)로 하여 이 씨드를 중심으로 밝기 값, 에지, 컬러 등이 유사한 특징을 가지는 하나 이상의 영역을 찾아 내고, 처리되고 있는 영역과 그에 인접한 영역이 서로 동일한 특징을 가지고 있는 경우에 각 영역을 하나의 영역으로 통합하여, 결국 특징이 동일한 영역을 조금씩 성장시켜 최종적으로 원본 영상 전체를 특징이 유사한 복수개의 영역으로 분할한다고 할 수 있다. 제1 분석부(161)는 획득한 영상 분할 정보를 데이터베이스(150)에 저장할 수 있다.The
도 4는 도 3의 인공 지능 처리부(160) 중 제1 분석부(161)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 4를 참조하면, 제1 분석부(161)는 설정부(161-1), 산출부(161-2), 클러스터링부(161-3), 제1 생성부(161-4) 및 제2 생성부(161-5)를 포함할 수 있다.FIG. 4 is a diagram illustrating a detailed configuration of the
설정부(161-1)는 원본 영상(도 8a)으로부터 영상 분할 정보 획득을 위해 제1 파라미터 및 제2 파라미터를 설정할 수 있다. 여기서, 제1 파라미터는 씨드의 개수를 포함할 수 있으며, 제1 파라미터는 사용자 단말기(200)로부터 수신하여 설정될 수 있거나, 원본 영상의 크기를 영역 내의 화소 개수로 나누어 산출하여 설정될 수 있거나, 동작 시마다 랜덤값으로 설정될 수도 있다. 또한 제2 파라미터는 각 씨드에서 전체 화소 각각까지의 거리 산출에 대한 반복 횟수를 포함할 수 있다. 반복 횟수를 지정하지 않고 거리 산출이 계속해서 반복되면 처리량이 많아져 저장 매체(120)의 용량 부족 현상이 발생하므로 적절한 반복 횟수를 설정이 요구될 수 있다. 제2 파라미터는 사용자 단말기(200)로부터 수신하여 설정할 수 있거나, 디폴트 값으로 설정될 수 있다. The setting unit 161-1 can set the first parameter and the second parameter for acquiring the image segmentation information from the original image (Fig. 8A). Here, the first parameter may include the number of seeds, and the first parameter may be set and received from the
산출부(161-2)는 각 씨드에서 전체 화소 각각까지의 거리 산출하고, 거리 산출 결과를 Lab 컬러로 표현할 수 있다. 산출부(161-2)의 거리 산출 반복 횟수는 설정된 제2 파라미터 만큼 반복 수행할 수 있다.The calculation unit 161-2 can calculate the distance from each seed to each of all the pixels and express the distance calculation result in Lab color. The number of repetitions of the distance calculation of the calculation unit 161-2 can be repeatedly performed by the set second parameter.
클러스터링부(161-3)는 제2 파라미터 만큼 반복 수행된 각 씨드에서 전체 화소 각각까지의 거리 산출 결과를 클러스터링 하고, 원본 영상 내에서 Lab 컬러(거리 산출 결과)가 유사한 화소를 하나의 영역에 포함시킬 수 있다. 이로써 원본 영상은 Lab 컬러가 유사한 복수 개의 영역으로 분할될 수 있다.The clustering unit 161-3 clusters the distance calculation results of each seed to each of all the pixels repeatedly performed by the second parameter, and includes a pixel having similar Lab color (distance calculation result) in the original image in one area . In this way, the original image can be divided into a plurality of regions having similar Lab colors.
제1 생성부(161-4)는 Lab 컬러가 유사한 복수 개의 영역 각각에 인덱스를 붙인 영상 분할 인덱스 정보를 생성할 수 있다. 도 8b는 원본 영상(도 8a)으로부터 생성한 영상 분할 인덱스 정보 영상을 색상으로 표현한 예를 도시하고 있다. 제1 생성부(161-4)는 생성한 영상 분할 인덱스 정보를 데이터베이스(150)에 저장할 수 있다. The first generating unit 161-4 can generate the image division index information in which an index is attached to each of a plurality of areas similar in Lab color. FIG. 8B shows an example in which the image segmentation index information image generated from the original image (FIG. 8A) is expressed in color. The first generation unit 161-4 may store the generated image division index information in the
제2 생성부(161-5)는 Lab 컬러가 유사한 복수 개의 영역 각각으로부터 산출한 평균 화소값과, 어느 한 기준 영역을 중심으로 탐색한 주변 4 방위의 영역들의 영상 분할 인덱스 정보를 연결시킨 연결 정보와, 제1 생성부(161-4)에서 생성한 영상 분할 인덱스 정보를 포함하고 있는 영상 분할 정보를 생성할 수 있다. 도 8c는 원본 영상(도 8a) 및 영상 분할 인덱스 정보 영상(도 8b)를 이용하여 생성한 영상 분할 정보 영상을 표현한 예를 도시하고 있다. 제2 생성부(161-5)는 생성한 영상 분할 정보를 데이터베이스(150)에 저장할 수 있다.The second generation unit 161-5 generates connection information that links the average pixel value calculated from each of a plurality of similar Lab color regions and the image division index information of the four surrounding azimuths searched around one reference region And image division information including the image division index information generated by the first generation unit 161-4. FIG. 8C shows an example of an image segmentation information image generated using an original image (FIG. 8A) and an image segmentation index information image (FIG. 8B). The second generation unit 161-5 can store the generated image division information in the
도 3으로 돌아와서, 학습부(162)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별할 수 있다. 이를 위해 학습부(162)는 뉴럴 네트워크 모듈(미도시)을 더 포함할 수 있다. 여기서, 뉴럴 네트워크는 통계학적 기계 학습의 결과를 이용하여, 원본 영상 내의 다양한 속성들을 추출하여 이용함으로써, 원본 영상 내의 객체들을 식별 및/또는 판단하는 알고리즘 집합일 수 있다. 뉴럴 네트워크는, 뉴럴 네트워크에 입력된 원본 영상 내에 포함된 다양한 속성들을 추상화함으로써, 원본 영상 내의 객체들을 식별할 수 있다. 이 경우, 원본 영상 내 속성들을 추상화한다는 것은, 원본 영상으로부터 속성들을 검출하여, 검출된 속성들 중에서 핵심 속성을 판단하는 것일 수 있다. Returning to FIG. 3, the
예를 들어, 학습부(162)는 원본 영상 및/또는 구분 영상(추가 구분 영상도 함)을 뉴럴 네트워크에 입력하고, 원본 영상 내에 포함된 객체의 위치 및/또는 객체의 카테고리(category)를 뉴럴 네트워크로부터 출력 받을 수 있다.For example, the
구체적으로 학습부(162)는 뉴럴 네트워크를 이용한 학습 결과에 따라 원본 영상 및/또는 구분 영상 내에서 기 설정된 영상 속성들을 검출하고, 검출된 영상 속성들에 기초하여 원본 영상 내에서 객체의 위치 및/또는 객체의 카테고리를 결정할 수 있다. 여기서, 영상 속성은, 영상을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness) 등을 포함할 수 있으나, 영상 속성이 이에 한정되는 것은 아니다.Specifically, the
한편, 학습부(162)는 뉴럴 네트워크를 이용하기 위하여, 원본 영상 및/또는 구분 영상으로부터 하나 이상의 객체를 식별하도록 뉴럴 네트워크를 학습할 수 있다. 예를 들어, 학습부(162)는 뉴럴 네트워크 내에서 객체 별 영상 속성에 대해 지도 학습 및/또는 비지도 학습(또는, 자율 학습 또는 능동 학습)된 결과를 분석 및/또는 평가하는 동작을 반복 수행함으로써 뉴럴 네트워크를 학습할 수 있다. 학습부(162)는 뉴럴 네트워크 학습 시에, 원본 영상 및 구분 영상을 학습 데이터로 이용하여 객체 식별에 활용할 수 있다. 여기서 구분 영상은 최종 구분 영상일 수 있으며, 최종 구분 영상이라 함은, 후술하는 확인 신호가 수신된 객체 컷에 대한 구분 영상 및/또는 추가 구분 영상을 포함할 수 있다.Meanwhile, the
학습부(162)는 뉴럴 네트워크를 이용하여 식별된 객체 및 제1 분석부(161)에서 획득한 영상 분할 정보를 이용하여, 객체를 제1 영역 내지 제3 영역으로 구분한 구분 영상을 생성할 수 있다. 여기서 제1 영역은 식별된 객체 중 전경 영역을 포함할 수 있으며, 제1 값(예를 들어 흰색)으로 표시할 수 있다. 또한 제2 영역은 식별된 객체 중 배경 영역을 포함할 수 있으며, 제2 값(예를 들어 검정색)으로 표시할 수 있다. 또한 제3 영역은 식별된 객체 중 제1 영역인지 제2 영역인지 불명확한 불명확 영역을 포함할 수 있으며, 제3 값(예를 들어 회색)으로 표시할 수 있다. The
학습부(162)는 제1 영영 내지 제3 영역으로 구분된 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 생성하여 출력할 수 있다. 여기서 어느 한 영역이라 함은 제3 영역을 포함할 수 있으며, 보정 영상은 제3 영역의 일부가 제1 영역에 포함되는 경우 제3 영역의 일부를 제1 영역으로 보정하고, 제3 영역의 다른 일부가 제2 영역에 포함되는 경우 제3 영역의 다른 일부를 제2 영역으로 보정한 영상이라 할 수 있다. 학습부(162)는 원본 영상 및 구분 영상의 상관 관계를 이용하여 구분 영상으로부터 보정 영상을 생성할 수 있다.The
다른 실시 예로, 학습부(162)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 시멘틱 세그멘테이션(semantic segmentation)을 통해 원본 영상으로부터 식별한 객체 및 객체에 대한 영상 분할 정보를 비교하여 구분 영상을 생성하고, 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 생성하여 출력할 수도 있다.In another embodiment, the
본 실시 예에서 제1 분석부(161) 및 학습부(162) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 제1 분석부(161) 및 학습부(162) 중 적어도 하나는 인공지능을 위한 전용 하드웨어 칩 형태로 제작될 수 있고, 또는 기존의 범용 프로세서(예: CPU 또는 어플리케이션 프로세서) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 각종 전자 아치에 탑재될 수도 있다.In this embodiment, at least one of the
처리부(163)는 원본 영상 및 보정 영상을 논리 곱 연산하고, 연산 결과로 생성한 객체 컷을 사용자 단말기(200)로 출력할 수 있다. 처리부(163)는 원본 영상 및 구분 영상을 데이터베이스(150)에 저장하고 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 또한 처리부(163)는 생성한 객체 컷을 데이터베이스(150)에 저장할 수 있다.The
도 5는 도 2의 영상 처리 장치(100) 중 다른 실시 예에 따른 인공 지능 처리부(160)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 5를 참조하면, 인공 지능 처리부(160)는 제1 분석부(161), 학습부(162), 처리부(163), 수신부(164) 및 제2 분석부(165)를 포함할 수 있다. FIG. 5 is a diagram illustrating a detailed configuration of the artificial
제1 분석부(161)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득할 수 있다.The
학습부(162)는 뉴럴 네트워크(neural network)를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별하고, 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체에 대하여 구분 영상을 생성하며, 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 생성하여 출력할 수 있다. The
이하, 제1 분석부(161) 및 학습부(162)의 동작은 상술한 도 3과 동일하므로 생략하기로 한다.Hereinafter, the operations of the
처리부(163)는 원본 영상 및 보정 영상을 논리곱 연산하여 생성한 객체 컷을 사용자 단말기(200)에 출력하고, 원본 영상, 보정 영상 및 객체 컷을 데이터베이스(150)에 저장할 수 있다. The
수신부(164)는 사용자 단말기(200)에 출력된 객체 컷에 대하여 확인 신호 또는 불가 신호를 수신할 수 있다. 또한 수신부(164)는 사용자 단말기(200)로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신할 수 있다.The receiving
수신부(164)가 사용자 단말기(200)로부터 확인 신호를 수신하는 경우, 처리부(163)는 원본 영상 및 구분 영상을 데이터베이스(150)에 저장하고 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 도 8d는 사용자 단말기(200)로부터 확인 신호를 수신한 객체 컷의 일 예를 도시하고 있다.When the receiving
수신부(164)가 사용자 단말기(200)로부터 불가 신호를 수신하는 경우, 제2 분석부(165)가 동작을 개시하고, 이와 함께 처리부(163)는 사용자 단말기(200)로 제1 사용자 입력 정보 및 제2 사용자 입력 정보 입력을 요청할 수 있다.When the receiving
제2 분석부(165)는 처리부(163)를 통하여 데이터베이스(150)로부터 추출한 객체 컷의 구분영상과, 수신부(164)로부터 수신한 제1 사용자 입력 정보 및 제2 사용자 입력 정보와, 제1 분석부(161)로부터 수신한 영상 분할 정보를 이용하여 구분 영상에 포함된 객체의 일 부분을 보강한 추가 구분 영상을 생성하고, 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력할 수 있다. The
도 8e는 사용자 단말기(200)로부터 불가 신호를 수신한 객체 컷의 일 예를 도시하고 있다. 여기서, 제1 사용자 입력 정보는, 도 8f에 도시된 바와 같이 사용자 단말기(200)에 출력된 불가 신호를 수신한 객체 컷으로부터 전경 영역을 지정하는 사용자 입력 예를 들어, 제1 드래그(810)를 포함할 수 있다. 또한 제2 사용자 입력 정보는 도 8f에 도시된 바와 같이 사용자 단말기(200)에 출력된 불가 신호를 수신한 객체 컷으로부터 전경 영역을 지정한 후에, 배경 영역을 지정하는 사용자 입력 예를 들어, 제2 드래그(820)를 포함할 수 있다. 또한 제1 사용자 입력 정보 및 제2 사용자 입력 정보는 서로 다른 색으로 표현될 수 있다.FIG. 8E shows an example of an object cut that receives a disable signal from the
도 6은 도 5의 인공 지능 처리부(160) 중 제2 분석부(165)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 6을 참조하면, 제2 분석부(165)는 제3 생성부(165-1) 및 제4 생성부(165-2)를 포함할 수 있으며, 제2 분석부(165)는 학습부(162)에 포함될 수 있다. FIG. 6 is a diagram for explaining a detailed configuration of the
제3 생성부(165-1)는 처리부(163)를 통하여 데이터베이스(150)로부터 추출한 객체 컷의 구분 영상과, 수신부(164)로부터 수신한 제1 사용자 입력 정보 및 제2 사용자 입력 정보와, 제1 분석부(161)로부터 수신한 영상 분할 정보를 이용하여 구분 영상에 포함된 객체의 일 부분을 보강한 추가 구분 영상을 생성할 수 있다.The third generation unit 165-1 generates a classification image of the object cut extracted from the
도 8f에 도시된 바와 같이 사용자 단말기(200)에 출력된 불가 신호를 수신한 객체 컷은 객체 영역의 일 부분이 출력되지 않고 있다. 제3 생성부(165-1)는 이 객체 컷의 구분 영상에 대한 제1 사용자 입력 정보로부터 객체 컷의 전경 영역을 추출하고, 제2 사용자 입력 정보로부터 객체 컷의 배경 영역을 추출할 수 있다. 제3 생성부(165-1)는 객체 컷의 전경 영역(일 부분의 출력이 누락된 객체)의 위치 및 화소 값을, 분할된 영역 각각의 평균 화소값, 연결 정보 및 영상 분할 인덱스 정보를 포함하고 있는 영상 분할 정보로부터 검색하여, 일 부분의 출력을 보강한 추가 구분 영상을 생성할 수 있다. 도 8g는 불가 신호를 수신한 객체 컷에 대하여 일 부분의 출력을 보강한 추가 구분 영상의 일 예를 도시하고 있다.As shown in FIG. 8F, a part of the object region of the object cut that has received the impossible signal output to the
또한 추가 구분 영상은 제1 영역 내지 제3 영역으로 구분되어 있으며, 여기서 제1 영역은 객체 중 전경 영역을 포함할 수 있으며, 제1 값(예를 들어 흰색)으로 표시할 수 있다. 또한 제2 영역은 객체 중 배경 영역을 포함할 수 있으며, 제2 값(예를 들어 검정색)으로 표시할 수 있다. 또한 제3 영역은 객체 중 제1 영역인지 제2 영역인지 불명확한 불명확 영역을 포함할 수 있으며, 제3 값(예를 들어 회색)으로 표시할 수 있다. In addition, the additional classification image is divided into a first region to a third region, wherein the first region may include a foreground region of the object, and may be represented by a first value (for example, white). Also, the second area may include a background area of objects, and may be displayed as a second value (for example, black). In addition, the third region may include an unclear region that is unclear, whether it is a first region or a second region, and may be represented by a third value (for example, gray).
제4 생성부(165-2)는 제1 영영 내지 제3 영역으로 구분된 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 보정 영상을 생성하여 처리부(163)로 출력할 수 있다. 여기서 어느 한 영역이라 함은 제3 영역을 포함할 수 있으며, 추가 보정 영상은 제3 영역의 일부가 제1 영역에 포함되는 경우 제3 영역의 일부를 제1 영역으로 보정하고, 제3 영역의 다른 일부가 제2 영역에 포함되는 경우 제3 영역의 다른 일부를 제2 영역으로 보정한 영상이라 할 수 있다. 제4 생성부(165-2)는 원본 영상 및 추가 구분 영상의 상관 관계를 이용하여 추가 구분 영상으로부터 보정 영상을 생성할 수 있다. 도 8h는 추가 구분 영상(도 8g)에 대하여 생성한 보정 영상의 일 예를 도시하고 있다.The fourth generation unit 165-2 may generate a corrected image that is obtained by clearly correcting any one of the additional classification images divided into the first to third regions, and output the generated corrected image to the
본 실시 예에서 제1 분석부(161), 학습부(162) 및 제2 분석부(165) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 제1 분석부(161), 학습부(162) 및 제2 분석부(165) 중 적어도 하나는 인공지능을 위한 전용 하드웨어 칩 형태로 제작될 수 있고, 또는 기존의 범용 프로세서(예: CPU 또는 어플리케이션 프로세서) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 각종 전자 아치에 탑재될 수도 있다.In this embodiment, at least one of the
도 5로 돌아와서, 처리부(163)는 원본 영상 및 추가 보정 영상을 논리 곱 연산하고, 연산 결과로 생성한 추가 객체 컷을 사용자 단말기(200)로 출력할 수 있다. 이 후, 수신부(164)가 사용자 단말기(200)로부터 확인 신호를 수신하는 경우, 처리부(163)는 원본 영상 및 추가 구분 영상을 데이터베이스(150)에 저장하고 뉴럴 네트워크를 이용한 학습에 포함시킬 수 있다. 여기서, 추가 객체 컷에 대한 확인 신호가 수신될 때까지 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 과정, 전경 영역에 대한 추가 구분 영상 생성 및 추가 보정 영상을 출력하는 과정, 추가 객체 컷을 출력하는 과정을 반복적으로 수행하고, 원본 영상 및 추가 구분 영상을 뉴럴 네트워크를 이용한 학습 결과에 포함시킬 수 있다.Returning to FIG. 5, the
도 7은 도 1의 영상 처리 시스템(1) 중 사용자 단말기(200)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 7을 참조하면, 사용자 단말기(200)는 통신부(210), 메모리(220), 입출력부(230), 프로그램 저장부(240), 제어부(250) 및 표시부(260)를 포함할 수 있다. FIG. 7 is a diagram for explaining a detailed configuration of the
통신부(210)는 영상 처리 장치(100)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 예를 들어, 통신부(210)는, 근거리 통신부 또는 이동 통신부를 포함할 수 있다. 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등일 수 있으나, 이에 한정되는 것은 아니다. 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The
메모리(220)는 제어부(250)가 처리하는 데이터를 일시적 또는 영구적으로 저장하거나 사용자 단말기(200)로 전송된 데이터를 일시적 또는 영구적으로 저장할 수 있다. 여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The
입출력부(230)는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(250)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있다. 이와 같은 입출력부(230)는 예를 들어 터치 인식이 가능한 OLED(Organic light emitting display) 또는 LCD(Liquid crystal display)와 같은 소정의 디스플레이 부재일 수 있다. The input /
프로그램 저장부(240)는 원본 영상을 선택하고 영상 처리 장치(100)로 송신하는 작업, 영상 처리 장치(100)로부터 객체 컷 또는/및 추가 객체 컷을 수신하여 표시하는 작업, 객체 컷 또는/및 추가 객체 컷에 대한 확인 신호 또는 불가 신호를 송신하는 작업, 객체 컷 또는/및 추가 객체 컷에 제1 사용자 입력 정보 및 제2 사용자 입력 정보 입력을 수신하고 영상 처리 장치(100)로 송신하는 작업 등을 수행하는 제어 소프트웨어를 탑재할 수 있다. The
제어부(250)는 일종의 중앙처리장치로서 프로그램 저장부(240)에 탑재된 제어 소프트웨어를 구동하고, 표시부(260)를 제어하여 소정의 정보를 표시하는 등의 다양한 기능을 제공할 수 있다. 여기서, 제어부(250)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
표시부(260)는 제어부(250)의 제어 하에, 영상 처리 장치(100)로부터 수신한 각종 정보 예를 들어, 영상 처리 장치(100)가 제공하는 영상 처리 웹 페이지 및/또는 영상 처리 어플리케이션 관련 정보, 영상 처리 장치(100)로 송신할 원본 영상, 영상 처리 장치(100)로부터 수신한 객체 컷 또는/및 추가 객체 컷, 객체 컷 또는/및 추가 객체 컷 상에서 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 입력하는 과정 등을 표시할 수 있다.Under the control of the
도 8a 내지 도 8h는 영상 처리 장치에서 처리하는 영상의 예시도 이다. 도 8a는 원본 영상의 일 예를 도시하고 있고, 도 8b는 원본 영상(도 8a)으로부터 생성한 영상 분할 인덱스 정보 영상을 색상으로 표현한 예를 도시하고 있고, 도 8c는 원본 영상(도 8a) 및 영상 분할 인덱스 정보 영상(도 8b)를 이용하여 생성한 영상 분할 정보 영상을 표현한 예를 도시하고 있다. 도 8d는 사용자 단말기(200)로부터 확인 신호를 수신한 객체 컷의 일 예를 도시하고 있고, 도 8e는 사용자 단말기(200)로부터 불가 신호를 수신한 객체 컷의 일 예를 도시하고 있다. 도 8f는 불가 신호를 수신한 객체 컷에 제1 사용자 입력 정보(810) 및 제2 사용자 입력 정보(820)를 입력하는 예를 도시하고 있다. 도 8g는 도 8g는 불가 신호를 수신한 객체 컷에 대하여 일 부분의 출력을 보강한 추가 구분 영상의 일 예를 도시하고 있고, 도 8h는 추가 구분 영상(도 8g)에 대해 생성한 보정 영상의 일 예를 도시하고 있다.8A to 8H are views showing examples of images processed by the image processing apparatus. 8A shows an example of an original image, FIG. 8B shows an example of color representation of an image segmentation index information image generated from an original image (FIG. 8A), FIG. 8C shows an original image And an image segmentation information image generated using the image segmentation index information image (FIG. 8B). FIG. 8D shows an example of an object cut that receives an acknowledgment signal from the
도 9는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 8에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.9 is a flowchart illustrating an image processing method according to an embodiment of the present invention. In the following description, the description of the parts overlapping with those of FIGS. 1 to 8 will be omitted.
단계 S910에서, 영상 처리 장치(100)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득한다. 영상 처리 장치(100)는 영상 분할 정보 획득을 위해서 다음과 같은 처리를 수행할 수 있다. 영상 처리 장치(100)는 씨드의 개수를 포함하는 제1 파라미터 및 각 씨드에서 전체 화소 각각까지의 거리 산출에 대한 반복 횟수를 포함하는 제2 파라미터를 설정할 수 있다. 영상 처리 장치(100)는 각 씨드에서 전체 화소 각각까지의 거리 산출하고, 거리 산출 결과를 Lab 컬러로 표현할 수 있다. 영상 처리 장치(100)는 제2 파라미터 만큼 반복 수행된 각 씨드에서 전체 화소 각각까지의 거리 산출 결과를 클러스터링 하고, 원본 영상 내에서 Lab 컬러(거리 산출 결과)가 유사한 화소를 하나의 영역에 포함시킬 수 있다. 영상 처리 장치(100)는 Lab 컬러가 유사한 복수 개의 영역 각각에 인덱스를 붙인 영상 분할 인덱스 정보를 생성할 수 있다. 영상 처리 장치(100)는 Lab 컬러가 유사한 복수 개의 영역 각각으로부터 산출한 평균 화소값과, 어느 한 기준 영역을 중심으로 탐색한 주변 4 방위의 영역들의 영상 분할 인덱스 정보를 연결시킨 연결 정보와, 영상 분할 인덱스 정보를 포함하고 있는 영상 분할 정보를 생성할 수 있다.In step S910, the
단계 S920에서, 영상 처리 장치(100)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별하고, 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체를 전경 영역을 포함하는 제1 영역, 배경 영역을 포함하는 제2 영역 및 불명확한 영역을 포함하는 제3 영역으로 구분한 구분 영상을 생성하며, 구분 영상 중 제3 영역을 명확하게 보정한 보정 영상을 생성한다.In step S920, the
단계 S930에서, 영상 처리 장치(100)는 원본 영상 및 보정 영상을 논리곱 연산하여 생성한 객체 컷을 사용자 단말기(200)로 출력하고, 원본 영상 및 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킨다.In step S930, the
도 10은 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 9에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.10 is a flowchart illustrating an image processing method according to another embodiment of the present invention. In the following description, the description of the parts overlapping with those of FIGS. 1 to 9 will be omitted.
단계 S1010에서, 영상 처리 장치(100)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득한다.In step S1010, the
단계 S1020에서, 영상 처리 장치(100)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별하고, 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체를 전경 영역을 포함하는 제1 영역, 배경 영역을 포함하는 제2 영역 및 불명확한 영역을 포함하는 제3 영역으로 구분한 구분 영상을 생성하며, 구분 영상 중 제3 영역을 명확하게 보정한 보정 영상을 생성한다.In step S1020, the
단계 S1030에서, 영상 처리 장치(100)는 원본 영상 및 보정 영상을 논리곱 연산하여 생성한 객체 컷을 사용자 단말기(200)로 출력한다.In step S1030, the
단계 S1040에서, 영상 처리 장치(100)는 객체 컷에 대한 불가 신호를 수신하였는지 판단한다.In step S1040, the
단계 S1050에서, 영상 처리 장치(100)가 객체 컷에 대한 확인 신호를 수신한 경우, 원본 영상 및 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킨다.In step S1050, when the
단계 S1060에서, 영상 처리 장치(100)가 객체 컷에 대한 불가 신호를 수신한 경우, 객체 컷으로부터 사용자 단말기(200)에 출력된 불가 신호를 수신한 객체 컷으로부터 전경 영역을 지정하는 제1 사용자 입력 정보 및 사용자 단말기(200)에 출력된 불가 신호를 수신한 객체 컷으로부터 배경 영역을 지정하는 제2 사용자 입력 정보를 수신한다.In step S1060, when the
단계 S1070에서, 영상 처리 장치(100)는 객체 컷의 구분영상과, 제1 사용자 입력 정보 및 제2 사용자 입력 정보와, 영상 분할 정보를 이용하여 구분 영상에 포함된 객체의 일 부분을 보강한 추가 구분 영상을 생성하고, 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 생성한다. 영상 처리 장치(100)는 객체 컷의 전경 영역(일 부분의 출력이 누락된 객체)의 위치 및 화소 값을, 분할된 영역 각각의 평균 화소값, 연결 정보 및 영상 분할 인덱스 정보를 포함하고 있는 영상 분할 정보로부터 검색하여, 일 부분의 출력을 보강한 추가 구분 영상을 생성할 수 있다.In step S1070, the
단계 S1080에서, 영상 처리 장치(100)는 원본 영상 및 추가 보정 영상을 논리 곱 연산하고, 연산 결과로 생성한 추가 객체 컷을 사용자 단말기(200)로 출력한다. 여기서, 추가 객체 컷에 대한 확인 신호가 수신될 때까지 단계 S1040 내지 단계 S1080을 반복적으로 수행한다.In step S1080, the
도 11은 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 10에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.11 is a flowchart illustrating an image processing method according to another embodiment of the present invention. In the following description, the description of the parts overlapping with those of FIGS. 1 to 10 will be omitted.
단계 S1110에서, 사용자 단말기(200)는 영상 처리 장치(100)가 제공하는 영상 처리 웹 페이지에 접속하거나 영상 처리 장치(100)가 제공하는 영상 처리 어플리케이션을 실행한다.In step S1110, the
단계 S1120에서, 사용자 단말기(200)는 원본 영상을 선택하여 영상 처리 장치(100)에 송신한다. 사용자 단말기(200)는 사진첩 어플리케이션 등을 실행하여, 기 저장된 영상을 원본 영상으로 선택할 수 있다. 또한, 사용자 단말기(200)는 외부 서버로부터 영상을 수신하여 원본 영상으로 선택할 수 있다. 또한 사용자 단말기(200)는 내부에 구비된 카메라를 이용하여, 영상을 캡처하고, 캡처한 영상을 원본 영상으로 선택할 수 있다. In step S1120, the
단계 S1130에서, 원본 영상을 수신한 영상 처리 장치(100)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보를 획득한다.In step S1130, the
단계 S1140에서, 영상 처리 장치(100)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별한다.In step S1140, the
단계 1150에서, 영상 처리 장치(100)는 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체를 전경 영역을 포함하는 제1 영역, 배경 영역을 포함하는 제2 영역 및 불명확한 영역을 포함하는 제3 영역으로 구분한 구분 영상을 생성하며, 구분 영상 중 제3 영역을 명확하게 보정한 보정 영상을 생성한다.In step 1150, the
단계 S1060에서, 영상 처리 장치(100)는 원본 영상 및 보정 영상을 논리곱 연산하여 생성한다.In step S1060, the
단계 1070에서, 영상 처리 장치(100)는 생성한 객체 컷을 사용자 단말기(200)에 송신한다.In step 1070, the
단계 1080에서, 사용자 단말기(200)는 객체 컷에 대한 확인 신호를 전송한다.In step 1080, the
단계 1090에서, 영상 처리 장치(100)는 원본 영상 및 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킨다.In step 1090, the
도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도 이다. 이하의 설명에서 도 1 내지 도 11에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.12 is a flowchart illustrating an image processing method according to another embodiment of the present invention. In the following description, the description of the parts that are the same as those in the description of Figs. 1 to 11 will be omitted.
단계 S1211에서, 사용자 단말기(200)는 영상 처리 장치(100)가 제공하는 영상 처리 웹 페이지에 접속하거나 영상 처리 장치(100)가 제공하는 영상 처리 어플리케이션을 실행한다.In step S1211, the
단계 S1213에서, 사용자 단말기(200)는 원본 영상을 선택하여 영상 처리 장치(100)에 송신한다.In step S1213, the
단계 S1215에서, 원본 영상을 수신한 영상 처리 장치(100)는 원본 영상에 대하여 특징이 유사한 복수개의 영역으로 분할한 영상 분할 정보(예를 들어, 슈퍼 픽셀 맵 정보)를 획득한다.In step S1215, the
단계 S1217에서, 영상 처리 장치(100)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 원본 영상으로부터 객체를 식별한다. 여기서, 영상 처리 장치(100)는 식별한 객체를 포함하는 바운더리 박스를 표시하고, 객체의 윤곽선을 검출하며, 바운더리 박스와 윤곽선을 비교하여 바운더리 박스에 윤곽선이 포함되도록 바운더리 박스의 크기를 조정할 수 있고, 영상 처리 장치는 영상 분할 정보를 이용하여 바운더리 박스에 컷팅을 수행하는 작업을 더 수행할 수 있다.In step S1217, the
단계 1219에서, 영상 처리 장치(100)는 영상 분할 정보를 이용하여 원본 영상으로부터 추출한 객체를 전경 영역을 포함하는 제1 영역, 배경 영역을 포함하는 제2 영역 및 불명확한 영역을 포함하는 제3 영역으로 구분한 구분 영상(예를 들어 트라이맵 영상)을 생성하며, 구분 영상 중 제3 영역을 명확하게 보정한 보정 영상(예를 들어 매팅 영상)을 생성한다. 여기서, 영상 처리 장치(100)는 컷팅을 수행한 바운더리 박스 내의 영상에 대하여 구분 영상 및 보정 영상을 생성한다고 할 수 있다. In step 1219, the
단계 S1221에서, 영상 처리 장치(100)는 원본 영상 및 보정 영상을 논리곱 연산하여 객체 컷을 생성한다.In step S1221, the
단계 1223에서, 영상 처리 장치(100)는 생성한 객체 컷을 사용자 단말기(200)에 송신한다.In step 1223, the
단계 1225에서, 사용자 단말기(200)는 객체 컷에 대한 불가 신호를 전송한다.In step 1225, the
단계 S127에서, 영상 처리 장치(100)는 사용자 단말기(200)로 제1 사용자 입력 정보 및 제2 사용자 입력 정보의 송신을 요청한다.In step S127, the
단계 1229에서, 사용자 단말기(200)는 영상 처리 장치(100)로 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 송신한다.In step 1229, the
단계 1231에서, 영상 처리 장치(100)는 제1 사용자 입력 정보를 이용하여 불가 신호를 수신한 객체 컷의 구분 영상으로부터 전경 영역을 추출하고, 제2 사용자 입력 정보를 이용하여 불가 신호를 수신한 객체 컷의 구분 영상으로부터 배경 영역을 추출한다. In step 1231, the
단계 1233에서, 영상 처리 장치(100)는 객체 컷의 전경 영역(일 부분의 출력이 누락된 객체)의 위치 및 화소 값을, 분할된 영역 각각의 평균 화소값, 연결 정보 및 영상 분할 인덱스 정보를 포함하고 있는 영상 분할 정보로부터 검색하여, 일 부분의 출력을 보강한 추가 구분 영상을 생성하며, 추가 구분 영상 중 제3 영역을 명확하게 보정한 추가 보정 영상을 생성한다.In step 1233, the
단계 S1235에서, 영상 처리 장치(100)는 원본 영상 및 추가 보정 영상을 논리 곱 연산하여 추가 객체 컷을 생성한다.In step S1235, the
단계 S1237에서, 영상 처리 장치(100)는 생성한 추가 객체 컷을 사용자 단말기(200)로 송신한다.In step S1237, the
단계 S1239에서, 영상 처리 장치(100)는 사용자 단말기(200)로부터 추가 객체 컷에 대한 확인 신호가 수신될 때까지 단계 S1227 내지 단계 S1237을 반복적으로 수행하고, 사용자 단말기(200)로부터 확인 신호가 수신되면 원본 영상 및 추가 구분 영상을 뉴럴 네트워크를 이용한 학습에 포함시킨다.In step S1239, the
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiments of the present invention described above can be embodied in the form of a computer program that can be executed by various components on a computer, and the computer program can be recorded on a computer-readable medium. At this time, the medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, , A RAM, a flash memory, and the like, which are specifically configured to store and execute program instructions.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and configured specifically for the present invention or may be known and used by those skilled in the computer software field. Examples of computer programs may include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. The use of the terms "above" and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.Unless there is explicitly stated or contrary to the description of the steps constituting the method according to the invention, the steps may be carried out in any suitable order. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .
100: 영상 처리 장치
200: 사용자 단말기
300: 통신망100: image processing device
200: User terminal
300: Network
Claims (11)
뉴럴 네트워크(neural network)를 이용한 학습 결과에 기초하여 상기 원본 영상으로부터 객체를 식별하고, 상기 영상 분할 정보를 이용하여 상기 원본 영상으로부터 추출한 상기 객체에 대하여 전경 영역을 제1 값으로 표시한 제1 영역, 배경 영역을 제2 값으로 표시한 제2 영역 및 상기 제1 영역인지 상기 제2 영역인지 불명확한 영역을 제3 값으로 표시한 제3 영역으로 구분한 구분 영상을 생성하며, 상기 구분 영상 중 상기 제3 영역을 상기 제1 영역 또는 상기 제2 영역으로 명확하게 보정한 보정 영상을 출력하는 학습부; 및
상기 원본 영상 및 상기 보정 영상을 논리곱 연산하여 생성한 객체 컷을 출력하고, 상기 원본 영상 및 상기 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 처리부;를 포함하는 것을 특징으로 하는 영상 처리 장치.A first analyzing unit for obtaining image segmentation information obtained by dividing the original image into a plurality of regions having similar characteristics to each other;
A first region that identifies an object from the original image based on a learning result using a neural network and displays a foreground region as a first value with respect to the object extracted from the original image using the image segmentation information, A second region in which the background region is represented by a second value, and a third region in which the first region or the second region is unclear, or a third region, A learning unit for outputting a corrected image in which the third area is clearly corrected to the first area or the second area; And
And outputting an object cut by performing an AND operation on the original image and the corrected image, and incorporating the original image and the classified image into learning using the neural network.
상기 객체 컷에 대한 불가 신호 수신에 대응하여, 상기 객체 컷으로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 수신부; 및
상기 객체 컷에 대한 상기 구분 영상의 일부를, 상기 제1 사용자 입력 정보 및 상기 제2 사용자 입력 정보에 대응하는 상기 영상 분할 정보를 기반으로 보강하여 추가 구분 영상을 생성하고, 상기 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력하는 제2 분석부;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
A receiving unit receiving first user input information and second user input information from the object cut in response to receipt of an invalid signal for the object cut; And
Wherein the image processing apparatus further comprises: an additional segment image generation unit that generates a segmentation image by reinforcing a part of the segmented image for the object cut based on the image segmentation information corresponding to the first user input information and the second user input information, And a second analyzing unit for outputting an additional corrected image in which an area is clearly corrected.
상기 원본 영상 및 상기 추가 보정 영상을 연산하여 생성한 추가 객체 컷을 출력하고, 상기 원본 영상 및 상기 추가 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 것을 특징으로 하는 영상 처리 장치.The image processing apparatus according to claim 2,
And outputting the additional object cut generated by calculating the original image and the further corrected image, and incorporating the original image and the additional classified image into the learning using the neural network.
상기 추가 객체 컷에 대한 확인 신호가 수신될 때까지 상기 수신부, 상기 제2 분석부 및 상기 처리부의 동작을 반복 수행하는 것을 특징으로 하는 영상 처리 장치.The method of claim 3,
And repeats the operations of the receiving unit, the second analyzing unit, and the processing unit until an acknowledgment signal for the additional object cut is received.
상기 객체 컷에 포함되는 전경 영역에 대하여 상기 제1 사용자 입력 정보를 수신하고, 상기 객체 컷에 포함되는 배경 영역에 대하여 상기 제2 사용자 입력 정보를 수신하는 것을 특징으로 하는 영상 처리 장치.3. The apparatus of claim 2,
Receiving the first user input information with respect to a foreground area included in the object cut, and receiving the second user input information with respect to a background area included in the object cut.
뉴럴 네트워크(neural network)를 이용한 학습 결과에 기초하여 상기 원본 영상으로부터 객체를 식별하고, 상기 영상 분할 정보를 이용하여 상기 원본 영상으로부터 추출한 상기 객체에 대하여 전경 영역을 제1 값으로 표시한 제1 영역, 배경 영역을 제2 값으로 표시한 제2 영역 및 상기 제1 영역인지 상기 제2 영역인지 불명확한 영역을 제3 값으로 표시한 제3 영역으로 구분한 구분 영상을 생성하며, 상기 구분 영상 중 상기 제3 영역을 상기 제1 영역 또는 상기 제2 영역으로 명확하게 보정한 보정 영상을 출력하는 단계; 및
상기 원본 영상 및 상기 보정 영상을 논리곱 연산하여 생성한 객체 컷을 출력하고, 상기 원본 영상 및 상기 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.Obtaining image segmentation information obtained by dividing the original image into a plurality of regions having similar characteristics to each other;
A first region that identifies an object from the original image based on a learning result using a neural network and displays a foreground region as a first value with respect to the object extracted from the original image using the image segmentation information, A second region in which the background region is represented by a second value, and a third region in which the first region or the second region is unclear, or a third region, Outputting a corrected image in which the third region is clearly corrected to the first region or the second region; And
And outputting an object cut generated by performing a logical product of the original image and the corrected image, and including the original image and the classified image in learning using the neural network.
상기 객체 컷에 대한 불가 신호 수신에 대응하여, 상기 객체 컷으로부터 제1 사용자 입력 정보 및 제2 사용자 입력 정보를 수신하는 단계; 및
상기 객체 컷에 대한 상기 구분 영상의 일부를, 상기 제1 사용자 입력 정보 및 상기 제2 사용자 입력 정보에 대응하는 상기 영상 분할 정보를 기반으로 보강하여 추가 구분 영상을 생성하고, 상기 추가 구분 영상 중 어느 한 영역을 명확하게 보정한 추가 보정 영상을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.The method according to claim 6,
Receiving first user input information and second user input information from the object cut in response to receipt of an invalid signal for the object cut; And
Wherein the image processing apparatus further comprises: an additional segment image generation unit that generates a segmentation image by reinforcing a part of the segmented image for the object cut based on the image segmentation information corresponding to the first user input information and the second user input information, And outputting an additional corrected image in which an area is clearly corrected.
상기 원본 영상 및 상기 추가 보정 영상을 연산하여 생성한 추가 객체 컷을 출력하고, 상기 원본 영상 및 상기 추가 구분 영상을 상기 뉴럴 네트워크를 이용한 학습에 포함시키는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.8. The method of claim 7,
And outputting the additional object cut generated by operating the original image and the further corrected image, and including the original image and the additional classified image in the learning using the neural network. Way.
상기 추가 객체 컷에 대한 확인 신호가 수신될 때까지 상기 수신하는 단계, 상기 출력하는 단계 및 상기 포함시키는 단계의 동작을 반복 수행하는 것을 특징으로 하는 영상 처리 방법.9. The method of claim 8,
And repeating the operations of receiving, outputting, and embedding until an acknowledgment signal for the additional object cut is received.
상기 객체 컷에 포함되는 전경 영역에 대하여 상기 제1 사용자 입력 정보를 수신하는 단계; 및
상기 객체 컷에 포함되는 배경 영역에 대하여 상기 제2 사용자 입력 정보를 수신하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.8. The method of claim 7,
Receiving the first user input information for a foreground area included in the object cut; And
And receiving the second user input information for a background area included in the object cut.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170122877A KR101867586B1 (en) | 2017-09-22 | 2017-09-22 | Apparatus and method for processing image |
PCT/KR2017/015476 WO2019059460A1 (en) | 2017-09-22 | 2017-12-26 | Image processing apparatus and method |
JP2018010594A JP2019061642A (en) | 2017-09-22 | 2018-01-25 | Video processing device and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170122877A KR101867586B1 (en) | 2017-09-22 | 2017-09-22 | Apparatus and method for processing image |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180065659A Division KR101910083B1 (en) | 2018-06-07 | 2018-06-07 | Apparatus and method for processing image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101867586B1 true KR101867586B1 (en) | 2018-06-15 |
Family
ID=62628831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170122877A KR101867586B1 (en) | 2017-09-22 | 2017-09-22 | Apparatus and method for processing image |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2019061642A (en) |
KR (1) | KR101867586B1 (en) |
WO (1) | WO2019059460A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113727085A (en) * | 2021-05-31 | 2021-11-30 | 荣耀终端有限公司 | White balance processing method and electronic equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011529593A (en) * | 2008-07-28 | 2011-12-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Using repair techniques for image correction |
KR20120074924A (en) | 2010-12-28 | 2012-07-06 | 경북대학교 산학협력단 | Image detecting apparatus and image detecting method thereof |
KR20150103443A (en) * | 2014-03-03 | 2015-09-11 | 에스케이플래닛 주식회사 | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor |
KR20170038622A (en) * | 2015-09-30 | 2017-04-07 | 삼성전자주식회사 | Device and method to segment object from image |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100442835B1 (en) * | 2002-08-13 | 2004-08-02 | 삼성전자주식회사 | Face recognition method using artificial neural network, and the apparatus using thereof |
-
2017
- 2017-09-22 KR KR1020170122877A patent/KR101867586B1/en active IP Right Grant
- 2017-12-26 WO PCT/KR2017/015476 patent/WO2019059460A1/en active Application Filing
-
2018
- 2018-01-25 JP JP2018010594A patent/JP2019061642A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011529593A (en) * | 2008-07-28 | 2011-12-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Using repair techniques for image correction |
KR20120074924A (en) | 2010-12-28 | 2012-07-06 | 경북대학교 산학협력단 | Image detecting apparatus and image detecting method thereof |
KR20150103443A (en) * | 2014-03-03 | 2015-09-11 | 에스케이플래닛 주식회사 | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor |
KR20170038622A (en) * | 2015-09-30 | 2017-04-07 | 삼성전자주식회사 | Device and method to segment object from image |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113727085A (en) * | 2021-05-31 | 2021-11-30 | 荣耀终端有限公司 | White balance processing method and electronic equipment |
CN113727085B (en) * | 2021-05-31 | 2022-09-16 | 荣耀终端有限公司 | White balance processing method, electronic equipment, chip system and storage medium |
Also Published As
Publication number | Publication date |
---|---|
WO2019059460A1 (en) | 2019-03-28 |
JP2019061642A (en) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10635979B2 (en) | Category learning neural networks | |
WO2021180062A1 (en) | Intention identification method and electronic device | |
CN112232293B (en) | Image processing model training method, image processing method and related equipment | |
US11887215B2 (en) | Image processing apparatus and method for style transformation | |
CN111126258A (en) | Image recognition method and related device | |
US11164565B2 (en) | Unsupervised learning system and method for performing weighting for improvement in speech recognition performance and recording medium for performing the method | |
KR20180028442A (en) | Context-based fryers for object detection in images | |
KR20190056009A (en) | Apparatus and method related to metric learning based data classification | |
KR102641424B1 (en) | A computing apparatus and a method of operating the computing apparatus | |
KR20180055708A (en) | Device and method for image processing | |
KR20190053675A (en) | Electronic apparatus and operating method thereof | |
KR20190029083A (en) | Apparatus and Method for learning a neural network | |
KR20190094294A (en) | Artificial intelligence apparatus for controlling auto stop system based on traffic information and method for the same | |
KR20190028242A (en) | Method and device for learning neural network | |
KR20200074958A (en) | Neural network learning method and device | |
CN108492301A (en) | A kind of Scene Segmentation, terminal and storage medium | |
CN113537070B (en) | Detection method, detection device, electronic equipment and storage medium | |
US11468571B2 (en) | Apparatus and method for generating image | |
CN115131604A (en) | Multi-label image classification method and device, electronic equipment and storage medium | |
KR101867586B1 (en) | Apparatus and method for processing image | |
KR20210048271A (en) | Apparatus and method for performing automatic audio focusing to multiple objects | |
KR101910083B1 (en) | Apparatus and method for processing image | |
KR102395876B1 (en) | Product classification system and method for filtering similar images using deep learning | |
CN116259083A (en) | Image quality recognition model determining method and related device | |
CN113869367A (en) | Model capability detection method and device, electronic equipment and computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |