KR102488627B1 - 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 - Google Patents
피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 Download PDFInfo
- Publication number
- KR102488627B1 KR102488627B1 KR1020210152394A KR20210152394A KR102488627B1 KR 102488627 B1 KR102488627 B1 KR 102488627B1 KR 1020210152394 A KR1020210152394 A KR 1020210152394A KR 20210152394 A KR20210152394 A KR 20210152394A KR 102488627 B1 KR102488627 B1 KR 102488627B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- painting
- color
- ppo
- converting
- Prior art date
Links
- 238000010422 painting Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims abstract description 166
- 101800000089 Movement protein P3N-PIPO Proteins 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 115
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 47
- 239000003086 colorant Substances 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 8
- 239000003973 paint Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 34
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000005538 encapsulation Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 238000009246 art therapy Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000018747 cerebellar ataxia with neuropathy and bilateral vestibular areflexia syndrome Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000036448 vitalisation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
본 발명은 이미지 변환방법 및 장치에 관한 것으로, 본 발명에 따르면, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 낮은 문제가 있으며, 그로 인해, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅(PIPO painting)의 문제점 및 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결하기 위해, OpenCV(Open Source Computer Vision) 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화할 수 있도록 구성됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템이 제공된다.
Description
본 발명은 이미지 변환방법 및 장치에 관한 것으로, 더 상세하게는, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 낮은 문제가 있으며, 그로 인해, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅(PIPO painting)의 문제점을 해결하기 위해, 인공지능 알고리즘을 이용하여 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 한계가 있었던 기존의 피포페인팅의 문제점을 해소할 수 있도록 하기 위해서는 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 요구되나, 기존의 이미지 변환기술에서는 그러한 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결하기 위해, OpenCV(Open Source Computer Vision) 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화할 수 있도록 구성됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 관한 것이다.
최근, 컴퓨터와 같은 하드웨어 성능 및 영상처리 기술 및 발전함에 따라 원본 이미지를 필요에 따라 다양한 형태로 변환하기 위한 이미지 변환기술에 대한 관심 및 수요가 높아지고 있다.
또한, 최근에는, 스마트폰 및 소셜 네트워크 서비스(Social Network Service ; SNS)의 사용이 증가함에 따라, 각각의 사용자들에 대하여도 자신이 촬영한 사진이나 영상을 자유롭게 편집하고 다양한 형식으로 변환하기 위한 영상처리 및 이미지 변환기술에 대한 수요가 높아지고 있다.
아울러, 상기한 바와 같이 영상처리 및 이미지를 변환하기 위한 장치 및 방법에 대한 종래기술의 예로는, 먼저, 예를 들면, 한국 공개특허공보 제10-2021-0108935호에 제시된 바와 같은 "이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체"가 있다.
더 상세하게는, 상기한 한국 공개특허공보 제10-2021-0108935호는, 사용자로부터 정적이미지(static image)를 수신하는 단계; 적어도 하나의 이미지변환 템플릿(template)을 획득하는 단계; 이미지변환 템플릿에 포함된 인물의 얼굴 특징점(landmark) 정보를 추출하는 단계; 및 특징점 정보에 기초하여 정적이미지를 동적이미지(moving image)로 변환하는 단계를 포함하고, 상기 동적이미지는 정적이미지에 대응하는 프레임을 첫 번째 프레임으로 하고 이미지 변환 템플릿에 대응하는 프레임을 마지막 프레임으로 하며, 첫 번째 프레임과 마지막 프레임 사이에는 적어도 하나 이상의 프레임이 포함되고, 첫 번째 프레임에 포함된 얼굴표정이 적어도 하나 이상의 프레임을 거쳐 마지막 프레임에 포함된 얼굴표정으로 점진적으로 변화하도록 적어도 하나 이상의 프레임은 첫 번째 프레임과 마지막 프레임 간의 합성을 통해 생성되며, 마지막 프레임에 포함된 얼굴표정은 특징점 정보에 대응하여 변환되도록 구성됨으로써, 정적이미지를 이용하여 사용자가 직접 표정을 변화하면서 촬영한 것과 같은 동적이미지로 변환할 수 있도록 구성되는 이미지 변환방법 및 장치에 관한 것이다.
또한, 상기한 바와 같이 영상처리 및 이미지를 변환하기 위한 장치 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2021-0053675호에 제시된 바와 같은 "이미지 변환 방법 및 장치"가 있다.
더 상세하게는, 상기한 한국 공개특허공보 제10-2021-0053675호는, 2D 이미지를 3D 이미지로 변환하기 위한 방법으로서, 원본 이미지데이터를 수신하는 단계; 원본 이미지데이터의 3D 변환처리를 위하여 원본 이미지데이터를 전경이미지와 후경이미지로 분리하는 단계; 전경이미지와 후경이미지 사이에 배경공간을 생성하는 단계; 3D 변환처리 신경망을 통해 분리된 전경이미지와 후경이미지 사이의 배경공간을 보정하여 변환된 3D 이미지를 생성하는 단계를 포함하여, 2D 이미지에서 분리된 메인이미지인 전경이미지와 전경이미지의 백그라운드 이미지인 후경이미지 사이의 빈 공간을 3D 변환처리 신경망을 이용하여 후경이미지 환경과 동일 또는 유사한 환경으로 채우는 것에 의해 전경이미지가 도출되게 보여질 수 있도록 구성됨으로써, 효율적이면서 효과적으로 2D 이미지를 3D 이미지로 변환할 수 있도록 구성되는 이미지 변환방법 및 장치에 관한 것이다.
아울러, 상기한 바와 같이 영상처리 및 이미지를 변환하기 위한 장치 및 방법에 대한 종래기술의 또 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1847459호에 제시된 바와 같은 "이미지 변환장치 및 방법"이 있다.
더 상세하게는, 상기한 한국 등록특허공보 제10-1847459호는, 사용자의 제 1 커맨드에 응답하여 변환대상인 원본이미지를 선택하는 제 1 선택단계; 사용자의 제 2 커맨드에 응답하여 변환옵션을 선택하는 제 2 선택단계; 변환옵션에 따라 원본이미지로부터 변환된 복수의 변환이미지 각각에 대한 정보를 표시하는 표시단계; 사용자의 제 3 커맨드에 응답하여 복수의 변환이미지 중 1 이상의 이미지를 선택하는 제 3 선택단계; 사용자의 제 4 커맨드에 응답하여 제 3 선택단계에서 선택된 이미지를 저장하는 저장단계를 포함하고, 상기 제 3 커맨드는 변환이미지의 기준을 입력하는 것이며, 변환이미지의 기준은 압축률, 화질, 및 파일용량 중 1 이상이고, 상기 제 3 선택단계는 원본이미지에 대한 복수의 변환이미지 중 기준에 충족하는 변환이미지를 자동적으로 선택하도록 구성됨으로써, 이미지 변환을 함에 있어서 처리과정에 대한 효율적인 시각정보를 제공하고, 변환이미지의 선택에 있어서 보다 편리함을 제공하여 사용자의 인터페이스적 편의성을 도모할 수 있도록 구성되는 이미지 변환장치 및 방법에 관한 것이다.
상기한 바와 같이, 종래, 영상처리 및 이미지를 변환하기 위한 다양한 장치 및 방법들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 한계가 있는 것이었다.
즉, 최근, 코로나 19(COVID-19)로 인해 비대면 활동이 일반화되면서 취미생활에 있어서도 여러 사람이 함께 모여서 즐기는 단체활동보다는 각 개인이 혼자서도 즐길 수 있는 개인활동들이 주목받고 있으며, 이러한 개인 취미생활 중 하나로 피포페인팅(PIPO painting)에 대한 수요가 증가하고 있다.
여기서, 피포페인팅의 피포(PIPO)는 Purity, Palm, Puzzling, Painting의 앞글자를 합성하여 만들어진 단어이고, 피포페인팅은 DIY(Do It Yourself) 그림 그리기 키트의 일종으로, 캔버스에 특정 그림의 선이 미리 그려져 있고 선의 내부에는 칠해야 할 색상의 번호가 기입되어 있어 번호에 맞는 색을 칠하는 것만으로 하나의 그림이 완성되도록 구성되어 있다.
따라서 피포페인팅은 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있고 개인별로 관심있는 이미지를 마음대로 그릴 수 있으므로 그림 그리기를 좋아하는 개인의 취미생활로 적합하며, 최근의 코로나 19로 인한 비대면 시장이 확대되면서 자연스럽게 피포페인팅을 즐기는 인구수도 증가하고 있다.
그러나 피포페인팅 제품은 수작업으로 제작되는 것이 대부분이므로 일반적으로 대량생산이 아닌 맞춤형 제작의 경우 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 낮은 문제가 있으며, 그로 인해, 기존에 제작된 피포페인팅 제품은 비교적 쉽게 구매하여 사용할 수 있지만 소비자가 원하는 이미지가 피포페인팅 제품으로 제작되어 있지 않은 경우는 각 개인이 직접 제작하기가 어려운 문제가 있다.
여기서, 예를 들면, 인공지능 알고리즘 등을 이용하여, 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있는 방법을 제시할 수 있다면 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 피포페인팅의 문제점을 해결하고 피포페인팅의 대중화에 기여할 수 있을 것으로 기대되나, 상기한 바와 같이, 종래기술의 이미지 변환장치 및 방법에는 이와 같이 기존의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 하는 기술내용에 대하여는 제시된 바 없었다.
따라서 상기한 바와 같이, 수작업으로 제작되어 제작기간이 길고 단가가 높으며, 그로 인해 접근성이 떨어지는 한계가 있었던 종래기술의 피포페인팅의 문제점 및 기존의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 제시되지 못한 한계가 있었던 종래기술의 이미지 변환장치 및 방법들의 문제점을 해결하기 위하여는, 비교적 간단한 구성 및 저렴한 비용으로 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 새로운 구성의 피포페인팅을 위한 이미지 변환방법 및 장치를 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 낮은 문제가 있으며, 그로 인해, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅(PIPO painting)의 문제점을 해결하기 위해, 인공지능 알고리즘을 이용하여 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템을 제시하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 한계가 있었던 기존의 피포페인팅의 문제점을 해소할 수 있도록 하기 위해서는 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 요구되나, 기존의 이미지 변환기술에서는 그러한 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결하기 위해, OpenCV(Open Source Computer Vision) 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화할 수 있도록 구성됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템을 제시하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 피포페인팅(PIPO painting) 이미지 자동변환방법에 있어서, 입력되는 원본 이미지를 다수의 구역으로 분할하는 처리가 수행되는 구역분할(Sectorization) 단계; 상기 구역분할 단계에서 다수의 구역으로 분할된 이미지에 대하여 각 구역의 색상이 변경되는 경계선을 그리는 처리가 수행되는 경계선 생성(Drawing Sector boundary)단계; 상기 경계선 생성단계를 통해 각각의 구역에 대하여 경계선이 생성된 이미지에 대하여 각 구역별로 미리 정해진 위치에 해당하는 색상번호를 기입하는 처리가 수행되는 색상번호 기입(Insert Sector Number)단계; 및 상기 구역분할 단계, 상기 경계선 생성단계 및 상기 색상번호 기입단계의 각각의 처리결과에 근거하여 최종 결과물로서 피포페인팅 이미지를 생성하고 출력하는 처리가 수행되는 출력단계를 포함하는 처리가 컴퓨터나 전용의 하드웨어를 통해 실행되도록 구성됨으로써, 입력되는 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행될 수 있도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법이 제공된다.
여기서, 상기 구역분할 단계는, 원본 이미지를 그림 형태로 변경하기 위해 블러(blur) 처리가 수행되는 필터링 단계; 상기 필터링 단계에서 블러 처리된 이미지의 색상을 감소하기 위해 색상 군집화(Color Clustering) 처리가 수행되는 색상 군집화 단계; 및 상기 색상 군집화 단계에서 색상 군집화된 이미지를 확장(Sector Expanding) 하는 처리가 수행되는 이미지 확장단계를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 필터링 단계는, 블러(Blur) 필터와 양방향 필터(Bilateral Filter)를 이용하여 상기 원본 이미지에 블러(blur) 효과를 적용하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 색상 군집화 단계는, K-평균 군집화(K-Means Clustering) 알고리즘을 이용하여, 상기 필터링 단계에서 블러 처리된 이미지에 존재하는 색상을 K개의 색상으로 감소하여 군집화하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 이미지 확장단계는, 양선형 보간법(Bilinear interpolation)을 이용하여 색상 군집화된 이미지를 확장하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 이미지 확장단계는, 이미지가 확장되면서 새롭게 생성된 색상을 K개의 색상 군집화된 색상과 병합하기 위해, 색상 군집화된 K개의 색상에 대한 RGB 값을 (r1, g1, b1)이라 하고, 확장된 이미지의 픽셀에 대한 RGB 값을 각각 (r2, g2, b2)라 하며, 확장된 이미지의 픽셀 색상과 K개 중 하나의 색상 사이의 색상 벡터거리를 v라 할 때, 이하의 수학식을 이용하여 각 픽셀 색상 사이의 색상 벡터거리 v를 구하고 색상 벡터거리 v가 가장 짧은 색상으로 병합하며,
색상 벡터거리 v가 동일한 색상 인덱스가 2개 이상일 경우, 두 색상의 HSV(Hue, Saturation, Value) 값을 각각 (h0, s0, v0) 및 (h1, s1, v1)라 할 때, 이하의 수학식을 이용하여 HSV 값의 벡터거리 distance를 구하고 최소값을 비교하여 병합하는 것에 의해 새로운 색상을 K개중 하나의 색상으로 래핑(Wrapping)하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 경계선 생성단계는, 상기 구역분할 단계에서 다수의 구역으로 분할된 이미지의 전체 픽셀을 검사하여, 가로 방향 또는 세로 방향으로 인접하는 픽셀들의 RGB 값이 서로 다른 픽셀의 위치를 검출하고 해당 픽셀을 모두 검은색(RGB(0, 0, 0))으로 변환하는 것에 의해 각 구역에 대한 경계선을 생성하며, 이후 해당 이미지를 흑백으로 전환하고 3차원 이미지를 2차원 이미지로 변환하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 색상번호 기입단계는, 상기 구역분할 단계 및 상기 경계선 생성단계를 통해 각각의 구역별로 분할되고 경계선이 생성된 이미지에 대하여 픽셀 단위로 각 픽셀의 BGR(blue, green, red) 색상값을 읽어 각각의 색상 인덱스와 1 : 1 로 매칭시키고, OpenCV(Open Source Computer Vision) 기술을 이용하여, 상기 이미지의 RGB 색상공간을 CIE L*a*b* 형태로 변환하고, 각 구역별로 컨투어(Contour) 내부의 색상을 검출하며, 각각의 컨투어(Contour) 내부공간에서 모든 변에 접하는 내심원의 중심인 내심 위치를 산출하여 상기 색상 인덱스를 기입하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 색상번호 기입단계는, 상기 원본 이미지와 동일한 크기의 이미지를 생성하고, 현재 컨투어(contour)의 경계선을 흰색으로 그린 후, 각각의 컨투어(contour)에 대한 계층구조(hierarchy)에 근거하여 추출된 자식 컨투어(contour)들을 검은색으로 칠하는 것에 의해, 각각의 컨투어(contour) 내부의 모든 자식 컨투어(contour)들에 대한 마스킹(Masking) 작업이 수행되는 오버레이(Overlay) 처리단계를 더 포함하여 구성되는 것을 특징으로 한다.
아울러, 상기 출력단계는, 상기 원본 이미지와 동일한 크기의 백지 이미지를 생성하고, 상기 구역분할 단계와 상기 경계선 생성단계 및 상기 색상번호 기입단계의 각각의 처리결과에 근거하여, 상기 백지 이미지에 원본 그림의 윤곽선들을 그리고, 각각의 컨투어(contour)에 대하여, L*a*b* 이미지에서 컨투어의 외부는 검정색으로 칠하여 마스킹(Masking) 처리하고 컨투어 내부 색상의 평균값을 추출하며, 유클리드 거리(Euclideam distance) 계산공식을 이용하여, 상기 L*a*b* 이미지의 색상값에서 해당 평균값과 가장 근접한 색상값의 색상 인덱스를 찾아 내심 위치에 기입하는 작업이 모든 컨투어(contour)에 대하여 반복 수행되는 것에 의해 최종 결과물로서 피포페인팅 이미지를 생성하고 출력하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 출력단계는, 사용자가 물감의 색과 색상 인덱스를 용이하게 확인할 수 있도록, 상기 피포페인팅 이미지의 일측에 각각의 색상 인덱스와 해당 색상을 범례 형식으로 표시하는 처리가 수행되는 범례표시단계를 더 포함하여 구성되는 것을 특징으로 한다.
또한, 본 발명에 따르면, 피포페인팅 이미지 자동변환 시스템에 있어서, 변환하고자 하는 이미지를 입력받는 처리가 수행되도록 이루어지는 입력부; 상기 입력부를 통해 입력된 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 이루어지는 이미지 변환부; 및 상기 이미지 변환부를 통해 변환된 이미지를 출력하는 처리가 수행되도록 이루어지는 출력부를 포함하여 구성되고, 상기 이미지 변환부는, 상기에 기재된 따른 피포페인팅 이미지 자동변환방법을 이용하여, 상기 입력부로부터 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 상기 출력부를 통해 출력하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 시스템이 제공된다.
여기서, 상기 시스템은, 상기 입력부 및 상기 출력부를 통하여 입력 또는 출력되는 각각의 데이터를 송수신하기 위해, 유선 또는 무선통신 중 적어도 하나의 방식을 통하여 통신을 행하는 처리가 수행되도록 이루어지는 통신부; 및 상기 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 더 포함하여 구성되는 것을 특징으로 한다.
아울러, 본 발명에 따르면, 사용자가 원하는 이미지를 자동으로 피포페인팅 이미지로 변환하여 제공하도록 구성되는 피포페인팅 이미지 자동변환 서비스 제공시스템에 있어서, 사용자의 요청에 따라 입력된 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되도록 이루어지는 서버; 및 사용자가 상기 서버에 원하는 이미지를 전송하여 이미지 자동변환 서비스를 요청하고 제공받기 위한 사용자 단말기를 포함하여 구성되고, 상기 서버는, 상기에 기재된 피포페인팅 이미지 자동변환방법을 이용하여, 각각의 상기 사용자 단말기로부터 전송된 원본 이미지를 피포페인팅 이미지로 변환하여 해당 사용자 단말기로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공시스템이 제공된다.
여기서, 상기 사용자 단말기는, PC를 포함하는 정보처리장치를 이용하여 구성되거나, 또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 한다.
더욱이, 본 발명에 따르면, 피포페인팅 이미지 자동변환 서비스 제공방법에 있어서, 입력되는 원본 이미지를 피포페인팅 이미지로 자동으로 변환하는 처리가 수행되도록 이루어지는 이미지 변환시스템을 구현하는 처리가 수행되는 시스템 구축단계; 및 상기 시스템 구축단계에서 구축된 상기 이미지 변환시스템을 이용하여 사용자의 요청에 따라 각각의 사용자 단말기를 통해 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되는 서비스 제공단계를 포함하여 구성되고, 상기 이미지 변환시스템은, 상기에 기재된 피포페인팅 이미지 자동변환방법을 이용하여 입력되는 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공시스템이 제공된다.
여기서, 상기 사용자 단말기는, PC를 포함하는 정보처리장치를 이용하여 구성되거나, 또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 한다.
상기한 바와 같이, 본 발명에 따르면, OpenCV 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화하는 것에 의해 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템이 제공됨으로써, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 떨어지는 데 더하여, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅의 문제점을 해결할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축하여 피포페인팅의 대중화에 기여할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 인공지능 알고리즘을 이용하여 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 제공됨으로써, 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 한계가 있었던 기존의 피포페인팅의 문제점을 해소할 수 있도록 하기 위해 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결할 수 있다.
도 1은 본 발명의 실시예에 따라 색상 군집화를 통해 전체 색상이 감소된 이미지를 나타내는 도면이다.
도 2는 경계선을 기준으로 인접 픽셀과 다른 색상을 가진 모든 픽셀을 검은색으로 변경하여 선을 그려준 이미지를 나타내는 도면이다.
도 3은 RGB 색상공간을 CIE L*a*b* 색상공간으로 변환하는 처리과정을 나타내는 도면이다.
도 4는 컨투어(contour) 및 계층구조(hierarchy) 산출 알고리즘의 의사 코드(Pseudo code)를 나타내는 도면이다.
도 5는 도 4에 나타낸 알고리즘을 통해 생성된 계층구조(hierarchy)의 구체적인 구성을 나타내는 도면이다.
도 6은 색상번호 기입 작업의 전체적인 흐름을 개략적으로 나타내는 개념도이다.
도 7은 컨투어(contour)의 내심을 산출하기 위한 의사 코드(Pseudo code)를 나타내는 도면이다.
도 8은 도 7의 읫 코드에서 1번 코드를 수행한 결과 이미지를 나타내는 도면이다.
도 9는 색상 인덱스 레이블의 구성예를 개략적으로 나타내는 도면이다.
도 10은 색상번호 기입이 모두 완료된 피포페인팅 이미지의 구성예를 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 12는 도 11에 나타낸 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 13은 도 11에 나타낸 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 서비스 제공시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 경계선을 기준으로 인접 픽셀과 다른 색상을 가진 모든 픽셀을 검은색으로 변경하여 선을 그려준 이미지를 나타내는 도면이다.
도 3은 RGB 색상공간을 CIE L*a*b* 색상공간으로 변환하는 처리과정을 나타내는 도면이다.
도 4는 컨투어(contour) 및 계층구조(hierarchy) 산출 알고리즘의 의사 코드(Pseudo code)를 나타내는 도면이다.
도 5는 도 4에 나타낸 알고리즘을 통해 생성된 계층구조(hierarchy)의 구체적인 구성을 나타내는 도면이다.
도 6은 색상번호 기입 작업의 전체적인 흐름을 개략적으로 나타내는 개념도이다.
도 7은 컨투어(contour)의 내심을 산출하기 위한 의사 코드(Pseudo code)를 나타내는 도면이다.
도 8은 도 7의 읫 코드에서 1번 코드를 수행한 결과 이미지를 나타내는 도면이다.
도 9는 색상 인덱스 레이블의 구성예를 개략적으로 나타내는 도면이다.
도 10은 색상번호 기입이 모두 완료된 피포페인팅 이미지의 구성예를 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 12는 도 11에 나타낸 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 13은 도 11에 나타낸 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 서비스 제공시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 낮은 문제가 있으며, 그로 인해, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅(PIPO painting)의 문제점을 해결하기 위해, 인공지능 알고리즘을 이용하여 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 한계가 있었던 기존의 피포페인팅의 문제점을 해소할 수 있도록 하기 위해서는 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 요구되나, 기존의 이미지 변환기술에서는 그러한 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결하기 위해, OpenCV(Open Source Computer Vision) 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화할 수 있도록 구성됨으로써, 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템의 구체적인 내용에 대하여 설명한다.
더 상세하게는, 상기한 바와 같이 기존의 피포페인팅 제작방식은 사람이 직접 이미지를 피포페인팅 형태로 변환해야 한다는 단점이 있으며, 이에, 실제 시장에서 사용자 맞춤형 피포페인팅 제품을 판매하는 기업에서는 제작과정이 수작업으로 이루어진다는 점을 명시하여 실제 소비자가 제품을 제공받지까지 2주 가량의 시간이 소요됨을 경고하고 있다.
또한, 이를 확인하기 위해 본 발명자들이 실제 제품을 구매한 결과, 2021년 07월 16일에 주문한 제품을 2021년 08월 16일에 수령하여 실제로 경고한 2주의 시간보다 긴 31일의 시간이 걸렸으며, 제품의 가격 또한 수작업으로 제작됨으로 인해 개인의 취미생활이라 하기에는 비교적 고가이므로, 소비자들의 접근성이 좋지 않은 문제가 있다.
아울러, 피포페인팅은 그림의 경계를 선으로 구분하여 단위구역(Section)을 퍼즐처럼 구성하고 각 퍼즐은 고유의 색상이 지정되고, 이와 같이 색상이 지정된 단위구역으로 구성된 피포페인팅 시작그림을 BF(Base Figure)라 정의하면, BF에는 원본과 유사한 색상을 지정하여야 한다.
즉, BF를 생성하는 것은 피포페인팅을 완성했을 때 그림의 완성도를 결정하는 중요한 작업이므로, BF 생성작업은 상당한 노하우와 경험이 필요하고, 더욱이, 일반적으로, 이미지 내의 색상과 가장 적합한 물감을 찾는 작업은 전문가의 영역으로 분류되므로, 따라서 피포페인팅 이미지는 비전문가가 쉽게 제작할 수 없다는 문제가 있다.
이에, 본 발명에서는, 후술하는 바와 같이, OpenCV(Open Source Computer Vision) 기술을 활용하여, 이미지를 그림처럼 변환하고 색상경계선을 기준으로 라인을 그리며, 라인 내부에 색상 숫자를 기입하는 모듈을 설계하여, 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화할 수 있도록 구성됨으로써, 임의의 이미지를 자동으로 피포페인팅 이미지로 변환하는 것을 통해 맞춤형 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축할 수 있도록 구성되는 이미지 변환방법 및 시스템을 제시하였다.
이를 위해, 본 발명에 따르면, 후술하는 바와 같이, 구역분할(Sectorization), 색상 군집화(Color Clustering), 이미지 확장(Sector Expanding), 경계선 생성(Drawing Sector boundary), 색상번호 기입(Insert Sector Number) 및 오버레이 처리(Resolving Overlay Problem)의 각각의 처리단계를 포함하여, 원본이미지를 그림처럼 변형하기 위해 블러(Blur) 처리하고, K-평균(K-Means) 알고리즘을 이용하여 k개의 색상으로 군집화한 이미지를 생성한 후, 이미지에서 색상이 변경되는 픽셀을 검은색으로 변경하여 선을 그려준 뒤 2차원 이미지로 변환하며, 선이 그려진 이미지에서 윤곽선과 계층관계를 분석하여 내심점을 구하고 겹치는 부분은 제거하여 색상인덱스 번호를 기입하는 것에 의해, OpenCV 기반의 영상처리 기술을 이용하여 원본이미지를 자동으로 피포페인팅 도안 이미지로 변환하도록 구성되는 피포페인팅 이미지 자동변환방법 및 시스템이 제시된다.
더 상세하게는, 먼저, 구역분할(Sectorization) 처리에 대하여 설명하면, 본 발명에서는, 하나의 원본 이미지를 다수의 구역으로 분할하는 작업을 구역분할이라 정의하며, 이를 위한 첫번째 과정으로서, 이미지에 포함된 수많은 색상을 단순화하기 위한 블러(Blur) 필터와 이미지의 가장자리를 선명하게 유지하는 것이 특징인 양방향 필터(Bilateral Filter)를 각각 적용하여 원본 이미지를 그림처럼 바꾸는 작업이 수행된다.
이때, 이미지 크기에 따라 흐림 정도를 조절하기 위해 이미지의 가로(W)와 세로(H)의 픽셀 수를 계산하여 이미지 크기에 따른 파라미터 조절을 위한 imageSize 변수를 계산하며, 여기서, imageSize는 W와 H를 곱한 값의 제곱근을 100으로 나눈 뒤 나머지를 버림한 값이다.
또한, imageSize 값을 이용하여 양방향 필터의 파라미터 중 sigmaColor와 d 값을 설정하며, 여기서, sigmaColor는 3차원 색상공간에서 필터의 표준편차이고, sigmaColor의 값이 커질수록 이미지 흐림 효과가 더 크게 나타나고 이웃한 픽셀과 기준색상의 영향이 커지며, d는 필터링에 사용된 픽셀 수를 나타낸다.
아울러, 본 발명에서는 sigmaColor의 값을 흐림효과가 크지 않은 것으로 경고된 10 미만의 값보다 큰 10을 기본값으로 설정하였고, 이때, 이미지 크기에 따른 흐림효과의 강도를 높이기 위해, 미리 계산된 imageSize의 값을 sigmaColor 값에 추가하였으며, d는 -1로 설정하여 sigmaColor 값에 따라 자동으로 권장값이 설정되도록 하였다.
여기서, sigmaColor의 값이 일정 수준 이상으로 커지게 되면 작업시간이 오래 소요되고 이미지가 과도하게 변형되어 만화처럼 나타날 수 있으므로, OpcnCV 공식 문서에서 경고하는 sigmaColor 값의 적정 최대수준인 150을 최대값으로 설정하여, 본 발명에서 계산한 sigmaColor의 값과 150 중 작은 값을 최종 sigmaColor 값으로 설정하였다.
다음으로, 색상 군집화(Color Clustering) 처리에 대하여 설명하면, 상기한 바와 같이 블러(Blur) 처리된 이미지에 색상 군집화 과정이 수행되며, 본 발명에서는, 이미지상에 존재하는 수십만가지의 모든 색상을 k개의 색상으로 줄이기 위해 K-평균 군집화(K-Means Clustering) 알고리즘을 적용하였다.
여기서, K-Means 알고리즘은 비지도학습(unsupervised learning)의 일종으로 반복적인 최적화 기법을 통해 입력된 데이터를 사용자가 지정한 특정 개수의 클러스터로 집합 또는 분류하는 알고리즘이며, 단순하고 계산속도가 빠른 장점이 있어 영상처리 분야에서 일반적으로 사용되고 있다.
더 상세하게는, K-Means 알고리즘의 시간복잡도는 O(nkdi)로 나타내고, 여기서, n은 d차원의 벡터수, k는 클러스터 개수, d는 차원수, i는 반복횟수를 각각 의미한다.
또한, 반복횟수 i는 서로 다른 초기중심(initial centroid)을 기준으로 군집화하여 가장 좋은 성능의 결과를 도출하기 위한 것으로, 높을수록 정확도가 높아지는 반면 시간 복잡도가 커진다는 단점이 있으나, 본 발명에서는, 반복횟수를 증가시켜도 결과 이미지의 시각적 차이가 미비하여 1로 설정하였다.
이때, 최초 초기중심(initial centroid)을 설정하는 방식에 따라 결과가 완전히 다르게 나타날 수 있으므로, 이러한 단점을 보완하기 위해, 본 발명에서는, 초기중심의 설정방식에 K-Means++ 알고리즘을 적용하였다.
즉, K-Means++ 알고리즘은 클러스터링 기반 알고리즘 중에서도 널리 사용되고 있는 K-Means 알고리즘의 정확도 향상을 위해 개량된 알고리즘으로, 랜덤 지정방식보다 계산시간이 소요되지만 클러스터의 중심을 넓게 분포시켜 최적의 해를 찾는 것이 보장된다는 장점이 있다.
이에, 본 발명에서는, 상기한 바와 같이 K-평균 군집화(K-Means Clustering)를 통해 전체 이미지의 색상을 K개로 감소하여 새로운 이미지를 생성하였으며, 즉, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따라 색상 군집화를 통해 전체 색상이 감소된 이미지를 나타내는 도면이다.
도 1에 있어서, 도 1a는 원본 이미지이며, 도 1b와 도 1c는 각각 K를 8과 32로 설정하여 색상을 감소시킨 후 재생성한 이미지의 결과를 각각 나타내고 있다.
다음으로, 이미지 확장(Sector Expanding) 처리에 대하여 설명하면, 그림영역 경계(Drawing Sector Boundray)와 구역번호 삽입(Insert Sector Number)의 정확도를 높이고 결과 이미지의 품질향상을 위해서는 이미지를 확장하는 작업이 필요하며, 이때, 원본 이미지의 크기에 따라 고정된 배율로 이미지를 확장하게 될 경우 이미지가 확장되어도 여전히 작거나 또는 너무 크게 확장되는 문제가 발생하므로, 이미지 크기에 따라 확장배율을 적절히 조정할 필요가 있다.
더 상세하게는, 이미지 출력(인쇄)에 사용되는 단위는 DPI(Dots per Inch)로, 이는 실제 크기 1인치 당 점이 몇 개가 들어가는지를 의미하며, 일반적으로 시중에 판매되는 캔버스의 크기는 평균 50cm(19.68inch)이므로, 캔버스 출력시 권장 픽셀값은 출력하고자 하는 캔버스 길이(inch)에서 DPI를 곱하여 계산할 수 있다.
즉, 상용 제품에서 주로 사용하는 200DPI를 기준으로 캔버스의 길이 19.68inch를 곱했을 때 권장 픽셀값은 3,937 픽셀이므로, 따라서 3,937 픽셀보다 큰 값으로 이미지를 조절(resize)해야 하고, 이에, 본 발명에서는, 이미지의 가로와 세로 크기 중 작은 값을 4000 픽셀 이상이 되도록 하는 최소 배율을 계산하였다.
또한, 이미지 확장시에는 보간법(interpolation)을 적용하며, 이러한 이미지 보간 기법은 단순히 저해상도 이미지를 고해상도 이미지로 변환하는 것뿐만 아니라 특정 부분의 확대(zooming)나, CT, MRI 등과 같은 의료영상 스캔 등에도 광범위하게 사용되는 영상처리기술이다.
아울러, 본 발명에서는, 이러한 이미지 보간법으로서 이미지 확장시 이미지의 라인을 유지하며 확장하는 특징을 가지는 양선형 보간법(Bilinear interpolation)을 적용하였으며, 즉, 양선형 보간법은 1차원 선형보간법을 가로방향과 세로방향으로 연속하여 적용한 기법으로, 인접한 좌우 두 화소값의 크기를 연결한 직선상의 값으로 두 화소 사이의 임의의 위치에서의 화소값을 예측하는 방법이다.
여기서, 이미지가 확장되면서 인간의 시각으로는 기존과 동일한 이미지로 보이지만 실제로는 이미지가 확장되면서 수만가지 새로운 색상이 생성되며, 이후의 선을 그리는 작업은 색상 경계선을 기준으로 선이 그려지므로 새롭게 생성된 색상을 k개의 기존 색상과 병합하는 과정이 필요하다.
이를 위해, k개의 색상 RGB 리스트에서 각각의 색상을 (r1, g1, b1)이라 하고, 현재 계산하고자 하는 픽셀의 RGB 값을 각각 (r2, g2, b2)라 하며, 기존 픽셀 색상과 k개 중 하나의 색상 사이의 색상 벡터거리를 v라고 할 때, v를 구하는 과정은 이하의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
즉, 벡터거리의 최소값은 병합할 색상과 기존 픽셀 색상의 색상 벡터거리가 가장 짧은 값이므로 색상이 가장 유사하다고 볼 수 있다.
여기서, 상기한 바와 같이 RGB 값으로 색상 벡터거리를 계산할 경우 같은 벡터거리를 가지는 색상이 여러 개 나올 수 있으며, 예를 들면, 기존 색상의 RGB 값이 (10, 20, 30) 일 때, (5, 20, 35)와 (15, 15, 30) 두 가지 색상의 벡터거리는 동일하다.
이를 해결하기 위해, 상기한 [수학식 1]을 통해 계산된 벡터거리가 동일한 인덱스가 2개 이상일 경우, 두 번째 조건으로, 색상의 HSV(Hue, Saturation, Value) 값을 비교하며, 이를 위해, 먼저, RGB 값을 HSV 값으로 변환한다.
여기서, HSV는 색상, 채도, 명도의 좌표를 이용하여 특정 색을 지정하는 색상 표현방법 중 하나이며, HSV 값 또한 마찬가지로 HSV 사이의 벡터거리를 구하여 최소값을 구하는 방식으로 산출된다.
더 상세하게는, 두 HSV 값을 각각 (h0, s0, v0), (h1, s1, v1)라고 할 때, HSV 값의 벡터거리 distance는 이하의 [수학식 2]를 통해 구할 수 있다.
[수학식 2]
상기한 바와 같이 이미지 구역분할(Image Sectorization) 과정은 원본 이미지를 흐림(blur) 처리 후 색상을 k개로 군집화하며, 그 후 이미지를 확장하고, 그 과정에서 생성된 새로운 색상을 기존 k개의 색상과 색상 벡터거리 계산을 통해 k개중 하나의 색상으로 래핑(Wrapping)하는 과정으로 이루어진다.
다음으로, 경계선 그리기(Drawing Sector boundary) 과정은, 원본 이미지에서 색상 군집화를 통해 색상을 k개로 줄인 뒤 그림처럼 변환된 이미지에서 구역(sector) 색상이 변경되는 경계선을 기준으로 선을 그리는 처리가 수행된다.
이를 위해, 이미지의 전체 픽셀을 비교하여 인접 픽셀과 다른 색상을 가진 모든 픽셀을 검은색으로 변환하여 선이 끊어지지 않도록 하며, 이때, 선의 굵기가 두꺼울수록 선이 겹치는 구간이 발생하거나 선 내부면적이 줄어드는 등 최종 결과 이미지에 색을 칠하기 어려워지므로, 바람직하게는, 선을 가장 얇게 그려주기 위해 모든 선을 1 픽셀 두께로 그려준다.
즉, 도 2를 참조하면, 도 2는 상기한 바와 같이 구역 경계선(Sector Boundary)을 기준으로 인접 픽셀과 다른 색상을 가진 모든 픽셀을 검은색으로 변경하여 선을 그려준 이미지를 나타내는 도면이다.
도 3에 나타낸 바와 같이, 본 발명에서는, 두 라인을 함께 비교하여 인접한 픽셀의 RGB 색상값이 다른 픽셀 인덱스를 모두 구하고, 이때, 이미지의 가로방향과 세로방향을 모두 비교하여 인접한 픽셀과 색상이 다른 모든 픽셀 위치를 구하여 픽셀 위치를 계산한 다음, 해당 픽셀을 모두 RGB(0,0,0)으로 변경하여 검은색으로 변환한 후, 이미지를 흑백으로 전환하여 3차원 이미지를 2차원 이미지로 변환하였다.
다음으로, 선 내부공간의 특정 위치에 색상번호를 기입하는 색상번호 삽입(Insert Sector Number) 처리과정은, 내부공간에서 모든 변에 접하는 원인 내심원을 찾아 내심원의 중심인 내심에 번호를 기입하도록 구성될 수 있다.
이때, 가장 바깥부분(이미지 가장자리)에 선이 없으면 내심을 구할 수 없으므로, 해당 모듈의 마지막 과정으로서 이미지 가장자리에 임의의 선을 그어 주도록 하는 것에 의해 색상번호 기입과정에서의 정확도를 높일 수 있도록 구성될 수 있다.
즉, 상기한 바와 같이 하여 그림화된 이미지에 색상 경계선까지 추출되면 이후 색상 경계선 내부에 색상번호를 기입하는 과정이 수행되며, 이때, 색상번호는 사용자가 내부에 칠할 색(물감)의 번호일 수 있으며, 이를 통해 사용자가 그림 도면을 받을 때 해당 색상번호를 확인하여 칠할 색(물감)을 선택하는 데 참고할 수 있다.
더 상세하게는, 색상번호 기입작업은, 입력받은 이미지에 대하여 같은 색상구역(sector)의 경계선을 의미하는 컨투어(Contour) 내부의 색상을 각각 검출하여 색상 인덱스를 기입하는 처리가 수행되도록 구성될 수 있다.
여기서, 색상 번호를 기입하기 전에 먼저 준비단계가 필요하며, 즉, 작업할 이미지의 모든 색상을 추출하여 각 색상과 인덱스를 1:1로 매칭시켜야 하므로, 이를 위해, 작업할 이미지를 픽셀 단위로 읽어서 각 픽셀의 BGR(blue, green, red) 색상값을 얻은 후, 각 변수에 해당 BGR 값을 중복을 배재하여 기입하고, 이때, 색상번호는 BGR 값들을 순서대로 1부터 카운트한 인덱스 수로 사용한다.
또한, 컨투어(Contour) 내부의 색상을 검출하기 위해서는 이미지의 색상공간을 CIE L*a*b* 형태로 변환해야 하며, 여기서, CIE L*a*b* 색상공간은 RGB와 달리 매체에 독립적이며, 인간의 시각에 대한 연구를 바탕으로 정의된 것으로서, CIE L*a*b* 색상공간에서 L*값은 밝기, a*은 빨강과 초록, b*은 노랑과 파랑을 각각 나타낸다.
즉, 도 3 내지 도 5를 참조하면, 도 3은 RGB 색상공간을 CIE L*a*b* 색상공간으로 변환하는 처리과정을 나타내는 도면이고, 도 4는 컨투어(contour) 및 계층구조(hierarchy) 산출 알고리즘의 의사 코드(Pseudo code)를 나타내는 도면이며, 도 5는 도 4에 나타낸 알고리즘을 통해 생성된 계층구조(hierarchy)의 구체적인 구성을 각각 나타내는 도면이다.
도 3에 나타낸 바와 같이, 색상공간을 변환하는 처리과정은, 상기한 바와 같은 색상 군집화 과정의 결과물인 군집 색상 이미지(Clusted color image)를 이진화하여 새로운 변수에 저장하고, 해당 바이너리 이미지로 컨투어(contour)의 리스트에 컨투어(contour)의 계층관계를 표현한 계층구조(hierarchy) 리스트를 추가로 생성하도록 구성될 수 있다.
여기서, 이러한 작업의 의사 코드(Pseudo code)는 도 4에 나타낸 바와 같이 구성될 수 있으며, 상기한 계층구조(hierarchy)는 도 5에 나타낸 바와 같이 구성될 수 있다.
아울러, 도 4의 4번 라인은 사용자 설정에 따라 Contour 전체를 반환받거나 Boundary Box 좌표만 반환받을 수 있으며, 본 발명에서는 도 3의 알고리즘 구현을 위해 OpenCV의 findContours()를 활용하였다.
즉, 본 발명의 실시예에 있어서, OpenCV에서 제공하는 cv2.RETR_TREE를 활용하여 Tree 형태를 확인하였으며, 컨투어(contour)의 상관관계를 추출하기 위한 메서드는 findContours를 사용하여 구성될 수 있다.
계속해서 오버레이 문제의 처리방법(Resolving Overlay Problem)에 대하여 설명하면, 각각의 컨투어(contour)들은 서로 간의 상관관계가 복잡하게 얽혀 있으므로 색상번호를 기입하는 작업시 색상 인덱스가 기입되는 좌표에 자식 컨투어(contour)가 위치한다면 서로 겹치게 되는 문제가 발생하며, 이를 해결하기 위해서는 컨투어(contour) 내부의 모든 자식들에 대한 마스킹(Masking) 작업이 필요하다.
더 상세하게는, 도 5를 참조하면, 도 5는 도 4에 나타낸 알고리즘을 통해 생성된 계층구조(hierarchy)를 출력한 것으로, hierarchy 변수의 각 요소 4번째 인덱스에는 부모 컨투어(contour)의 인덱스가 적혀 있다.
즉, 각 항목별 4번째 인자(도 5d)는 부모 컨투어(contour)의 인덱스를 나타내며, -1인 값은 부모 컨투어(contour)가 존재하지 않는 항목이므로, 따라서 4번째 인자(도 5d)가 현재 컨투어(contour)와 동일한 요소들만 추출한다면 해당 컨투어(contour) 내부에 오버레이(overlay) 되는 모든 자식들을 추출할 수 있고, 추출한 모든 자식들은 배열 형식의 children 변수로 저장한다.
도 6을 참조하면, 도 6은 색상번호 기입 작업의 전체적인 흐름을 개략적으로 나타내는 개념도이다.
도 6에 나타낸 바와 같이, 마스킹(Masking) 작업은, 먼저, 해당 이미지와 동일한 크기의 이미지를 생성하고(도 6a), 전체를 마스킹한 다음(도 6b), 현재 컨투어(contour) 경계선을 흰색으로 그리고(도 6c), children 변수에 들어있는 자식 컨투어(contour)들에 대하여 검은색으로 칠하면 마스킹(Masking) 작업이 완료된다(도 6d).
여기서, 이때의 흰색 영역이 컨투어(contour)의 외부와 내부의 자식 영역을 제외한 순수 컨투어(contour) 내부 영역이며, 이후는 컨투어(contour) 내부에 색상 인덱스가 기입될 좌표를 결정하는 처리가 수행되어야 한다.
이때, 기입될 좌표는 해당 컨투어(contour)의 내심이며, 여기서 무게중심이 아닌 내심으로 해야 하는 이유는 컨투어(contour)의 모양에 따라 무게중심이 컨투어(contour) 외부에 위치하는 경우가 있기 때문이고, 내접원과 내심의 예시는 도 6e의 적색 원과 적색 점 부분이다.
또한, 도 7 및 도 8을 참조하면, 도 7은 컨투어(contour)의 내심을 산출하기 위한 의사 코드(Pseudo code)를 나타내는 도면이고, 도 8은 도 7의 읫 코드에서 1번 코드를 수행한 결과 이미지를 나타내는 도면이다.
도 7 및 도 8에 나타낸 바와 같이, 컨투어(contour)의 내심 산출을 위한 의사 코드(Pseudo code)는 도 7에 나타낸 바와 같이 구성될 수 있으며, 도 7의 의사 코드(Pseudo code)에서 1번 코드를 수행한 결과 이미지의 예시는 도 8에 나타낸 바와 같다.
여기서, 도 8에 있어서, 원본 이미지는 여러 장의 트럼프 카드를 평평한 곳 위에 올려놓은 이미지이며, 도 8은 컨투어(contour)의 각 검정 테두리(sector boundary)로부터 떨어진 거리값에 비례한 색상값을 표현한 이미지이다.
즉, 흰색이 진할수록 외부에서 많이 떨어진 내부영역이고, 따라서 각 카드 내부에서 가장 진한 흰색 부분이 각 카드의 내심에 해당한다.
아울러, 본 발명자들은 시중에 판매하는 가장 작은 붓의 너비를 측정한 결과 반지름이 1mm인 것을 확인하였고, 또한, 상기에서 설명한 일반적인 캔버스 크기 50cm에 맞춘 그림의 최소 픽셀은 4000px 이었으며, 비율은 1mm 당 8px이었다.
따라서 각 컨투어(contour) 마다 반환받은 내접원의 반지름이 8px 미만인 경우 붓으로 칠하기 어렵다고 판단하여 결과물에 반영하지 않았으며, 색상 인덱스가 기입될 좌표로서 내접원의 중심(내심)을 색상 인덱스의 좌표로 선정한 이유는 컨투어(contour) 영역의 임의의 좌표 또는 무게중심 등에 인덱스를 기입할 경우, 예를 들면, 초승달 모양 등과 같이, 특수한 경우에서 컨투어(contour) 영역 외부에 색상번호가 기입될 수 있고, 이는 영역 내에 색상을 칠해야 하는 피포페인팅의 규칙에 크게 위배되기 때문이다.
반면, 내심의 경우 컨투어(contour)의 모양에 관계없이 항상 도형 내부에 좌표가 위치하며, 특히, 경계선에 가깝게 번호가 생성되는 경우도 피할 수 있기 때문으로, 이러한 구성으로부터, 경계선에 가깝게 번호가 위치하게 되면 경계선과 번호가 겹치게 되어 번호의 식별이 어려울 수 있고 사용자가 도면을 볼 때 가독성이 떨어지게 되는 문제점을 방지할 수 있다.
계속해서, 결과물을 생성하기 위하여 입력받은 이미지와 동일한 크기의 백지 이미지를 생성해야 하며, 백지 상태 이미지에 컨투어(contour) 경계선과 색상 인덱스들을 기입하여 결과 이미지를 만들어주게 된다.
여기서, 백지 이미지의 생성은 작업할 이미지와 같은 크기의 빈 이미지에 각 픽셀당 255값을 할당하여 생성하며, 이때, 255는 색상범위 0 ~ 255의 최대값으로 흰색에 해당한다.
이후, 생성된 백색 이미지에 그림의 윤곽선들을 그려주고, 해당 컨투어(contour)의 내부 색상 인덱스를 추출하기 위해서 상기에서 생성했던 l*a*b* 색상공간 이미지를 이용한다.
더 상세하게는, 먼저, l*a*b* 이미지에서 컨투어(contour) 외부를 검정색으로 칠하여 마스킹(Masking) 처리하고, 컨투어(contour) 내부 색상의 평균값을 추출한다.
이후, 이하의 [수학식 3]에 나타낸 바와 같이, 다차원 공간에서 두개의 점 p와 q 사이의 거리를 계산하기 위한 유클리드 거리(Euclideam distance) 계산공식을 이용하여, l*a*b* 이미지 색상값에서 해당 평균값과 가장 근접한 색상값의 인덱스를 찾아 내심 좌표에 기입하며, 이러한 작업을 모든 컨투어(contour)에 대하여 반복 진행한다.
[수학식 3]
다음으로, 사용자가 물감의 색과 색상 인덱스를 용이하게 확인할 수 있도록 하기 위해 결과물에 범례 형식으로 표시하는 처리가 수행되도록 구성될 수 있으며, 이때, 예를 들면, 범례의 위치는 이미지의 좌측 상단(y 좌표 약 40부터 x 좌표 20 ~ 90 구간)으로 하고, 범례의 내용에는 색상 인덱스를 먼저 적고 색상 인덱스 우측에 해당 색상으로 칠해진 직사각형을 그려주도록 구성될 수 있다.
즉, 도 9를 참보하면, 도 9는 색상 인덱스 레이블의 구성예를 개략적으로 나타내는 도면이다.
여기서, 도 9에 나타낸 색상 인덱스 레이블에 있어서, 도 9는 색상 인덱스 레이블의 일부로서 인덱스 4 ~ 6 부분만 캡처하여 나타낸 것이다.
도 9에 나타낸 바와 같이, 각각의 색상 인덱스에 해당하는 색으로 직사각형이 위치한 것을 확인할 수 있으며, 따라서 사용자는 해당 색상번호를 확인하여 물감 번호에 맞는 색을 용이하게 확인할 수 있다.
또한, 도 10을 참조하면, 도 10은 색상번호 기입이 모두 완료된 피포페인팅 이미지의 구성예를 나타내는 도면이다.
도 10에 있어서, 도 10은 도 1에 나타낸 원본 이미지에 대하여 본 발명에 따라 모든 작업절차가 완료된 결과물이며, 이때, 범례 기능은 비활성화한 상태이기 때문에 좌측 상단에 색상번호 인덱스가 보이지 않는 상태이다.
아울러, 도 10의 우측 하단 이미지는 결과 이미지의 일부를 확대한 것으로, 각 컨투어(contour) 영역 내심 위치에 색상번호가 기입되어 있는 것을 확인할 수 있다.
상기한 바와 같이, 본 발명에서는, OpenCV 기반의 영상처리 기술을 활용하여 원본 이미지를 자동으로 피포페인팅 도안 이미지로 변환하는 방법을 제시하였으며, 이를 위해, 먼저, 최초 이미지를 그림처럼 변형하기 위해 블러(Blur) 처리 후 K-Means 알고리즘을 이용하여 k개의 색상으로 군집화한 이미지를 생성하였다.
그 후, 이미지에서 색상이 변경되는 픽셀을 검은색으로 변경하여 경계선을 그려준 뒤 2차원 이미지로 변환하며, 경계선이 그려진 이미지에서 윤곽선과 계층 관계를 분석하여 내심점을 구하고 겹치는 부분은 제거하여 색상 인덱스 번호를 기입하는 것에 의해 최종 결과물을 생성하였다.
따라서 본 발명에서 제시된 이미지 변환방법을 실제 맞춤형 피포페인팅 제품 제작과정에 적용함으로써, 코로나 19 이후 비대면 시장의 활성화로 인해 최근 개인 여가활동으로 주목받고 있는 피포페인팅 이미지의 제작 비용을 절감하고 제품의 단가를 낮출 수 있으며, 그것에 의해, 피포페인팅의 대중화에 기여하는 데 더하여, 예를 들면, 치매환자를 위한 집단 미술치료 등과 같이, 사회적 약자들에 대한 접근성을 높일 수 있을 것으로 기대된다.
상기한 바와 같이 하여 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 용이하게 구현할 수 있으며, 즉, 도 11을 참조하면, 도 11은 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 11에 나타낸 바와 같이, 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법은, 크게 나누어, 원본 이미지의 색상을 단순화하고 그림처럼 변경하기 위해 블러(blur) 처리를 행하는 필터링 단계(S10)와, 블러 처리된 이미지에 K-Means 알고리즘을 적용하여 색상 군집화(Color Clustering)를 행하는 처리가 수행되는 색상 군집화 단계(S20)와, 색상 군집화된 이미지를 확장(Sector Expanding) 하는 처리가 수행되는 이미지 확장단계(S30)를 포함하여 이루어지는 구역분할(Sectorization) 처리단계와, 블러 처리 후 색상 군집화 및 확장을 통해 다수의 구역으로 분할된 원본 이미지에 대하여 각 구역의 색상이 변경되는 경계선을 그리는 처리가 수행되는 경계선 생성(Drawing Sector boundary)단계(S40)와, 경계선이 그려진 이미지의 각 구역에 대하여, 경계선 내부공간의 내심원의 중심에 해당하는 위치에 색상번호를 각각 기입하는 처리가 수행되는 색상번호 기입(Insert Sector Number)단계(S50) 및 상기한 각 단계의 처리결과에 근거하여 최종 결과물로서 변환된 피포페인팅 이미지를 출력하는 결과물 출력단계(S60)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 필터링 단계(S10)는, 상기한 바와 같이 원본 이미지에 포함된 수많은 색상을 단순화하기 위한 블러(Blur) 필터와 이미지의 가장자리를 선명하게 유지하기 위한 양방향 필터(Bilateral Filter)를 각각 적용하는 것에 의해 OpcnCV 기술을 이용하여 원본 이미지를 그림처럼 변형시키는 처리가 수행되도록 구성될 수 있다.
또한, 색상 군집화 단계(S20)는, 도 1을 참조하여 상기한 바와 같이, 블러(blur) 처리된 이미지에 K-평균 군집화(K-Means Clustering) 알고리즘을 적용하여 원본 이미지에 존재하는 수많은 색상을 K개의 색상으로 감소하는 처리가 수행되도록 구성될 수 있다.
아울러, 상기한 이미지 확장단계(S30)는, 상기한 바와 같이 이미지 확장시 이미지의 라인을 유지하며 확장하는 특징을 가지는 양선형 보간법(Bilinear interpolation)을 적용하여 색상 군집화된 이미지를 확장하는 처리가 수행되도록 구성될 수 있다.
이때, 이미지가 확장되면서 새롭게 생성된 색상을 k개의 기존 색상과 병합하기 위해, 먼저, 상기한 [수학식 1]에 나타낸 바와 같이 하여 각 픽셀 색상 사이의 색상 벡터거리를 구하고, 벡터거리가 동일한 인덱스가 2개 이상일 경우는 상기한 [수학식 2]에 나타낸 바와 같이 하여 HSV(Hue, Saturation, Value) 값을 비교하는 것에 의해 새로운 색상을 k개중 하나의 색상으로 래핑(Wrapping)하는 처리가 수행되도록 구성될 수 있다.
더욱이, 상기한 경계선 생성단계(S40)는, 도 2를 참조하여 상기한 바와 같이, 이미지의 전체 픽셀을 비교하여 인접 픽셀과 다른 색상을 가진(RGB 값이 다른) 모든 픽셀을 검은색(RGB(0, 0, 0))으로 변환하여 각 구역에 대한 경계선을 그리는 작업이 수행되도록 구성될 수 있다.
또한, 상기한 색상번호 기입단계(S50)는, 도 3 내지 도 10을 참조하여 상기한 바와 같이, 같은 색상구역(sector)의 경계선을 의미하는 컨투어(Contour) 내부의 색상을 각각 검출하여 색상 인덱스를 기입하는 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 먼저, 이미지를 픽셀 단위로 읽어서 각 픽셀의 BGR(blue, green, red) 색상값을 각 변수에 기입하고, 도 3 내지 도 5를 참조하여 상기한 바와 같이, OpenCV 기술을 이용하여, 이미지의 색상공간을 CIE L*a*b* 형태로 변환하고, 군집 색상 이미지(Clusted color image)를 이진화하여 새로운 변수에 저장하며, 이를 이용하여 컨투어(contour)의 계층관계를 표현한 계층구조(hierarchy) 리스트를 추가로 생성한다.
아울러, 색상번호 기입시 서로 겹치는 오버레이(Overlay) 문제를 처리하기 위해 도 6을 참조하여 상기한 바와 같이 하여 컨투어(contour) 내부의 모든 자식들에 대한 마스킹(Masking) 작업이 수행되며, 이후, 도 7 및 도 8을 참조하여 상기한 바와 같이 하여, 컨투어(contour) 내부에 색상 인덱스가 기입될 좌표인 내심을 산출하는 처리가 수행되도록 구성될 수 있다.
더욱이, 상기한 결과물 출력단계(S60)는, 도 9 및 도 10과 [수학식 3]을 참조하여 상기한 바와 같이, 결과물을 생성하기 위하여 원본 이미지와 동일한 크기의 백지 이미지를 생성하고, 상기한 각 단계의 처리결과에 근거하여 컨투어(contour) 경계선과 색상 인덱스들을 기입하여 결과 이미지를 생성하고 출력하는 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 이미지와 동일한 크기로 생성된 백색 이미지에 원본 그림의 윤곽선들을 그려주고, 각 컨투어(contour)의 내부 색상 인덱스를 추출하기 위해 l*a*b* 이미지에서 컨투어(contour) 외부를 검정색으로 칠하여 마스킹(Masking) 처리하고 컨투어(contour) 내부 색상의 평균값을 추출한 다음, [수학식 3]에 나타낸 바와 같이 유클리드 거리(Euclideam distance) 계산공식을 이용하여, l*a*b* 이미지 색상값에서 해당 평균값과 가장 근접한 색상값의 인덱스를 찾아 내심 좌표에 기입하는 작업이 모든 컨투어(contour)에 대하여 반복 수행되도록 구성될 수 있다.
이때, 도 9를 참조하여 상기한 바와 같이, 사용자가 물감의 색과 색상 인덱스를 용이하게 확인할 수 있도록 결과물의 일측에 각각의 색상 인덱스와 해당 색상을 범례 형식으로 표시하는 처리가 수행되도록 구성될 수 있다.
여기서, 상기한 본 발명의 실시예에 있어서, 예를 들면, OpenCV 기술이나 K-Means 알고리즘을 이용한 처리과정의 보다 상세한 내용에 대하여는 기존의 OpenCV 및 K-Means 알고리즘에 대한 기술내용을 참조하여 당업자가 적절하게 구성할 수 있는 사항이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 OpenCV 및 K-Means 알고리즘 등과 같이 공지된 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 구현할 수 있으며, 이를 이용하여, 원본 이미지를 피포페인팅 이미지로 자동으로 변환하는 피포페인팅 이미지 자동변환 시스템을 용이하게 구현할 수 있다.
즉, 도 12를 참조하면, 도 12는 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 12에 나타낸 바와 같이, 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환 시스템(10)은, 크게 나누어, 변환하고자 하는 이미지를 입력받는 처리가 수행되도록 이루어지는 입력부(11)와, 입력된 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 이루어지는 이미지 변환부(12)와, 이미지 변환부(12)를 통해 변환된 이미지를 출력하는 처리가 수행되도록 이루어지는 출력부(13)를 포함하여 구성될 수 있다.
여기서, 상기한 이미지 변환부(12)는, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용하여 입력부(11)로부터 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 출력부(13)를 통해 출력하는 처리가 자동으로 수행되도록 구성될 수 있다.
또한, 상기한 시스템(10)은, 입력부(11) 및 출력부(13)를 통하여 입력 또는 출력되는 각각의 데이터를 송수신하기 위해 유선 또는 무선통신 중 적어도 하나의 방식을 통하여 통신을 행하는 처리가 수행되도록 이루어지는 통신부(14) 및 상기한 각 부의 처리와 시스템(10)의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부(15)를 더 포함하여 구성될 수 있다.
즉, 상기한 시스템(10)은, 예를 들면, 하드디스크 등과 같은 별도의 저장장치나 사용자 단말기 등과 같은 외부기기에 저장된 이미지를 유선 또는 무선통신 연결을 통해 직접 입력받고 변환된 이미지를 해당 위치로 출력하거나, 또는, 서버나 인터넷 등과 같이 네트워크를 통하여 각각의 데이터를 송수신하는 방식으로 상기한 입력부(11) 및 출력부(13)의 데이터 송수신이 이루어지도록 구성될 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용하여, 사용자가 원하는 이미지를 자동으로 피포페인팅 이미지로 변환해주는 이미지 변환서비스를 용이하게 구현할 수 있다.
더 상세하게는 도 13을 참조하면, 도 13은 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용한 피포페인팅 이미지 자동변환 서비스 제공시스템(20)의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 13에 나타낸 바와 같이, 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환 서비스 제공시스템(20)은, 크게 나누어, 사용자의 요청에 따라 입력된 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되도록 이루어지는 서버(21)와, 사용자가 서버(21)에 원하는 이미지를 전송하여 이미지 자동변환 서비스를 요청하고 제공받기 위한 사용자 단말기(22)를 포함하여 구성될 수 있다.
여기서, 상기 서버(21)는, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용하여 각각의 사용자 단말기(22)로부터 전송된 이미지를 피포페인팅 이미지로 변환하여 해당 사용자 단말기로 전송하는 처리가 수행되도록 구성될 수 있다.
또한, 상기한 사용자 단말기(22)는, 예를 들면, PC와 같은 정보처리장치를 이용하여 구성될 수 있고, 또는, 바람직하게는, 예를 들면, 스마트폰이나 태블릿 PC 또는 노트북 등과 같이, 개인이 휴대 가능한 정보통신 단말기에 전용의 어플리케이션을 설치하여 구성될 수도 있으나, 본 발명은 반드시 상기한 실시예에 나타낸 구성으로만 한정되는 것은 아니며, 즉, 본 발명은 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 수정 및 변경하여 구성될 수 있는 것임에 유념해야 한다.
아울러, 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환 서비스 제공방법은, 피포페인팅 이미지를 자동으로 변환하는 처리가 수행되는 이미지 변환시스템을 구현하는 처리가 수행되는 시스템 구축단계 및 구축된 이미지 변환시스템을 이용하여 사용자의 요청에 따라 각각의 사용자 단말기를 통해 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되는 서비스 제공단계를 포함하여 구성될 수 있다.
이때, 상기한 이미지 변환시스템은, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법을 이용하여 입력되는 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 구성될 수 있고, 또한, 상기한 사용자 단말기는, 예를 들면, PC나 노트북 또는 스마트폰이나 태블릿 PC 등과 같은 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성될 수 있다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, OpenCV 기술에 기반하여 피포페인팅에 필요한 그림화, 경계추출, 색상선정 등과 같은 기존의 모든 수작업을 자동화하는 것에 의해 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템이 제공됨으로써, 기존의 명작 그림이나 유명한 이미지를 비교적 쉽게 따라 그릴 수 있으나 수작업으로 제작됨으로 인해 제품의 단가가 높고 제작기간이 길어 소비자의 접근성이 떨어지는 데 더하여, 각 개인이 원하는 이미지를 자유롭게 사용할 수 없는 한계가 있었던 기존의 피포페인팅의 문제점을 해결할 수 있으며, 그것에 의해, 피포페인팅 이미지의 제작단가를 낮추고 제작기간을 단축하여 피포페인팅의 대중화에 기여할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 인공지능 알고리즘을 이용하여 비교적 간단한 구성 및 저렴한 비용으로 사용자가 원하는 임의의 이미지를 피포페인팅 이미지로 자동으로 변환할 수 있도록 구성되는 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템에 제공됨으로써, 수작업으로 제작되어 제작기간이 길고 단가가 높으며 접근성이 떨어지는 한계가 있었던 기존의 피포페인팅의 문제점을 해소할 수 있도록 하기 위해 사용가자 원하는 임의의 이미지를 피포페인팅 이미지로 변환할 수 있는 방법이 제시된 바 없었던 종래기술의 이미지 변환장치 및 방법들의 한계를 해결할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 피포페인팅 이미지 자동변환 시스템
11. 입력부 12. 이미지 변환부
13. 출력부 14. 통신부
15. 제어부
20. 피포페인팅 이미지 자동변환 서비스 제공시스템
21. 서버 22. 사용자 단말기
11. 입력부 12. 이미지 변환부
13. 출력부 14. 통신부
15. 제어부
20. 피포페인팅 이미지 자동변환 서비스 제공시스템
21. 서버 22. 사용자 단말기
Claims (17)
- 피포페인팅(PIPO painting) 이미지 자동변환방법에 있어서,
입력되는 원본 이미지를 다수의 구역으로 분할하는 처리가 수행되는 구역분할(Sectorization) 단계;
상기 구역분할 단계에서 다수의 구역으로 분할된 이미지에 대하여 각 구역의 색상이 변경되는 경계선을 그리는 처리가 수행되는 경계선 생성(Drawing Sector boundary)단계;
상기 경계선 생성단계를 통해 각각의 구역에 대하여 경계선이 생성된 이미지에 대하여 각 구역별로 미리 정해진 위치에 해당하는 색상번호를 기입하는 처리가 수행되는 색상번호 기입(Insert Sector Number)단계; 및
상기 구역분할 단계, 상기 경계선 생성단계 및 상기 색상번호 기입단계의 각각의 처리결과에 근거하여 최종 결과물로서 피포페인팅 이미지를 생성하고 출력하는 처리가 수행되는 출력단계를 포함하는 처리가 컴퓨터나 전용의 하드웨어를 통해 실행되도록 구성되고,
상기 구역분할 단계는,
원본 이미지를 그림 형태로 변경하기 위해 블러(blur) 처리가 수행되는 필터링 단계;
상기 필터링 단계에서 블러 처리된 이미지의 색상을 감소하기 위해 색상 군집화(Color Clustering) 처리가 수행되는 색상 군집화 단계; 및
양선형 보간법(Bilinear interpolation)을 이용하여 상기 색상 군집화 단계에서 색상 군집화된 이미지를 확장(Sector Expanding) 하는 처리가 수행되는 이미지 확장단계를 포함하여 구성되며,
상기 이미지 확장단계는,
이미지가 확장되면서 새롭게 생성된 색상을 K개의 색상 군집화된 색상과 병합하기 위해, 색상 군집화된 K개의 색상에 대한 RGB 값을 (r1, g1, b1)이라 하고, 확장된 이미지의 픽셀에 대한 RGB 값을 각각 (r2, g2, b2)라 하며, 확장된 이미지의 픽셀 색상과 K개 중 하나의 색상 사이의 색상 벡터거리를 v라 할 때, 이하의 수학식을 이용하여 각 픽셀 색상 사이의 색상 벡터거리 v를 구하고 색상 벡터거리 v가 가장 짧은 색상으로 병합하며,
색상 벡터거리 v가 동일한 색상 인덱스가 2개 이상일 경우, 두 색상의 HSV(Hue, Saturation, Value) 값을 각각 (h0, s0, v0) 및 (h1, s1, v1)라 할 때, 이하의 수학식을 이용하여 HSV 값의 벡터거리 distance를 구하고 최소값을 비교하여 병합하는 것에 의해 새로운 색상을 K개중 하나의 색상으로 래핑(Wrapping)하는 처리가 수행되도록 구성됨으로써,
입력되는 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행될 수 있도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 삭제
- 제 1항에 있어서,
상기 필터링 단계는,
블러(Blur) 필터와 양방향 필터(Bilateral Filter)를 이용하여 상기 원본 이미지에 블러(blur) 효과를 적용하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 제 3항에 있어서,
상기 색상 군집화 단계는,
K-평균 군집화(K-Means Clustering) 알고리즘을 이용하여, 상기 필터링 단계에서 블러 처리된 이미지에 존재하는 색상을 K개의 색상으로 감소하여 군집화하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 경계선 생성단계는,
상기 구역분할 단계에서 다수의 구역으로 분할된 이미지의 전체 픽셀을 검사하여, 가로 방향 또는 세로 방향으로 인접하는 픽셀들의 RGB 값이 서로 다른 픽셀의 위치를 검출하고 해당 픽셀을 모두 검은색(RGB(0, 0, 0))으로 변환하는 것에 의해 각 구역에 대한 경계선을 생성하며,
이후 해당 이미지를 흑백으로 전환하고 3차원 이미지를 2차원 이미지로 변환하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 제 7항에 있어서,
상기 색상번호 기입단계는,
상기 구역분할 단계 및 상기 경계선 생성단계를 통해 각각의 구역별로 분할되고 경계선이 생성된 이미지에 대하여 픽셀 단위로 각 픽셀의 BGR(blue, green, red) 색상값을 읽어 각각의 색상 인덱스와 1 : 1 로 매칭시키고,
OpenCV(Open Source Computer Vision) 기술을 이용하여, 상기 이미지의 RGB 색상공간을 CIE L*a*b* 형태로 변환하고, 각 구역별로 컨투어(Contour) 내부의 색상을 검출하며, 각각의 컨투어(Contour) 내부공간에서 모든 변에 접하는 내심원의 중심인 내심 위치를 산출하여 상기 색상 인덱스를 기입하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 제 8항에 있어서,
상기 색상번호 기입단계는,
상기 원본 이미지와 동일한 크기의 이미지를 생성하고, 현재 컨투어(contour)의 경계선을 흰색으로 그린 후, 각각의 컨투어(contour)에 대한 계층구조(hierarchy)에 근거하여 추출된 자식 컨투어(contour)들을 검은색으로 칠하는 것에 의해, 각각의 컨투어(contour) 내부의 모든 자식 컨투어(contour)들에 대한 마스킹(Masking) 작업이 수행되는 오버레이(Overlay) 처리단계를 더 포함하여 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 제 9항에 있어서,
상기 출력단계는,
상기 원본 이미지와 동일한 크기의 백지 이미지를 생성하고,
상기 구역분할 단계와 상기 경계선 생성단계 및 상기 색상번호 기입단계의 각각의 처리결과에 근거하여, 상기 백지 이미지에 원본 그림의 윤곽선들을 그리고, 각각의 컨투어(contour)에 대하여, L*a*b* 이미지에서 컨투어의 외부는 검정색으로 칠하여 마스킹(Masking) 처리하고 컨투어 내부 색상의 평균값을 추출하며,
유클리드 거리(Euclideam distance) 계산공식을 이용하여, 상기 L*a*b* 이미지의 색상값에서 해당 평균값과 가장 근접한 색상값의 색상 인덱스를 찾아 내심 위치에 기입하는 작업이 모든 컨투어(contour)에 대하여 반복 수행되는 것에 의해 최종 결과물로서 피포페인팅 이미지를 생성하고 출력하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 제 10항에 있어서,
상기 출력단계는,
사용자가 물감의 색과 색상 인덱스를 용이하게 확인할 수 있도록, 상기 피포페인팅 이미지의 일측에 각각의 색상 인덱스와 해당 색상을 범례 형식으로 표시하는 처리가 수행되는 범례표시단계를 더 포함하여 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환방법.
- 피포페인팅 이미지 자동변환 시스템에 있어서,
변환하고자 하는 이미지를 입력받는 처리가 수행되도록 이루어지는 입력부;
상기 입력부를 통해 입력된 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 이루어지는 이미지 변환부; 및
상기 이미지 변환부를 통해 변환된 이미지를 출력하는 처리가 수행되도록 이루어지는 출력부를 포함하여 구성되고,
상기 이미지 변환부는,
청구항 1항, 청구항 3항, 청구항 4항, 청구항 7항 내지 청구항 11항 중 어느 한 항에 기재된 따른 피포페인팅 이미지 자동변환방법을 이용하여, 상기 입력부로부터 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 상기 출력부를 통해 출력하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 시스템.
- 제 12항에 있어서,
상기 시스템은,
상기 입력부 및 상기 출력부를 통하여 입력 또는 출력되는 각각의 데이터를 송수신하기 위해, 유선 또는 무선통신 중 적어도 하나의 방식을 통하여 통신을 행하는 처리가 수행되도록 이루어지는 통신부; 및
상기 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 더 포함하여 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 시스템.
- 사용자가 원하는 이미지를 자동으로 피포페인팅 이미지로 변환하여 제공하도록 구성되는 피포페인팅 이미지 자동변환 서비스 제공시스템에 있어서,
사용자의 요청에 따라 입력된 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되도록 이루어지는 서버; 및
사용자가 상기 서버에 원하는 이미지를 전송하여 이미지 자동변환 서비스를 요청하고 제공받기 위한 사용자 단말기를 포함하여 구성되고,
상기 서버는,
청구항 1항, 청구항 3항, 청구항 4항, 청구항 7항 내지 청구항 11항 중 어느 한 항에 기재된 피포페인팅 이미지 자동변환방법을 이용하여, 각각의 상기 사용자 단말기로부터 전송된 원본 이미지를 피포페인팅 이미지로 변환하여 해당 사용자 단말기로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공시스템.
- 제14 항에 있어서,
상기 사용자 단말기는,
PC를 포함하는 정보처리장치를 이용하여 구성되거나,
또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공시스템.
- 피포페인팅 이미지 자동변환 서비스 제공방법에 있어서,
입력되는 원본 이미지를 피포페인팅 이미지로 자동으로 변환하는 처리가 수행되도록 이루어지는 이미지 변환시스템을 구현하는 처리가 수행되는 시스템 구축단계; 및
상기 시스템 구축단계에서 구축된 상기 이미지 변환시스템을 이용하여 사용자의 요청에 따라 각각의 사용자 단말기를 통해 입력되는 원본 이미지를 피포페인팅 이미지로 변환하여 제공하는 처리가 수행되는 서비스 제공단계를 포함하여 구성되고,
상기 이미지 변환시스템은,
청구항 1항, 청구항 3항, 청구항 4항, 청구항 7항 내지 청구항 11항 어느 한 항에 기재된 피포페인팅 이미지 자동변환방법을 이용하여 입력되는 원본 이미지를 피포페인팅 이미지로 변환하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공방법.
- 제 16항에 있어서,
상기 사용자 단말기는,
PC를 포함하는 정보처리장치를 이용하여 구성되거나,
또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 하는 피포페인팅 이미지 자동변환 서비스 제공방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210152394A KR102488627B1 (ko) | 2021-11-08 | 2021-11-08 | 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210152394A KR102488627B1 (ko) | 2021-11-08 | 2021-11-08 | 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102488627B1 true KR102488627B1 (ko) | 2023-01-18 |
Family
ID=85106680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210152394A KR102488627B1 (ko) | 2021-11-08 | 2021-11-08 | 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102488627B1 (ko) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334303A (ja) * | 2003-04-30 | 2004-11-25 | Nintendo Co Ltd | 塗り絵画像生成装置、プログラム及び方法 |
| KR20080090426A (ko) * | 2006-01-30 | 2008-10-08 | 마이크로소프트 코포레이션 | 디지털 컬러 이미지 처리 방법 |
| JP2012142757A (ja) * | 2010-12-28 | 2012-07-26 | Casio Comput Co Ltd | 画像印刷装置、塗り絵画像生成方法、塗り絵画像生成プログラム |
| KR101384627B1 (ko) * | 2012-10-26 | 2014-04-11 | 전남대학교산학협력단 | 영상 내 객체 영역 자동분할 방법 |
| KR20160109692A (ko) * | 2015-03-12 | 2016-09-21 | 경북대학교 산학협력단 | 3차원 모델로부터 색칠공부도안 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR101847459B1 (ko) | 2016-01-22 | 2018-04-10 | 주식회사 에벤에셀케이 | 이미지 변환장치 및 방법 |
| KR101887216B1 (ko) * | 2017-11-24 | 2018-08-09 | 한태재 | 이미지 재구성 서버 및 방법 |
| KR20210053675A (ko) | 2019-11-04 | 2021-05-12 | 엘지전자 주식회사 | 이미지 변환 방법 및 장치 |
| KR20210108935A (ko) | 2019-11-07 | 2021-09-03 | 주식회사 하이퍼커넥트 | 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
-
2021
- 2021-11-08 KR KR1020210152394A patent/KR102488627B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334303A (ja) * | 2003-04-30 | 2004-11-25 | Nintendo Co Ltd | 塗り絵画像生成装置、プログラム及び方法 |
| KR20080090426A (ko) * | 2006-01-30 | 2008-10-08 | 마이크로소프트 코포레이션 | 디지털 컬러 이미지 처리 방법 |
| JP2012142757A (ja) * | 2010-12-28 | 2012-07-26 | Casio Comput Co Ltd | 画像印刷装置、塗り絵画像生成方法、塗り絵画像生成プログラム |
| KR101384627B1 (ko) * | 2012-10-26 | 2014-04-11 | 전남대학교산학협력단 | 영상 내 객체 영역 자동분할 방법 |
| KR20160109692A (ko) * | 2015-03-12 | 2016-09-21 | 경북대학교 산학협력단 | 3차원 모델로부터 색칠공부도안 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR101847459B1 (ko) | 2016-01-22 | 2018-04-10 | 주식회사 에벤에셀케이 | 이미지 변환장치 및 방법 |
| KR101887216B1 (ko) * | 2017-11-24 | 2018-08-09 | 한태재 | 이미지 재구성 서버 및 방법 |
| KR20210053675A (ko) | 2019-11-04 | 2021-05-12 | 엘지전자 주식회사 | 이미지 변환 방법 및 장치 |
| KR20210108935A (ko) | 2019-11-07 | 2021-09-03 | 주식회사 하이퍼커넥트 | 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102045695B1 (ko) | 안면 이미지 처리 방법 및 장치, 및 저장 매체 | |
| US10839581B2 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
| CN110930297B (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
| Olsen et al. | Naturasketch: Modeling from images and natural sketches | |
| US11823358B2 (en) | Handwritten content removing method and device and storage medium | |
| US20150310305A1 (en) | Learning painting styles for painterly rendering | |
| CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及系统 | |
| JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
| CN107203963A (zh) | 一种图像处理方法及装置、电子设备 | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| CN108694719A (zh) | 图像输出方法和装置 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN111460782A (zh) | 一种信息处理方法、装置及设备 | |
| CN110866965A (zh) | 一种三维模型的贴图绘制方法及装置 | |
| CN107845127A (zh) | 一种人脸卡通动漫形象设计方法 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN104822058B (zh) | 一种立体图像显著图提取方法 | |
| KR102488627B1 (ko) | 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템 | |
| CN111652022B (zh) | 图像数据的显示、直播方法、装置、电子设备和存储介质 | |
| Aizawa et al. | Do you like sclera? Sclera-region detection and colorization for anime character line drawings | |
| KR20090050910A (ko) | 디지털 만화책 제작 방법 및 장치 | |
| CN114596213A (zh) | 一种图像处理方法及装置 | |
| CN114155569A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN114519754A (zh) | 画报生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |