KR102467907B1 - 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법 - Google Patents

학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법 Download PDF

Info

Publication number
KR102467907B1
KR102467907B1 KR1020210146874A KR20210146874A KR102467907B1 KR 102467907 B1 KR102467907 B1 KR 102467907B1 KR 1020210146874 A KR1020210146874 A KR 1020210146874A KR 20210146874 A KR20210146874 A KR 20210146874A KR 102467907 B1 KR102467907 B1 KR 102467907B1
Authority
KR
South Korea
Prior art keywords
target
image
photo
unit
conversion
Prior art date
Application number
KR1020210146874A
Other languages
English (en)
Inventor
박준영
최우식
김태규
김판규
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020210146874A priority Critical patent/KR102467907B1/ko
Application granted granted Critical
Publication of KR102467907B1 publication Critical patent/KR102467907B1/ko

Links

Images

Classifications

    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

변환 장치가 제공된다. 상기 변환 장치는 기계 학습된 변환 모델을 이용하여 사진 이미지를 도면 이미지로 변환하는 도면부;를 포함할 수 있다.

Description

학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법{Apparatus and method for converting color images into drawing images for generalization of training data}
본 발명은 서로 다른 기법으로 생성된 이미지를 데이터 학습적으로 호환 가능하게 변환하는 장치 및 방법에 관한 것이다.
인공 지능을 활용한 학습 데이터들은 상호 간의 시각적인 양상이 닮아 이미지 분포가 유사 공간 상에 위치해야 학습 성능이 보장된다.
현실적으로, 물품을 간략하게 나타낸 방대한 양의 스케치나 도면 데이터들은 실제 제품과 이미지 분포가 유사하지 않다.
이로 인해, 디자인권에 포함된 많은 도면들을 실제의 사물을 촬영한 사진과 비교하기 어려운 상황과 같은 다양한 문제가 발생될 수 있다.
한국등록특허공보 제1923480호에는 실측 정보 입력에 기초하여 완성되는 도면을 자동 생성하는 기술이 개시되고 있다. 하지만, 물품의 사진 이미지를 물품의 도면으로 변환하는 내용은 없다.
한국등록특허공보 제1923480호
본 발명은 방대한 양의 도면 및 스케치 데이터를 실제 이미지와 함께 학습 가능하도록 하는 변환 장치 및 변환 방법을 제공하기 위한 것이다.
본 발명의 변환 장치는 기계 학습된 변환 모델을 이용하여 사진 이미지를 도면 이미지로 변환하는 도면부;를 포함할 수 있다.
본 발명의 변환 방법은 타겟 문서에 포함된 타겟 도면을 추출하는 추출 단계; 상기 타겟 도면이 나타내는 사물의 사진에 해당하는 사물 사진을 인터넷에서 탐색하는 탐색 단계; 상기 사물 사진이 탐색되면, 기계 학습된 변환 모델을 이용하여 상기 사물 사진을 도면 이미지로 변환하는 도면화 단계;를 포함할 수 있다.
상기 추출 단계, 상기 탐색 단계, 상기 도면화 단계를 통하여, 대상물을 촬영한 타겟 사진에 매칭되는 타겟 도면을 복수의 상기 타겟 문서에서 찾도록 상기 변환 모델이 학습될 수 있다.
본 발명의 변환 방법은 대상물을 촬영한 사진에 해당하는 타겟 사진이 입수되면, 타겟 문서에 포함된 타겟 도면의 형식에 맞춰 상기 타겟 사진을 도면 이미지로 변환하고, 복수의 상기 타겟 도면 중에서 상기 도면 이미지에 매칭되는 특정 타겟 도면을 추출할 수 있다.
본 발명에 따르면, 학습 성능을 일반화하여 인공 지능 모델의 성능(분류, 탐지 등)을 끌어올리기 위해 물품의 색상 이미지 또는 사진 이미지가 도면화될 수 있다.
본 발명에 따르면, 실제 도면 혹은 스케치 데이터와 유사한 이미지를 인공 지능 학습 모델로부터 재생성하는 비선형적 필터가 설계되고 학습 데이터로 활용될 수 있다. 이를 통해 방대한 양의 도면 및 스케치 데이터가 실제 이미지와 함께 학습 가능한 학습 도메인으로 일반화될 수 있다.
디자인권 등의 타겟 문서에 포함된 타겟 도면은 그 개수는 매우 방대하다. 하지만, 선으로 이루어진 각 타겟 도면에 포함된 정보의 양은 인공 지능 모델을 생성하는 기계 학습에 턱없이 부족하다. 따라서, 대상물을 촬영한 타겟 사진과 타겟 도면을 비교하는 인공 지능 모델 등의 생성이 어려울 수 있다. 이러한 문제를 해소하기 위해, 현실적으로 타겟 도면 자체의 데이터량을 증가시키는 것은 불가능하다.
본 발명의 변환 장치 및 변환 방법은 타겟 도면이 나타내는 사물이 촬영된 사물 사진을 인터넷에서 탐색할 수 있다. 각종 사물의 사물 사진은 인터넷에 방대하게 분포하고 있으며, 각 사물 사진의 데이터량 또한 기계 학습에 충분할 정도로 많을 수 있다.
사물 사진을 이용하면 사물 사진을 타겟 도면의 형식 맞춰 도면 이미지로 변환하는 변환 모델의 생성이 가능하다. 변환 모델이 탑재된 변환 장치는 디자인권 등의 타겟 문서에 포함된 타겟 도면의 형식에 맞춰 대상물을 촬영한 타겟 사진을 도면 이미지로 변환할 수 있다. 이렇게 변환된 도면 이미지는 타겟 문서에 포함된 타겟 도면과 도면 이미지를 비교하는 다양한 후처리 모듈, 후처리 모델에 사용될 수 있다.
이를 통해, 특정 대상물을 창작하려는 사용자는 해당 대상물이 기등록된 디자인권을 침해하는 여부 등을 사전에 간편하게 살펴볼 수 있다.
또한, 본 발명의 변환 모델을 이용하면 조도 변환에 강인한 도면 이미지가 생성될 수 있다.
도 1은 본 발명의 변환 장치를 나타낸 블록도이다.
도 2는 학습부로 제공되는 데이터셋을 나타낸 개략도이다.
도 3은 비교 실시예의 동작을 나타낸 수식이다.
도 4는 본 발명의 변환 장치의 동작을 나타낸 수식이다.
도 5는 학습부를 나타낸 개략도이다.
도 6은 도면부의 동작을 나타낸 개략도이다.
도 7은 본 발명의 변환 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 변환 장치를 나타낸 블록도이다. 도 2는 학습부(190)로 제공되는 데이터셋을 나타낸 개략도이다.
도 1에 도시된 변환 장치는 추출부(110), 탐색부(120), 도면부(150), 촬영부(130), 학습부(190)를 포함할 수 있다.
도면부(150)는 기계 학습된 변환 모델을 이용하여 사진 이미지 p를 도면 이미지로 변환할 수 있다.
사진 이미지 p는 카메라로 촬영된 RGB(Red, Green, Blue) 이미지 또는 흑백 이미지 등의 색상 이미지를 포함할 수 있다. 또는, 사진 이미지 p는 사람이 사물을 바라본 모습 그대로의 이미지를 포함할 수 있다. 그 결과, 사진 이미지 p는 촬영 대상물의 모습이 선과 면으로 표현될 수 있다. 일 예로, 사진 이미지 p는 도 2의 좌측 이미지와 같이 실제 자동차, 담벼락의 질감, 빛 반사, 그림자, 색상 등을 포함할 수 있다.
도면 이미지는 도 2의 우측 이미지에 해당하는 원본 도면 d의 형식에 맞춰 형성될 수 있다. 원본 도면 d는 선 a만을 이용하여 사물을 간략하게 나타낸 이미지를 포함할 수 있다. 원본 도면 d의 형식에 맞춰 도면 이미지 역시 선만을 이용하여 사물을 간략하게 나타낸 것일 수 있다. 도면 이미지는 원본 도면 d와 마찬가지로 질감, 빛 반사, 그림자, 색상 등이 배제되고, 사진 이미지 p의 면과 면을 구분하는 경계선만으로 표현한 이미지에 해당될 수 있다.
도면부(150)는 사진 이미지 형성 당시의 빛 밝기에 상관없이 사진 이미지 p로부터 도면 이미지를 구성하는 선을 추출할 수 있다.
이상의 도면부(150)의 동작은 기계 학습된 인공 지능에 해당하는 변환 모델을 이용하여 수행될 수 있다. 이때, 변환 모델은 학습부(190)에 의해 학습될 수 있다.
변환 모델을 학습시키는 학습부(190)는 사진 이미지로부터 변환된 도면 이미지를 원본 도면과 비교할 수 있다. 원본 도면은 도 2의 우측 이미지와 같이 사람이 생성한 것일 수 있다. 사진 이미지 p와 원본 도면 d(도 1의 '도면')는 데이터셋으로 학습부(190)에 입력될 수 있다. 학습부(190)는 사진 이미지 p와 이에 대응되는 원본 도면 d 쌍을 이용하여 변환 모델을 지도 학습(Supervised Learning)할 수 있다. 일 예로, 학습부(190)는 사진 이미지 p를 문제로 사용하고, 원본 도면 d를 정답으로 사용해서 변환 모델을 학습시킬 수 있다.
변환 모델에 의해 변환이 완료된 도면 이미지는 정답에 해당하는 원본 도면 d와 다를 수 있다. 이때, 도면 이미지와 원본 도면 d 간의 차이에 해당하는 손실(Loss)이 학습부(190)에 의해 계산될 수 있다. 학습부(190)는 손실(Loss)이 최소가 되는 방향으로 변환 모델을 학습시킬 수 있다. 학습이 반복됨에 따라 손실은 감소하게 되고, 손실이 설정 범위를 만족하는 경우 변환 모델은 사진 이미지를 정확하게 도면 이미지로 변환하는 것으로 평가되고, 변환 모델이 탑재된 도면부(150)는 현장에 적용될 수 있다.
정리하면, 학습부(190)는 사진 이미지로부터 변환된 도면 이미지와 원본 도면을 비교하고, 비교 결과를 이용하여 변환 모델을 학습시킬 수 있다. 이때, 학습부(190)는 도면 이미지 최종본을 원본 도면과 일대일로 비교하지 않을 수 있다. 대신, 학습부(190)는 변환 모델의 각 계층으로부터 복원된 도면 계층 이미지 각각을 업샘플링하여 원본 도면과 비교할 수 있다. 학습부(190)는 복수의 도면 계층 이미지와 원본 도면 간의 비교 결과를 모두 취합한 값을 이용하여 변환 모델을 학습시킬 수 있다.
도 3은 비교 실시예의 동작을 나타낸 수식이다. 도 4는 본 발명의 변환 장치의 동작을 나타낸 수식이다. 도 5는 학습부(190)를 나타낸 개략도이다.
도 3 및 도 4에서 N은 사진 이미지의 개수이다. 설명의 편의상 사진 이미지의 개수 N은 1일 수 있다. Yi는 원본 도면을 나타낼 수 있다.
Figure 112021124867397-pat00001
는 도면 이미지를 나타낼 수 있다.
Figure 112021124867397-pat00002
은 원본 도면과 도면 이미지 간의 차이를 나타낼 수 있다.
도 3의 비교 실시예는 도면 이미지 최종본을 원본 도면과 일대일로 비교할 수 있다. 이에 따르면,
Figure 112021124867397-pat00003
는 최종 도면 이미지 1개일 수 있다.
도 4의 변환 장치는 업샘플링 블록(Up sampling block)을 통해 변환 모델의 각 계층으로부터 복원된 도면 계층 이미지 각각을 업샘플링하여 원본 도면과 비교하고 있다. 다시 말해, 도 4에서 도면 이미지
Figure 112021124867397-pat00004
의 개수는 2 이상이며 변환 모델의 레이어 개수 이하일 수 있다. 각 계층으로부터 출력되고 업샘플링된 도면 계층 이미지
Figure 112021124867397-pat00005
각각이 원본 도면과 비교된 후 평균낸 값이 손실에 해당될 수 있다. 또는, 각 계층으로부터 출력되고 업샘플링된 도면 계층 이미지
Figure 112021124867397-pat00006
를 평균낸 값과 원본 도면의 비교 결과가 손실에 해당될 수 있다.
학습부(190)는 변환 모델에 의해 변환된 도면 이미지의 각 픽셀값과 원본 도면의 각 픽셀값 간의 오차값을 제곱하는 방식으로 모든 좌표에 대한 픽셀 단위의 손실을 산출할 수 있다. 학습부(190)는 오차 역전파법(Back propagation)을 이용하여 상기 변환 모델에 손실을 적용하고 손실이 최소화되는 방향으로 변환 모델을 학습시킬 수 있다.
도 5에서 변환 모델은 총 다섯 개의 메인 블록(회색으로 마킹)을 포함할 수 있다. 각 메인 블록은 1×1 합성곱 블록들 사이에 연결될 수 있다. 각 메인 블록은 이전 단의 메인 블록과 상호 연결되어 있다. 각 메인 블록의 출력 이미지(도면 계층 이미지)는 업샘플링 블록(Up sampling block)을 통해 업샘플링되고 서로 융합된 형태로서 각 레이어 정보들을 손실없이 받아 최종 도면 이미지로 재건될 수 있다.
추출부(110)는 타겟 문서에 포함된 타겟 도면을 추출할 수 있다. 타겟 문서는 사용자가 관심을 갖는 대상물과 관련된 문서를 포함할 수 있다. 일 예로, 타겟 문서는 대상물을 법적으로 위협하거나 관념적으로 위협하는 문서를 포함할 수 있다.
일 예로, 대상물이 신발인 경우, 디자인권은 유사한 모양의 신발을 생산하는 것을 방해할 수 있다. 이 경우, 사용자는 대상물을 생산해도 되는지 파악하기 위해 침해하는 디자인권이 존재하는지 파악하기를 희망할 수 있다. 이때, 디자인권 문서가 타겟 문서에 해당될 수 있다.
탐색부(120)는 타겟 도면이 나타내는 사물의 사진에 해당하는 사물 사진을 인터넷에서 탐색할 수 있다. 디자인권 문서에 포함된 타겟 도면은 개수가 방대한 반면 선만으로 이루어진 도면의 특성으로 인해 학습에 불충분한 문제가 있다. 다시 말해, 타겟 문서에 포함된 타겟 도면을 이용하는 경우 사진 이미지를 도면 이미지로 변환하는 변환 모델의 학습 또는 생성이 사실상 어려울 수 있다. 변환 모델을 학습시키고 생성하기 위해 탐색부(120)는 타겟 도면과 관련된 사물 사진을 찾을 수 있다.
일 예로, 타겟 도면이 구두(상호 등을 이용해서 추가 한정 가능)로 판별되면, 사물 사진에 해당하는 구두 사진을 인터넷에서 탐색할 수 있다.
이때의 구두 사진은 학습부(190)의 학습 데이터셋의 문제와 정답 중에서 문제로 사용될 수 있다. 또는, 도면부(150)는 변환 모델을 이용하여 사물 사진에 해당하는 구두 사진을 도면 이미지로 변환할 수 있다. 도면부(150)를 통해 변환된 도면 이미지는 도면부(150)에 탑재된 변환 모델의 자체 개량에 사용될 수 있다.
추출부(110) 및 탐색부(120)를 통해 다량의 데이터를 학습한 변환 모델은 실제 현장에 투입될 수 있다.
도 6은 도면부(150)의 동작을 나타낸 개략도이다.
촬영부(130)는 대상물을 촬영한 사진에 해당하는 타겟 사진을 획득할 수 있다. 촬영부(130)는 대상물을 촬영하는 카메라를 포함하거나, 카메라와 유무선 통신하는 통신 모듈을 포함할 수 있다.
도면부(150)는 타겟 사진을 도면 이미지로 변환할 수 있다. 도면부(150)에는 탐지 수단이 마련될 수 있다. 탐지 수단은 복수의 타겟 문서에 포함된 타겟 도면 중에서 도면 이미지와 가장 유사한 특정 타겟 도면을 추출할 수 있다.
탐지 수단은 특정 타겟 도면을 갖는 특정 타겟 문서의 정보를 설정 단말기로 제공할 수 있다. 타겟 문서의 정보에는 특정 타겟 문서를 구분하는 식별 정보, 예를 들어 디자인등록번호 등이 포함될 수 있다.
도 6의 (a)에서 대상물은 립스틱이고, 도 6의 (b)에서 대상물은 미용 가위이다.
촬영부(130)에 의해 립스틱의 사진이 입수되면, 도면부(150)는 사진의 립스틱을 선으로 구성된 도면으로 변환할 수 있다. 이때, 도면부(150)는 변환 모델의 학습 형태에 따라, 립스틱 사진과 동일한 각도의 도면, 정면도, 측면도, 평면도와 같이 다양한 도면 이미지 dp를 생성할 수 있다.
마찬가지로, 촬영부(130)에 의해 미용 가위의 사진이 입수되면, 도면부(150)는 사진의 미용 가위를 도면 이미지 dp로 변환할 수 있다.
도 7은 본 발명의 변환 방법을 나타낸 흐름도이다.
도 7에 도시된 변환 방법은 도 1의 변환 장치에 의해 수행될 수 있다.
변환 방법은 추출 단계(S 510), 탐색 단계(S 520), 도면화 단계(S 530)를 포함할 수 있다.
추출 단계(S 510)는 타겟 문서에 포함된 타겟 도면을 추출할 수 있다. 추출 단계(S 510)는 추출부(110)에 의해 수행될 수 있다.
탐색 단계(S 520)는 타겟 도면이 나타내는 사물의 사진에 해당하는 사물 사진을 인터넷에서 탐색할 수 있다. 탐색 단계(S 520)는 탐색부(120)에 의해 수행될 수 있다.
도면화 단계(S 530)는 사물 사진이 탐색되면, 기계 학습된 변환 모델을 이용하여 사물 사진을 도면 이미지로 변환할 수 있다. 도면화 단계(S 530)는 도면부(150)에 의해 수행될 수 있다.
추출 단계(S 510), 탐색 단계(S 520), 도면화 단계(S 530)를 통하여, 대상물을 촬영한 타겟 사진에 매칭되는 타겟 도면을 복수의 타겟 문서에서 찾도록 변환 모델이 학습될 수 있다.
변환 방법은 대상물을 촬영한 사진에 해당하는 타겟 사진이 입수되면, 타겟 문서에 포함된 타겟 도면의 형식에 맞춰 타겟 사진을 도면 이미지로 변환할 수 있다. 변환 방법은 복수의 타겟 도면 중에서 도면 이미지에 매칭되는 특정 타겟 도면을 추출할 수 있다.
본 발명의 변환 장치는 기존의 알고리즘들(Canny Edge, Laplacian Filtering)과 다르게 알고리즘에 인가되는 데이터가 입력과 출력 간 단일 흐름을 거치지 않을 수 있다. 변환 장치는 각 계층별로 필터링되는 모든 특징들을 융합하여 학습 및 추론되는 변환 모델을 이용하여 정보의 손실이 최소화된 고품질의 스케치 도면 데이터를 획득할 수 있다.
기존의 알고리즘들의 경우, 선형 합성곱 필터의 적용으로 인해 빛의 세기가 밝거나 어두울 경우 성능 저하가 크게 발생하는 반면, 본 발명의 변환 장치는 비선형 합성곱 필터를 활용하기 때문에 빛의 세기 변화에 강인하게 동작할 수 있다. 또한, 본 발명의 변환 장치에 따르면, 긴 실행 시간과 구현 복잡도를 가진 기존 알고리즘(Canny Edge Filtering) 대비 초당 100장 이상의 빠른 실행 시간이 보장될 수 있다.
도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 8의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 변환 장치 등) 일 수 있다.
도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
110...추출부 120...탐색부
130...촬영부 150...도면부
190...학습부

Claims (9)

  1. 디자인권 문서를 포함하는 타겟 문서가 정의되고,
    질감, 빛 반사, 그림자, 색상이 배제되고, 사진 이미지의 면과 면을 구분하는 경계선만으로 사물을 표현한 도면 이미지가 정의될 때,
    상기 타겟 문서에 포함된 타겟 도면을 추출하는 추출부;
    상기 타겟 도면이 나타내는 사물을 촬영한 사진에 해당하는 사물 사진을 인터넷에서 탐색하는 탐색부;
    기계 학습된 변환 모델을 이용하여 상기 사물 사진을 상기 도면 이미지로 변환하는 도면부;
    상기 변환 모델을 학습시키는 학습부;를 포함하고,
    상기 학습부는 특정 대상물을 촬영한 타겟 사진에 매칭되는 특정 타겟 도면을 복수의 상기 타겟 문서에서 찾도록 상기 변환 모델을 학습시키며,
    상기 특정 대상물을 촬영한 사진에 해당하는 상기 타겟 사진을 획득하는 촬영부가 마련되고,
    상기 도면부는 상기 촬영부에 의해 획득된 타겟 사진을 상기 도면 이미지로 변환하며,
    상기 도면부에는 복수의 타겟 문서에 포함된 타겟 도면 중에서, 상기 촬영부에 의해 획득된 타겟 사진이 변환된 도면 이미지와 가장 유사한 특정 타겟 도면을 추출하는 탐지 수단이 마련된 변환 장치.
  2. 제1항에 있어서,
    상기 도면부는 상기 사진 이미지 형성 당시의 빛 밝기에 상관없이 상기 사진 이미지로부터 상기 도면 이미지를 구성하는 선을 추출하는 변환 장치.
  3. 제1항에 있어서,
    상기 학습부는 상기 사진 이미지로부터 변환된 상기 도면 이미지를 원본 도면과 비교하고,
    상기 학습부는 비교 결과 픽셀 단위의 손실(Loss)을 계산하여 상기 손실이 최소가 되는 방향으로 상기 변환 모델을 학습시키는 변환 장치.
  4. 제1항에 있어서,
    상기 학습부는 상기 사진 이미지로부터 변환된 상기 도면 이미지와 원본 도면을 비교하고, 비교 결과를 이용하여 상기 변환 모델을 학습시키고,
    상기 학습부는 상기 변환 모델의 각 계층으로부터 복원된 도면 계층 이미지 각각을 업샘플링하여 상기 원본 도면과 비교하며,
    상기 학습부는 복수의 상기 도면 계층 이미지와 상기 원본 도면 간의 비교 결과를 모두 취합한 값을 이용하여 상기 변환 모델을 학습시키는 변환 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 변환 장치에 의해 수행되는 변환 방법에 있어서,
    디자인권 문서를 포함하는 타겟 문서가 정의되고,
    질감, 빛 반사, 그림자, 색상이 배제되고, 사진 이미지의 면과 면을 구분하는 경계선만으로 사물을 표현한 도면 이미지가 정의될 때,
    상기 타겟 문서에 포함되고 선만으로 이루어진 타겟 도면을 추출하는 추출 단계;
    상기 타겟 도면이 나타내는 사물을 촬영한 사진에 해당하는 사물 사진을 인터넷에서 탐색하는 탐색 단계;
    상기 사물 사진이 탐색되면, 기계 학습된 변환 모델을 이용하여 상기 사물 사진을 상기 도면 이미지로 변환하는 도면화 단계;를 포함하고,
    상기 추출 단계, 상기 탐색 단계, 상기 도면화 단계를 통하여, 특정 대상물을 촬영한 타겟 사진에 매칭되는 특정 타겟 도면을 복수의 상기 타겟 문서에서 찾도록 상기 변환 모델이 학습되며,
    상기 특정 대상물을 촬영한 사진에 해당하는 상기 타겟 사진이 입수되면, 상기 디자인권 문서에 포함된 상기 타겟 도면의 형식에 맞춰 상기 타겟 사진을 상기 도면 이미지로 변환하고, 복수의 상기 타겟 도면 중에서 상기 도면 이미지에 매칭되는 상기 특정 타겟 도면을 추출하는 변환 방법.
  9. 삭제
KR1020210146874A 2021-10-29 2021-10-29 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법 KR102467907B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146874A KR102467907B1 (ko) 2021-10-29 2021-10-29 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146874A KR102467907B1 (ko) 2021-10-29 2021-10-29 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102467907B1 true KR102467907B1 (ko) 2022-11-16

Family

ID=84235834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146874A KR102467907B1 (ko) 2021-10-29 2021-10-29 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102467907B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923480B1 (ko) 2017-07-03 2018-12-10 주식회사 스위치스페이스건설 인테리어 실측 작업을 위한 도면 생성 어플리케이션
KR20200046184A (ko) * 2018-10-18 2020-05-07 카페24 주식회사 온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템
KR20210056767A (ko) * 2019-11-11 2021-05-20 공주대학교 산학협력단 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법
KR20210083488A (ko) * 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923480B1 (ko) 2017-07-03 2018-12-10 주식회사 스위치스페이스건설 인테리어 실측 작업을 위한 도면 생성 어플리케이션
KR20200046184A (ko) * 2018-10-18 2020-05-07 카페24 주식회사 온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템
KR20210056767A (ko) * 2019-11-11 2021-05-20 공주대학교 산학협력단 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법
KR20210083488A (ko) * 2019-12-26 2021-07-07 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이초연 외 2명. eGAN 모델의 성능개선을 위한 에지 검출 기법, 정보처리학회논문지, 2021년 3월, pp. 109-114. 1부.* *

Similar Documents

Publication Publication Date Title
US11810272B2 (en) Image dehazing and restoration
Anwar et al. Diving deeper into underwater image enhancement: A survey
JP6849824B2 (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
Christlein et al. An evaluation of popular copy-move forgery detection approaches
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
JP2002109525A (ja) 画像の顕著性及びアピール性に基づく画像処理パス変更方法
CN109685713B (zh) 化妆模拟控制方法、装置、计算机设备及存储介质
US11875529B2 (en) Method and system for monocular depth estimation of persons
CN112534440A (zh) 将图像映射到合成域
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN112528782A (zh) 水下鱼类目标检测方法及装置
KR102381354B1 (ko) 이미지에 포함된 물체에 대한 디자인권 검색 장치 및 방법
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN115829915A (zh) 图像质量检测方法、电子设备、存储介质及程序产品
To et al. Bas-relief generation from face photograph based on facial feature enhancement
Di Martino et al. Rethinking shape from shading for spoofing detection
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
KR102467907B1 (ko) 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법
CN116958393A (zh) 一种增量式图像渲染方法及装置
CN116798041A (zh) 图像识别方法、装置和电子设备
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
BR et al. Machine Learning Application for Evidence Image Enhancement
Abraham Digital image forgery detection approaches: A review and analysis

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant