KR102270572B1 - 인공지능(ai) 기반 콘텐츠 융합 서비스 시스템 및 방법 - Google Patents

인공지능(ai) 기반 콘텐츠 융합 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR102270572B1
KR102270572B1 KR1020190143352A KR20190143352A KR102270572B1 KR 102270572 B1 KR102270572 B1 KR 102270572B1 KR 1020190143352 A KR1020190143352 A KR 1020190143352A KR 20190143352 A KR20190143352 A KR 20190143352A KR 102270572 B1 KR102270572 B1 KR 102270572B1
Authority
KR
South Korea
Prior art keywords
content
fusion
original
server
convergence
Prior art date
Application number
KR1020190143352A
Other languages
English (en)
Other versions
KR20200137931A (ko
Inventor
이두식
오태현
김수용
이근혁
Original Assignee
주식회사 아임클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아임클라우드 filed Critical 주식회사 아임클라우드
Publication of KR20200137931A publication Critical patent/KR20200137931A/ko
Application granted granted Critical
Publication of KR102270572B1 publication Critical patent/KR102270572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 일 실시 예에 따르면, 웹 서버(10)에 의해 제공되는 융합 콘텐츠 서비스 웹 페이지 상에서, 사용자가 원본 콘텐츠와 참조 콘텐츠를 선택하는 단계(S101)와, 콘텐츠 융합 서버가, 사용자에 의해 선택된 원본 콘텐츠와 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 동작을 수행하는 단계(S103)와, 웹 서버(10)가 콘텐츠 융합 서버(30)에 의해 생성된 융합 콘텐츠를 융합 콘텐츠 서비스 웹 페이지(11)상에 표시하는 단계(S105)를 포함하는 인공지능(AI) 기반 콘텐츠 융합 서비스 방법이 개시된다.

Description

인공지능(AI) 기반 콘텐츠 융합 서비스 시스템 및 방법{CONTENTS MERGING SERVICE SYSTEM AND METHOD BASED ARTIFICIAL INTELLIGENCE}
본 발명은 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템 및 방법에 관한 것이다.
이미지 융합은 서로 다른 센서가 획득한 동일한 장면의 이미지를 융합하는 것과, 서로 다른 장면의 이미지를 융합하는 것일 수 있다. 전자와 관련된 예를 들면 한국공개특허 공보 제10-2007-0012575호(디지털 이미지 합성 방법, 2007년1월26일 공개)나 한국공개특허 공보 제10-2018-0095059호(이미지 융합 방법 및 장치, 및 단말 디바이스, 2018년 8월24일 공개) 기재된 기술들과 같은 것이 있을 수 있고, 후자와 관련하여는, 주로 사용자가 직접 이미지들을 편집하도록 지원하는 툴(TOOL)들이 지원되고 있고. 하지만, 전적으로 사용자의 역량에 의존하다 보니, 예술적인 감성을 가진 이미지들은 대량으로 빠르게 생성하기가 쉽지 않다.
본 발명의 일 실시예에 따르면, 빠른 속도로 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템 및 방법이 제공될 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 선택한 콘텐츠들을 빠르고도 예술적인 감성을 가진 콘텐츠로 생성할 수 있는 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템 및 방법이 제공될 수 있다.
본 발명의 일 실시 예에 따르면, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템은, 융합 콘텐츠 서비스 웹 페이지를 제공하는 웹 서버; 콘텐츠들을 저장하여 관리하는 데이터 서버; 원본 콘텐츠와 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 콘텐츠 융합 서버;를 포함할 수 있다.
상술한 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템에서, 상기 융합 콘텐츠 서비스 웹 페이지는, 사용자가 원본 콘텐츠를 선택할 수 있도록 지원하는 원본 콘텐츠 선택 메뉴와, 상기 사용자가 참조 콘텐츠를 선택할 수 있도록 지원하는 참조 콘텐츠 선택 메뉴를 포함할 수 있다.
상술한 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템에서, 상기 콘텐츠 융합 서버는, 상기 원본 콘텐츠 선택 메뉴에 의해 선택된 원본 콘텐츠와 상기 참조 콘텐츠 선택 메뉴에 의해 선택된 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 동작을 수행할 수 있다.
상술한 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템에서, 상기 웹 서버는 상기 콘텐츠 융합 서버에 의해 생성된 융합 콘텐츠를 상기 융합 콘텐츠 서비스 웹 페이지상에 표시할 수 있다.
본 발명의 다른 실시예에 따르면, 인공지능(AI) 기반 콘텐츠 융합 서비스 방법은, 웹 서버에 의해 제공되는 융합 콘텐츠 서비스 웹 페이지 상에서, 사용자가 원본 콘텐츠와 참조 콘텐츠를 선택하는 단계; 및 상기 콘텐츠 융합 서버가, 상기 사용자에 의해 선택된 원본 콘텐츠와 상기 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 동작을 수행하는 단계; 를 포함할 수 있다.
상술한 인공지능(AI) 기반 콘텐츠 융합 서비스 방법에서, 상기 웹 서버는 상기 콘텐츠 융합 서버에 의해 생성된 융합 콘텐츠를 상기 융합 콘텐츠 서비스 웹 페이지상에 표시하는 것일 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 선택한 콘텐츠들을 빠르고도 예술적인 감성을 가진 콘텐츠로 생성할 수 있게 된다.
도 1은 본 발명의 개념을 설명하기 위한 도면이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시예에 따른 인공지능(AI) 기반 콘텐츠 융합 서비스 방법을 설명하기 위한 도면이다.
도 6과 도 7은 본 발명의 일 실시예에 따라서 융합된 이미지들을 예시적으로 나타낸 도면들이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 당업자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.
용어의 정의
본원 명세서에서, 용어 '프로그램' 또는 '알고리즘'은 '컴퓨터로 처리하기에 적합한 명령의 집합'을 의미하며, '프로그램'과 '알고리즘'은 동일한 의미로 사용하기로 한다.
본원 명세서에서, “프로그램(또는 알고리즘)이 어떤 동작(또는 단계)을 수행 (또는 실행)한다”는 표현은,”프로그램(또는 알고리즘)이 프로세서를 구비한 전자 기기가 어떤 동작(또는 단계)을 수행 또는 실행하게 한다”는 것을 의미한다.
본원 명세서에서, '서버' 와 '단말기'는 하나 이상의 메모리들(미 도시), 하나 이상의 컴퓨터 프로세서들(one or more Computor processors)(미 도시), 및 하나 이상의 프로그램들(one or more programs)(미 도시)을 포함하도록 구성된 컴퓨터를 의미하며, 여기서, 하나 이상의 프로그램들(이하, '전 처리용 프로그램들')은 상기 메모리에 저장되어 상기 하나 이상의 프로세서들에 의해 실행되도록(executed) 구성되며, 하나 이상의 메모리, 하나 이상의 컴퓨터 프로세서들, 하나 이상의 프로그램들은 물리적으로 동일한 장치에 위치되어 직접 연결되거나 또는 통신망에 의해 연결되어 있을 수 있다.
본원 명세서에서, '컴퓨터'는 컴퓨터 프로세서와 기억장치, 운영체제, 펌웨어, 응용 프로그램, 통신부, 및 기타 리소스를 포함하며, 여기서, 운영체제(OS: OPERATING SYSTEM)은 다른 하드웨어, 펌웨어, 또는 응용프로그램(예를 들면, 관리 프로그램)을 동작적으로 연결시킬 수 있다. 통신부는 외부와의 데이터를 송수신하기 위한 소프트웨어 및 하드웨어로 이루어진 모듈을 의미한다. 또한, 컴퓨터 프로세서와 기억장치, 운영체제, 응용 프로그램, 펌웨어, 통신부, 및 기타 리소스는 서로 동작적으로(operatively) 직접 또는 통신망을 통해서 연결되어 있다.
본원 명세서에서, '통신망'은 데이터를 유선 및/또는 무선으로 송수신할 수 있도록 지원하는 일체의 시설 - 통신을 지원하는 일체의 프로그램들, 기계들, 전기 및 전자 장치들, 기지국들, 및 통신용 케이블들을 포함 - 을 의미하며, 이러한 통신망은 광역 통신망(WAN), 도시권 통신망(MAN), 근거리 통신망(LAN), 및/또는 개인 통신망(PAN))으로 데이터를 유선 및/또는 무선으로 상호 송수신할 수 있도록 지원한다.
본원 명세서에서, '콘텐츠'는 모니터와 같은 장치에 의해 표시될 수 있는 디지털 값으로 이루어진 데이터이며, 예를 들면, 이미지 파일일 수 있다.
본원 명세서에서, 콘텐츠는 하나 이상의 객체들과 배경으로 구성된 이미지 파일일 수 있다. 예를 들면, 원본 콘텐츠, 참조 콘텐츠, 융합 콘텐츠는 각각 하나 이상의 객체들과 배경으로 구성된 이미지 파일 일 수 있다.
본원 명세서에서, '이미지 파일'은 종종 '이미지'로 약칭하기로 한다.
본원 명세서에서, '이미지 파일'은 해상도(resolution)와 색상의 깊이(depth)로 정의되며, 여기서 '해상도'는 이미지 파일이 몇개의 픽셀로 구성되어 있는지를 나타내는 것이고, '색상의 깊이'는 하나의 픽셀을 만드는데 사용되는 색상 코드를 의미한다. 이미지 파일의 구체적인 예를 들면, 해상도가 1,024*764 이고, 픽셀의 색상코드는 R, G, B 각각에 대하여 16진수 2자리로 정의된 것일 수 있다. 이러게 정의된 이미지 파일에서, 픽셀의 갯수는 1,024*764 = 768 개이고, 768 개 각각의 픽셀은 R(빨간색)를 정의한 2자리의 16진수, G(초록색)를 정의한 2자리의 16진수, B(파란색)를 정의한 2자리의 16진수로 정의된다. 그리고, 각각의 픽셀의 색상은, 각각 2자리의 16진수로 정의된 R, G, B를 서로 더한 것으로 표시된다. 이렇게 색상이 표시되는 것을 RGB 가산혼합이라고 하며, RGB 가산혼합은 다음과 같은 색상코드 표기 방식을 사용한다.
# 33 75 9F
여기서, '33'은 빨간색의 정도를 정의한 것이고, '75'는 초록색의 정도를 정의한 것이고, '9F'는 파란색의 정도를 정의한 것이다. 참고로, 2자리의 16진수가 표현할 수 있는 범위는 0~256 이므로, 위와 같은 방식으로 사용되는 색상코드로는 총 16,777,216가지(166)의 색을 표현할 수 있다.
본원 명세서에서, '이미지 변환' 또는 '이미지 파일'의 변환은 해상도를 변화시키거나, 이미지를 구성하는 픽셀들 중 적어도 하나 이상의 픽셀의 색상의 깊이(즉, 색상 코드)를 다른 값으로 변화시키거나, 또는 해상도와 색상의 깊이를 모두 변화시키는 것을 의미한다.
예를 들면, 해상도가 1920*1080이고 색상코드는 # 33 75 9F 로 정의되는 이미지 파일은 다음과 같이 변환될 수 있다.
해상도가 1920*1080 ==> 1280*720
색상코드 # 33 75 9F ==> # 34 76 9F
이미지의 해상도를 바꾸는 방법은 종래 널리 알려진 기술이므로, 상세하게 설명하지는 않기로 한다. 한편, 색상코드를 변경하는 방법은 예를 들면 R, G, B 각각의 색상코드 값에 임의의 수학적 연산을 통해서 그 값을 변경할 수 있다.
본원 명세서에서, '콘텐츠 융합'은 원본 이미지를 참조 이미지를 이용하여 변환하는 것을 의미한다. 즉, 원본 이미지의 해상도 및/또는 색상코드를 변경하되, 참조 이미지의 해상도 및/또는 색상코드를 이용하여 변경하는 것을 의미한다.
예를 들면, '콘텐츠 융합'은 원본 콘텐츠의 일부의 색상 코드를 참조 콘텐츠의 일부의 색상 코드로 대치하거나, 또는 원본 콘텐츠의 일부의 색상 코드를 참조 콘텐츠의 일부 또는 전부의 색상 코드를 변형해서 대치하는 것일 수 있다.
이하, 도면들을 참조하여, 본 발명의 실시예들에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명은 원본 콘텐츠와 참조 콘텐츠를 융합하여 새로운 콘텐츠를 만드는 것을 나타낸다. 본 발명은, 도 1에 도시된 융합 콘텐츠로부터 느낄수 있지만, 원본 콘텐츠와 참조 콘텐츠의 느낌을 모두 가지도록 새로운 콘텐츠(융합 콘텐츠)를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 원본 콘텐츠를 구성하는 픽셀들의 색상 코드(이하, '원본 콘텐츠 색상 코드') 중 적어도 하나 이상을, 참조 콘텐츠를 구성하는 픽셀들의 색상 코드들 중 적어도 하나 이상의 색상 코드(이하, '참조 콘텐츠 색상 코드') 또는 참조 콘텐츠 색상 코드로부터 산출된 값을 이용하여 변환시킬 수 있다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템을 설명하기 위한 도면들이다.
도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템(100)은 웹 서버(10), 데이터 서버(20), 및 콘텐츠 융합 서버(30)를 포함할 수 있다. 한편, 사용자 단말기(40)는 용이한 설명을 위해서 추가적으로 도시되었다.
도 3을 특히 참조하면, 콘텐츠 융합 서버(30)는 복수의 GPU(그래픽스 처리 장치: Graphic Processing Unit)(31: 31a, 31b, 31c, ...)를 포함할 수 있다. 이들 GPU(31: 31a, 31b, 31c, ...)는 인공 지능을 실행시켜 콘텐츠 융합 동작을 수행한다. GPU(31: 31a, 31b, 31c, ...) 각각은 개별적으로 콘텐츠 융합 동작을 수행한다. GPU(31: 31a, 31b, 31c, ...) 각각은 잡 정보 테이블을 모니터링하며, 잡 정보 테이블에 기록된 잡들을 각각 수행한다. 한편, 잡 정보 테이블에는 각각의 잡에 대한 진행 상태를 나타내는 플래그가 포함되어 있으며, GPU(31: 31a, 31b, 31c, ...) 각각은 자신의 동작(콘텐츠 융합 동작)을 시작하거나 완료할 때 상기 플래그의 상태 값을 기록한다.
웹 서버(10)는 사용자 단말기(40)와 통신망을 통해서 연결되며, 웹 서버(10)는 융합 콘텐츠 서비스 웹 페이지(11)를 사용자 단말기(40)에게 제공할 수 있다. 사용자 단말기(40)의 디스플레이부(미 도시)에 표시된 융합 콘텐츠 서비스 웹 페이지(11)상에서 사용자에 의한 액션이 있을 경우, 액션의 결과는 웹 서버(20)에게 제공된다.
데이터 서버(20)는 콘텐츠와 데이터베이스화된 테이블을 저장할 수 있다.
콘텐츠 융합 서버(30)는 원본 콘텐츠와 참조 콘텐츠를 융합하여 새로운 콘텐츠, 즉, 융합 콘텐츠를 생성할 수 있다. 일 실시예에 따르면, 콘텐츠 융합 서버(30)는 원본 콘텐츠와 참조 콘텐츠를 융합할 때, 인공 지능을 실행시킬 수 있다.
콘텐츠 융합 서버(30)에 의해 생성된 융합 콘텐츠는 데이터 서버(20)에 저장될 수 있으며, 웹 서버(10)를 통해서 사용자 단말기(40)에서 표시될 수 있다.
일 실시예에 따르면, 사용자는 융합 콘텐츠 서비스 웹 페이지(11) 상에서, 원본 콘텐츠와 참조 콘텐츠를 선택할 수 있고, 선택한 원본 콘텐츠와 참조 콘텐츠를 융합하는 옵션을 설정할 수 있다. 웹 서버(10)는 융합 콘텐츠 서비스 웹 페이지(11) 상에서의 사용자의 선택 및 설정 결과를 콘텐츠 융합 서버(30)에게 제공할 수 있다.
융합 콘텐츠 서비스 웹 페이지(11)는 원본 콘텐츠 선택 메뉴(12), 참조 콘텐츠 선택 메뉴(14), 및 옵션 메뉴(16)를 포함할 수 있다.
원본 콘텐츠 선택 메뉴(12)는 사용자가 원본 콘텐츠를 업로딩할 수 있도록 지원한다. 대안으로, 원본 콘텐츠 선택 메뉴(12)는 사용자에게 콘텐츠들 - 데이터 서버(20)에 저장된 것일 수 있음 - 을 보여주고, 그 중에서 원본 콘텐츠를 선택하도록 지원할 수 있다.
참조 콘텐츠 선택 메뉴(14)는 사용자가 참조 콘텐츠를 선택할 수 있도록 지원한다. 참조 콘텐츠 선택 메뉴(12)는 사용자에게 콘텐츠들 - 데이터 서버(20)에 저장된 것일 수 있음 - 을 보여주고, 그 중에서 참조 콘텐츠를 선택하도록 지원할 수 있다. 대안으로, 참조 콘텐츠 선택 메뉴(14)는 사용자가 참조 콘텐츠를 업로딩할 수 있도록 지원할 수 있다.
본 실시예에서, 사용자에 의해 업로딩되는 원본 콘텐츠 및/또는 참조 콘텐츠는 데이터 서버(20)에 저장되어 관리될 수 있다.
옵션 메뉴(16)는 사용자가 융합 콘텐츠를 생성할 때의 조건을 선택할 수 있도록 지원한다. 옵션 메뉴(16)는 예를 들면, 융합 콘텐츠의 해상도 옵션, 참조 콘텐츠의 융합의 정도를 정의하는 참조 적용 강도 옵션, 상품화 여부에 대한 옵션, 및 유료 이미지에 대한 옵션 중 적어도 하나를 포함할 수 있다.
융합 콘텐츠의 해상도 옵션은 융합 콘텐츠의 해상도를 정의한 것이고, 참조 적용 강도 옵션은 참조 콘텐츠와 원본 콘텐츠의 융합의 정도를 나타낸 것이다.
예를 들면, 참조 적용 강도 옵션은 1 내지 5로 구분될 수 있고, 이러한 경우 참조 적용 강도 옵션이 1인 경우는 참조 콘텐츠의 1~ 10%가 원본 콘텐츠에 융합되도록 설정된 것일 수 있고, 참조 적용 강도 옵션이 5인 경우는 참조 콘텐츠의 41~50%가 원본 콘텐츠에 융합되도록 설정된 것일 수 있다. 즉, 참조 적용 강도 옵션이 1이 적용되어 생성된 융합 콘텐츠는, 참조 적용 강도 옵션이 5가 적용되어 생성된 융합 콘텐츠 보다 원본 콘텐츠와 가깝게 된다. 상술한 숫자들이나 옵션의 분류 방법은, 참조 적용 강도 옵션을 설명하기 위한 것으로 어디까지나 예시적인 것이므로, 본원 발명은 상술한 숫자들이나 옵션의 분류 방법에 한정되지 않는다.
상품화 여부에 대한 옵션은 융합 콘텐츠를 판매할지 여부를 정의한 것이고, 유료 이미지에 대한 옵션은 무료 또는 유료로 판매할지를 정의한 것이다.
한편, 융합 콘텐츠 서비스 웹 페이지(11)는 융합 콘텐츠 생성 요청을 위한 버튼(미 도시)을 더 포함할 수 있다. 웹 서버(10)는 융합 콘텐츠 서비스 웹 페이지(11) 상에서 사용자에 의해 원본 콘텐츠와 참조 콘텐츠가 각각 선택되고 상기 융합 콘텐츠 생성 요청을 위한 버튼이 선택될 경우, 웹 서버(10)는 사용자의 융합 콘텐츠 생성 요청에 대응된 잡의 생성을 데이터 서버(20)에게 요청한다.
데이터 서버(20)는 웹 서버(10)로부터 요청받은 잡에 대한 정보를 잡 정보 테이블(T1)에 기록한다. 잡 정보 테이블(T1)에 대한 보다 상세한 설명은 후술하기로 한다.
콘텐츠 융합 서버(30)는 잡 정보 테이블(T1)에 대한 모니터링을 통해서, 잡 정보 테이블(T1)에 저장된 잡들을 수행할 수 있다. 대안으로, 콘텐츠 융합 서버(30)는 웹 서버(10)로부터 융합 콘텐츠 생성 요청을 수신하는 경우에, 잡 정보 테이블(T1)을 읽어서 잡들을 수행할 수 있다.
도 4를 특히 참조하면, 데이터 서버(20)는 데이터베이스화 된 테이블, 예를 들면 잡 정보 테이블, 원본 콘텐츠 정보 테이블, 및 참조 콘텐츠 정보 테이블을 저장하여 관리할 수 있다. 또한, 데이터 서버(20)는 콘텐츠들을 저장하여 관리할 수 이다. 여기서, '관리'는 데이터의 수정, 삭제, 추가와 같은 동작을 포함한다.
데이터 서버(20)에 의해 저장되어 관리되는 콘텐츠들은 참조 콘텐츠일 수 있다. 대안으로, 데이터 서버(20)에 의해 저장되어 관리되는 콘텐츠들은 원본 콘텐츠와 참조 콘텐츠일 수 있다. 다른 대안으로, 데이터 서버(20)에 의해 저장되어 관리되는 콘텐츠들은 원본 콘텐츠, 참조 콘텐츠, 및 융합 콘텐츠일 수 있다.
데이터 서버(20)는, 또한, 자신(20)이 관리하는 콘텐츠들의 견본 이미지를 저장하여 관리할 수 있다. 여기서, 견본 이미지는 예를 들면, 섬네일(Thumbnail)과 같은 것일 수 있다.
한편, 어떤 콘텐츠a로부터 견본 이미지(sample image)a가 생성되었다고 가정하면, 본원 명세서에서 콘텐츠a는 실물 이미지(real image)라고 언급하기로 한다.
데이터 서버(20)는 실물 이미지와 견본 이미지를 서로 대응시켜서 저장 관리한다.
견본 이미지는 도시되지 않은 다른 구성요소에 의해 생성되거나, 또는 데이터 서버(20)에 의해 생성될 수 있다.
일 실시예에 따르면, 웹 서버(10)는, 사용자가 참조 콘텐츠 선택 메뉴(14)를 선택하였을 때, 데이터 서버(20)에 저장된 콘텐츠들의 견본 이미지들을 융합 콘텐츠 서비스 웹 페이지(11) 상에 표시한다. 사용자가 견본 이미지들 중에 어느 하나를 참조 콘텐츠로 선택하면, 사용자가 선택한 견본 이미지에 대응된 실물 이미지가 저장된 경로가 잡 정보 테이블에 참조 콘텐츠의 저장경로로 기록된다.
일 실시예에 따르면, 웹 서버(10)는, 융합 콘텐츠 서비스 웹 페이지(11)의 원본 콘텐츠 선택 메뉴(12)를 선택하였을 때, 데이터 서버(20)에 저장된 콘텐츠들의 견본 이미지들을 융합 콘텐츠 서비스 웹 페이지(11) 상에 표시한다. 사용자가 견본 이미지들 중에 어느 하나를 원본 콘텐츠로 선택하면, 사용자가 선택한 견본 이미지에 대응된 실물 이미지가 저장된 경로가 잡 정보 테이블에 원본 콘텐츠의 저장경로로 기록된다.
도 4를 계속 참조하면, 데이터 서버(20)는 본 시스템(100)이 보유한 참조 콘텐츠의 실물 이미지와 견본 이미지(썸 네일)를 각각 대응시켜서 저장하여 관리할 수 있다. 데이터 서버(20)는 또한 사용자가 업로드한 참조 콘텐츠의 실물 이미지와 견본 이미지를 각각 대응시켜서 저장하여 관리할 수 있다. 데이터 서버(20)는 또한 본 시스템(100)이 보유한 원본 콘텐츠의 실물 이미지와 견본 이미지(썸 네일)을 각각 대응시켜서 저장하여 관리할 수 있다. 데이터 서버(20)는 또한 사용자가 업로드한 원본 콘텐츠의 실물 이미지와 견본 이미지를 각각 대응시켜서 저장하여 관리할 수 있다.
데이터 서버(20)는 잡 정보 테이블(T1), 원본 콘텐츠 정보 테이블(T2), 및 참조 콘텐츠 정보 테이블(T3)을 저장하여 관리한다.
본 발명의 일 실시예에 따르면, 잡 정보 테이블(T1)은 콘텐츠 융합 서버(30)에 의해 수행되는 잡들에 대한 정보를 기록한 것이다. 본원 명세서에서, '잡'은 원본 콘텐츠와 참조 콘텐츠로부터 융합 콘텐츠를 생성하는 동작을 의미한다.
잡 정보 테이블(T1)에 기록되는 잡들은, 사용자가 웹 서버(10)를 통해서 융합 콘텐츠를 생성하라는 요청이 있을 때에 생성된다. 잡 정보 테이블(T1)을 참조하면, 잡 정보는 원본 이미지의 id, 참조 이미지의 id, 작업 시작 시간, 작업 종료 시간, 액션 플레그, 작업 수행자를 포함하도록 구성될 수 있다. 잡 정보 테이블(T1)을 계속 참조하면, id 56인 잡의 경우는, GPU 1(31a)에 의해 융합 콘텐츠 생성 작업이 완료된 것임을 알 수 있다. 한편, id 57인 잡은 현재 GPU 2(31b)에 의해 융합 콘텐츠 생성 작업이 진행중임을 알 수 있다.
콘텐츠 융합 서버(30)의 GPU들은 각각 잡 정보 테이블(T1)을 모니터링하며, 자신의 작업이 없는 GPU(예를 들면, GPU3)는 잡 정보 테이블(T1)에서 액션 플레그가 'N'로 표기된 잡들 중에서 어느 하나를 선택하고, 선택한 잡의 액션 플레그를 'I'로 변경하고, 융합 콘텐츠 생성 작업을 한다. 이후, GPU3(31c)는 융합 콘텐츠 생성 작업을 완료하면 액션 플레그를 'E'로 변경한다.
GPU3(31c)가 잡 정보 테이블(T1)에서 액션 플레그가 'N'로 표기된 잡, 즉, id 59 인 잡에 대하여 작업을 하는 것을 가정한다. GPU3(31c)는 잡 정보 테이블(T1)에서 id 59 인 잡의 액션 플레그를 'I'로 변경하고, start time을 기록하고, 그리고 Action name에는 'GPU 3'로 기록한다. GPU3(31c)는 계속해서, 원본 콘텐츠 정보 테이블에서 잡 id 59 에 대응되는 원본 콘텐츠의 저장 경로를 알기 위해서 Image directory에 가서 원본 콘텐츠를 읽어 온다. 또한, GPU3(31c)는 계속해서, 참조 콘텐츠 정보 테이블에서 잡 id 59 에 대응되는 참조 콘텐츠의 저장 경로를 알기 위해서 Image directory에 가서 참조 콘텐츠를 읽어 온다. 이후, GPU3(31c)는 읽어온 원본 콘텐츠와 참조 콘텐츠에 대한 융합 동작을 수행한다. GPU3(31c)는 융합 콘텐츠의 생성 동작을 완료하면, 잡 정보 테이블(T1)에서 id 59 인 잡의 액션 플레그를 'E'로 변경하고, end time을 기록한다.
상술한 바와 같이 동작함으로써, 콘텐츠 융합 서버(30)는 매우 빠른 시간에 융합 콘텐츠를 생성할 수 있게 된다.
콘텐츠 융합 서버(30)는, 원본 이미지를 참조 이미지를 이용하여 변환하는 것일 수 있다. 예를 들면, 콘텐츠 융합 서버(30)는. 원본 이미지의 해상도 및/또는 색상코드를 변경하되, 참조 이미지의 해상도 및/또는 색상코드를 이용하여 변경하는 것일 수 있다.
본 발명의 다른 측면에서 바라보면, 콘텐츠 융합 서버(30)는, 원본 콘텐츠의 일부의 색상 코드를 참조 콘텐츠의 일부의 색상 코드로 대치하거나, 또는 원본 콘텐츠의 일부의 색상 코드를 참조 콘텐츠의 일부 또는 전부의 색상 코드를 변형해서 대치하는 것일 수 있다.
본 발명의 다른 측면에서 바라보면, 콘텐츠 융합 서버(30)는, 원본 콘텐츠로부터 하나 이상의 객체들과 배경을 추출하는 단계, 원본 콘텐츠에서 본 콘텐츠의 배경을 참조 콘텐츠로부터 추출된 배경의 적어도 일부로 대치함으로써, 융합 콘텐츠를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 콘텐츠 융합 서버(30)는 객체 인식을 할 수 있는 인공 지능을 사용하여 융합 콘텐츠를 생성할 수 있다.
본 발명의 용이한 이해를 위해서, 객체 인식 기술에 대하여 개략 설명하면, 객체 인식 기술은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 기술이다. 일 예를 들면, 인공지능의 하나인 딥러닝 알고리즘은 이미지에서 객체를 식별할 뿐만 아니라 객체의 위치까지 감지할 수 있다. 딥러닝 알고리즘의 하나인 컨벌루션 뉴럴 네트워크(CNN)는 수천 이상의 이미지를 분석하여 예를 들면 고양이와 개와 같은 객체를 구분하는 특징을 학습하여 객체를 식별하는 방법을 학습할 수 있다. 딥러닝 알고리즘은 본원 발명에서 GPU들에 의해 실행되어 이미지 융합 작업을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 콘텐츠 융합 서버(30)의 융합 콘텐츠를 생성하는 작업은, 원본 콘텐츠에 포함된 객체들을 인식하는 동작, 참조 콘텐츠의 객체들을 인식하는 동작, 원본 콘텐츠에 포함된 객체들의 적어도 하나 이상을 참조 콘텐츠에 포함된 객체들의 적어도 하나 이상으로 교체하는 동작일 수 있다. 원본 콘텐츠의 객체를 참조 콘텐츠의 객체로 교체한다고 함은, 원본 콘텐츠의 객체를 이루는 픽셀들의 색상코드를 참조 콘텐츠의 객체를 이루는 픽셀들의 색상코드로 또는 색상 값으로 변경하는 것일 수 있다.
본 발명의 다른 실시예에 따르면, 콘텐츠 융합 서버(30)의 융합 콘텐츠를 생성하는 작업은, 원본 콘텐츠에 포함된 객체들을 인식하는 동작, 참조 콘텐츠의 객체들을 인식하는 동작, 원본 콘텐츠에 포함된 객체들을 제외한 배경을 참조 콘텐츠에 포함된 배경으로 교체하는 동작일 수 있다. 원본 콘텐츠의 배경을 참조 콘텐츠의 배경으로 교체한다고 함은, 원본 콘텐츠의 배경을 이루는 픽셀들의 색상코드를 참조 콘텐츠의 배경을 이루는 픽셀들의 색상코드로 또는 색상 값으로 변경하는 것일 수 있다.
도 6은 콘텐츠 융합 서버(30)에 의해 생성된 융합 콘텐츠의 일 예를 나타낸 것이다. 도 6을 참조하면, 원본 콘텐츠의 객체들인 사람, 나무, 집, 닭 등의 형상은 유지하되, 이들 객체와 배경에 대한 색상 코드는 참조의 것을 사용하였음을 알 수 있다.
도 7은 콘텐츠 융합 서버(30)에 의해 생성된 융합 콘텐츠의 다른 예를 나타낸 것이다. 도 7을 참조하면, 원본 콘텐츠에 있는 객체의 색상코드를 참조 콘텐츠의 배경의 색상코드로 변화시킨 것을 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 인공지능(AI) 기반 콘텐츠 융합 서비스 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따르면, 인공지능(AI) 기반 콘텐츠 융합 서비스 방법은, 융합 콘텐츠 서비스 웹 페이지 상에서, 사용자가 원본 콘텐츠와 참조 콘텐츠를 선택하는 단계(S101)와, 콘텐츠 융합 서버가, 사용자에 의해 선택된 원본 콘텐츠와 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 동작을 수행하는 단계(S103)와, 웹 서버(10)가 콘텐츠 융합 서버(30)에 의해 생성된 융합 콘텐츠를 융합 콘텐츠 서비스 웹 페이지(11)상에 표시하는 단계(S105)를 포함할 수 있다. 한편, 도 1 내지 도 4와, 도 6과 도 7을 참조하여 설명한 실시예들은, 도 5를 참조하여 설명한 인공지능(AI) 기반 콘텐츠 융합 서비스 방법이 적용된 예들이다. 따라서, 인공지능(AI) 기반 콘텐츠 융합 서비스 방법을 구성하는 각 단계들에 대한 상세한 설명은 도 1 내지 도 4와, 도 6과 도 7을 참조하여 설명한 실시예들을 참조하기 바란다.
이와 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있으며, 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 웹 서버 11: 융합 콘텐츠 서비스 웹 페이지
12: 원본 콘텐츠 선택 메뉴 14: 참조 콘텐츠 선택 메뉴
16: 옵션 메뉴 20: 데이터베이스 서버
21: 데이터베이스(DB) 23: 원본 콘텐츠
25: 참조 콘텐츠 30: 콘텐츠 융합 서버
31a, 31b, 31c : GPU 40: 사용자 단말기

Claims (7)

  1. 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템에 있어서,
    융합 콘텐츠 서비스 웹 페이지를 제공하는 웹 서버;
    콘텐츠들을 저장하여 관리하는 데이터 서버;
    원본 콘텐츠와 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 콘텐츠 융합 서버;를 포함하며,
    상기 융합 콘텐츠 서비스 웹 페이지는,
    사용자가 원본 콘텐츠를 선택할 수 있도록 지원하는 원본 콘텐츠 선택 메뉴와, 상기 사용자가 참조 콘텐츠를 선택할 수 있도록 지원하는 참조 콘텐츠 선택 메뉴를 포함하며,
    상기 콘텐츠 융합 서버는,
    상기 원본 콘텐츠 선택 메뉴에 의해 선택된 원본 콘텐츠와 상기 참조 콘텐츠 선택 메뉴에 의해 선택된 참조 콘텐츠를 융합하여 융합 콘텐츠를 생성하는 동작을 수행하며,
    상기 웹 서버는 상기 콘텐츠 융합 서버에 의해 생성된 융합 콘텐츠를 상기 융합 콘텐츠 서비스 웹 페이지상에 표시하고,
    상기 융합 콘텐츠 서비스 웹 페이지는,
    상기 융합 콘텐츠 생성에 대한 조건을 선택할 수 있는 옵션 메뉴를 더 포함하며,
    상기 옵션 메뉴는
    상기 참조 콘텐츠의 융합의 정도를 정의하는 참조 적용 강도 옵션을 포함하며,
    상기 참조 적용 강도 옵션은 상기 융합 콘텐츠가 상기 원본 콘텐츠에 가까운 정도를 나타내는 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  2. 제1항에 있어서,
    상기 원본 콘텐츠와 상기 참조 콘텐츠는 각각 이미지(image) 이고,
    상기 융합 콘텐츠를 생성하는 동작은,
    상기 원본 콘텐츠의 일부의 색상 코드를 상기 참조 콘텐츠의 일부의 색상 코드로 대치하거나, 또는 상기 원본 콘텐츠의 일부의 색상 코드를 상기 참조 콘텐츠의 일부 또는 전부의 색상 코드를 변형해서 대치하는 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  3. 제1항에 있어서,
    상기 원본 콘텐츠는 하나 이상의 객체들과 배경으로 구성된 이미지이고, 상기 참조 콘텐츠도 하나 이상의 객체들과 배경으로 구성된 이미지이며,
    상기 융합 콘텐츠는 상기 원본 콘텐츠의 하나 이상의 객체들과 상기 참조 콘텐츠의 배경으로 이루어진 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  4. 제1항에 있어서,
    상기 원본 콘텐츠는 하나 이상의 객체들과 배경으로 구성된 이미지이고, 상기 참조 콘텐츠도 하나 이상의 객체들과 배경으로 구성된 이미지이며,
    상기 융합 콘텐츠는 상기 원본 콘텐츠의 배경과, 상기 참조 콘텐츠의 하나 이상의 객체들로 이루어진 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  5. 제1항에 있어서,
    상기 원본 콘텐츠는 하나 이상의 객체들과 배경으로 구성된 이미지이고, 상기 참조 콘텐츠도 하나 이상의 객체들과 배경으로 구성된 이미지이며,
    상기 융합 콘텐츠를 생성하는 동작은,
    상기 원본 콘텐츠로부터 하나 이상의 객체들과 배경을 추출하는 단계, 상기 원본 콘텐츠에서 상기 원본 콘텐츠의 배경을 상기 참조 콘텐츠로부터 추출된 배경의 적어도 일부로 대치하는 단계를 포함하는 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  6. 제1항에 있어서,
    상기 융합 콘텐츠 서비스 웹 페이지는,
    상기 융합 콘텐츠 생성에 대한 조건을 선택할 수 있는 옵션 메뉴를 더 포함하며,
    상기 옵션 메뉴는
    상기 융합 콘텐츠의 해상도 옵션, 상품화 여부에 대한 옵션, 및 유료 이미지에 대한 옵션 중 적어도 하나를 더 포함할 수 있는 것인, 인공지능(AI) 기반 콘텐츠 융합 서비스 시스템.
  7. 삭제
KR1020190143352A 2019-05-30 2019-11-11 인공지능(ai) 기반 콘텐츠 융합 서비스 시스템 및 방법 KR102270572B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190063708 2019-05-30
KR20190063708 2019-05-30

Publications (2)

Publication Number Publication Date
KR20200137931A KR20200137931A (ko) 2020-12-09
KR102270572B1 true KR102270572B1 (ko) 2021-06-29

Family

ID=73787120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143352A KR102270572B1 (ko) 2019-05-30 2019-11-11 인공지능(ai) 기반 콘텐츠 융합 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102270572B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259184A (ja) * 2003-02-27 2004-09-16 Kainoa Technologies Inc 画像合成シミュレーションシステム
JP2011077982A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 監視カメラシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010107004A (ko) * 2000-05-24 2001-12-07 최우영 네트워크 기반의 이미지 합성 서비스 제공 시스템 및 그방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259184A (ja) * 2003-02-27 2004-09-16 Kainoa Technologies Inc 画像合成シミュレーションシステム
JP2011077982A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 監視カメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fujun Luan ET AL:"Deep Photo Style Transfer", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4990-4998, 21-26 July 2017(2017.07.21.) 1부.*

Also Published As

Publication number Publication date
KR20200137931A (ko) 2020-12-09

Similar Documents

Publication Publication Date Title
US10652455B2 (en) Guided video capture for item listings
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
CN110795148A (zh) 编排文件的生成方法、装置及电子设备
CN108833787B (zh) 用于生成短视频的方法和装置
US9361135B2 (en) System and method for outputting and selecting processed content information
CN105308648A (zh) 用于对用户选定的兴趣区域进行超分辨的系统和方法
CN109683892B (zh) 页面展示方法、装置、计算机设备及存储介质
KR101698739B1 (ko) 비디오 프로젝트 템플릿을 이용한 영상편집 시스템 및 구동방법
CN110597773B (zh) 在计算机设备和虚拟现实设备之间共享文件的方法和装置
CN113379865B (zh) 目标对象的绘制方法和系统
CN112672064B (zh) 一种基于视频区域标签的算法调度方法、系统及设备
EP4213097A1 (en) Image generation method and apparatus
JP2010140488A (ja) 写真製品テンプレート処理方法及びシステム
KR102040525B1 (ko) 인공지능 기반 부품 검색 시스템
CN111432142A (zh) 视频合成方法、装置、设备及存储介质
KR102270572B1 (ko) 인공지능(ai) 기반 콘텐츠 융합 서비스 시스템 및 방법
CN112558968A (zh) 一种资源树视图的生成方法、装置、设备及存储介质
CN115935493B (zh) 一种二维cad图纸转bim模型方法及系统
CN110442806B (zh) 用于识别图像的方法和装置
Richter et al. Service-based processing and provisioning of image-abstraction techniques
KR102270581B1 (ko) 콘텐츠로부터 추출된 객체를 이용한 참조 콘텐츠 추천 시스템 및 방법
KR102270590B1 (ko) 색상 코드를 이용한 참조 콘텐츠 추천 시스템 및 방법
JP7529800B2 (ja) データラベリングシステムおよび方法、ならびにデータラベリングマネージャ
US10891794B2 (en) Method and system for generating augmented reality content on the fly on a user device
JP6958641B2 (ja) 画像処理システム、画像処理方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant