KR102551643B1 - 고화질의 가상 콘텐츠 제작 시스템 및 방법 - Google Patents

고화질의 가상 콘텐츠 제작 시스템 및 방법 Download PDF

Info

Publication number
KR102551643B1
KR102551643B1 KR1020210194516A KR20210194516A KR102551643B1 KR 102551643 B1 KR102551643 B1 KR 102551643B1 KR 1020210194516 A KR1020210194516 A KR 1020210194516A KR 20210194516 A KR20210194516 A KR 20210194516A KR 102551643 B1 KR102551643 B1 KR 102551643B1
Authority
KR
South Korea
Prior art keywords
virtual content
radius
section
color image
reset
Prior art date
Application number
KR1020210194516A
Other languages
English (en)
Other versions
KR20230062315A (ko
Inventor
김동호
김소희
양유진
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to US17/567,912 priority Critical patent/US20230136502A1/en
Publication of KR20230062315A publication Critical patent/KR20230062315A/ko
Application granted granted Critical
Publication of KR102551643B1 publication Critical patent/KR102551643B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 기술은 고화질 가상 콘텐츠 제작 시스템 및 방법이 개시되고, 본 기술의 구체적인 구현 예에 의거하여 원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 설정된 반지름을 소정 간격 마다 순차적으로 재설정하고 재설정된 각각의 반지름에 대한 가상 콘텐츠를 각각 제작하고, 각각의 제작된 가상 콘텐츠와 원본 이미지 간의 섹션 별 컬러영상 차를 토대로 각각의 반지름 중 각 섹션 별 최적의 반지름을 도출하며, 도출된 섹션 별 최적 반지름으로 가상 콘텐츠를 제작함에 따라 적은 샘플의 수로 실감 또는 현실감이 있는 고화질의 가상 콘텐츠를 제작할 수 있다.

Description

고화질의 가상 콘텐츠 제작 시스템 및 방법{HIGH DENSITY VIRTUAL CONTENT CREATION SYSTEM AND METHOD}
본 발명은 고화질의 가상 콘텐츠 제작 시스템 및 방법에 관한 것으로, 더욱 자세하게는 제작된 가상 콘텐츠의 성능 평가하여 평가 결과에 따라 고화질의 가상 콘텐츠를 제작할 수 있도록 한 기술에 관한 것이다.
최근 비대면 사회의 진입으로 가상현실(VR: Virtual Reality)과 증강현실(AR: Augmented Reality) 콘텐츠의 소비가 늘어나고 있다. 이러한 VR/AR 콘텐츠를 제작하기 위해 기존의 오디오나 음성, 비디오보다 많은 데이터가 요구된다.
이러한 데이터의 수를 줄이기 위해 기 정해진 거리에만 해당하는 포인트를 랜덤하게 선택하고, 선택된 포인트에 근접한 샘플들이 너무 가깝지 않도록 샘플 수를 줄인 다음 임의 샘플을 채워 VR/AR 콘텐츠를 제작하고 있다.
하지만 제작된 VR/AR 콘텐츠와 원본 콘텐츠 간의 육안 식별을 통해 VR/AR 콘텐츠의 성능을 평가한 후 평가 결과를 토대로 삭제하는 샘플 수를 조정하여 고화질의 VR/AR 콘텐츠를 제작하였으나, 육안 식별에 의거한 VR/AR 콘텐츠의 성능을 평가가 주관적이므로, 성능 평가의 결과에 대한 정확도가 떨어지고, 이에 고화질의 VR/AR 콘텐츠 제작이 불가능하고 따라서, 제작된 VR/AR 콘텐츠에 대한 실감 또는 현실감이 저하되는 한계에 도달하였다.
이에 본 출원인은 VR/AR 콘텐츠의 성능 평가를 정량적으로 수행하고 정량적 VR/AR 콘텐츠 성능 평가 결과를 토대로 고화질의 가상 콘텐츠를 제작하는 방안을 제안하고자 한다.
대한민국 등록특허공보 제10-1850410호(가상현실 기반 로봇 교시를 위한 시뮬레이션 장치 및 방법)
이에 본 발명은 기 정해진 각도로 추출된 포인트 클라우드의 하나의 포인트를 중심으로 하고 기 정해진 반지름으로 생성된 원의 내의 샘플을 제거한 후 가상 콘텐츠를 제작하고 제작된 가상 콘텐츠의 성능을 정량적으로 평가하며, 가상 콘텐츠의 정량적 성능 평가 결과를 토대로 고화질의 가상 콘텐츠를 제작하기 위한 것이다.
본 발명은 고화질의 가상 콘텐츠에 대한 실감 및/또는 현실감을 더욱 향상시킬 수 있고 이에 가상 콘텐츠에 대한 흥미성을 더욱 향상시키기 위한 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 한 실시예에 따른 고화질 가상 콘텐츠 제작 시스템은,
가상 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 기 설정된 반지름으로 생성된 원 내의 샘플을 제거한 후 가상 콘텐츠를 제작하고, 상기 설정된 반지름을 소정 간격으로 순차 재설정하고 순차적으로 재설정된 각각의 반지름으로 가상 콘텐츠를 각각 제작하는 가상 콘텐츠 제작부;
각 가상 콘텐츠와 원본 이미지 간의 섹션 별 컬러영상 차를 도출하고 도출된 각 섹션 별 칼라영상 차로 재설정된 반지름 중 최적 반지름을 각 섹션 별로 도출하는 가상 콘텐츠 성능 평가부; 및
각 섹션 별로 설정된 최적 반지름으로 고화질의 가상 콘텐츠를 제작하는 고화질 가상 콘텐츠 제작부를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 가상 콘텐츠 제작부는,
원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 반지름 설정하는 반지름 설정모듈;
가상 공간 상의 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 상기 설정된 반지름으로 생성된 원 내에 샘플을 제거한 후 가상 콘텐츠를 제작하는 가상 콘텐츠 제작모듈;
상기 설정된 반지름의 크기를 소정 간격으로 순차적으로 재설정하는 반지름 재설정 모듈을 포함하고,
상기 가상 콘텐츠 제작모듈은,
순차적으로 재설정된 각각의 반지름으로 가상 콘텐츠를 각각 제작하여 저장하도록 구비될 수 있다.
바람직하게 상기 가상 콘텐츠 성능 평가부는,
각 순차적으로 재설정된 각각의 반지름으로 제작된 각 가상 콘텐츠를 다수의 섹션으로 분할하는 섹션 분할 모듈;
분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하여 각 섹션 별 컬러영상 차를 도출하는 각 섹션 별 컬러영상 차에 대한 합집합을 생성하는 컬러영상 차 도출모듈; 및
도출된 각 섹션 별 각 컬러영상 차를 토대로 재설정된 각 반지름 중 각 섹션 별 최적 반지름을 도출하는 최적 반지름 설정모듈을 포함할 수 있다.
바람직하게 상기 섹션 별 각 컬러영상 차에 대한 합집합은,
원본 이미지 D rgb (r=a, s=y) 와 가상 콘텐츠 D rgb (r=a, s=y)의 차에 대한 합집합으로 도출되며, 모든 섹션 별 컬러영상 차 D rgb (r=a, s=y)는 하기 식 1을 만족하도록 구비될 수 있다.
[식 1]
Figure 112021153505736-pat00001
여기서, r은 포아송 디스크 샘플링의 반지름이고, s는 섹션 넘버이며, a, b는 상수이다.
바람직하게 상기 가상 컨텐츠 성능 평가부는,
도출된 섹션 별 컬러영상 차에 대한 히스토그램을 도출하는 히스토그램 도출모듈을 더 포함하여 각 섹션 별 컬러영상 차에 대한 히스토그램으로 각 재설정된 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출하도록 구비될 수 있다.
바람직하게 상기 컬러영상차 도출모듈은,
원본 이미지와 가상 콘텐츠의 각 특징점을 매칭시키는 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 원본 이미지와 가상 콘텐츠 간의 각도 오차를 1차 보정한 다음
상기 SIFT(Scale Invariant Feature Transform) 연산 과정에서 발생된 각도 오차를 2차 보정한 후 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하도록 구비될 수 있다.
바람직하게 상기 최적 반지름은,
각 재설정된 반지름 별 컬러영상 차 중 컬러영상 차가 작은 반지름으로 설정되도록 구비될 수 있다.
본 발명의 다른 실시예에 의거한 고화질의 가상 콘텐츠 제작 방법은,
가상 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 기 설정된 반지름으로 생성된 원 내의 샘플을 제거한 후 가상 콘텐츠를 제작하고, 상기 설정된 반지름을 소정 간격만큼 순차적으로 재설정하고 각 재설정된 반지름으로 가상 콘텐츠를 각각 제작하는 가상 콘텐츠 제작 단계;
상기 제작된 가상 콘텐츠 각각을 섹션 별로 분할한 다음 분할된 각 섹션 별 가상 콘텐츠와 원본 이미지 간의 컬러영상 차를 생성하고 생성된 각 섹션 별 컬러영상 차로 각 섹션 별 최적 반지름을 설정하는 가상 콘텐츠 성능 평가단계; 및
상기 섹션 별 최적 반지름으로 가상 콘텐츠를 제작하는 고화질 가상 콘텐츠 제작 단계를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 가상 콘텐츠 제작 단계는,
원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 반지름 설정하는 반지름 설정 단계;
가상 공간 상의 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 상기 설정된 반지름으로 생성된 원 내에 샘플을 제거한 후 가상 콘텐츠를 제작하는 가상 콘텐츠 제작단계;
상기 설정된 반지름을 소정 간격으로 순차 재설정한 후 재설정된 각각의 반지름을 상기 가상 콘텐츠 제작단계로 전달하는 반지름 재설정 단계를 포함하고,
상기 가상 콘텐츠 제작 단계는,
순차적으로 재설정된 각각의 반지름을 가지는 원 내의 샘플을 제거한 후 가상 콘텐츠를 각각 제작하도록 구비될 수 있다.
바람직하게 상기 가상 콘텐츠 성능 평가 단계는,
각 반지름으로 제작된 각각의 가상 콘텐츠를 다수의 섹션으로 분할하는 섹션 분할 단계;
분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하여 각 섹션 별 컬러영상 차를 도출하고, 도출된 각 섹션 별 각 컬러영상 차에 대한 합집합을 생성하는 컬러영상 차 도출 단계; 및
도출된 각 반지름에 대한 각 섹션 별 각 컬러영상 차로 재설정된 각 반지름 중 각 섹션 별 최적 반지름을 도출하는 최적 반지름 설정 단계를 포함할 수 있다.
바람직하게 상기 컬러영상 차 도출 단계는,
분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하기 이전에,
원본 이미지와 가상 콘텐츠의 각 특징점을 매칭시키는 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 원본 이미지와 가상 콘텐츠 간의 각도 오차를 1차 보정하는 단계; 및
상기 SIFT(Scale Invariant Feature Transform) 연산 과정에서 발생된 각도 오차를 2차 보정하는 단계를 더 포함할 수 있다.
바람직하게 상기 컬러영상 차 도출 단계는
도출된 각 반지름에 대한 각 섹션 별 컬러영상 차의 히스토그램을 도출하는 단계를 더 포함하여 각 섹션 별 컬러영상 차에 대한 히스토그램으로 각 재설정된 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출하도록 구비될 수 있다.
이러한 특징에 따르면, 원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 설정된 반지름을 소정 간격 마다 순차적으로 재설정하고 재설정된 각각의 반지름에 대한 가상 콘텐츠를 각각 제작하고, 각각의 제작된 가상 콘텐츠와 원본 이미지 간의 섹션 별 컬러영상 차를 토대로 각각의 반지름 중 각 섹션 별 최적의 반지름을 도출하며, 도출된 섹션 별 최적 반지름으로 가상 콘텐츠를 제작함에 따라 적은 샘플의 수로 실감 또는 현실감이 있는 고화질의 가상 콘텐츠를 제작할 수 있고, 이에 경량의 디바이스를 이용하여 고화질의 가상 콘텐츠 제작이 가능하다.
또한 일 실시예에 의거하면, 재설정된 각 반지름 별 컬러영상 차에 대한 히스토그램으로 재설정된 각 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출할 수 있고, 이에 고화질 가상 콘텐츠에 대한 신뢰도를 향상시킬 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예에 따른 고화질 가상 콘텐츠 제작 시스템의 구성도이다.
도 2는 도 1의 가상 콘텐츠 제작부의 세부 구성도이다.
도 3은 도 2의 가상 콘텐츠 제작부의 처리 과정을 보인 도이다.
도 4는 도 1의 가상 콘텐츠 평가부의 세부 구성도이다.
도 5는 도 4의 가상 콘텐츠 평가부의 처리 과정을 보인 도이다.
도 6는 도 4의 섹션 분할 모듈의 각 섹션을 보인 예시도이다.
도 7는 도 4의 히스토그램 도출모듈의 히스토그램을 보인 도이다.
도 8은 일 실시예에 따른 컬러영상 차를 보인 예시도들이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
따라서, 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
일 실시예가 적용되는 각각의 구성요소에 대해 임의 개를 임의의 적절한 구성으로 포함할 수도 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 광범위한 구성들로 나타나며, 도면은 본 개시의 범위를 어떤 특정 구성으로 한정하지 않는다. 도면은 본 특허 문서에서 개시된 다양한 특성들이 사용될 수 있는 하나의 동작 환경을 도시하고 있지만, 그러한 특성들은 어떤 다른 적절한 시스템에서 사용될 수도 있다.
일 례로 일 실시예는 하나의 콘텐츠 제작 서버에서 포인트 클라우드의 포인트를 중심으로 하고 설정된 반지름으로 생성된 원 내의 샘플을 포아송 디스크 샘플링 기법으로 제거한 다음 가상 콘텐츠를 제작하고, 설정된 반지름을 소정 크기로 재설정한 후 재설정된 각각의 반지름으로 가상 콘텐츠를 각각 제작하며, 제작된 각 가상 콘텐츠와 원본 이미지 간의 각 섹션 별 컬러영상 차를 토대로 재설정된 각 반지름 중 섹션 별 최적 반지름을 도출하며 도출된 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작할 수 있다.
다른 례로, 일 실시예는 콘텐츠 제작 서버로부터 전달받은 재설정된 각 반지름으로 제작된 가상 콘텐츠 및 각 재설정된 반지름과 섹션 별 컬러영상 차에 대한 합집합을 데이터 스트림 형태로 전달받은 사용자 단말에서 각 섹션 별 컬러영상 차를 토대로 각 섹션 별 최적 반지름을 도출하고, 각 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작하도록 구현될 수 있다.
또한, 일 실시예는 재설정된 각 반지름 별 컬러영상 차에 대한 히스토그램으로 재설정된 각 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 평가한다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대하여 명확하게 하기로 한다. 본 명세서에서 가상 콘텐츠는 AR/VR 콘텐츠로 가상 공간 상의 콘텐츠를 의미하며, 이를 혼용하여 기재하기로 한다.
도 1은 일 실시예에 따른 고화질 가상 콘텐츠 제작 시스템의 구성도이고, 도 2는 도 1의 가상 콘텐츠 제작부의 세부 구성도이며, 도 3은 도 2의 가상 콘텐츠 제작부의 처리 과정을 보인 도이고, 도 4는 도 1의 가상 콘텐츠 평가부의 세부 구성도이며, 도 5는 도 4의 가상 콘텐츠 평가부의 처리 과정을 보인 도이고, 도 6는 도 4의 섹션 분할 모듈의 각 섹션을 보인 예시도이며, 도 7는 도 4의 히스토그램 도출모듈의 히스토그램을 보인 도이고, 도 8은 일 실시예에 따른 컬러영상 차를 보인 예시도들이다.
도 1 내지 도 8을 참조하면, 일 실시예의 고화질의 가상 콘텐츠 제작 시스템은, 도 1에 도시된 바와 같이, 가상 콘텐츠 제작부(1), 가상 콘텐츠 평가부(2), 및 고화질 가상 콘텐츠 제작부(3)의 구성을 갖추며, 포인트 클라우드의 포인트를 중심으로 하고 설정된 반지름으로 생성된 원 내의 샘플을 제거한 다음 가상 콘텐츠를 제작하고 이 후 설정된 반지름을 소정 크기 간격으로 재설정하고, 재설정된 각 반지름으로 가상 콘텐츠를 각각 제작하며, 제작된 각 가상 콘텐츠와 원본 이미지 간의 각 섹션 별 컬러영상 차를 토대로 각 섹션 별 재설정된 반지름 중 최적 반지름을 도출하고, 도출된 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작한다.
여기서, 가상 콘텐츠 제작부(1)는 가상 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 한 포인트를 중심으로 하는 원의 반지름을 설정하고 설정된 반지름을 가지는 원 내의 포인트를 제거한 다음 가상 콘텐츠를 제작하여 저장하고, 이어 설정된 반지름을 소정크기의 간격으로 재설정하여 재설정된 각 반지름으로 가상 콘텐츠를 각각 제작한다.
즉, 가상 콘텐츠 제작부(1)는 도 2에 도시된 바와 같이, 반지름 설정모듈(11), 가상 콘텐츠 제작모듈(12), 및 반지름 재설정 모듈(13)을 포함할 수 있으며, 도 3을 참조하여 가상 콘텐츠 제작부(1)의 동작 과정을 구체적으로 설명한다.
즉, 반지름 설정모듈(11)은 원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 랜덤하게 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 반지름을 설정한다. 설정된 반지름은 가상 콘텐츠 제작모듈(12)로 전달된다.
이이 가상 콘텐츠 제작모듈(12)은 가상 공간 상의 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 설정된 반지름으로 생성된 원 내에 샘플을 제거한 다음 가상 콘텐츠를 제작한다. 일 례로 반지름의 원 내에 샘플은 포아송 디스크(Poission Disk) 샘플 기법을 이용하여 제거될 수 있고, 가상 콘텐츠는 메시(mesh) 플랫폼을 이용하여 생성된 메시 모델일 수 있다.
그리고, 반지름 재설정 모듈(13)은 설정된 반지름을 기 정해진 소정 크기 간격으로 각각 재설정하고 재설정된 각 반지름은 가상 콘텐츠 제작모듈(12)로 전달된다. 여기서, 소정 크기 간격은 제작하고자 하는 콘텐츠의 해상도 마다 달리 설정될 수 있다. 이에 가상 콘텐츠 제작모듈(12)은 재설정된 반지름의 원 내에 포함된 샘플을 포아송 디스크 샘플 기법으로 제거한 다음 가상 콘텐츠를 제작한다. 이에 가상 콘텐츠는 재설정된 각각의 반지름으로 각각 제작될 수 있고. 각 반지름 별 제작된 가상 콘텐츠는 가상 콘텐츠 성능 평가부(2)로 전달된다.
가상 콘텐츠 성능 평가부(2)는 도 4를 참조하면, 섹션 분할 모듈(21), 컬러영상 차 도출 모듈(22), 최적 반지름 도출 모듈(23)를 포함할 수 있다. 도 5를 참조하여 가상 콘텐츠 성능 평가부(2)의 동작 과정을 보다 구체적으로 설명한다.
섹션 분할 모듈(21)는 가상 콘텐츠 각각을 도 6에 도시된 바와 같이, 소정 각도 및 길이로 기 설정된 섹션으로 분할하고 분할된 섹션 별 가상 콘텐츠는 컬러영상 차 도출모듈(22)로 전달된다. 도 6을 참조하면, 가상 콘텐츠를 수형 및 수직 방향으로 각각 A▲간격으로 분할한 경우 섹션의 수 S=(180*360)/A2)이다. 일 례로 A=10인 경우 총 648개의 섹션이 생성될 수 있다.
상기 컬러영상 차 도출모듈(22)은 섹션 별 가상 콘텐츠 및 가상 콘텐츠의 섹션과 매칭되는 해당 섹션의 원본 이미지 간의 컬러영상 차를 도출한다.
이때 원본 이미지와 가상 콘텐츠의 각 특징점을 매칭시키는 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 원본 이미지와 가상 콘텐츠 간의 각도 오차를 1차 보정한 다음 상기 SIFT(Scale Invariant Feature Transform) 연산 과정에서 발생된 각도 오차를 2차 보정한 후 섹션 별 가상 콘텐츠 및 해당 섹션과 매칭되는 원본 이미지 간의 컬러영상 차가 도출될 수 있다. 여기서 해당 섹션은 가상 콘텐츠의 섹션과 매칭되는 원본 이미지의 섹션이다.
여기서 컬러영상은 RGB(Red, Green, Blue) 영상이다. 컬러영상 차 도출모듈(22)은 각 섹션 별 컬러영상 차에 대한 합집합을 생성하여 저장하고. 이에 모든 섹션에 대한 컬러영상 차는 행렬 형태로 나타낼 수 있다.
즉, 반지름 r=a로 제작된 가상 콘텐츠의 섹션 s=b의 컬러영상 차 D rgb (r=a, s=b)는 하기 식 1로 나타낼 수 있다.
[식 1]
Figure 112021153505736-pat00002
여기서, I rgb (r=a, s=b)는 원본 이미지의 컬러영상이고, M rgb (r=a, s=b)는 가상 콘텐츠의 컬러영상이다.
또한 반지름 r=a로 제작된 가상 콘텐츠의 모든 섹션 y=1 ~ S에 대한 컬러영상 차는 각 섹션 별 컬러영상 차에 대한 합집합으로 나타낼 수 있으며, 모든 섹션 y=1 ~ S에 대한 컬러영상 차는 하기 식2를 만족한다.
[식 2]
Figure 112021153505736-pat00003
그리고, r=A에 속하는 모든 반지름으로 제작된 가상 콘텐츠 각각의 모든 섹션 y=1 ~ S에 대한 컬러영상 차는 재설정된 각각의 반지름 r으로 제작된 각 가상 콘텐츠의 모든 섹션 별 컬러영상 차의 합집합으로 나타낼 수 있으며, 모든 섹션 y=1 ~ S에 대한 반지름 및 컬러영상 차는 하기 식 3을 만족한다.
[식 3]
Figure 112021153505736-pat00004
이러한 재설정된 모든 반지름 r에 대한 모든 섹션 별 컬러영상 차의 합집합은 데이터 스트림 형태로 사용자 단말(미도시됨)로 전달될 수 있다. 이에 사용자 단말은 이러한 재설정된 모든 반지름 r에 대한 모든 섹션 별 컬러영상 차의 합집합으로 섹션 별 컬러영상 차를 토대로 모든 반지름 중 최적 반지름을 도출하고 도출된 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작할 수 있다.
다른 례로 일 실시예는 콘텐츠 제작 서버에서 생성된 섹션 별 컬러영상 차 D rgb 를 토대로 모든 반지름 중 최적 반지름을 도출하고 도출된 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작할 수 있다.
이하에서 콘텐츠 제작 서버에서 생성된 섹션 별 컬러영상 차 D rgb 를 토대로 모든 반지름 중 최적 반지름을 도출하고 도출된 섹션 별 최적 반지름으로 고화질의 가상 콘텐츠를 제작하는 과정을 보다 구체적으로 설명한다.
최적 반지름 도출 모듈(23)은 각 섹션 별 컬러영상 차 D rgb 의 크기가 가장 작은 반지름을 각 섹션 별 최적 반지름으로 설정한다. 컬러영상 차 D rgb 가 작을수록 해당 섹션에서 원본 이미지와 가상 콘텐츠 간의 컬러영상 차가 작음을 의미하고 이에 컬러영상 차가 가장 작은 최적 반지름으로 제작된 가상 콘텐츠는 고화질로 판단된다.
한편, 가상 콘텐츠 성능 평가부(2)는 히스토그램 생성 모듈(24)을 더 포함한다. 이에 히스토그램 생성 모듈(24)은 임의의 반지름 r=a에 대해 모든 섹션 y=1 ~ S에 대한 컬러영상 차 D rgb 에 대한 히스토그램을 생성하고 생성된 히스토그램으로 각 섹션 별 콘텐츠의 성능 평가를 수행한다.
히스토그램 생성 모듈(24)은 각각의 반지름의 컬러영상 차에 대한 각각의 히스토그램을 도출하고, 도출된 각 반지름의 컬러영상 차에 대한 히스토그램은 도 7에 도시된 바와 같다. 즉, 도 6을 참조하면, 1 ~ 648개의 섹션과 반지름 r=a에 컬러영상 차 D rgb 에 의거 반지름 r=a로 제작된 가상 콘텐츠의 성능은 정량적으로 도출할 수 있다.
한편, 각 섹션 별 최적 반지름은 고화질 가상 콘텐츠 제작부(3)로 전달되며, 고화질 가상 콘텐츠 제작부(3)는 각 섹션 별 최적 반지름과 포인트 클라우드의 포인트를 중심으로 하는 원 내의 포인트를 제거하는 포아송 디스크 샘플링을 수행한 후 각 섹션 별 가상 콘텐츠를 제작한다.
이에 일 실시예를 포아송 디스크 샘플링을 수행하기 위한 반지름을 각 섹션 별 최적 반지름으로 달리하여 설정하고 설정된 각 섹션 별 최적 반지름과 추출된 포인트 클라우드의 포인트를 중심으로 생성된 원의 내부에 샘플을 제거한 다음 가상 콘텐츠를 제작함에 따라 최적의 고화질 가상 콘텐츠를 제작할 수 있다.
이에 도 8을 참조하면, 포아송 디스크 샘플링을 수행하기 위한 설정된 반지름을 각 섹션 별 최적 반지름으로 섹션 별로 다르게 설정하고 설정된 각 섹션 별 최적 반지름으로 제작된 가상 콘텐츠의 각 섹션 별 컬러영상 차가 일정하게 작음을 확인할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 설정된 반지름을 소정 간격 마다 순차적으로 재설정하고 재설정된 각각의 반지름에 대한 가상 콘텐츠를 각각 제작하고, 각각의 제작된 가상 콘텐츠와 원본 이미지 간의 섹션 별 컬러영상 차를 토대로 각각의 반지름 중 각 섹션 별 최적의 반지름을 도출하며, 도출된 섹션 별 최적 반지름으로 가상 콘텐츠를 제작함에 따라 적은 샘플의 수로 실감 또는 현실감이 있는 고화질의 가상 콘텐츠를 제작할 수 있고, 이에 경량의 디바이스를 이용하여 고화질의 가상 콘텐츠 제작이 가능하고, 재설정된 각 반지름 별 컬러영상 차에 대한 히스토그램으로 재설정된 각 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출할 수 있고, 이에 고화질 가상 콘텐츠에 대한 신뢰도를 향상시킬 수 있는 고화질 가상 콘텐츠 제작 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 다양한 분야에서의 적용할 수 있고, 가상 공간 상의 콘텐츠의 핵심 기술을 확보함에 따라 관련 산업분야의 진단 모니터링을 적극적으로 활용할 수 있고, AR/VR 콘텐츠의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
1 : 가상 콘텐츠 제작부
11 : 반지름 설정모듈
12 : 가상 콘텐츠 제작모듈
13 : 반지름 재설정 모듈
2 : 가상 콘텐츠 성능 평가부
21 : 섹션 분할 모듈
22 : 컬러영상 차 도출모듈
23 : 최적 반지름 설정모듈
24 : 히스토그램 생성모듈
3 : 고화질 가상 콘텐츠 제작부

Claims (13)

  1. 삭제
  2. 가상 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 기 설정된 반지름으로 생성된 원 내의 샘플을 제거한 후 가상 콘텐츠를 제작하고, 상기 설정된 반지름을 소정 간격으로 순차 재설정하고 순차적으로 재설정된 각각의 반지름으로 가상 콘텐츠를 각각 제작하는 가상 콘텐츠 제작부;
    각 가상 콘텐츠와 원본 이미지 간의 섹션 별 컬러영상 차를 도출하고 도출된 각 섹션 별 칼라영상 차로 재설정된 반지름 중 최적 반지름을 각 섹션 별로 도출하는 가상 콘텐츠 성능 평가부; 및
    각 섹션 별로 설정된 최적 반지름으로 고화질의 가상 콘텐츠를 제작하는 고화질 가상 콘텐츠 제작부를 포함하되,
    상기 가상 콘텐츠 제작부는,
    원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 반지름 설정하는 반지름 설정모듈;
    가상 공간 상의 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 상기 설정된 반지름으로 생성된 원 내에 샘플을 제거한 후 가상 콘텐츠를 제작하는 가상 콘텐츠 제작모듈; 및
    상기 설정된 반지름의 크기를 소정 간격으로 순차적으로 재설정하는 반지름 재설정 모듈을 포함하고,
    상기 가상 콘텐츠 제작모듈은,
    순차적으로 재설정된 각각의 반지름으로 가상 콘텐츠를 각각 제작하여 저장하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
  3. 제2항에 있어서, 상기 가상 콘텐츠 성능 평가부는,
    각 순차적으로 재설정된 각각의 반지름으로 제작된 각 가상 콘텐츠를 다수의 섹션으로 분할하는 섹션 분할 모듈;
    분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하여 각 섹션 별 컬러영상 차를 도출하는 각 섹션 별 컬러영상 차에 대한 합집합을 생성하는 컬러영상 차 도출모듈; 및
    도출된 각 섹션 별 각 컬러영상 차를 토대로 재설정된 각 반지름 중 각 섹션 별 최적 반지름을 도출하는 최적 반지름 설정모듈을 포함하는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
  4. 제3항에 있어서, 상기 섹션 별 각 컬러영상 차에 대한 합집합은,
    원본 이미지
    Figure 112023006435568-pat00014
    와 가상 콘텐츠
    Figure 112023006435568-pat00015
    의 차에 대한 합집합으로 도출되며, 모든 섹션 별 컬러영상 차
    Figure 112023006435568-pat00016
    는 하기 식 1을 만족하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
    [식 11]
    Figure 112023006435568-pat00005

    여기서, r은 포아송 디스크 샘플링의 반지름이고, s는 섹션 넘버이며, a, b는 상수이다.
  5. 제3항에 있어서, 상기 가상 컨텐츠 성능 평가부는,
    도출된 섹션 별 컬러영상 차에 대한 히스토그램을 도출하는 히스토그램 도출모듈을 더 포함하여 각 섹션 별 컬러영상 차에 대한 히스토그램으로 각 재설정된 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
  6. 제3항에 있어서, 상기 컬러영상차 도출모듈은,
    원본 이미지와 가상 콘텐츠의 각 특징점을 매칭시키는 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 원본 이미지와 가상 콘텐츠 간의 각도 오차를 1차 보정한 다음
    상기 SIFT(Scale Invariant Feature Transform) 연산 과정에서 발생된 각도 오차를 2차 보정한 후 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
  7. 제3항에 있어서, 상기 최적 반지름은,
    각 재설정된 반지름 별 컬러영상 차 중 컬러영상 차가 작은 반지름으로 설정되도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 시스템.
  8. 삭제
  9. 고화질 가상 콘텐츠 제작 시스템에 의거 수행되는 고화질 가상 콘텐츠 제작 방법에 있어서,
    가상 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 기 설정된 반지름으로 생성된 원 내의 샘플을 제거한 후 가상 콘텐츠를 제작하고, 상기 설정된 반지름을 소정 간격만큼 순차적으로 재설정하고 각 재설정된 반지름으로 가상 콘텐츠를 각각 제작하는 가상 콘텐츠 제작 단계;
    상기 제작된 가상 콘텐츠 각각을 섹션 별로 분할한 다음 분할된 각 섹션 별 가상 콘텐츠와 원본 이미지 간의 컬러영상 차를 생성하고 생성된 각 섹션 별 컬러영상 차로 각 섹션 별 최적 반지름을 설정하는 가상 콘텐츠 성능 평가단계; 및
    상기 섹션 별 최적 반지름으로 가상 콘텐츠를 제작하는 고화질 가상 콘텐츠 제작 단계를 포함하고,
    상기 가상 콘텐츠 제작 단계는,
    원본 이미지에서 추출된 포인트 클라우드 내의 하나의 포인트를 선택하고 선택된 포인트와 가장 인접된 포인트 간의 거리와 원본 이미지의 해상도의 비로 반지름 설정하는 반지름 설정 단계;
    가상 공간 상의 콘텐츠로 제작하고자 하는 물체를 스캔하여 기 정해진 각도의 포인트 클라우드를 추출하고, 추출된 포인트 클라우드 내의 하나의 포인트를 중심으로 하고 상기 설정된 반지름으로 생성된 원 내에 샘플을 제거한 후 가상 콘텐츠를 제작하는 가상 콘텐츠 제작단계; 및
    상기 설정된 반지름을 소정 간격으로 순차 재설정한 후 재설정된 각각의 반지름을 상기 가상 콘텐츠 제작단계로 전달하는 반지름 재설정 단계를 포함하고,
    상기 가상 콘텐츠 제작 단계는,
    순차적으로 재설정된 각각의 반지름을 가지는 원 내의 샘플을 제거한 후 가상 콘텐츠를 각각 제작하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 방법.
  10. 제9항에 있어서, 상기 가상 콘텐츠 성능 평가 단계는,
    각 반지름으로 제작된 각각의 가상 콘텐츠를 다수의 섹션으로 분할하는 섹션 분할 단계;
    분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하여 각 섹션 별 컬러영상 차를 도출하고, 도출된 각 섹션 별 각 컬러영상 차에 대한 합집합을 생성하는 컬러영상 차 도출 단계; 및
    도출된 각 반지름에 대한 각 섹션 별 각 컬러영상 차로 재설정된 각 반지름 중 각 섹션 별 최적 반지름을 도출하는 최적 반지름 설정 단계를 포함하는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 방법.
  11. 제10항에 있어서, 상기 컬러영상 차 도출 단계는,
    분할된 각 섹션에 대해 원본 이미지와 가상 콘텐츠를 비교하기 이전에,
    원본 이미지와 가상 콘텐츠의 각 특징점을 매칭시키는 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 원본 이미지와 가상 콘텐츠 간의 각도 오차를 1차 보정하는 단계; 및
    상기 SIFT(Scale Invariant Feature Transform) 연산 과정에서 발생된 각도 오차를 2차 보정하는 단계를 더 포함하는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 방법.
  12. 제10항에 있어서, 상기 컬러영상 차 도출 단계는
    도출된 각 반지름에 대한 각 섹션 별 컬러영상 차의 히스토그램을 도출하는 단계를 더 포함하여 각 섹션 별 컬러영상 차에 대한 히스토그램으로 각 재설정된 반지름으로 제작된 가상 콘텐츠에 대한 성능을 정량적으로 도출하도록 구비되는 것을 특징으로 하는 고화질의 가상 콘텐츠 제작 방법.
  13. 제9항 내지 제12항 중 어느 한 항의 고화질 가상 콘텐츠 제작 방법을 실행하기 위한 프로그램이 기록되고 컴퓨터에서 판단 가능한 기록매체.
KR1020210194516A 2021-10-29 2021-12-31 고화질의 가상 콘텐츠 제작 시스템 및 방법 KR102551643B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/567,912 US20230136502A1 (en) 2021-10-29 2022-01-04 High density virtual content creation system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210146902 2021-10-29
KR1020210146902 2021-10-29

Publications (2)

Publication Number Publication Date
KR20230062315A KR20230062315A (ko) 2023-05-09
KR102551643B1 true KR102551643B1 (ko) 2023-07-06

Family

ID=86409358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210194516A KR102551643B1 (ko) 2021-10-29 2021-12-31 고화질의 가상 콘텐츠 제작 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102551643B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102676099B1 (ko) * 2023-10-06 2024-06-18 인하대학교 산학협력단 적응형 흙막이 벽체 변위 분석 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850410B1 (ko) 2016-12-26 2018-04-20 한국생산기술연구원 가상 현실 기반 로봇 교시를 위한 시뮬레이션 장치 및 방법
KR102078254B1 (ko) * 2018-03-30 2020-02-17 서울시립대학교 산학협력단 라이다 데이터를 이용한 지형 변화 실시간 탐지 방법, 이를 위한 시스템 및 서버에 저장된 컴퓨터프로그램
KR102256913B1 (ko) * 2018-12-03 2021-05-27 고려대학교 산학협력단 삼차원 동적 포인트 클라우드 압축방법

Also Published As

Publication number Publication date
KR20230062315A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109145784B (zh) 用于处理视频的方法和装置
CN108229321B (zh) 人脸识别模型及其训练方法和装置、设备、程序和介质
CN104008401B (zh) 一种图像文字识别的方法及装置
CN109829959B (zh) 基于人脸解析的表情编辑方法及装置
CN108280480B (zh) 一种基于残差共生概率的隐写图像载体安全性评价方法
CN106686385B (zh) 视频压缩感知重构方法及装置
KR102551643B1 (ko) 고화질의 가상 콘텐츠 제작 시스템 및 방법
CN112102424A (zh) 车牌图像生成模型构建方法、生成方法及装置
US11507842B2 (en) Learning method, learning apparatus, and non-transitory computer-readable storage medium for storing learning program
JP2007200246A (ja) 画像処理アルゴリズムの評価方法、生成方法、装置、プログラムおよび記録媒体
CN108921138B (zh) 用于生成信息的方法和装置
US20240062513A1 (en) Industrial internet of things (iiot) system for industrial production data management, control method, and storage medium thereof
JP7017462B2 (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
CN114299573A (zh) 视频处理方法、装置、电子设备及存储介质
CN112204562B (zh) 音乐字符系统
CN108229320B (zh) 选帧方法和装置、电子设备、程序和介质
CN116416228A (zh) 工业产品新发未知缺陷检测方法及系统
CN115908260A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
WO2022144979A1 (ja) 学習装置、学習方法及び記憶媒体
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
US20230136502A1 (en) High density virtual content creation system and method
CN108133210B (zh) 一种图像格式识别方法及装置
CN114666569A (zh) 一种双录视频质检方法、装置、设备及可读存储介质
CN112749660A (zh) 一种视频内容描述信息的生成方法和设备
CN106296704B (zh) 通用型图像分割方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right