KR20220076815A - 실감형 콘텐츠 생성 방법 - Google Patents

실감형 콘텐츠 생성 방법 Download PDF

Info

Publication number
KR20220076815A
KR20220076815A KR1020200165683A KR20200165683A KR20220076815A KR 20220076815 A KR20220076815 A KR 20220076815A KR 1020200165683 A KR1020200165683 A KR 1020200165683A KR 20200165683 A KR20200165683 A KR 20200165683A KR 20220076815 A KR20220076815 A KR 20220076815A
Authority
KR
South Korea
Prior art keywords
picture
immersive content
hand
user
generating
Prior art date
Application number
KR1020200165683A
Other languages
English (en)
Other versions
KR102511495B1 (ko
Inventor
이유진
김상준
박구만
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020200165683A priority Critical patent/KR102511495B1/ko
Priority to US17/127,344 priority patent/US20220172413A1/en
Publication of KR20220076815A publication Critical patent/KR20220076815A/ko
Application granted granted Critical
Publication of KR102511495B1 publication Critical patent/KR102511495B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

사용자 동작에 기초하여 실감형 콘텐츠를 생성하는 방법에 있어서, 카메라를 통해 사용자에 대한 촬영 영상을 생성하는 단계; 상기 생성된 촬영 영상으로부터 상기 사용자의 손 동작을 인식하는 단계; 상기 인식된 손 동작에 기초하여 손의 모양 및 위치에 따른 손 좌표를 도출하는 단계; 상기 도출된 손 좌표에 기초하여 출력 화면에 그림을 출력하는 단계; 보정 알고리즘에 기초하여 상기 출력된 그림을 전처리하는 단계; 및 딥러닝 모델에 기초하여 상기 전처리된 그림으로부터 실감형 콘텐츠를 생성하는 단계를 포함한다.

Description

실감형 콘텐츠 생성 방법{METHOD FOR GENERATING REALISTIC CONTENT}
본 발명은 사용자 동작 인식 기반의 실감형 콘텐츠 생성 방법에 관한 것이다.
실감형 콘텐츠는 다양한 센서를 이용해서 사람의 제스처, 모션 및 음성 등 사람의 행위를 인식하고 분석하는 기술을 활용하여 가상의 디지털 콘텐츠를 실제의 물체처럼 조작할 수 있게 만든 디지털 콘텐츠이다.
실감형 콘텐츠 서비스는 다양한 공공장소에 설치되어 사람과의 인터랙션을 통해 실감형 콘텐츠를 제공할 수 있는 서비스이다. 일 예로, 실감형 콘텐츠 서비스는 사람의 위치 및 동작에 기초하여 실감형 콘텐츠를 제공함으로써, 맞춤형 광고, 실감/체험형 광고, VOD 광고 및 위치기반 광고 등에 활용될 수 있다.
다른 일 예로, 실감형 콘텐츠 서비스는 사람과의 인터랙션을 통해 3D 객체와 상호작용할 수 있는 실감형 콘텐츠를 제공할 수도 있다.
그러나, 종래 실감형 콘텐츠 서비스는 특정 제스처 및 행동을 통해서만 실감형 콘텐츠를 생성할 수 있는 등 제한적인 서비스를 제공하고 있다. 즉, 사람의 상황 및 상태 정보 등을 포함한 다양한 인터랙션에 대응하는 유연한 실감형 콘텐츠를 생성하기가 어렵다.
한국등록특허공보 제2043274호 (2019. 11. 5. 등록) 한국공개특허공보 제2020-0079162호 (2020. 7. 2. 공개)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 특정 제스처 및 모션에만 대응할 수 있는 것이 아니라, 사람과의 다양한 인터랙션에 대응하는 유연한 실감형 콘텐츠를 제공할 수 있는 실감형 콘텐츠 생성 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 사용자 동작에 기초하여 실감형 콘텐츠를 생성하는 방법에 있어서, 카메라를 통해 사용자에 대한 촬영 영상을 생성하는 단계; 상기 생성된 촬영 영상으로부터 상기 사용자의 손 동작을 인식하는 단계; 상기 인식된 손 동작에 기초하여 손의 모양 및 위치에 따른 손 좌표를 도출하는 단계; 상기 도출된 손 좌표에 기초하여 출력 화면에 그림을 출력하는 단계; 보정 알고리즘에 기초하여 상기 출력된 그림을 전처리하는 단계; 및 딥러닝 모델에 기초하여 상기 전처리된 그림으로부터 실감형 콘텐츠를 생성하는 단계를 포함하는, 실감형 콘텐츠 생성 방법을 제공 할 수 있다.
본 발명의 다른 실시예는, 상기 그림을 출력 화면에 출력하는 단계는, 상기 그림을 상기 출력 화면 중 그림 레이어에 출력하는 단계; 및 상기 인식된 손 동작에서 팔의 길이에 기초하여 상기 출력 화면에 UI 메뉴를 생성하는 단계를 포함하고, 상기 UI 메뉴는 상기 그림의 선 색상과 굵기를 변경할 수 있도록 지원하는, 실감형 콘텐츠 생성 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 상기 전처리하는 단계는, 상기 출력된 그림의 좌표에 기초하여 각 선분의 방정식을 산출하는 단계; 상기 산출된 방정식의 기울기를 비교하는 단계 및, 상기 비교 결과에 기초하여 상기 선분을 직선으로 간주하고 변경하는 단계를 포함하는, 실감형 콘텐츠 생성 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 상기 전처리하는 단계는, 상기 선분 상에 위치하는 변수를 정의하는 단계; 상기 정의된 변수에 기초하여 새로운 선분을 생성하는 단계 및, 상기 생성된 선분과 상기 정의된 변수가 지나는 궤적에 기초하여 곡선을 보정하는 단계를 더 포함하는, 실감형 콘텐츠 생성 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 상기 전처리하는 단계는, 상기 출력 화면에서 상기 그림 레이어를 추출하는 단계 및, 상기 손 좌표에 기초하여 상기 추출된 그림 레이어로부터 상기 전처리된 그림을 잘라내는 단계를 더 포함하는, 실감형 콘텐츠 생성 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사람과의 다양한 인터랙션을 통해 3D 콘텐츠를 포함한 유연한 실감형 콘텐츠를 생성할 수 있는 실감형 콘텐츠 생성 방법을 제공할 수 있다.
또한, 인식된 사람의 동작에 대응하는 실감형 콘텐츠는 보정 알고리즘을 이용한 전처리 과정을 거쳐 생성됨으로써 사람 동작에 기초한 콘텐츠의 인식률을 향상시킬 수 있는 실감형 콘텐츠 생성 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실감형 콘텐츠 생성 방법의 전체적인 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 실감형 콘텐츠 생성 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 출력 화면에 UI 메뉴를 생성하는 방법을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 손 좌표에 기초하여 그림을 출력하는 방법을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 출력된 그림을 전처리하는 방법을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 모델에 기초하여 실감형 콘텐츠를 생성하는 방법을 설명하기 위한 예시적인 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실감형 콘텐츠 생성 방법의 전체적인 흐름도이다. 도 1을 참조하면, 실감형 콘텐츠 생성 장치는 사람과의 다양한 인터랙션을 통해 3D 콘텐츠를 포함한 유연한 실감형 콘텐츠를 생성할 수 있다. 예를 들어 실감형 콘텐츠 생성 장치는, 도 1의 (a)를 참조하면, 카메라를 통해 획득한 사용자에 대한 촬영 영상에서 사용자의 손 동작을 인식할 수 있고, (b)를 참조하면, 인식된 사용자의 손 동작에 기초하여 출력된 그림을 보정할 수 있다. 이 후, 실감형 콘텐츠 생성 장치는, (c)를 참조하면, 출력 화면에서 그림 레이어를 추출하여 추출된 그림 레이어에서 보정된 그림을 추출할 수 있고, (d)를 참조하면, 딥러닝 모델을 이용하여 보정된 그림으로부터 3D 객체를 생성할 수 있다.
이하, 실감형 콘텐츠 생성 장치의 각 구성을 통해 보다 자세히 살펴보도록 한다. 도 2는 본 발명의 일 실시예에 따른 실감형 콘텐츠 생성 장치의 구성도이다. 도 2를 참조하면, 실감형 콘텐츠 생성 장치(200)는 촬영 영상 생성부(210), 손 동작 인식부(220), 손 좌표 도출부(230), 그림 출력부(240), 그림 전처리부(250) 및 실감형 콘텐츠 생성부(260)를 포함할 수 있다. 다만 위 구성 요소들(210 내지 260)은 실감형 콘텐츠 생성 장치(200)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다.
도 2의 실감형 콘텐츠 생성 장치(200)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 2에 도시된 바와 같이, 촬영 영상 생성부(210), 손 동작 인식부(220), 손 좌표 도출부(230), 그림 출력부(240), 그림 전처리부(250) 및 실감형 콘텐츠 생성부(260)는 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
본 발명의 일 실시예에 따른 촬영 영상 생성부(210)는 카메라를 통해 사용자에 대한 촬영 영상을 생성할 수 있다. 예를 들어, 촬영 영상 생성부(210)는 RGB-D 카메라를 이용하여 사용자의 포즈 및 모션을 촬영한 영상을 생성할 수 있다.
손 동작 인식부(220)는 생성된 촬영 영상으로부터 사용자의 손 동작을 인식할 수 있다. 예를 들어, 손 동작 인식부(220)는 생성된 촬영 영상에서 사용자의 포즈를 인식하고, 사용자의 손 동작을 인식하여 실감형 컨텐츠 생성 장치(200)와 사용자 간의 인터랙션을 지원할 수 있다. 일 예로, 손 동작 인식부(220)는 '사과'를 그리는 사용자의 손 동작을 인식할 수 있고, 다른 일 예로, '가방'을 그리는 사용자의 손 동작을 인식할 수 있다.
손 좌표 도출부(230)는 인식된 손 동작에 기초하여 손의 모양 및 위치에 따른 손 좌표를 도출할 수 있다. 일 예로, 손 좌표 도출부(230)는 사용자 손 동작에 기초하여 사용자가 표현하고자 하는 '사과'에 대한 손 좌표를 도출할 수 있고, 다른 일 예로, 사용자 손 동작에 기초하여 사용자가 표현하고자 하는 '가방'에 대한 손 좌표를 도출할 수 있다.
본 발명의 일 실시예에 따른 그림 출력부(240)는 도출된 손 좌표에 기초하여 출력 화면에 그림을 출력할 수 있다. 일 예로, 그림 출력부(240)는 '사과'에 대한 손 좌표에 기초하여 출력 화면에 '사과'를 도시한 그림을 출력할 수 있고, '가방'에 대한 손 좌표에 기초하여 출력 화면에 '가방'을 도시한 그림을 출력할 수 있다.
그림 출력부(240)는 레이어 출력부(241) 및 UI 메뉴 생성부(243)를 포함할 수 있다. 레이어 출력부(240)는 출력 화면에 영상 레이어와 그림 레이어를 출력할 수 있다. 예를 들어, 영상 레이어는 카메라를 통해 생성된 사용자에 대한 촬영 영상이 출력될 수 있고, 그림 레이어는 출력 화면 중 손 좌표에 기초한 그림을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 출력 화면에 UI 메뉴를 생성하는 방법을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 그림 출력부(240)는 손 좌표에 기초한 그림(330)을 출력 화면 중 그림 레이어에 출력할 수 있다. 예를 들어, 레이어 출력부(241)는 '사과'에 대한 손 좌표에 기초하여 '사과' 그림(330)을 그림 레이어에 출력할 수 있다.
또한, 도 3을 참조하면, 그림 출력부(240)는 출력 화면에 UI 메뉴(320)를 생성할 수 있다. 예를 들어, UI 메뉴 생성부(243)는 인식된 사용자의 손 동작에서 팔의 길이에 기초하여 출력 화면에 UI 메뉴(320)를 생성할 수 있다. 일 예로, 사용자의 팔의 길이에 비례하게 출력 화면에 생성되는 UI 메뉴(320)의 높이를 설정할 수 있다.
UI 메뉴(320)는 그림의 선 색상과 굵기를 변경하도록 지원할 수 있다. 예를 들어, UI 메뉴 생성부(243)는 출력 화면에 선 색상을 변경할 수 있는 UI 메뉴(321)를 생성할 수 있고, 선 굵기를 변경할 수 있는 UI 메뉴(322)를 생성할 수 있다. 일 예로, 사용자는 출력 화면에 생성된 UI 메뉴(320)에 손을 이동시켜 그림 레이어에 출력되는 그림 선의 색상 및 굵기를 변경할 수 있다.
구체적으로, 도 3의 (a)를 참조하면, 그림 출력부(240)는 사용자에 대한 촬영 영상을 입력 받을 수 있고, (b)를 참조하면, 입력 받은 촬영 영상에서 사용자에 대한 포즈 정보(310)를 획득할 수 있다. 예를 들어, 그림 출력부(240)는 촬영 영상에서 검출된 사용자의 스켈레톤 정보를 사용자에 대한 포즈 정보(310)로 활용할 수 있다.
도 3의 (c)를 참조하면, 그림 출력부(240)는 포즈 정보(310)에 기초하여 출력 화면에 사용자의 팔 길이에 대응할 수 있는 위치에 UI 메뉴(320)를 생성할 수 있다. 예를 들어, 그림 출력부(240)는 출력 화면에 사용자의 오른손 길이에 대응하는 위치에 선 색상을 변경할 수 있는 UI 메뉴(321)를 생성할 수 있고, 사용자의 왼손 길이에 대응하는 위치에 선 굵기를 변경할 수 있는 UI 메뉴(322)를 생성할 수 있다.
도 3의 (d)를 참조하면, 그림 출력부(240)는 생성된 UI 메뉴(320)를 통해 그림 레이어에 출력되는 그림(330)의 선 색상 및 굵기를 변경시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 손 좌표에 기초하여 그림을 출력하는 방법을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 그림 출력부(240)는 사용자의 왼손 동작 또는 오른손 동작을 구분하여 감지하고, 감지된 손 동작에 기초하여 그림 레이어에 출력될 그림에 대한 정보를 업데이트 시키거나, 그림 레이어에 출력된 그림 작업을 완료시킬 수 있다.
S410 단계에서, 그림 출력부(240)는 카메라를 통해 사용자에 대한 촬영 영상을 입력 받을 수 있다. S420 단계에서, 그림 출력부(240)는 촬영 영상에서 사용자의 왼손을 인식할 수 있다. 예를 들어, 그림 출력부(240)는 사용자의 왼손 동작에 기초하여 출력 화면에 출력될 그림 선의 색 또는 굵기를 조절할 수 있다.
S421 단계에서, 그림 출력부(240)는 선 색상을 변경시킬 수 있는 UI 메뉴(321) 영역에서 사용자의 손 동작을 감지할 수 있다. 그림 출력부(240)에서 선 색상을 변경시킬 수 있는 UI 메뉴(321) 영역에 사용자의 손 동작이 감지된 경우, S423 단계에서, 그림 출력부(240)는 그림 레이어에 출력될 선 색상의 정보를 업데이트할 수 있다.
예를 들어, 그림 출력부(240)는 사용자의 왼손이 선 색상을 변경시킬 수 있는 UI 메뉴(321) 영역에 진입하여 '붉은색' 영역으로 이동한 것을 감지한 경우, 이 후, 그림 레이어에 출력될 그림 선의 색상을 '붉은색'으로 변경시킬 수 있다.
S422 단계에서, 그림 출력부(240)는 선 굵기를 변경시킬 수 있는 UI 메뉴(322) 영역에서 사용자의 손 동작을 감지할 수 있다. 그림 출력부(240)에서 선 굵기를 변경시킬 수 있는 UI 메뉴(322) 영역에 사용자의 손 동작이 감지된 경우, S423 단계에서, 그림 출력부(240)는 그림 레이어에 출력될 선 굵기의 정보를 업데이트할 수 있다.
예를 들어, 그림 출력부(240)는 사용자의 왼손이 선 굵기를 변경시킬 수 있는 UI 메뉴(322) 영역에 진입하여 '굵은선' 영역으로 이동한 것을 감지한 경우, 이 후, 그림 레이어에 출력될 그림 선의 굵기를 '굵은선'으로 변경시킬 수 있다.
S430 단계에서, 그림 출력부(240)는 촬영 영상에서 사용자의 오른손을 인식할 수 있다. 예를 들어, 그림 출력부(240)는 사용자의 오른손 상태에 기초하여 출력 화면에 그림을 계속해서 출력할 것인지 마무리할 것인지 여부를 결정할 수 있다.
S431 단계에서, 그림 출력부(240)는 촬영 영상에서 사용자가 오른손을 꽉 진 상태를 감지할 수 있다. 그림 출력부(240)에서 사용자의 오른손이 주먹인 상태로 감지된 경우, S431a 단계에서, 그림 출력부(240)는 S423 단계에서 업데이트된 선 정보를 불러올 수 있다. 이 후, S431b 단계에서, 그림 출력부(240)는 업데이트된 선 정보에 기초하여 이전 좌표에서 현재 좌표까지 선을 추가로 생성한 후 현재 좌표를 저장할 수 있다.
S432 단계에서, 그림 출력부(240)는 촬영 영상에서 사용자가 오른손을 모두 핀 상태를 감지할 수 있다. 그림 출력부(240)에서 사용자의 오른손이 보자기인 상태로 감지된 경우, S432a 단계에서, 그림 출력부(240)는 추가선을 생성하지 않고 현재 좌표를 저장할 수 있다.
S433 단계에서, 그림 출력부(240)는 촬영 영상에서 사용자가 오른손으로 'V'를 표시한 상태를 감지할 수 있다. 그림 출력부(240)에서 사용자의 오른손이 'V'를 표시한 것으로 감지된 경우, S433a 단계에서, 그림 출력부(240)는 현재 상태에서 작업이 완료된 것으로 간주하고, 그림 레이어에 출력된 그림에 대한 전처리를 진행시킬 수 있다.
이와 같이, 그림 출력부(240)는 사용자의 손 동작뿐만 아니라 손 상태를 인식하여 사용자와 인터랙션할 수 있다.
본 발명의 일 실시예에 따른 그림 전처리부(250)는 보정 알고리즘에 기초하여 전처리된 그림을 전처리할 수 있다. 그림 전처리부(250)는 보정부(251) 및 출력부(253)를 포함할 수 있다. 보정부(251)는 손 좌표에 기초한 사용자의 그림을 딥러닝 모델에 입력하기 전에 그림 레이어에 출력된 그림의 직선 및 곡선을 보정하여 그림에 대한 인식률을 향상시킬 수 있고, 출력부(253)는 전처리 과정을 거친 그림을 출력할 수 있다.
보정부(251)는 그림 레이어에 출력된 그림의 좌표에 기초하여 각 선분의 방정식을 산출할 수 있다. 보정부(251)는 산출된 방정식의 기울기를 비교할 수 있다. 이 후, 보정부(251)는 산출된 방정식의 기울기 비교 결과에 기초하여, 선분을 직선으로 간주하고 변경할 수 있다. 예를 들어, 보정부(251)는 산출된 방정식의 기울기를 기 설정된 임계값과 비교할 수 있다. 보정부(251)는 산출된 방정식의 기울기가 기 설정된 임계값을 기준으로 적은 보폭의 차이를 가진다면, 해당 선분을 직선으로 간주하고 변경시킬 수 있다. 일 예로, 보정부(251)는 손 좌표에 기초하여 그림 레이어에 출력된 그림에서 부자연스럽게 꺾인 선분을 정확하게 직선으로 보정시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 출력된 그림을 전처리하는 방법을 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 보정부(251)는 손 좌표에 기초한 사용자 그림에서 곡선을 인식하고 보정할 수 있다.
보정부(251)는 출력된 그림의 좌표에 기초하여 각 선분의 방정식을 산출할 수 있다. 도 5의 (a)를 참조하면, 보정부(251)는 선분(ABC) 상에 위치하는 변수(t)를 정의할 수 있다. 예를 들어, 보정부(251)는 그림 레이어에 출력된 기존 선분(ABC) 상에서 변수(t)를 정의할 수 있다. 도 5의 (b)를 참조하면, 보정부(251)는 정의된 변수(t)에 기초하여 새로운 선분(510)을 생성할 수 있다. 예를 들어, 보정부(251)는 기존 선분(ABC)에 정의된 변수(t) 상에 위치한 점(p, q)을 이어 새로운 선분(510)을 생성할 수 있다. 즉, 보정부(251)는 그림 레이어에 출력된 2개의 선분에 변수를 각각 정의하여 2개의 변수를 생성할 수 있고, 생성된 2개의 변수를 이어 하나의 새로운 선분을 생성할 수 있다.
도 5의 (c) 및 (d)를 참조하면, 보정부(251)는 생성된 선분(510)과 정의된 변수(t)가 지나는 궤적(r)에 기초하여 곡선을 보정하여 보정된 곡선(520)을 생성할 수 있다. 예를 들어, 보정부(251)는 생성된 선분(510) 상에도 변수(t)를 정의할 수 있고, 생성된 선분(510) 상에 정의된 변수(t)가 지나는 궤적(r)으로 보정된 곡선(520)을 생성할 수 있다. 일 예로, 보정부(251)는 손 좌표에 기초하여 그림 레이어에 출력된 그림에서 약간 꺾인 선분을 자연스러운 곡선으로 보정시킬 수 있다.
본 발명의 일 실시예에 따른 출력부(253)는 출력 화면에서 그림 레이어를 출력할 수 있고, 손 좌표에 기초하여 추출된 그림 레이어로부터 전처리된 그림을 잘라낼 수 있다. 예를 들어, 출력부(253)는 출력 화면에서 그림 레이어를 추출하고 손 좌표에 기초하여 그림을 추출할 수 있다.
그림 전처리부(250)는 그림 레이어에서 출력된 그림을 딥러닝 모델에 입력하기 전에, 보정부(251)를 통해 그림 레이어에 출력된 그림의 직선 및 곡선을 전처리 과정을 통해 보정하고, 출력부(253)를 통해 보정된 그림을 추출함으로써, 딥러닝 모델에서 손 동작에 기초하여 사용자가 표현하고자 하는 그림을 정확하게 인식하도록 지원할 수 있다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 모델에 기초하여 실감형 콘텐츠를 생성하는 방법을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 실감형 콘텐츠 생성부(260)는 딥러닝 모델에 기초하여 전처리된 그림으로부터 실감형 콘텐츠를 생성할 수 있다. 예를 들어, 실감형 콘텐츠 생성부(260)는 전처리된 그림으로부터 실감형 콘텐츠를 생성하기 위한 딥러닝 모델로 YOLOv3을 이용할 수 있다. 딥러닝 모델 YOLOv3은 객체 인식 알고리즘으로, 전처리된 그림에서 객체 위치의 후보 영역을 추출하고, 추출된 후보 영역의 클래스를 분류하는 과정을 한 단계로 진행할 수 있다. 딥러닝 모델 YOLOv3은 후보 영역의 추출과 클래스 분류 과정을 한 단계로 진행할 수 있어 처리 속도가 빠르므로, 인식된 사용자 동작에 기초하여 실시간으로 실감형 콘텐츠를 생성할 수 있다.
S610 단계에서, 실감형 콘텐츠 생성부(260)는 오픈 낙서 데이터 셋을 활용하여 딥러닝 모델의 그림 이미지 학습을 진행할 수 있다. 예를 들어, 실감형 콘텐츠 생성부(260)는 네트워크를 통해 낙서 데이터 셋을 획득하여 이용할 수 있다. 획득한 낙서 데이터 셋은 좌표 데이터로 구성되어 있다.
S620 단계에서, 실감형 콘텐츠 생성부(260)는 좌표 데이터로 구성되어 있는 낙서 데이터 셋을 이미지로 구현할 수 있다. 예를 들어, 실감형 콘텐츠 생성부(260)는 좌표 데이터로 구성되어 있는 낙서 데이터 셋을 이미지로 구현하여 이미지 학습을 위한 학습 데이터 셋으로 구축할 수 있다.
S630 단계에서, 실감형 콘텐츠 생성부(260)는 구축된 학습 데이터 셋으로 딥러닝 모델을 학습하고 테스트할 수 있다. 예를 들어, 실감형 콘텐츠 생성부(260)는 딥러닝 모델 YOLOv3을 구축된 학습 데이터 셋으로 학습시키고, 학습 결과를 테스트할 수 있다.
S640 단계에서, 실감형 콘텐츠 생성부(260)는 학습된 딥러닝 모델을 이용하여 전처리된 그림으로부터 실감형 콘텐츠를 생성할 수 있다. 예를 들어, 실감형 콘텐츠 생성부(260)는 사용자 동작을 인식하고 전처리 과정을 거친 그림을 학습된 딥러닝 모델 YOLOv3에 입력하여 실감형 콘텐츠를 생성할 수 있다. 다른 예를 들어, 실감형 콘텐츠 생성부(260)는 입력 값에 대한 딥러닝 모델 YOLOv3의 인식 결과에 기초하여 기 생성된 3D 객체를 가상 공간에 출력할 수 있다. 일 예로, 실감형 콘텐츠 생성부(260)는 사용자 동작을 인식하여 '안경'을 표현하는 3D 객체를 가상 공간에 출력할 수 있다.
즉, 실감형 콘텐츠 생성 장치(200)는 사용자 동작에 기초하여 실감형 콘텐츠를 생성하고, 생성된 실감형 콘텐츠를 사용자에게 제공할 수 있다. 예를 들어, 실감형 콘텐츠 생성 장치(200)는 사용자가 손 동작으로 표현한 객체를 실감형 콘텐츠로 생성하고 생성된 실감형 콘텐츠를 출력 화면을 통해 제공할 수 있고, 다른 예를 들어, 실감형 콘텐츠 생성 장치(200)는 사용자 손 동작에 기초하여 생성된 실감형 콘텐츠를 가상 공간을 통해 사용자에게 제공할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
200: 실감형 콘텐츠 생성 장치
210: 촬영 영상 생성부
220: 손 동작 인식부
230: 손 좌표 도출부
240: 그림 출력부
250: 그림 전처리부
260: 실감형 콘텐츠 생성부

Claims (5)

  1. 사용자 동작에 기초하여 실감형 콘텐츠를 생성하는 방법에 있어서,
    카메라를 통해 사용자에 대한 촬영 영상을 생성하는 단계;
    상기 생성된 촬영 영상으로부터 상기 사용자의 손 동작을 인식하는 단계;
    상기 인식된 손 동작에 기초하여 손의 모양 및 위치에 따른 손 좌표를 도출하는 단계;
    상기 도출된 손 좌표에 기초하여 출력 화면에 그림을 출력하는 단계;
    보정 알고리즘에 기초하여 상기 출력된 그림을 전처리하는 단계; 및
    딥러닝 모델에 기초하여 상기 전처리된 그림으로부터 실감형 콘텐츠를 생성하는 단계
    를 포함하는, 실감형 콘텐츠 생성 방법.
  2. 제 1 항에 있어서,
    상기 그림을 출력 화면에 출력하는 단계는,
    상기 그림을 상기 출력 화면 중 그림 레이어에 출력하는 단계; 및
    상기 인식된 손 동작에서 팔의 길이에 기초하여 상기 출력 화면에 UI 메뉴를 생성하는 단계
    를 포함하고,
    상기 UI 메뉴는 상기 그림의 선 색상과 굵기를 변경할 수 있도록 지원하는, 실감형 콘텐츠 생성 방법.
  3. 제 2 항에 있어서,
    상기 전처리하는 단계는,
    상기 출력된 그림의 좌표에 기초하여 각 선분의 방정식을 산출하는 단계;
    상기 산출된 방정식의 기울기를 비교하는 단계 및
    상기 비교 결과에 기초하여 상기 선분을 직선으로 간주하고 변경하는 단계
    를 포함하는, 실감형 콘텐츠 생성 방법.
  4. 제 3 항에 있어서,
    상기 전처리하는 단계는,
    상기 선분 상에 위치하는 변수를 정의하는 단계;
    상기 정의된 변수에 기초하여 새로운 선분을 생성하는 단계 및
    상기 생성된 선분과 상기 정의된 변수가 지나는 궤적에 기초하여 곡선을 보정하는 단계
    를 더 포함하는, 실감형 콘텐츠 생성 방법.
  5. 제 4 항에 있어서,
    상기 전처리하는 단계는,
    상기 출력 화면에서 상기 그림 레이어를 추출하는 단계 및
    상기 손 좌표에 기초하여 상기 추출된 그림 레이어로부터 상기 전처리된 그림을 잘라내는 단계
    를 더 포함하는, 실감형 콘텐츠 생성 방법.
KR1020200165683A 2020-12-01 2020-12-01 실감형 콘텐츠 생성 방법 KR102511495B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200165683A KR102511495B1 (ko) 2020-12-01 2020-12-01 실감형 콘텐츠 생성 방법
US17/127,344 US20220172413A1 (en) 2020-12-01 2020-12-18 Method for generating realistic content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200165683A KR102511495B1 (ko) 2020-12-01 2020-12-01 실감형 콘텐츠 생성 방법

Publications (2)

Publication Number Publication Date
KR20220076815A true KR20220076815A (ko) 2022-06-08
KR102511495B1 KR102511495B1 (ko) 2023-03-17

Family

ID=81752857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165683A KR102511495B1 (ko) 2020-12-01 2020-12-01 실감형 콘텐츠 생성 방법

Country Status (2)

Country Link
US (1) US20220172413A1 (ko)
KR (1) KR102511495B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605187B1 (en) * 2020-08-18 2023-03-14 Corel Corporation Drawing function identification in graphics applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044243A (ko) * 2013-10-16 2015-04-24 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
KR20150097245A (ko) * 2014-02-18 2015-08-26 성균관대학교산학협력단 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
KR102043274B1 (ko) 2018-02-06 2019-11-11 주식회사 팝스라인 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
KR102095443B1 (ko) * 2019-10-17 2020-05-26 엘아이지넥스원 주식회사 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
KR20200079162A (ko) 2018-12-21 2020-07-02 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325407B2 (en) * 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
JP6965518B2 (ja) * 2017-01-17 2021-11-10 カシオ計算機株式会社 描画方法、描画装置、及びプログラム
US11158130B1 (en) * 2020-08-03 2021-10-26 Adobe Inc. Systems for augmented reality sketching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044243A (ko) * 2013-10-16 2015-04-24 (주)컴버스테크 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
KR20150097245A (ko) * 2014-02-18 2015-08-26 성균관대학교산학협력단 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
KR102043274B1 (ko) 2018-02-06 2019-11-11 주식회사 팝스라인 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
KR20200079162A (ko) 2018-12-21 2020-07-02 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법
KR102095443B1 (ko) * 2019-10-17 2020-05-26 엘아이지넥스원 주식회사 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치

Also Published As

Publication number Publication date
US20220172413A1 (en) 2022-06-02
KR102511495B1 (ko) 2023-03-17

Similar Documents

Publication Publication Date Title
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
WO2013027893A1 (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
US11567572B1 (en) Augmented reality object manipulation
KR20100025862A (ko) 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템
CN110868538A (zh) 推荐拍摄姿态的方法和电子设备
CN107886559A (zh) 用于生成图片的方法和装置
KR102511495B1 (ko) 실감형 콘텐츠 생성 방법
CN108108024B (zh) 动态手势获取方法及装置、显示装置
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
US11846783B2 (en) Information processing apparatus, information processing method, and program
US11589001B2 (en) Information processing apparatus, information processing method, and program
KR101189043B1 (ko) 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN114035683B (zh) 用户捕捉方法、装置、设备、存储介质及计算机程序产品
KR102195068B1 (ko) 시선 일치화 기능을 탑재한 사용자 단말기 및 그것을 이용한 시선 일치화 방법
CN113706430A (zh) 一种图像处理方法、装置和用于图像处理的装置
CN111010526A (zh) 一种视频通讯中的互动方法及装置
CN111461005A (zh) 一种手势识别方法、装置、计算机设备以及存储介质
JP2019211828A (ja) 画像制御装置、及びそのプログラム
KR102570735B1 (ko) 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법
KR102459198B1 (ko) 컨텐츠를 표시하는 디스플레이 장치
WO2021137349A1 (ko) 환경 기반 실-가상 정합 사물 배치를 위한 3차원 공간인식과 2차원 인지적 영역분할의 결합 방법 및 시스템

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant