KR102608117B1

KR102608117B1 - 이미지 보정 방법 및 이미지 보정 시스템

Info

Publication number: KR102608117B1
Application number: KR1020220073463A
Authority: KR
Inventors: 안호성
Original assignee: 주식회사 엘지유플러스
Priority date: 2022-06-16
Filing date: 2022-06-16
Publication date: 2023-11-30

Abstract

실시예들에 따르면, 제 1 동작을 수행하는 제 1 오브젝트를 포함하는 제 1 이미지를 획득하는 단계; 제 1 이미지로부터 제 1 오브젝트의 제 1 동작을 추출하는 단계; 제 1 오브젝트 및 제 1 동작을 저장하는 단계; 및 저장된 제 1 오브젝트 및 저장된 제 1 동작 중 적어도 하나를 보정하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

Description

이미지 보정 방법 및 이미지 보정 시스템{SYSTEM AND METHOD FOR CORRECTING IMAGE}

실시예들은 이미지 보정 방법 및 이미지 보정 시스템에 관한 것이다. 예를 들어, 실시예들은 이미지에 포함되는 오브젝트의 동작을 추출하여 이미지를 보정하는 방법 및 시스템에 관한 것이다.

최근, 컴퓨터 그래픽 기술을 응용한 가상현실(Virtual Reality), 증강현실(Augmented Reality) 및 혼합현실(Mixed Reality) 기술이 발달하고 있다. 이때, 가상현실 기술은 컴퓨터를 이용하여 현실 세계에 존재하지 않는 가상 공간을 구축한 후 그 가상 공간을 현실처럼 느끼게 하는 기술을 말하고, 증강현실 또는 혼합현실 기술은 현실 세계 위에 컴퓨터에 의해 생성된 정보를 덧붙여 표현하는 기술, 즉 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호작용이 이루어지도록 하는 기술을 말한다.

증강현실 또는 혼합현실을 사용자에게 제공하는 대표적인 서비스로서, 메타버스(Metaverse)가 있다. 이 메타버스는 가상을 뜻하는 메타(Meta)와 현실 세계를 의미하는 유니버스(Universe)의 합성어로서, 3차원(3D) 가상 세계를 의미한다.

그리고 메타버스의 3D 가상 공간(또는 메타버스 공간 또는 가상 공간이라 함)에서 사용자는 자신만의 아바타를 만들어 다른 사용자와 소통하고, 경제 활동을 벌이고 게임을 수행하는 등 현실과 유사한 다양한 활동을 할 수 있다. 즉, 사용자들은 메타버스 공간에서 자신을 대표하는 아바타를 만들고 아이디를 부여한 후 자신의 아바타를 조작하여 메타버스 공간에서 활동한다.

이와 같은 메타버스에 대한 사용자들의 수요가 증가하면서, 자신의 아바타를 이용해 영상을 제작하거나 또는 이러한 영상을 판매하는 경우도 함께 증가하고 있다. 그러나, 기존의 3D 형태의 메타버스는 아무리 다양한 효과와 동작을 적용하더라도 현실처럼 다양한 동작을 적용하는 데는 한계가 있다. 따라서 종래의 아바타를 이용한 영상들은 인게임 영상물을 적용하거나, 제한된 동작만을 수행할 수 있는 제한된 동작 환경을 연출하는 문제가 있다.

실시예들은 상술한 문제점을 해결하기 위한 이미지 보정 방법 및 이미지 보정 시스템을 제공하는 것을 목적으로 한다.

실시예들은 다양한 동작을 수행할 수 있는 아바타 또는 주변 사물을 포함하는 이미지 보정 방법 및 이미지 보정 시스템을 제공하는 것을 목적으로 한다.

실시예들은 사용자들이 메타버스 내에서 오브젝트와 주변 사물을 용이하게 배치 및/또는 편집 가능한 이미지 보정 방법 및 이미지 보정 시스템을 제공하는 것을 목적으로 한다.

실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 다양한 실시예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.

실시예들에 따르면, 저장된 제 1 오브젝트를 보정하는 단계는, 상기 제 1 오브젝트와 상이한 제 2 오브젝트를 포함하는 제 2 이미지를 획득하는 단계; 상기 제 2 오브젝트를 저장하는 단계; 및 상기 제 1 오브젝트를 상기 제 2 오브젝트로 보정하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 저장된 제 1 동작을 보정하는 단계는, 제 1 오브젝트의 골격에 대한 정보 및 제 1 오브젝트의 벡터에 대한 정보 중 적어도 하나를 보정하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 제 1 오브젝트의 벡터에 대한 정보는, 제 1 오브젝트의 위치를 나타내는 좌표값 및 제 1 오브젝트의 방향을 나타내는 좌표값 중 적어도 하나를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 제 1 이미지는, 제 2 동작을 수행하는 제 3 오브젝트; 및 제 1 오브젝트와 제 3 오브젝트가 위치하는 제 1 공간; 을 더 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 이미지 보정 방법은, 제 1 이미지로부터 제 3 오브젝트의 제 2 동작을 추출하고, 공간의 정보를 추출하는 단계; 제 3 오브젝트, 공간의 정보 및 제 2 동작을 저장하는 단계; 및 저장된 제 3 오브젝트, 저장된 제 2 동작 및 제 1 공간의 정보 중 적어도 하나를 보정하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 저장된 제 3 오브젝트를 보정하는 단계는, 제 3 오브젝트와 상이한 제 4 오브젝트를 포함하는 제 3 이미지를 획득하는 단계; 제 4 오브젝트를 저장하는 단계; 및 제 3 오브젝트를 제 4 오브젝트로 보정하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 저장된 제 3 오브젝트를 보정하는 단계는, 제 3 오브젝트를 삭제하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 저장된 제 2 동작을 보정하는 단계는, 제 3 오브젝트의 골격에 대한 정보 및 제 3 오브젝트의 벡터에 대한 정보 중 적어도 하나를 보정하는 단계; 를 포함하고, 제 3 오브젝트의 벡터에 대한 정보는, 제 3 오브젝트의 위치를 나타내는 좌표값 및 제 3 오브젝트의 방향을 나타내는 좌표값 중 적어도 하나를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 제 1 이미지로부터 제 1 오브젝트의 제 1 동작을 추출하는 단계는, 제 1 이미지로부터 제 1 시야에 있어서의 제 1 오브젝트 및 제 1 오브젝트의 제 1 동작을 포함하는 제 1 시야 이미지를 추출하는 단계; 제 1 이미지로부터 제 2 시야에 있어서의 제 1 오브젝트 및 제 1 오브젝트의 제 1 동작을 포함하는 제 2 시야 이미지를 추출하는 단계; 및 제 1 시야 이미지 및 제 2 시야 이미지를 합성하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 이미지 보정 방법은, 제 1 오브젝트 및 제 1 동작 중 적어도 하나가 보정된 제 1 이미지를 출력하는 단계; 를 더 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 이미지 보정 방법은, 외부 서버로부터 구매 정보를 포함하는 요청 데이터를 수신하는 단계; 요청 데이터를 저장하고, 요청 데이터에 기초하여 판매 정보 및 결제 정보를 포함하는 확인 데이터를 생성하는 단계; 확인 데이터를 외부 서버로 전송하는 단계; 외부 서버로부터 확인 데이터에 기초한 결제 데이터를 수신하는 단계; 및 결제 데이터가 결제 정보와 일치하는 경우 외부 서버로 보정된 제 1 이미지를 전송하는 단계; 를 포함하는, 이미지 보정 방법을 제공한다.

실시예들에 따르면, 오브젝트를 포함하는 이미지를 획득하는 적어도 하나의 이미지 획득부; 및 이미지로부터 오브젝트의 동작을 추출하고, 오브젝트 및 오브젝트의 동작 중 적어도 하나를 보정하고, 오브젝트 및 오브젝트의 동작 중 적어도 하나가 보정된 이미지를 생성하는 프로세서; 를 포함하는 이미지 보정 시스템을 제공한다.

실시예들에 따르면, 프로세서는, 이미지로부터 제 1 시야에 있어서의 오브젝트 및 오브젝트의 동작을 포함하는 제 1 시야 이미지를 추출하고, 이미지로부터 제 2 시야에 있어서의 오브젝트 및 오브젝트의 동작을 포함하는 제 2 시야 이미지를 추출하고, 제 1 시야 이미지 및 제 2 시야 이미지를 합성하고, 제 1 시야 및 제 2 시야는 서로 상이한, 이미지 보정 시스템을 제공한다.

실시예들에 따르면, 프로세서는, 오브젝트 및 동작에 대한 정보를 텍스트화하여 저장하는, 이미지 보정 시스템을 제공한다.

실시예들에 따른 이미지 보정 방법 및 시스템은 다양한 동작을 수행할 수 있는 아바타 또는 주변 사물을 제공할 수 있다.

실시예들은 사용자들이 메타버스 내에서 오브젝트와 주변 사물을 용이하게 배치 및/또는 편집 가능하도록 할 수 있다.

실시예들은 생동감이 부여된 아바타를 포함하는 영상을 사용자가 쉽게 제작하도록 할 수 있다.

실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.

실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 실시예들에 따른 이미지 보정 시스템의 개략적인 블록도이다.
도 2는 실시예들에 따른 이미지 보정 방법의 순서도이다.
도 3은 실시예들에 따른 오브젝트 및/또는 동작을 추출하는 방법을 설명하는 도면이다.
도 4는 도 2의 s104의 예시를 설명하는 순서도이다.
도 5는 실시예들에 따라 오브젝트를 보정하는 방법을 설명하는 도면이다.
도 6은 도 2의 s104의 예시를 설명하는 도면이다.
도 7은 도 2의 s104의 예시를 설명하는 도면이다.
도 8은 실시예들에 따른 이미지 보정 방법의 순서도이다.
도 9는 실시예들에 따라 보정된 이미지를 거래하는 방법을 설명하는 순서도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 “유닛”, "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 설명하는 이미지는 정적인 영상을 포함하는 정영상, 동적인 영상을 포함하는 동영상을 포함한다. 또한, 이미지는 2D, 3D 및 정영상 또는 동영상으로 표현되는 모든 차원을 포함한다. 예를 들어, 이미지는 메타버스에서 구현되는 3D 형태의 게임 영상을 포함한다.

본 명세서에서 설명하는 보정은 이미지를 사용자의 기획 의도에 따라 이미지에 포함되는 구성의 전부 또는 일부를 수정, 변경 또는 삭제하거나 또는 새로운 구성을 추가하는 것이다. 또는 보정은 이미지에 포함되는 시간의 전부 또는 일부를 수정, 변경, 연장, 축소 또는 삭제하거나 새로운 시간을 추가하는 것이다. 보정은 편집을 포함한다.

도 1은 실시예들에 따른 이미지 보정 시스템의 개략적인 블록도이다.

실시예들에 따른 이미지 보정 시스템(100)은 이미지를 보정하는 시스템이다. 이미지는 예를 들어 보정 대상이 되는 하나 이상의 오브젝트를 포함한다. 하나 이상의 오브젝트(예를 들어, 도 2에서 설명하는 제 1 오브젝트)는, 예를 들어 메타버스에 구현된 사용자 아바타이다.

예를 들어 이미지 보정 시스템(100)은 하나 이상의 오브젝트를 변경한다. 또는 예를 들어 이미지 보정 시스템(100)은 하나 이상의 오브젝트가 구현된 공간 또는 맵을 변경한다. 또는, 예를 들어 이미지 보정 시스템(100)은 이미지의 특정 시간대를 늘리거나 또는 줄일 수 있다.

이미지 보정 시스템(100)은 카메라(110), 통신부(120), 메모리(130) 및 프로세서(160)를 포함한다. 또한, 이미지 보정 시스템(100)은 입력부(140) 및 출력부(150)를 더 포함하여도 된다. 도 1에 도시된 구성 요소들은 이미지 보정 시스템(100)을 구현하는데 있어서 필수적인 것은 아니다. 따라서, 이미지 보정 시스템(100)은 도 1에서 열거된 구성요소들 보다 많거나 또는 적은 구성 요소들을 포함한다.

또한, 이미지 보정 시스템(100)은 도 1에 열거된 구성요소들을 포함하는 하나의 장치이어도 된다. 예를 들어 이미지 보정 시스템(100)은 멀티미디어 장치이다. 멀티미디어 장치는, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 피씨(Slate PC), Tablet PC, Ultra Book, 디지털 TV, 데스크 탑 컴퓨터 등을 포함한다.

또는, 이미지 보정 시스템(100)은 도 1에 열거된 구성요소들을 포함하는 복수 개의 장치이어도 된다. 예를 들어, 이미지 보정 시스템(100)은 서로 별개의 카메라 및 보정 기능을 포함하는 장치(프로세서)를 포함하는 복수 개의 장치를 포함한다.

실시예들에 따른 카메라(110)는 이미지를 획득하는 장치이다. 카메라(110)는 예를 들어 하나 또는 그 이상의 촬상 장치로서, 이미지를 획득한다.

실시예들에 따른 통신부(120)는 이미지 보정 시스템(100)과 외부 서버, 유/무선 통신 시스템 또는 외부 전자 장치와 유선 또는 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함한다. 또한, 통신부(120)는 이미지 보정 시스템(100)을 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함한다.

통신부(120)는, 추후 개발되는 새로운 제품 형태여도 무선 통신이 가능한 전자 장치라면 이미지 보정 시스템(100)과 통신 가능함을 본 기술 분야의 당업자라면 쉽게 알 수 있을 것이다.

통신부(120)는, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈 중 적어도 하나를 포함한다.

실시예들에 따른 방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함한다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 이미지 보정 시스템(100)에 제공된다.

실시예들에 따른 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

무선 신호는, 이미지, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함한다.

실시예들에 따른 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이미지 보정 시스템(100)에 내장되거나 외장 된다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.

무선 인터넷 기술은, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.

무선 인터넷 모듈은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.

WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈은 상기 이동통신 모듈의 일종으로 이해될 수도 있다.

실시예들에 따른 근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

근거리 통신 모듈은, 근거리 무선 통신망(Wireless Area Networks)을 통해 이미지 보정 시스템(100)과 외부 서버 사이에 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.

실시예들에 따른 위치정보 모듈은 이미지 보정 시스템(100)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.

실시예들에 따른 메모리(130)는 이미지 보정 시스템(100)의 다양한 기능을 지원하는 데이터를 저장한다.

메모리(130)는 이미지 보정 시스템(100)에서 구동되는 다수의 응용 프로그램 (application program 또는 애플리케이션(application)), 이미지 보정 시스템(100)의 동작을 위한 데이터들, 명령어들을 저장한다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 된다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이미지 보정 시스템(100)의 기본적인 기능(예를 들어, 편집에 이용되는 알고리즘)을 위하여 출고 당시부터 이미지 보정 시스템(100) 상에 존재한다.

한편, 응용 프로그램은, 메모리(130)에 저장되고, 이미지 보정 시스템(100) 상에 설치되어, 프로세서(160)에 의하여 상기 이미지 보정 시스템(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

메모리(130)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나를 포함한다. 메모리(130)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나이다.

실시예들에 따른 입력부(140)는 사용자로부터 사용자 입력을 수신한다. 입력부(140)는 예를 들어 영상 입력부, 오디오 신호를 입력하는 마이크로폰(microphone), 오디오 입력부, 사용자로부터 정보를 입력 받는 사용자 입력부로서 터치키, 푸시키 등을 포함한다. 입력부(140)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리된다.

마이크로폰은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 전자 장치(200)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다.

마이크로폰에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

실시예들에 따른 사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(122)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 전자 장치(200)의 동작을 제어할 수 있다.

사용자 입력부는 기계식(mechanical) 입력 수단 및 터치식 입력 수단을 포함한다. 도시하지는 않았으나, 예를 들어, 터치식 입력수단은, 소프트웨어적인 처리를 통해 전자 장치(200)의 외부에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어질 수 있다. 또한, 예를 들어, 사용자 입력부는 이미지 보정 시스템(100)의 외관에 마련된 터치 센서를 통해 센싱되는 터치 센서를 포함할 수 있다. 예를 들어 사용자 입력부는 출력부(150, 예를 들어 디스플레이)를 통해 사용자 입력을 수신할 수 있다. 한편, 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 이미지 보정 시스템(100)의 외부에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon) 또는 이들의 조합으로 이루어질 수 있다.

실시예들에 따른 출력부(150)는 시각 및 청각 또는 촉각 등과 관련된 출력을 발생시킨다. 출력부(150)는 시각과 관련된 출력을 발생하는 디스플레이(display)를 포함한다. 출력부(150)는 음향 출력 모듈 및 햅틱 모듈 등을 더 포함하여도 된다.

디스플레이는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 이미지 보정 시스템(100)의 외부에 구현된다. 이러한 이미지 보정 시스템(100)의 외부는 이미지 보정 시스템(100)와 사용자 사이의 입력 인터페이스를 제공하는 입력부(140)로써 기능한다. 또는, 디스플레이는 이미지 보정 시스템(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 예를 들어, 디스플레이는 이미지 보정 시스템(100)의 외부에 형성되어, 예를 들어, 아이콘, 텍스트 등을 디스플레이할 수 있다.

실시예들에 따른 프로세서(160)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 이미지 보정 시스템(100)의 전반적인 동작을 제어한다. 프로세서(160)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리한다.

또한, 프로세서(160)는 메모리(130)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어한다. 나아가, 프로세서(160)는 상기 응용 프로그램의 구동을 위하여, 이미지 보정 시스템(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

프로세서(160)는, 예를 들어, CPU(Central processing unit)와 같은 일반적인 프로세서(processor)로서 이미지 보정 시스템(100) 내부에 내장된다. 그러나, 프로세서(160)는 이미지 보정 시스템(100) 내부에 물리적으로 위치하지 않고, 통신부(120)를 통해 이미지 보정 시스템(100)를 제어할 수도 있다.

이하에서는 이러한 이미지 보정 시스템(100)을 통해 이미지를 보정하는 방법에 대해 상술한다.

도 2는 실시예들에 따른 이미지 보정 방법의 순서도이다.

실시예들에 따른 이미지 보정 방법은 제 1 오브젝트를 포함하는 제 1 이미지를 획득하는 단계(s101)를 포함한다.

이미지 보정 시스템(100)은 이미지 획득부를 통해 제 1 이미지를 획득한다. 이미지 획득부는 예를 들어 카메라(110)를 통해, 메타버스에서 사용자가 플레이 중인 3D 형태의 게임을 녹화하거나 또는 촬영함으로써 제 1 이미지를 획득한다. 또는, 이미지 획득부는 통신부(120)를 통해 외부로부터 제 1 이미지를 수신함으로써 제 1 이미지를 획득한다. 또는, 이미지 획득부는 메모리(130)에 기 저장된 제 1 이미지를 불러옴으로써 제 1 이미지를 획득한다.

제 1 이미지는 하나 또는 그 이상의 제 1 오브젝트(예를 들어, 도 3에서 설명하는 10)를 포함한다. 제 1 오브젝트는 예를 들어 메타버스에서 3D 형태로 구현된 사용자의 아바타이다. 제 1 이미지는, 제 1 오브젝트를 포함한다면 콘티 또는 초안 형태이어도 된다. 또한, 후술하는 정보의 추출이 가능한 경우 아바타 및 주변 사물을 배치하여 초안 촬영이 텍스트로 이루어진 것이어도 된다.

제 1 오브젝트는 제 1 동작을 수행한다. 예를 들어, 제 1 오브젝트는 하나 또는 그 이상의 동작을 수행한다. 예를 들어, 제 1 오브젝트는 팔을 들어 올리는 동작 및 팔을 다시 내리는 동작을 포함한다.

프로세서(160)는 제 1 이미지에 포함되는 구성요소의 전부 또는 일부에 대해 태그를 부여한다. 프로세서(160)는 태그가 부여된 대상에 대해 보정을 수행할 수 있다. 예를 들어, 프로세서(160)는 제 1 이미지에 포함되는 제 1 오브젝트에 대해 태그를 부여한다. 이때, 태그는 예를 들어 각 구성요소의 고유 이름 또는 번호이다. 이를 통해, 실시예들은 이하에서 설명하는 보정을 더 용이하게 한다.

실시예들에 따른 이미지 보정 방법은 제 1 이미지로부터 제 1 오브젝트의 제 1 동작을 추출하는 단계(s102)를 포함한다.

제 1 동작에 대한 정보는 제 1 오브젝트의 골격에 대한 정보 및 제 1 오브젝트의 벡터에 대한 정보 중 적어도 하나를 포함한다. 제 1 오브젝트의 골격에 대한 정보는, 예를 들어, 제 1 오브젝트가 춤을 추는 사람 형태의 3D 아바타인 경우, 아바타의 관절 위치 및 제 1 동작 수행에 따른 아바타의 관절 위치의 움직임을 포함한다. 제 1 오브젝트의 벡터에 대한 정보는 제 1 오브젝트의 위치를 나타내는 좌표값 및 제 1 오브젝트의 방향을 나타내는 좌표값 중 적어도 하나를 포함한다.

예를 들어, 프로세서(160)는 제 1 오브젝트의 골격을 분석한다. 프로세서(160)는 분석한 제 1 오브젝트의 골격을 이용하여, 제 1 오브젝트의 제 1 동작을 추출한다. 예를 들어, 프로세서(160)는 제 1 오브젝트가 사람 형태의 3D 아바타인 경우, 제 1 오브젝트의 관절 위치를 분석 및 추출한다. 프로세서(160)는 제 1 오브젝트의 관절 위치 및 제 1 오브젝트의 관절 위치 이동을 통해 제 1 오브젝트가 수행하는 제 1 동작을 추출한다.

한편, 제 1 오브젝트가 사람 형태가 아닌 동물, 식물 또는 새롭게 생성된 형태의 움직임을 갖는 아바타일 수 있다. 이 경우, 프로세서(160)는 해당 아바타의 움직임이 이루어지는 지점의 전부 또는 일부를 제 1 오브젝트의 골격에 대한 정보로서 추출한다. 예를 들어, 제 1 오브젝트과 뱀과 같이 이동하는 형태로 구현된 아바타인 경우, 이동을 위해 근육의 움직임이 가능한 모든 부분을 골격에 대한 정보로서 추출한다.

또는, 예를 들어, 프로세서(160)는 제 1 오브젝트의 벡터값을 분석한다. 프로세서(160)는 분석한 제 1 오브젝트의 벡터값를 이용하여, 제 1 오브젝트의 제 1 동작을 추출한다. 예를 들어, 프로세서(160)는 제 1 오브젝트의 위치 및/또는 제 1 오브젝트의 이동 방향을 분석 및 추출한다. 프로세서(160)는 제 1 오브젝트의 위치 및 이동 방향을 통해 제 1 오브젝트가 수행하는 제 1 동작을 추출한다.

프로세서(160)는 제 1 오브젝트의 골격 및 벡터값을 모두 이용하여 제 1 동작을 추출하여도 된다. 이때, 제 1 동작은 제 1 오브젝트의 골격 및 이동에 대한 모든 정보를 포함한다.

실시예들에 따른 이미지 보정 방법은 추출한 제 1 동작 및 제 1 오브젝트를 저장하는 단계(s103)를 포함한다.

프로세서(160)는 제 1 이미지로부터 추출한 제 1 오브젝트에 대한 정보를 저장한다. 예를 들어, 프로세서(160)는 제 1 오브젝트의 이미지에 대한 정보를 저장한다. 또는, 프로세서(160)는 제 1 동작에 대한 정보를 저장한다. 이때, 프로세서(160)는 제 1 오브젝트에 대한 정보 및/또는 제 1 동작에 대한 정보를 텍스트화하여 저장할 수 있다. 예를 들어, 프로세서(160)는 제 1 오브젝트의 제 1 동작에 대한 정보로서, 제 1 오브젝트의 관절의 일 위치의 좌표를 행렬의 형태로 저장할 수 있다.

실시예들에 따른 이미지 보정 방법은 제 1 오브젝트 및 제 1 동작 중 적어도 하나를 보정하는 단계(s104)를 포함한다.

프로세서(160)는 예를 들어 제 1 오브젝트를 다른 오브젝트로 변경하거나 제 1 오브젝트의 적어도 일부를 수정하거나 또는 제 1 오브젝트를 삭제하는 보정을 수행한다. 또는, 프로세서(160)는 예를 들어 제 1 동작을 수정 또는 변경하는 보정을 수행한다. 또는, 프로세서(160)는 제 1 오브젝트를 보정하면서 동시에 제 1 동작을 보정한다. 보정에 대한 다양한 예시는 도 3 내지 도 10을 통해 설명한다.

실시예들에 따른 이미지 보정 방법은 보정된 제 1 이미지를 저장 및/또는 출력하는 단계(s105)를 포함한다.

프로세서(160)는 보정된 제 1 이미지를 메모리(130)에 저장한다. 예를 들어, 프로세서(160)는 동적인 3D 형태의 보정된 제 1 이미지를 영상 형태로서 메모리(130)에 저장한다. 이를 통해 사용자는 필요한 때마다 보정된 영상을 불러올 수 있다. 또한, 프로세서(160)는 보정된 제 1 이미지를 출력부(150)를 통해 출력한다. 이를 통해, 사용자는 보정된 영상을 확인 또는 출력할 수 있다. 나아가, 프로세서(160)는 보정된 영상을 통신부(120)를 통해 외부 서버로 전송 및/또는 외부 서버에 저장할 수 있다.

이와 같이, 실시예들에 따른 이미지 보정 시스템 및 이미지 보정 방법은 이미지에 포함되는 오브젝트의 골격을 추출하여 오브젝트를 보정한다. 이를 통해 실시예들은 오브젝트를 더 정확하게 보정할 수 있다. 또한, 실시예들에 따른 이미지 보정 시스템 및 이미지 보정 방법은 이미지에 포함되는 오브젝트에 대한 정보를 텍스트화하여 저장한다. 이를 통해 실시예들은 더 다양한 동작이 적용 가능한 오브젝트 보정을 제공할 수 있어, 손쉽게 생동감이 부여된 이미지를 보정하는 방법을 제공한다.

도 3은 실시예들에 따른 오브젝트 및/또는 동작을 추출하는 방법을 설명하는 도면이다.

도 3은 도 2의 s101 내지 s103에 대한 예시를 도시한 것이다. 도 3에서는 설명의 편의를 위하여 이미지에 포함되는 다른 오브젝트 또는 배경을 제외하고 오브젝트만을 도시하였다. 도 3에 도시한 오브젝트는, 도 1 내지 도 2에서 설명한 바와 같이, 이미지 획득부를 통해 획득한 이미지에 포함되는 오브젝트이다.

도 3의 (a)는 제 1 오브젝트가 제 1 동작을 취하고 있는 제 1 오브젝트(10)를 나타낸 것이다.

제 1 오브젝트(10)는 제 1 동작을 수행하기 위해 필요한 복수 개의 이동 지점을 포함한다. 예를 들어, 도 3의 (a)에 도시한 바와 같이, 제 1 오브젝트(10)는 사람 형태의 3D 사용자 아바타로서, 양 손을 들어올리는 제 1 동작을 수행하는 여성형 아바타이다. 예를 들어, 제 1 오브젝트(10)는 제 1 동작을 수행하기 위하여 복수 개의 관절(p)을 포함한다.

도 3의 (b)는 제 1 오브젝트로부터 추출한 관절(10s)을 나타낸 것이다.

제 1 오브젝트(10)는 제 1 동작에 대한 정보를 포함한다. 예를 들어, 제 1 오브젝트(10)는 제 1 이미지 내에서 A(x, y, z)로 표현되는 상대적인 좌표값을 갖는다. 또한, 제 1 오브젝트(10)는 방향에 대한 좌표값으로서 R(x, y, z)를 갖는다. 예를 들어, 도 3의 (b)에 도시한 바와 같이, 제 1 오브젝트(10)는 제 1 동작을 수행하기 위한 16 개의 관절(p)을 포함한다. 따라서 각각의 관절(p)은 p01 내지 p16의 좌표값을 갖는다. 예를 들어, 제 1 오브젝트(10)의 허리에 대한 좌표를 p0라고 한다. 도 2에서 설명한 바와 같이, 프로세서(160)는 제 1 오브젝트로부터 p01 내지 p16에 대한 정보를 추출한다.

도 3의 (c)는 제 1 오브젝트로부터 추출한 관절을 텍스트화(10s)한 것을 나타낸 것이다.

도 3의 (c)는 예를 들어 도 3의 (b)에서 설명한 p01에 대해 텍스트화를 수행한 좌표값을 나타낸다. 도 2에서 설명한 바와 같이, 프로세서(160)는 제 1 오브젝트로부터 추출한 p0 내지 p16에 대한 값을 텍스트화하여 메모리(130)에 저장한다. 예를 들어, 프로세서(160)는 p0 내지 p16에 대한 값을, 도 3의 (c)에 도시한 것과 같이 행렬의 형태로서 텍스트화하여 저장한다.

이를 통해, 실시예들에 따른 이미지 보정 시스템 및 이미지 보정 방법은 시간에 따른 오브젝트의 이동 형태를 텍스트화하여 저장한다. 이에 따라, 실시예들은 제 1 동작을 수행하는 제 1 오브젝트를 포함하는 제 1 이미지를 시간대별로 정의하여 저장할 수 있다. 예를 들어, 실시예들은 춤추는 사람 형상의 3D 형태의 아바타에 대한 녹화 정보를 텍스트화하여 저장할 수 있다. 이를 통해 실시예들은 더 상세하고 다양한 아바타의 정보, 해석 및 구현 방안을 제공한다.

도 4는 도 2의 s104의 예시를 설명하는 순서도이다.

도 5는 실시예들에 따라 오브젝트를 보정하는 방법을 설명하는 도면이다.

도 2에서 설명한 바와 같이, 실시예들에 따른 이미지 보정 방법은 제 1 오브젝트 및 제 1 동작 중 적어도 하나를 보정하는 단계(s104)를 포함한다. 이때, 도 4 및 도 5는 제 1 오브젝트(10)를 보정하는 방법에 대해 설명한다. 도 5에서는, 설명의 편의를 위해 제 1 오브젝트(10) 및 제 2 오브젝트(20)만을 나타내었다.

실시예들에 따른 이미지 보정 방법은 제 2 오브젝트(20)를 포함하는 제 2 이미지를 획득하는 단계(s201)를 포함한다.

실시예들에 따라 제 2 이미지를 획득하는 방법은 도 2에서 설명한 제 1 이미지를 획득하는 방법과 동일 또는 유사하다. 예를 들어, 이미지 보정 시스템(100)은 이미지 획득 장치로서, 카메라(110), 통신부(120) 및 메모리(130) 중 적어도 하나를 통해 제 2 이미지를 획득할 수 있다.

제 2 이미지는 하나 또는 그 이상의 제 2 오브젝트(20)를 포함한다. 제 2 오브젝트는 예를 들어 메타버스에서 3D 형태로 구현된 사용자의 아바타이다.

제 2 오브젝트는 제 1 동작을 수행한다. 예를 들어, 제 2 오브젝트는 하나 또는 그 이상의 동작을 수행한다. 예를 들어, 제 1 오브젝트는 팔을 들어 올리는 동작 및 팔을 다시 내리는 동작을 포함한다. 그러나 이는 설명의 편의를 위한 것으로, 제 2 오브젝트는 제 1 동작과 상이한 제 2 동작을 수행할 수 있고, 이에 대하여는 도 7에서 후술한다.

실시예들에 따른 이미지 보정 방법은 제 2 오브젝트(20)를 저장하는 단계(s202)를 포함한다.

프로세서(160)는 제 2 오브젝트(20)를 저장한다. 이때, 제 2 오브젝트(20)가 제 2 동작을 수행하는 경우, 프로세서(160)는 제 2 오브젝트(20)가 수행하는 제 2 동작을 추출 및 저장할 수 있다. 이때, 제 2 동작을 추출 및 저장하는 방법은 도 2에서 제 1 동작을 추출 및 저장하는 방법과 동일 또는 유사하다. 따라서, 프로세서(160)는 제 2 오브젝트(20)를 이미지화하여 저장할 수 있다. 또는, 프로세서(160)는 제 2 오브젝트(20) 및 제 2 동작을 텍스트화하여 저장할 수 있다.

실시예들에 따른 이미지 보정 방법은 제 1 오브젝트(10)를 제 2 오브젝트(20)로 보정하는 단계(s203)를 포함한다.

도 2 내지 도 3에서 설명한 바와 같이, 프로세서(160)는 제 1 오브젝트(10)에 대한 정보로서 제 1 동작을 추출하여 메모리(130)에 저장한다. 예를 들어, 프로세서(160)는 제 1 오브젝트(10)의 위치 또는 방향에 대한 좌표값을 텍스트화하여 메모리(130)에 저장한다. 프로세서(160)는 제 2 오브젝트(20)의 이미지가 제 1 오브젝트(10)의 텍스트화 된 정보에 대응되도록 한다. 예를 들어, 프로세서(160)는 제 1 오브젝트(10)의 행렬값에 대해 제 2 오브젝트(20)의 이미지를 적용하여 제 1 오브젝트(10)를 보정할 수 있다.

예를 들어, 프로세서(160)는 도 5의 (a)에 도시한 바와 같이, 제 1 오브젝트(10)의 제 1 동작을 추출 및 저장한다. 한편, 프로세서(160)는 제 2 이미지로부터 제 2 오브젝트를 추출 및 저장한다. 프로세서(160)는 도 5의 (b)에 도시한 바와 같이, 저장된 제 1 동작에 대해 제 2 오브젝트(11)인 남성형 3D 아바타를 대입한다. 즉, 프로세서(160)는 제 1 오브젝트(10)의 좌표 정보에 대해 3D 모델링 된 제 2 오브젝트(11)를 변경 및 삽입한다.

이를 통해, 실시예들은 다양한 동작을 가지는 오브젝트에 있어서, 오브젝트의 형태 역시 다양하게 보정할 수 있다.

도 6은 도 2의 s104의 예시를 설명하는 도면이다.

도 2에서 설명한 바와 같이, 실시예들에 따른 이미지 보정 방법은 제 1 오브젝트 및 제 1 동작 중 적어도 하나를 보정하는 단계(s104)를 포함한다. 이때, 도 6은 제 1 동작을 보정하는 방법에 대해 설명한다. 도 6에서는, 설명의 편의를 위해 제 1 오브젝트(10)만을 나타내었다.

도 6의 (a)는 제 1 동작을 수행하는 제 1 오브젝트(10)를 도시하였다. 프로세서(160)는 도 6의 (a)에 도시한 바와 같이, 제 1 오브젝트(10)의 제 1 동작을 추출 및 저장한다.

도 6의 (b)는 보정된 동작을 수행하는 제 1 오브젝트(10)를 도시하였다.

제 1 오브젝트(10)의 제 1 동작을 보정하기 위하여, 실시예들에 따른 이미지 보정 방법은 제 1 오브젝트(10)의 골격에 대한 정보 및 제 1 오브젝트(10)의 벡터에 대한 정보 중 적어도 하나를 보정하는 단계를 더 포함한다. 도 2에서 설명한 바와 같이, 제 1 오브젝트(10)의 골격에 대한 정보는 제 1 오브젝트(10)의 이동 지점에 대한 정보로서 예를 들어 관절 위치에 대한 좌표값을 포함한다. 또한, 제 1 오브젝트(10)의 벡터에 대한 정보는 제 1 오브젝트(10)의 위치 또는 방향에 대한 좌표값을 포함한다. 한편, 골격에 대한 정보와 벡터에 대한 정보는 제 1 오브젝트(10)가 위치를 이동하는 경우, 관절 역시 이동함에 따라 혼용되어 이용될 수 있다.

프로세서(160)는 제 1 오브젝트(10)의 골격에 대한 정보 또는 좌표에 대한 정보에 기초하여 제 1 오브젝트(10)의 동작을 변경하는 보정을 수행한다. 예를 들어, 프로세서(160)는 제 1 오브젝트(10)의 골격 또는 좌표에 대한 정보를 변경하여 제 1 오브젝트(10)의 동작을 변경하는 보정을 수행한다.

예를 들어, 프로세서(160)는 팔의 좌표값을 행렬 A02 및 A03으로 텍스트화하여 메모리에 저장한다. 설명의 편의를 위해, 시간에 대한 정보는 생략하였고, 행렬 값을 간단히 나타내었다. 도 6의 (a)에 도시한 바와 같이, 제 1 오브젝트는 왼쪽 팔목 관절 및 왼쪽 팔꿈치 관절에 대해 각각 텍스트화 된 행렬인 A02(2, 0, 0) 및 A03(1, 0, 0)을 포함한다. 프로세서(160)는 텍스트화 된 행렬인 A02, A03을 각각 A'02(-2, 0, 0) 및 A'03(-1, 0, 0)으로 보정한다. 이를 통해, 프로세서(160)는 제 1 오브젝트(10)가 양 팔을 내리는 동작을 수행하도록 보정할 수 있다.

이와 같이, 실시예들은 오브젝트에 대한 정보를 텍스트화하여 저장한다. 이를 통해, 실시예들은 텍스트화 된 정보를 변경함으로써 손쉽게 오브젝트의 동작을 변경하는 보정을 수행할 수 있다.

도 7은 도 2의 s104의 예시를 설명하는 도면이다.

도 7의 (a)는 이미지 획득부를 통해 획득한 제 1 이미지(F1)를 도시한 것이다.

제 1 이미지(F1)는 제 1 오브젝트(10), 제 2 오브젝트(20) 및 제 1 오브젝트(10)와 제 2 오브젝트(20)가 위치하는 제 1 공간(30)을 포함한다. 이때, 10은 제 1 동작을 수행하는 제 1 오브젝트를 나타낸다. 제 1 동작은 예를 들어 제 1 오브젝트(10)가 양 팔을 들어올리고 있는 동작이다. 제 2 오브젝트(20)는 제 1 오브젝트(10)와 상이하다. 이때, 20은 제 2 동작을 수행하는 제 2 오브젝트를 나타낸다. 제 1 공간(30)은 예를 들어 제 1 이미지(F1)가 사용자가 플레이하는 게임 공간인 경우, 해당 게임의 맵이다. 제 1 공간(30)은 예를 들어 공원이다.

도 7의 (b)는 도 6에서 설명한 예시에 따라 제 1 오브젝트(10)가 보정된 제 1 이미지(F2)를 도시한 것이다.

도 6에서 설명한 바와 같이, 프로세서(160)는 제 1 이미지(F1)로부터 제 1 오브젝트(10)에 대한 정보(동작 정보로서 골격 및 벡터에 대한 정보를 포함)를 추출 및 저장하고, 이에 기초하여 제 1 오브젝트(11)가 제 1 동작과 상이한 동작을 수행하도록 제 1 오브젝트(10)를 보정할 수 있다.

도 7의 (c)는 제 2 오브젝트(20)가 보정된 제 1 이미지(F3)를 도시한 것이다.

프로세서(160)는 제 1 이미지(F1)로부터 제 2 오브젝트에 대한 정보(제 2 동작에 대한 정보로서 골격 및 벡터에 대한 정보를 포함)를 추출한다. 프로세서(160)가 제 2 오브젝트의 정보를 추출하는 방법은, 도 2에서 제 1 오브젝트의 제 1 동작을 추출하는 방법과 동일 또는 유사하다. 프로세서(160)는 제 2 오브젝트 및 제 2 오브젝트가 수행하는 제 2 동작을 메모리(130)에 저장한다. 프로세서(160)는 제 2 오브젝트 및 제 2 동작 중 적어도 하나를 보정한다.

프로세서(160)는 제 2 오브젝트를 보정하기 위하여, 제 3 오브젝트를 포함하는 제 3 이미지(도시하지 않음)를 획득한다. 프로세서(160)는 제 3 오브젝트를 저장한다. 프로세서(160)는 제 2 오브젝트를 제 3 오브젝트로 보정한다. 이때, 제 2 오브젝트의 보정은, 도 4에서 설명한 제 1 오브젝트의 보정 방법과 동일 또는 유사하다.

또는, 프로세서(160)는 제 2 동작을 보정하기 위하여, 제 2 오브젝트에 대한 정보 중 적어도 하나를 보정한다. 이때, 제 2 오브젝트에 대한 정보는, 제 2 오브젝트에 대한 골격 및/또는 벡터에 대한 정보로서, 제 2 오브젝트의 골격을 나타내는 좌표값 및 위치 및 방향을 나타내는 좌표값을 포함한다.

이를 통해 프로세서(160)는 제 1 이미지(F1)로부터 제 2 오브젝트(21)가 제 2 동작과 상이한 동작을 수행하도록 제 2 오브젝트(20)를 보정할 수 있다. 도 7에서 도시한 것과 달리, 보정 가능한 제 2 오브젝트는 이동체가 아닌 부동체이어도 된다. 예를 들어, 실시예들은 이동하지 않는 나무를 이동하지 않는 바위로 변경하는 보정을 수행할 수 있다.

도 7의 (c)에 도시한 것과 달리, 프로세서(160)는 제 2 오브젝트(20)를 삭제하는 보정을 수행할 수도 있다.

이를 통해, 실시예들은 제 1 오브젝트(11, 예를 들어 사용자 아바타)가 아닌 대상을 텍스트 보정을 통해 쉽게 보정하는 방안을 제시한다. 예를 들어, 사용자는 손쉽게 사용자 아바타 외의 대상을 변경하거나 제거할 수 있다.

도 7의 (d)는 제 1 공간(30)이 보정된 제 1 이미지(F4)를 도시한 것이다.

프로세서(160)는 제 1 이미지(F1)로부터 제 1 공간(30)을 추출한다. 프로세서(160)가 제 1 공간을 추출하는 방법은, 도 2에서 제 1 오브젝트의 제 1 동작을 추출하는 방법과 동일 또는 유사하다. 프로세서(160)는 추출한 제 1 공간(30)에 대한 정보를 메모리(130)에 저장한다. 프로세서(160)는 제 1 공간(30)을 보정한다.

프로세서(160)는 제 1 공간(30)을 보정하기 위하여, 제 2 공간(31)을 포함하는 제 4 이미지(도시하지 않음)를 획득한다. 제 2 공간(31)은 예를 들어 해변이다. 프로세서(160)는 제 2 공간(31)을 저장한다. 프로세서(160)는 제 1 공간(30)을 제 2 공간(31)으로 보정한다. 이때, 제 2 공간(31)의 보정은, 도 4에서 설명한 제 1 오브젝트의 보정 방법과 동일 또는 유사하다.

이를 통해, 프로세서(160)는 하나 또는 그 이상의 오브젝트(10, 20)가 존재하는 배경 또는 맵을 손쉽게 변경할 수 있다.

도 7에서 설명한 것은 예시에 불과하다. 따라서, 실시예들은 도 7의 (b) 내지 (d) 중 2 이상을 선택하여 조합한 보정을 수행할 수 있다.

또한, 실시예들은 도 7의 (a) 또는 도 7의 (b) 내지 (d) 중 적어도 하나 이상의 보정에 대하여 시간에 대한 보정을 수행할 수도 있다. 예를 들어, 실시예들은 이미지에 포함되는 각 프레임의 출력 시간을 줄이거나 늘림으로써 시간에 대한 보정을 수행할 수도 있다. 또한, 예를 들어, 실시예들은 이미지에 포함되는 각 프레임의 사이에 다른 이미지를 추가함으로써, 시간에 대한 보정을 수행할 수도 있다. 이와 같은 보정은 도 1 내지 도 7에서 설명한 텍스트화 된 정보에 기초하여 수행된다.

이를 통해, 실시예들은 손쉽게 하나 또는 그 이상의 구성요소가 다양한 시간대의 흐름에 대해 다양한 동작을 수행하도록 보정할 수 있다. 이를 통해, 실시예들은 메타버스 내에서 누구나 손쉽게 사용자와 주변 사물을 배치할 수 있도록 한다. 또한, 실시예들은 초안 촬영이 텍스트로 가능하도록 한다. 또한, 실시예들은 텍스트를 UI 편집툴로 눈으로 보면서 버튼만으로 편집 가능하도록 한다. 또한, 실시예들은 다양한 콘티/초안 형태의 영상물이 손쉽게 제작이 가능하도록 한다. 또한, 실시예들은 다양한 고객이 촬영한 숏폼 애니메이션을 적용하여 생동감이 부여되도록 할 수 있다.

도 8은 실시예들에 따른 이미지 보정 방법의 순서도이다.

도 2에서 설명한 바와 같이, 실시예들에 따른 이미지 보정 방법은 제 1 이미지로부터 제 1 오브젝트의 제 1 동작을 추출하는 단계(s102)를 포함한다. 도 8은 s102에 있어서, 제 1 이미지에 대한 관측 시야(FoV, Field of View)를 보정하는 방법에 대해 설명한다. 예를 들어, 도 8은 제 1 오브젝트(예를 들어, 도 7에서 설명한 10)에 대한 관측 시야를 보정하는 방법에 대해 설명한다.

실시예들에 따른 이미지 보정 방법은 제 1 이미지로부터 제 1 시야에 있어서의 제 1 오브젝트 및 제 1 동작을 포함하는 제 1 시야 이미지를 추출하는 단계(s301)를 포함한다. 프로세서(160)는 제 1 오브젝트에 대한 제 1 시야를 갖는 일 좌표에서 제 1 오브젝트를 획득한다. 이때, 주변의 일 좌표는 인식된 오브젝트에 대한 기 정의된 좌표일 수 있다. 이를 통해 프로세서(160)는 제 1 시야 이미지를 추출한다. 프로세서(160)는 제 1 시야 이미지를 메모리(130)에 저장한다.

실시예들에 따른 이미지 보정 방법은 제 1 이미지로부터 제 2 시야에 있어서의 제 1 오브젝트 및 제 1 동작을 포함하는 제 2 시야 이미지를 추출하는 단계(s302)를 포함한다. 프로세서(160)는 제 1 오브젝트에 대한 제 2 시야를 갖는 다른 일 좌표에서 제 1 오브젝트를 획득한다. 이때, 다른 일 좌표는 인식된 오브젝트에 대한 기 정의된 좌표일 수 있다. 이를 통해 프로세서(160)는 제 2 시야 이미지를 추출한다. 프로세서(160)는 제 2 시야 이미지를 메모리(130)에 저장한다.

실시예들에 따른 이미지 보정 방법은 제 1 시야 이미지 및 제 2 시야 이미지를 합성하는 단계(s303)를 포함한다. 프로세서(160)는 제 1 시야 이미지 및 제 2 시야 이미지를 합성하여, 오브젝트의 움직임에 대한 카메라 워킹이 수행되도록 한다. 이를 통해 실시예들은 다양한 형태의 영상을 획득 또는 편집할 수 있다.

실시예들은 사용자가 카메라의 이동을 선택하도록 할 수 있다. 또는, 실시예들은 오브젝트의 이동 시점에 따른 카메라 워크가 가능하도록 한다. 예를 들어, 실시예들은 이미지 내에서 카메라가 이동하면서 대상을 촬영하는 것처럼 카메라 워크가 가능하도록 한다. 또는, 실시예들은 카메라와 캐릭터가 분리된 이동 촬영이 가능하도록 한다.

도 9는 실시예들에 따라 보정된 이미지를 거래하는 방법을 설명하는 순서도이다.

도 9는 도 2에서 설명한 s105 이후의 단계에 관한 것이다. 도 9는 도 1 내지 도 8을 통해 보정, 생성 및 저장한 이미지를 거래하는 방법에 대하여 설명한다.

실시예들에 따른 이미지 보정 방법은 외부 서버로부터 요청 데이터를 수신하는 단계(s401)를 포함한다. 통신부(120)는 외부 서버로부터 요청 데이터를 수신한다. 이때, 외부 서버는, 실시예들에 따라 생성된 이미지를 구매하고자 하는 개인 또는 집단이 이용하는 서버이다. 요청 데이터는 구매 정보를 포함한다. 구매 정보는 외부 서버가 구매하고자 하는 이미지에 대한 정보, 외부 서버에 대한 정보 및 구매를 요청한 날짜 등의 서지적 정보 중 적어도 하나를 포함한다.

실시예들에 따른 이미지 보정 방법은 요청 데이터를 저장하고, 요청 데이터에 기초하여 판매 정보 및 결제 정보를 포함하는 확인 데이터를 생성하는 단계(s402)를 포함한다. 프로세서(160)는 수신한 요청 데이터를 메모리(130)에 저장한다. 프로세서(160)는 요청 데이터에 기초하여 확인 데이터를 생성한다. 이때, 판매 정보는 판매하고자 하는 이미지에 대한 정보이다. 예를 들어, 이미지가 생성된 날짜, 이미지의 현재 가치 및 거래 가부에 대한 정보를 포함한다. 결제 정보는 이미지에 대한 가격, 시세 및 결제 수단에 대한 정보이다. 이때, 결제 수단은 예를 들어 전자 금융 수단을 포함한다. 또는, 결제 수단은 블록체인 플랫폼을 이용하는 토큰 또는 코인을 포함한다.

실시예들에 따른 이미지 보정 방법은 확인 데이터를 외부 서버로 전송하는 단계(s403)를 포함한다. 통신부(120)는 확인 데이터를 외부 서버로 전송한다. 이때, 확인 데이터가 거래 불가 정보를 포함하는 경우, s404 이하의 단계는 진행되지 않는다.

실시예들에 따른 이미지 보정 방법은 외부 서버로부터 확인 데이터에 기초한 결제 데이터를 수신하는 단계(s404)를 포함한다. 통신부(120)는 외부 서버로부터 결제 데이터를 수신한다. 이때, 결제 데이터는 외부 서버가 지불하는 결제 상태에 대한 정보를 포함한다. 예를 들어, 결제 데이터는 외부 서버가 선택한 지불 방식 및 외부 서버가 지불한 결제 금액에 대한 정보 중 적어도 하나를 포함한다.

실시예들에 따른 이미지 보정 방법은 결제 데이터가 결제 정보와 일치하는지 여부를 판단하는 단계(s405)를 포함한다. 프로세서(160)는 결제 데이터와 결제 정보가 일치하는지 여부를 판단한다. 예를 들어, 프로세서(160)는 결제 데이터에 기초하여, 외부 서버가 요청한 방식 중 적어도 하나에 따라 요청한 금액 이상을 지불하였는지 여부를 판단한다. 프로세서(160)는 결제 정보와 결제 데이터가 일치하지 않는다고 판단하는 경우, s403 단계를 다시 수행한다. 이 경우, 프로세서(160)는 확인 데이터에 불일치 정보가 더 포함되도록 할 수 있다. 불일치 정보는, 예를 들어, 결제 방식 또는 결제 금액이 일치하지 않음에 대한 정보를 포함한다.

실시예들에 따른 이미지 보정 방법은 외부 서버로 보정된 이미지를 전송하는 단계(s406)를 포함한다. 프로세서(160)는 결제 정보와 결제 데이터가 일치한다고 판단한 경우, 보정/생성된 이미지를 외부 서버로 전송한다. 프로세서(160)는 s401 내지 s406을 통해 획득한 정보를 메모리(130)에 저장한다.

이를 통해, 실시예들은 사용자가 제작한 영상을 외부와 거래할 수 있도록 한다. 또한, 실시예들은 사용자가 제작한 영상에 대한 거래 기록 및 거래 현황을 언제든지 열람할 수 있도록 한다.

상술한 바와 같이, 실시예들은 오브젝트의 뼈대 동작과 좌표점과 같은 3D 애니메이션의 좌표만을 이용하여, 오브젝트가 일상적인 동작을 갖도록 이미지를 보정 및/또는 생성하고, 이러한 동작을 활용하여 손쉽게 콘텐츠를 제작할 수 있는 이미지 보정 시스템 및 이미지 보정 방법을 제공한다.

이상 본 발명의 실시예들에 따른 이미지 보정 시스템 및 이미지 보정 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다.

당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

100: 이미지 보정 시스템
110: 카메라(camera)
120: 통신부
130: 메모리(memory)
140: 입력부
150: 출력부
160: 프로세서(processor)

Claims

제 1 동작을 수행하는 제 1 오브젝트를 포함하는 제 1 이미지를 획득하는 단계;
상기 제 1 이미지로부터 상기 제 1 오브젝트의 상기 제 1 동작을 추출하는 단계;
상기 제 1 오브젝트 및 상기 제 1 동작을 저장하는 단계; 및
상기 저장된 제 1 오브젝트를 보정하는 단계
를 포함하고,
상기 저장된 제 1 오브젝트를 보정하는 단계는,
상기 제 1 오브젝트와 상이한 제 2 오브젝트를 포함하는 제 2 이미지를 획득하는 단계,
상기 제 2 오브젝트를 저장하는 단계, 그리고
상기 제 1 오브젝트를 상기 제 2 오브젝트로 보정하는 단계
를 더 포함하는 것을 특징으로 하는 이미지 보정 방법.
삭제
제 1 항에 있어서,
저장된 제 1 동작을 보정하는 단계를 더 포함하며,
상기 제 1 오브젝트의 골격에 대한 정보 및 상기 제 1 오브젝트의 벡터에 대한 정보 중 적어도 하나를 보정하는 것을 특징으로 하는 이미지 보정 방법.
제 3 항에 있어서,
상기 제 1 오브젝트의 벡터에 대한 정보는,
상기 제 1 오브젝트의 위치를 나타내는 좌표값 및 상기 제 1 오브젝트의 방향을 나타내는 좌표값 중 적어도 하나를 포함하는,
이미지 보정 방법.
제 1 항에 있어서,
상기 제 1 이미지는,
제 2 동작을 수행하는 제 3 오브젝트; 및 상기 제 1 오브젝트와 상기 제 3 오브젝트가 위치하는 제 1 공간; 을 더 포함하는,
이미지 보정 방법.
제 5 항에 있어서,
상기 이미지 보정 방법은,
상기 제 1 이미지로부터 상기 제 3 오브젝트의 상기 제 2 동작을 추출하고, 상기 공간의 정보를 추출하는 단계;
상기 제 3 오브젝트, 상기 공간의 정보 및 상기 제 2 동작을 저장하는 단계; 및
상기 저장된 제 3 오브젝트, 상기 저장된 제 2 동작 및 상기 제 1 공간의 정보 중 적어도 하나를 보정하는 단계;
를 포함하는,
이미지 보정 방법.
제 6 항에 있어서,
상기 저장된 제 3 오브젝트를 보정하는 단계는,
상기 제 3 오브젝트와 상이한 제 4 오브젝트를 포함하는 제 3 이미지를 획득하는 단계;
상기 제 4 오브젝트를 저장하는 단계; 및
상기 제 3 오브젝트를 상기 제 4 오브젝트로 보정하는 단계;
를 포함하는,
이미지 보정 방법.
제 6 항에 있어서,
상기 저장된 제 3 오브젝트를 보정하는 단계는,
상기 제 3 오브젝트를 삭제하는 단계;
를 포함하는,
이미지 보정 방법.
제 6 항에 있어서,
상기 저장된 제 2 동작을 보정하는 단계는,
상기 제 3 오브젝트의 골격에 대한 정보 및 상기 제 3 오브젝트의 벡터에 대한 정보 중 적어도 하나를 보정하는 단계; 를 포함하고,
상기 제 3 오브젝트의 벡터에 대한 정보는,
상기 제 3 오브젝트의 위치를 나타내는 좌표값 및 상기 제 3 오브젝트의 방향을 나타내는 좌표값 중 적어도 하나를 포함하는,
이미지 보정 방법.
제 1 항에 있어서,
상기 제 1 이미지로부터 상기 제 1 오브젝트의 상기 제 1 동작을 추출하는 단계는,
상기 제 1 이미지로부터 제 1 시야에 있어서의 상기 제 1 오브젝트 및 상기 제 1 오브젝트의 제 1 동작을 포함하는 제 1 시야 이미지를 추출하는 단계;
상기 제 1 이미지로부터 제 2 시야에 있어서의 상기 제 1 오브젝트 및 상기 제 1 오브젝트의 제 1 동작을 포함하는 제 2 시야 이미지를 추출하는 단계; 및
상기 제 1 시야 이미지 및 상기 제 2 시야 이미지를 합성하는 단계;
를 포함하는,
이미지 보정 방법.
제 1 항에 있어서,
상기 이미지 보정 방법은,
상기 제 1 오브젝트 및 상기 제 1 동작 중 적어도 하나가 보정된 제 1 이미지를 출력하는 단계;
를 더 포함하는,
이미지 보정 방법.
제 1 항에 있어서,
상기 이미지 보정 방법은,
외부 서버로부터 구매 정보를 포함하는 요청 데이터를 수신하는 단계;
상기 요청 데이터를 저장하고, 상기 요청 데이터에 기초하여 판매 정보 및 결제 정보를 포함하는 확인 데이터를 생성하는 단계;
상기 확인 데이터를 상기 외부 서버로 전송하는 단계;
상기 외부 서버로부터 상기 확인 데이터에 기초한 결제 데이터를 수신하는 단계; 및
상기 결제 데이터가 상기 결제 정보와 일치하는 경우 상기 외부 서버로 상기 보정된 제 1 이미지를 전송하는 단계;
를 포함하는,
이미지 보정 방법.
이미지 보정 장치에 있어서,
제 1 동작을 수행하는 제 1 오브젝트를 포함하는 제 1 이미지를 획득하는 이미지 획득부;
상기 제 1 이미지로부터 상기 제 1 오브젝트의 상기 제 1 동작을 추출하는 프로세서; 그리고
상기 제 1 오브젝트 및 상기 제 1 동작을 저장하는 메모리를 포함하되,
상기 프로세서는,
상기 제 1 오브젝트와 상이한 제 2 오브젝트를 포함하는 제 2 이미지를 획득하도록 상기 이미지 획득부를 제어하고,
상기 제 2 오브젝트를 저장하도록 상기 메모리를 제어하고, 그리고
상기 제 1 오브젝트를 상기 제 2 오브젝트로 보정하는 것을 특징으로 하는 이미지 보정 장치.
삭제
제 13 항에 있어서,
상기 프로세서는,
상기 제 1 오브젝트, 상기 제 2 오브젝트 및 상기 제 1 동작에 대한 정보를 텍스트화하여 저장하도록 상기 메모리를 제어하는 것을 특징으로 하는 이미지 보정 장치.