KR20200100515A

KR20200100515A - 날씨에 관한 이미지 효과를 제공하는 시스템 및 방법

Info

Publication number: KR20200100515A
Application number: KR1020190075228A
Authority: KR
Inventors: 김계현; 최윤희; 김범석; 이상원; 이유진; 장태영
Original assignee: 삼성전자주식회사
Priority date: 2019-02-18
Filing date: 2019-06-24
Publication date: 2020-08-26
Also published as: CN113474822A; KR20200100519A

Abstract

날씨에 관한 이미지 효과를 제공하는 시스템 및 방법이 제공된다. 디바이스가 날씨에 관련된 이미지 효과를 제공하는 방법은, 이미지 내의 객체의 형상에 관한 객체 인식 정보, 상기 이미지 내의 상기 객체의 깊이에 관한 공간 정보 및 복수의 날씨 텍스처 이미지들을 서버로부터 수신하는 동작; 상기 복수의 날씨 텍스처 이미지들 중에서 현재 날씨를 나타내는 날씨 텍스처 이미지들을 선택하는 동작; 및 상기 선택된 날씨 텍스처 이미지들을 상기 이미지 상에 오버랩함으로써, 상기 이미지 상에 상기 현재 날씨를 나타내는 이미지 효과를 제공하는 동작;을 포함한다.

Description

날씨에 관한 이미지 효과를 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING IMAGE EFFECT REGARDING WEATHER}

본 개시는 이미지에 대하여 날씨에 관한 이미지 효과를 제공하는 시스템 및 방법에 관한 것이다.

최근, TV나 모바일 디바이스에서는, 텍스트 형태 또는 미리 제작해둔 미디어를 이용하여 날씨 정보를 표시하고 있다. 하지만, 텍스트 및 아이콘을 통하여 날씨 정보를 제공하는 경우, 사용자에게 효과적으로 정보를 전달하기 힘들다. 또한, 동영상의 날씨 정보를 제공하기 위하여는 동영상 제작에 많은 시간 및 리소스가 소요되는 문제가 있다.

본 개시의 일 실시예는, 적은 리소스를 이용하여 디바이스가 이미지 상에 날씨 효과를 시뮬레이션할 수 있도록 하는 시스템 및 방법을 제공할 수 있다.

또한, 본 개시의 일 실시예는, 인공지능 모델을 이용하여 2차원 사진에서 3차원 공간을 예측하고, 입체적인 날씨 효과를 제공할 수 있는 시스템 및 방법을 제공할 수 있다.

또한, 본 개시의 일 실시예는, 날씨 텍스처 이미지를 이용하여 이미지 상에 실시간으로 날씨 효과를 시뮬레이션함으로써, 저장 공간을 효율적으로 활용할 수 있는, 시스템 및 방법을 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 한 측면은, 통신 인터페이스; 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 원본 이미지를 획득하는 동작, 상기 원본 이미지를 제1 인공지능 학습 모델에 입력함으로써, 상기 원본 이미지 내의 객체를 인식하고 객체 인식 정보를 획득하는 동작, 상기 원본 이미지를 제2 인공지능 학습 모델에 입력함으로써, 상기 원본 이미지 내의 객체에 관련된 깊이 정보를 획득하는 동작, 상기 원본 이미지를 제3 인공지능 학습 모델에 입력함으로써, 상기 원본 이미지로부터 날씨에 관련된 객체를 제거하는 동작, 상기 디바이스가 위치한 지역의 현재 날씨를 나타내는 날씨 정보를 획득하는 동작, 상기 객체 인식 정보, 상기 깊이 정보 및 날씨 정보에 기초하여, 상기 날씨 관련 객체가 제거된 원본 이미지에 상기 현재 날씨를 나타내는 3D 이미지 효과를 제공하는 동작; 및 을 실행하기 위하여, 상기 저장된 하나 이상의 인스트럭션을 실행하는 프로세서;를 포함하는, 원본 이미지에 날씨에 관련된 3D 이미지 효과를 제공하는 디바이스를 제공할 수 있다.

도 1은 본 개시의 일 실시예에 따른 소정의 이미지에 대하여 날씨에 관련된 이미지 효과를 제공하는 시스템의 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 이미지에 대하여 날씨 이미지 효과가 반영되는 예시를 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 시스템이 이미지에 대하여 날씨 이미지 효과를 제공하는 방법의 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 서버가 날씨 별로 텍스처 이미지들을 획득하는 방법을 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 날씨에 대응되는 복수의 날씨 텍스처 이미지들의 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 이미지로부터 인식된 객체 인식 정보의 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 이미지로부터 분석된 공간 정보의 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 시스템에서 디바이스가 소정의 기준에 따라 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 시스템에서 서버가 복수의 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정하는 방법의 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 서버가 깊이 구간 별로 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정하는 방법의 흐름도이다.
도 11 및 도 12는 본 개시의 일 실시예에 따른 날씨 텍스처 이미지로부터 컷팅될 조각 이미지들의 위치 및 간격의 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 하나의 텍스처 이미지로부터 조각 이미지가 날씨에 따라 상이한 위치에서 컷팅되는 예시를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 조각 이미지들이 특정 주기에 따라 순차적으로 시뮬레이션되는 예시를 나타내는 도면이다.
도 15는 본 개시의 일실시예에 따른 조각 이미지들이 깊이 구간에 따라 다른 주기로 시뮬레이션되는 예시를 나타내는 도면이다.
도 16은 본 개시의 일 실시예에 따른 깊이 구간에 따라 조각 이미지들이 상이한 모양으로 컷팅되는 예시를 나타내는 도면이다.
도 17은 본 개시의 일 실시예에 따른 디바이스가 텍스처 이미지들을 이용하여 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.
도 18은 본 개시의 일 실시예에 따른 시스템이 날씨에 관련된 객체가 삭제된 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.
도 19는 본 개시의 일 실시예에 따른 날씨에 관련된 객체가 삭제된 이미지의 예시를 나타내는 도면이다.
도 20은 본 개시의 일 실시예에 따른 시스템이 현재 시각에 대응되는 기준 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.
도 21은 본 개시의 일 실시예에 따른 기 설정된 시간대에 대응되는 기준 이미지들의 예시를 나타내는 도면이다.
도 22는 본 개시의 일 실시예에 따른 시스템이, 색상 변화 경로에 따라 기준 이미지의 색상을 변경하고, 색상 변경된 기준 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.
도 23은 본 개시의 일 실시예에 따른 기준 이미지들 간의 색상 변화 경로의 예시를 나타내는 도면이다.
도 24는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 25는 본 개시의 일 실시예에 따른 디바이스의 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시예에 따른 소정의 이미지에 대하여 날씨에 관련된 이미지 효과를 제공하는 시스템의 예시를 나타내는 도면이다.

도 1을 참조하면, 날씨에 관련된 이미지 효과를 제공하는 시스템은 디바이스(1000) 및 서버(2000)를 포함할 수 있다.

디바이스(1000)는 특정 이미지를 선택하고, 선택된 이미지 상에 3차원의 날씨 효과를 제공할 수 있다. 디바이스(1000)는 이미지를 선택하고, 선택된 이미지 상에 날씨 효과를 시뮬레이션하기 위한 날씨 텍스처 이미지를 서버(2000)로부터 수신할 수 있다. 날씨 텍스처 이미지는, 특정 날씨를 나타내는 오브젝트들이 표시된 이미지일 수 있으며, 예를 들어, 빗방울들이 표시된 이미지, 눈송이들이 표시된 이미지 및 안개가 표시된 이미지를 포함할 수 있으나, 이에 제한되지 않는다.

또한, 디바이스(1000)는 날씨 텍스처 이미지로부터 복수의 조각 이미지를 잘라내고, 이미지 상에 복수의 조각 이미지를 순차적으로 오버랩시킴으로써 이미지에 대하여 날씨 이미지 효과를 제공할 수 있다. 디바이스(1000)는 이미지 내의 객체들의 깊이(depth)를 분석하고, 현재 날씨를 반영하는 조각 이미지들을 분석된 깊이에 기초하여 이미지 상에 오버랩시킬 수 있다.

디바이스(1000)는 앰비언트 모드 (ambient mode)에서 소정의 이미지에 대하여 날씨와 관련된 이미지 효과를 반영할 수 있다. 앰비언트 모드는, 저전력으로 디바이스(1000)의 일부 기능만을 제공하는 동작 모드일 수 있다. 예를 들어, 앰비언트 모드에서, 디바이스(1000)의 대부분의 기능은 활성화되지 않고, 디스플레이를 통한 입출력 기능 및 기설정된 소수 기능만 활성화될 수 있다.

디바이스(1000)는, 예를 들어, TV 및 모바일 디바이스를 포함할 수 있다. 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

도 2는 본 개시의 일 실시예에 따른 이미지에 대하여 날씨 이미지 효과가 반영되는 예시를 나타내는 도면이다.

도 2를 참조하면, 이미지는 하나 이상의 인공지능 모델을 이용하여 분석될 수 있다. 이미지는, 예를 들어, 2차원의 사진일 수 있다. 이미지는 이미지 내의 객체를 인식하기 위한 제1 인공지능 모델에 입력됨으로써, 이미지 내의 객체를 나타내는 객체 인식 정보가 제1 인공지능 모델로부터 출력될 수 있다. 객체 인식 정보는, 이미지 내의 객체의 위치 및 형상에 관한 정보를 포함할 수 있다. 또한, 이미지는 이미지 내의 공간을 분석하기 위한 제2 인공지능 모델에 입력됨으로써, 이미지 내의 공간들의 깊이에 관련된 공간 정보가 제2 인공지능 모델로부터 출력될 수 있다. 제2 인공지능 모델은, 2차원의 이미지 내의 공간의 깊이를 분석함으로써, 2차원의 이미지 내의 3차원 공간을 추정할 수 있다. 또한, 이미지는 이미지 내에서 날씨를 나타내는 객체를 삭제하기 위한 제3 인공지능 모델에 입력됨으로써, 날씨를 나타내는 객체가 삭제된 이미지가 제3 인공지능 모델로부터 출력될 수 있다.

제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델은, 예를 들어, 인공 신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

상술한 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델 중 둘 이상의 기능을 제공하는 인공지능 모델이 이용될 수도 있다.

디바이스(1000)는 객체 인식 정보, 공간 정보 및 날씨 관련 객체가 삭제된 이미지를 획득하고, 현재 날씨에 대응되는 날씨 텍스처 이미지를 획득할 수 있다. 또한, 디바이스(1000)는 기설정된 기준에 따라, 날씨 텍스처 이미지로부터 복수의 조각 이미지를 잘라낼 수 있다. 또한, 디바이스(1000)는 날씨 관련 객체가 삭제된 이미지 상에, 복수의 조각 이미지를 순차적으로 오버랩시킴으로써, 현재 날씨에 관한 날씨 이미지 효과가 반영된 이미지를 제공할 수 있다.

도 3은 본 개시의 일 실시예에 따른 시스템이 이미지에 대하여 날씨 이미지 효과를 제공하는 방법의 흐름도이다.

동작 S300에서 디바이스(1000)는 이미지를 선택할 수 있다. 디바이스(1000)는 앰비언트 모드에서 화면 상에 디스플레이될 이미지를 선택하기 위한 GUI를 디스플레이하고, 디스플레이된 GUI를 통한 사용자 입력에 기초하여 이미지를 선택할 수 있다. 예를 들어, 디바이스(1000)는 디바이스(1000) 내에 저장된 사진을 선택하거나, 실시간으로 사진을 촬영함으로써 촬영된 사진을 선택할 수 있다.

동작 S305에서 디바이스(1000)는 이미지를 서버(2000)에게 전송할 수 있다. 디바이스(1000)는 이미지를 서버(2000)에게 제공하면서, 이미지에 대하여 날씨 효과를 시뮬레이션하기 위하여 필요한 데이터를 제공해 줄 것을 서버(2000)에게 요청할 수 있다.

동작 S300 및 동작 S305에서는 디바이스(1000)가 이미지를 선택하여 서버(2000)에게 이미지를 전송하는 것으로 설명되었지만, 이에 한정되지 않는다. 서버(2000)가 서버(2000)에 저장된 이미지의 목록을 디바이스(1000)에게 제공하고, 디바이스(1000)가 이미지의 목록에서 특정 이미지를 선택할 수도 있다.

동작 S310에서 서버(2000)는 제1 인공지능 모델을 이용하여, 이미지 내의 객체를 인식할 수 있다. 서버(2000)는 이미지 내의 객체를 인식하기 위한 제1 인공지능 모델에 이미지를 입력함으로써, 이미지 내의 객체를 나타내는 객체 인식 정보를 획득할 수 있다. 객체 인식 정보는, 예를 들어, 이미지 내에 포함된 객체의 형상에 관한 정보 및 객체의 위치에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 제1 인공지능 모델은 이미지 내의 객체를 인식하기 위하여 미리 훈련된 모델일 수 있으며, 예를 들어, 인공 신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다.

동작 S315에서 서버(2000)는 제2 인공지능 모델을 이용하여, 이미지 내의 객체의 깊이에 관한 공간 정보를 획득할 수 있다. 서버(2000)는 이미지 내의 공간을 분석하기 위한 제2 인공지능 모델에 이미지를 입력함으로써, 이미지 내의 공간들의 깊이에 관련된 공간 정보를 획득할 수 있다. 공간 정보는, 예를 들어, 이미지 내에 포함된 객체의 깊이(depth)에 관한 정보, 이미지 내의 배경의 깊이에 관한 정보, 및 이미지 내의 객체들 간의 깊이 관계에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 제2 인공지능 모델은 이미지 내의 공간을 분석하기 위하여 미리 훈련된 모델일 수 있으며, 예를 들어, 인공 신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다.

동작 S320에서 서버(2000)는 복수의 날씨 텍스처 이미지를 획득할 수 있다. 서버(2000)는 복수의 날씨들 별로 미리 등록된 복수의 날씨 텍스처들을 DB로부터 획득할 수 있다. 서버(2000)는, 예를 들어, 비오는 날씨를 나타내는 위한 복수의 날씨 텍스처들, 눈오는 날씨를 나타내는 복수의 날씨 텍스처들, 안개낀 날씨를 나타내는 복수의 날씨 텍스처들을 획득할 수 있다. 또한, 날씨 별로 미리 등록된 복수의 날씨 텍스처들은, 깊이 구간들에 각각 대응될 수 있다. 날씨 별로 미리 등록된 복수의 날씨 텍스처들은, 깊이 구간에 따라 서로 상이할 수 있다. 깊이 구간은, 이미지 내의 공간의 깊이 정도를 구간으로 구별하기 위한 값일 수 있다.

동작 S325에서 서버(2000)는 객체 인식 정보, 공간 정보 및 복수의 날씨 텍스처 이미지를 디바이스(1000)에게 전송할 수 있다. 서버(2000)는 디바이스(1000)에서 선택된 이미지를 적어도 하나의 인공지능 모델을 이용하여 분석함으로써 획득된 객체 인식 정보 및 공간 정보를 디바이스(1000)에게 전송할 수 있다. 또한, 서버(2000)는 다양한 날씨에 대하여 깊이 구간 별로 미리 등록된 복수의 텍스처 이미지들을 디바이스(1000)에게 전송할 수 있다. 이에 따라, 디바이스(1000)는 다양한 날씨에 관련된 복수의 텍스처 이미지들을 미리 저장해두고, 미리 저장된 복수의 텍스처 이미지들 중에서 현재 날씨 및 선택된 이미지에 적합한 적어도 하나의 텍스처 이미지를 선택하여 이용할 수 있게 된다.

동작 S330에서 디바이스(1000)는 현재 날씨를 식별할 수 있다. 디바이스(1000)는 디바이스(1000)가 설치된 지역의 현재 날씨 또는 사용자에 의해 선택된 지역의 현재 날씨를 식별할 수 있다. 디바이스(1000)는 현재 날씨를 나타내는 날씨 정보를 외부 서버(2000)로부터 기설정된 주기로 또는 실시간으로 수신할 수 있다. 현재 날씨를 나타내는 날씨 정보는, 예를 들어, 구름, 눈, 비, 안개, 번개, 바람, 강수량, 강우량, 안개량, 흐린 정도, 풍향, 돌풍, 풍속, 상대 습도, 온도, 체감 온도, 기압, 태양 방사선, 가시성, 자외선 지수 및 이슬점 등의 정보를 포함할 수 있으나, 이에 한정되지 않는다.

동작 S335에서 디바이스(1000)는 현재 날씨에 대응되는 날씨 텍스처 이미지들을 선택할 수 있다. 디바이스(1000)는 서버(2000)로부터 수신된 복수의 날씨 텍스처 이미지들 중에서, 현재 날씨의 속성에 대응되는 날씨 텍스처 이미지들을 선택할 수 있다. 디바이스(1000)는 현재 날씨의 속성 및 이미지 내의 공간의 깊이에 따라, 날씨 텍스처 이미지들을 선택할 수 있다. 예를 들어, 디바이스(1000)는 복수의 텍스처 이미지들 중에서, 강우량 10ml/h의 비, 풍속 7km/h에 대응되는 날씨 텍스처 이미지들을 선택하고, 선택된 텍스처 이미지들 중에서, 이미지 내의 공간의 제1 깊이 구간 및 제2 깊이 구간에 대응되는 날씨 텍스처 이미지들을 선택할 수 있다.

동작 S340에서 디바이스(1000)는 선택된 날씨 텍스처 이미지들을 이용하여, 이미지 상에 현재 날씨를 나타내는 이미지 효과를 시뮬레이션할 수 있다. 디바이스(1000)는 선택된 날씨 텍스처 이미지로부터 조각 이미지들을 잘라낼 수 있다. 날씨 텍스처 이미지의 사이즈는 디바이스(1000)에서 선택된 이미지의 사이즈보다 크며, 디바이스(1000)는 디바이스(1000)에서 선택된 이미지의 사이즈에 맞도록 조각 이미지를 날씨 텍스처 이미지로부터 잘라낼 수 있다. 디바이스(1000)는 커팅 위치를 쉬프트시키면서 조각 이미지들을 날씨 텍스처 이미지로부터 잘라낼 수 있다.

또한, 디바이스(1000)는 조각 이미지들을 기설정된 주기로 순차적으로 이미지 상에 오버랩 시킴으로써 이미지에 대하여 날씨 이미지 효과를 부여할 수 있다. 예를 들어, 디바이스(1000)는, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지 및 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지를 이미지 상에 함께 중첩하여 오버랩시킬 수 있다. 또한, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들이 순차적으로 오버랩되는 주기 및 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들이 순차적으로 오버랩되는 주기는 서로 상이할 수 있다.

도 4는 본 개시의 일 실시예에 따른 서버가 날씨 별로 텍스처 이미지들을 획득하는 방법을 나타내는 도면이다.

동작 S400에서 서버(2000)는 제1 날씨를 나타내며 복수의 깊이 구간에 대응되는 복수의 날씨 텍스처 이미지들을 획득할 수 있다. 제1 날씨를 나타내는 복수의 날씨 텍스처 이미지들은 복수의 깊이 구간에 각각 대응될 수 있다. 서버(2000)는, 예를 들어, 제1 날씨 및 제1 깊이 구간에 대응되는 날씨 텍스처 이미지, 제1 날씨 및 제2 깊이 구간에 대응되는 날씨 텍스처 이미지, 제1 날씨 및 제3 깊이 구간에 대응되는 날씨 텍스처 이미지를 DB로부터 획득할 수 있다. 또한, 제1 날씨는 적어도 하나의 날씨 속성에 대응될 수 있다. 날씨 속성은, 예를 들어, 구름, 눈, 비, 안개, 번개, 바람, 강수량, 강우량, 안개량, 흐린 정도, 풍향, 돌풍, 풍속, 상대 습도, 온도, 체감 온도, 기압, 태양 방사선, 가시성, 자외선 지수 및 이슬점을 포함할 수 있으나, 이에 제한되지 않는다.

동작 S410에서 서버(2000)는 제2 날씨를 나타내며 복수의 깊이 구간에 대응되는 복수의 날씨 텍스처 이미지들을 획득할 수 있다. 제2 날씨를 나타내는 복수의 날씨 텍스처 이미지들은 복수의 깊이 구간에 각각 대응될 수 있다. 서버(2000)는, 예를 들어, 제2 날씨 및 제1 깊이 구간에 대응되는 날씨 텍스처 이미지, 제2 날씨 및 제2 깊이 구간에 대응되는 날씨 텍스처 이미지, 제2 날씨 및 제3 깊이 구간에 대응되는 날씨 텍스처 이미지를 DB로부터 획득할 수 있다. 또한, 제2 날씨는 적어도 하나의 날씨 속성에 대응될 수 있다. 날씨 속성은, 예를 들어, 구름, 눈, 비, 안개, 번개, 바람, 강수량, 강우량, 안개량, 흐린 정도, 풍향, 돌풍, 풍속, 상대 습도, 온도, 체감 온도, 기압, 태양 방사선, 가시성, 자외선 지수 및 이슬점을 포함할 수 있으나, 이에 제한되지 않는다.

도 4에서는, 서버(2000)가 제1 날씨를 나타내는 복수의 텍스처 이미지, 제2 날씨를 나타내는 복수의 텍스처 이미지를 획득하는 것으로 설명되었지만, 이에 제한되지 않는다. 서버(2000)는 미리 설정된 다양한 날씨를 나타내는 날씨 텍스처 이미지들을 획득할 수 있다. 또한, 서버(2000)는 미리 설정된 다양한 날씨를 나타내는 날씨 텍스처 이미지들을 디바이스(1000)에게 미리 제공해 줌으로써, 현재 날씨가 변경되더라도 디바이스(1000)가 현재 날씨에 적합한 날씨 텍스처 이미지를 효과적으로 활용할 수 있도록 할 수 있다.

도 5는 본 개시의 일 실시예에 따른 날씨에 대응되는 복수의 날씨 텍스처 이미지들의 예시를 나타내는 도면이다.

도 5를 참조하면, 눈 오는 날씨를 나타내는 복수의 날씨 텍스처 이미지는 제1 눈 텍스처 이미지(50), 제2 눈 텍스처 이미지(51) 및 제3 눈 텍스처 이미지(52)를 포함할 수 있다. 제1 눈 텍스처 이미지(50)는 ‘눈’ 및 제1 깊이 구간에 대응되고, 제2 눈 텍스처 이미지(51)는 ‘눈’ 및 제2 깊이 구간에 대응되고, 제3 눈 텍스처 이미지(52)는 ‘눈’ 및 제3 깊이 구간에 대응될 수 있다.

또한, 제1 깊이 구간은 제2 깊이 구간보다 깊이가 얕으며, 제2 깊이 구간은 제3 깊이 구간보다 깊이가 얕을 수 있다. 제1 눈 텍스처 이미지(50)는 제2 눈 텍스처 이미지(51) 및 제3 눈 텍스처 이미지(52)보다 얕은 깊이에 대응되므로, 제1 눈 텍스처 이미지(50) 내에 포함된 눈 입자는, 제2 눈 텍스처 이미지(51) 내에 포함된 눈 입자 및 제3 눈 텍스처 이미지(52) 내에 포함된 눈 입자보다 클 수 있다.

제2 눈 텍스처 이미지(51)는 제1 눈 텍스처 이미지(50)보다는 깊은 깊이에 대응되고 제3 눈 텍스처 이미지(52)보다는 얕은 깊이에 대응되므로, 제2 눈 텍스처 이미지(51) 내에 포함된 눈 입자는 제1 눈 텍스처 이미지(50) 내에 포함된 눈 입자보다는 작고 제3 눈 텍스처 이미지(52) 내에 포함된 눈 입자보다는 클 수 있다.

또한, 예를 들어, 비 오는 날씨를 나타내는 복수의 텍스처 이미지는 제1 비 텍스처 이미지(55), 제2 비 텍스처 이미지(56) 및 제3 텍스처 이미지(57)를 포함할 수 있다. 제1 비 텍스처 이미지(55)는 ‘비’ 및 제1 깊이 구간에 대응되고, 제2 비 텍스처 이미지(56)는 ‘비’ 및 제2 깊이 구간에 대응되고, 제3 비 텍스처 이미지(53)는 ‘비’ 및 제3 깊이 구간에 대응될 수 있다.

서버(2000)는 여러 날씨 속성 및 여러 깊이 구간에 관련되는, 제1 눈 텍스처 이미지(50), 제2 눈 텍스처 이미지(51), 제3 눈 텍스처 이미지(52), 제1 비 텍스처 이미지(55), 제2 비 텍스처 이미지(56) 및 제3 텍스처 이미지(57) 등을 디바이스(1000)에게 미리 제공할 수 있다.

도 5에서는 날씨 텍스처 이미지가 하나의 날씨 속성에 대응되는 것으로 설명하였지만, 이에 제한되지 않는다. 날씨 텍스처 이미지는 복수의 날씨 속성에 대응될 수도 있다. 예를 들어, 날씨 텍스처 이미지는, 비, 강우량, 풍속, 및 풍향에 대응될 수 있다. 이 경우, 날씨 텍스처 이미지에 대응되는 날씨의 속성들에 따라, 날씨 텍스처 이미지 내에 포함된 객체(예컨대, 빗방울)의 크기, 간격, 배열된 방향 등이 상이할 수 있다.

또한, 날씨 텍스처 이미지는 투명한 레이어 상에 날씨를 나타내는 객체가 표시된 이미지일 수 있다. 이에 따라, 날씨 텍스처 이미지가 이미지 상에 오버랩되었을 때, 날씨를 나타내는 객체만이 이미지 상에 표시될 수 있다.

도 6은 본 개시의 일 실시예에 따른 이미지로부터 인식된 객체 인식 정보의 예시를 나타내는 도면이다.

도 6을 참조하면, 서버(2000)는 이미지(60)를 제1 인공지능 모델에 입력함으로써, 이미지(60) 내의 객체를 인식하고, 객체의 형상 및 위치에 관한 객체 인식 정보(62)를 획득할 수 있다. 도 6에서는, 객체 인식 정보가 이미지의 형태를 띄는 것으로 설명하였지만 이에 제한되지 않으며, 객체 인식 정보는 객체의 위치 및 형태 등을 식별할 수 있는 다양한 포맷의 데이터일 수 있다.

도 7은 본 개시의 일 실시예에 따른 이미지로부터 분석된 공간 정보의 예시를 나타내는 도면이다.

도 7을 참조하면, 서버(2000)는 이미지(70)를 제2 인공지능 모델에 입력함으로써, 이미지(70) 내의 공간을 분석할 수 있으며, 이미지(70) 내의 공간들의 깊이를 나타내는 공간 정보(72)를 획득할 수 있다. 도 7에서는, 공간 정보가 이미지의 형태를 띄는 것으로 설명하였지만 이에 제한되지 않으며, 공간 정보는 이미지(70) 내의 공간들의 깊이를 식별할 수 있는 다양한 포맷의 데이터일 수 있다.

도 8은 본 개시의 일 실시예에 따른 시스템에서 디바이스가 소정의 기준에 따라 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.

동작 S800 내지 동작 S820은 도 3의 동작 S300 내지 동작 S320에 대응되므로, 동작 S800 내지 동작 S820에 대한 설명은 편의상 생략하기로 한다.

동작 S825에서 서버(2000)는 복수의 날씨 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정할 수 있다. 서버(2000)는, 예를 들어, 날씨에 따라 어떤 날씨 텍스처 이미지를 이용해야 하는지에 관한 기준, 조각 이미지를 위하여 날씨 텍스처 이미지의 어느 부분을 잘라내야 하는지에 관한 기준, 조각 이미지들 간의 간격에 관한 기준, 및 깊이 구간에 따라 조각 이미지를 얼마 동안 표시해야 하는지에 관한 기준을 결정할 수 있다.

동작 S830에서 서버(2000)는 결정된 기준에 관한 기준 정보, 객체 인식 정보, 공간 정보 및 복수의 날씨 텍스처 이미지를 디바이스(1000)에게 제공할 수 있다.

동작 S840에서 디바이스(1000)는 기준 정보에 기초하여, 이미지 상에 날씨 효과를 시뮬레이션할 수 있다. 디바이스(1000)는 현재 날씨, 이미지 내의 객체 및 공간의 깊이에 따라 날씨 텍스처 이미지를 선택할 수 있다. 디바이스(1000)는 선택된 날씨 텍스처 이미지로부터 복수의 조각 이미지들을 잘라내고, 복수의 조각 이미지들을 소정의 시간 주기로 순차적으로 이미지 상에 오버랩시킬 수 있다.

도 9는 본 개시의 일 실시예에 따른 시스템에서 서버가 복수의 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정하는 방법의 흐름도이다.

동작 S900에서 서버(2000)는 특정 깊이 구간에 대응되는 날씨 텍스처 이미지를 선택할 수 있다. 서버(2000)는 DB에 저장된 날씨 텍스처 이미지들 중에서 특정 날씨 및 특정 깊이 구간에 대응되는 날씨 텍스처 이미지를 선택할 수 있다.

동작 S910에서 서버(2000)는 날씨 텍스처 이미지에서, 날씨 효과를 위한 시뮬레이션에 이용될 이미지 조각들의 위치를 결정할 수 있다. 서버(2000)는 날씨의 속성에 따라 날씨 텍스처 이미지의 어느 부분에서 얼마만큼의 간격으로 조각 이미지로 잘라내야 하는 지에 관한 기준을 결정할 수 있다. 예를 들어, 비의 강수량이 많은 경우, 서버(2000)는 비 텍스처 이미지에서 빗방울의 촘촘하게 표시된 부분에서 넓은 간격으로 조각 이미지들이 컷팅되도록 조각 이미지의 컷팅 위치를 설정할 수 있다.

동작 S920에서 서버(2000)는 조각 이미지들이 시뮬레이션되는 시간 주기(period)를 결정할 수 있다. 서버(2000)는 깊이 구간에 따라 조각 이미지가 시뮬레이션되는 시간 주기를 설정할 수 있다. 예를 들어, 서버(2000)는 얕은 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지의 시뮬레이션 시간 주기를 짧게 설정하고, 깊은 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지의 시뮬레이션 시간 주기를 길게 설정할 수 있다.

도 10은 본 개시의 일 실시예에 따른 서버가 깊이 구간 별로 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정하는 방법의 흐름도이다.

동작 S1000에서 서버(2000)는 제1 깊이 구간에 대응되는 날씨 텍스처 이미지를 선택할 수 있다. 제1 깊이 구간은 이미지 내의 특정 객체보다 얕은 깊이의 구간일 수 있으며, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지는 기설정된 수치보다 큰 사이즈의 날씨 객체를 포함할 수 있다. 날씨 객체는, 예를 들어, 빗방울, 눈송이와 같이 특정 날씨를 나타내는 객체일 수 있다.

동작 S1010에서 서버(2000)는 제1 깊이 구간에 대응되는 날씨 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정할 수 있다. 서버(2000)는, 날씨의 속성 및 날씨 텍스처 이미지의 깊이 구간에 따라, 날씨 텍스처 이미지로부터 컷팅될 조각 이미지들의 위치, 간격, 시뮬레이션 시간 주기에 관한 기준을 설정할 수 있다. 예를 들어, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지가 비 오는 날씨에 대응되는 비 텍스처 이미지인 경우에, 서버(2000)는 강수량, 풍속 또는 풍향 중 적어도 하나에 따라 비 텍스처 이미지의 어느 부분으로부터 조각 이미지를 컷팅해야 하는지에 관한 기준을 설정할 수 있다. 또한, 서버(2000)는 강수량, 풍속 또는 풍향 중 적어도 하나에 따라 컷팅될 조각 이미지들 간의 간격을 설정할 수 있다. 또한, 서버(2000)는 날씨 텍스처 이미지의 깊이 구간에 따라, 조각 이미지들을 순차적으로 시뮬레이션하기 위한 시뮬레이션 시간 주기를 설정할 수 있다. 예를 들어, 제1 깊이 구간은 후술할 제2 깊이 구간보다 얕은 깊이의 구간일 수 있으며, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들은, 후술할 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들 보다 짧은 시간 주기로 이미지 상에 시뮬레이션될 수 있다.

동작 S1020에서 서버(2000)는 제2 깊이 구간에 대응되는 날씨 텍스처 이미지를 선택할 수 있다. 제2 깊이 구간은 이미지 내의 특정 객체보다 깊은 깊이의 구간일 수 있으며, 제2 깊이 구간에 대응되는 날씨 텍스처 이미지는 기설정된 수치보다 작은 사이즈의 날씨 객체를 포함할 수 있다.

동작 S1030에서 서버(2000)는 제2 깊이 구간에 대응되는 날씨 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정할 수 있다. 제2 깊이 구간은 이미지 내의 특정 객체보다 깊은 깊이의 구간일 수 있으며, 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지는 특정 객체보다 뒤에 표시되는 것처럼 시뮬레이션 되어야 한다. 이에 따라, 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지는 이미지 내의 특정 객체와 중첩되지 않도록 서버(2000)는 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅될 조각 이미지의 모양을 설정할 수 있다.

또한, 서버(2000)는, 예를 들어, 제2 깊이 구간에 대응되는 날씨 텍스처 이미지가 비 오는 날씨에 대응되는 비 텍스처 이미지인 경우에, 서버(2000)는 강수량, 풍속 또는 풍향 중 적어도 하나에 따라 비 텍스처 이미지의 어느 부분으로부터 조각 이미지를 컷팅해야 하는지에 관한 기준을 설정할 수 있다. 서버(2000)는 강수량, 풍속 또는 풍향 중 적어도 하나에 따라 컷팅될 조각 이미지들 간의 간격을 설정할 수 있다. 또한, 서버(2000)는 날씨 텍스처 이미지의 깊이 구간에 따라, 조각 이미지들을 순차적으로 시뮬레이션하기 위한 시뮬레이션 시간 주기를 설정할 수 있다. 예를 들어, 제2 깊이 구간은 제1 깊이 구간보다 깊은 깊이의 구간일 수 있으며, 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들은, 제1 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 컷팅된 조각 이미지들 보다 긴 시간 주기로 이미지 상에 시뮬레이션될 수 있다.

도 11 및 도 12는 본 개시의 일 실시예에 따른 날씨 텍스처 이미지로부터 컷팅될 조각 이미지들의 위치 및 간격의 예시를 나타내는 도면이다.

도 11을 참조하면 비 텍스처 이미지(110)로부터 조각 이미지(111), 조각 이미지(112) 및 조각 이미지(112)이 컷팅될 수 있으며, 도 12를 참조하면, 비 텍스처 이미지(110)로부터 조각 이미지(114), 조각 이미지(115) 및 조각 이미지(116)이 컷팅될 수 있다. 비 텍스처 이미지(110)로부터 컷팅될 조각 이미지들의 컷팅 방향 및 간격은 강수량, 풍향 및 풍속에 따라 조절될 수 있다. 예를 들어, 강수량, 풍향 및 풍속을 작은 경우에는, 비 텍스처 이미지의 수직 방향에 가까우며 좁은 간격으로 조각 이미지(111), 조각 이미지(112) 및 조각 이미지(112)가 컷팅될 수 있다. 또한, 강수량, 풍향 및 풍속을 큰 경우에는, 비 텍스처 이미지의 대각선 방향을 따라 넓은 간격으로 조각 이미지(114), 조각 이미지(115) 및 조각 이미지(116)이 컷팅될 수 있다.

도 13은 본 개시의 일 실시예에 따른 하나의 텍스처 이미지로부터 조각 이미지가 날씨에 따라 상이한 위치에서 컷팅되는 예시를 나타내는 도면이다.

도 13을 참조하면, 비 텍스처 이미지(130) 내에는 상이한 모양의 빗방울들이 다양한 간격으로 배치될 수 있다. 예를 들어, 비 텍스처 이미지(130)의 좌측 부분에는 빗방울이 수직 방향으로 배치되고, 비 텍스처 이미지(130)의 좌측 부분에는 빗방울이 대각선 방향으로 배치될 수 있다. 또한, 예를 들어, 비 텍스처 이미지(130)의 윗 부분에는 빗방울이 넓은 간격으로 배치되고, 비 텍스처 이미지(130)의 아래 부분에는 빗방울이 좁은 간격으로 배치될 수 있다.

이에 따라, 강우량이 적고 풍속이 낮은 경우에는, 비 텍스처 이미지(130)의 좌측 위 부분에서 조각 이미지(131), 조각 이미지(132) 및 조각 이미지(133)가 컷팅되도록 컷팅 기준이 설정될 수 있다. 또한, 강우량이 많고 풍속이 높은 경우에는, 비 텍스처 이미지(130)의 우측 아래 부분에서 조각 이미지(134), 조각 이미지(135) 및 조각 이미지(136)가 컷팅되도록 컷팅 기준이 설정될 수 있다.

도 14는 본 개시의 일 실시예에 따른 조각 이미지들이 특정 주기에 따라 순차적으로 시뮬레이션되는 예시를 나타내는 도면이다.

도 14를 참조하면, 조각 이미지(141), 조각 이미지(142) 및 조각 이미지(143)이 순차적으로 반복하여 이미지(140) 상에 오버랩될 수 있다. 조각 이미지의 깊이 구간에 따라, 조각 이미지(141), 조각 이미지(142) 및 조각 이미지(143)가 오버랩될 시간 주기가 미리 설정될 수 있다. 예를 들어, 조각 이미지(141)가 0 ~ 0.1초 동안 이미지(140) 상에 오버랩된 후에, 조각 이미지(142) 가 0.1 ~ 0.2초 동안 이미지(140) 상에 오버랩될 수 있다. 또한, 0.2 ~ 0.3초 동안 조각 이미지(143)가 이미지(140) 상에 오버랩되고, 그 이후에 0.3 ~ 0.4초 동안 조각 이미지(141)가 이미지(140) 상에 오버랩될 수 있다.

도 15는 본 개시의 일실시예에 따른 조각 이미지들이 깊이 구간에 따라 다른 주기로 시뮬레이션되는 예시를 나타내는 도면이다.

도 15를 참조하면, 제1 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 제1 조각 이미지들(1-1, 1-2, 1-3) 중 하나, 제2 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 제2 조각 이미지들(2-1, 2-2, 2-3) 중 하나, 제3 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 복수의 제3 조각 이미지들(3-1, 3-2, 3-3) 중 하나가 이미지(150) 상에 함께 오버랩될 수 있다.

제1 깊이 구간은 제2 깊이 구간보다 얕은 깊이의 구간이며, 제2 깊이 구간은 제3 깊이 구간보다 얕은 깊이의 구간일 수 있다.

또한, 제1 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 제1 조각 이미지들(1-1, 1-2, 1-3)은 0.1초의 주기로 순차적으로 이미지(150) 상에 오버랩될 수 있다. 제2 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 제2 조각 이미지들(2-1, 2-2, 2-3)은 0.2초의 주기로 순차적으로 이미지(150) 상에 오버랩될 수 있다. 제3 깊이 구간의 날씨 텍스처 이미지로부터 컷팅된 제3 조각 이미지들(3-1, 3-2, 3-3)은 0.3초의 주기로 순차적으로 이미지(150) 상에 오버랩될 수 있다.

도 16은 본 개시의 일 실시예에 따른 깊이 구간에 따라 조각 이미지들이 상이한 모양으로 컷팅되는 예시를 나타내는 도면이다.

도 16을 참조하면, 제1 깊이 구간은 이미지(160) 내의 제1 객체(161) 및 제2 객체(162)보다 얕은 깊이의 구간일 수 있다. 제1 깊이 구간에 대응되는 날씨 텍스처 이미지(163)로부터, 이미지(160)와 동일한 사이즈의 조각 이미지(164)가 컷팅될 수 있다.

제2 깊이 구간은 이미지(160) 내의 제1 객체(161)보다는 깊고 제2 객체(162)보다는 얕은 깊이의 구간일 수 있다. 제2 깊이 구간에 대응되는 날씨 텍스처 이미지(165)로부터, 제1 객체(161)과 중첩되지 않는 형상의 조각 이미지(166)가 컷팅될 수 있다.

제3 깊이 구간은 이미지(160) 내의 제1 객체(161) 및 제2 객체(162)보다는 깊은 깊이의 구간일 수 있다. 제3 깊이 구간에 대응되는 날씨 텍스처 이미지(167)로부터, 제1 객체(161) 및 제2 객체(162)와 중첩되지 않는 형상의 조각 이미지(168)가 컷팅될 수 있다.

도 17은 본 개시의 일 실시예에 따른 디바이스가 텍스처 이미지들을 이용하여 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.

동작 S1700에서 디바이스(1000)는 제1 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 복수의 조각 이미지를 획득할 수 있다. 디바이스(1000)는 현재 날씨를 나타내는 날씨 정보를 획득하고, 현재 날씨의 속성을 식별할 수 있다. 또한, 디바이스(1000)는, 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 현재 날씨의 속성에 따라 조각 이미지들의 컷팅 위치 및 간격을 식별할 수 있다. 디바이스(1000)는 식별된 컷팅 위치 및 간격에 따라, 날씨 텍스처 이미지로부터 복수의 조각 이미지를 컷팅할 수 있다.

동작 S1710에서 디바이스(1000)는 시뮬레이션 시간 주기를 식별할 수 있다. 디바이스(1000)는, 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 날씨의 속성 및 제1 깊이 구간에 따른 시뮬레이션 시간 주기를 식별할 수 있다.

동작 S1720에서 디바이스(1000)는 제2 깊이 구간에 대응되는 날씨 텍스처 이미지로부터 복수의 조각 이미지를 획득할 수 있다. 디바이스(1000)는, 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 현재 날씨의 속성에 따라 조각 이미지들의 컷팅 위치 및 간격을 식별할 수 있다. 디바이스(1000)는 식별된 컷팅 위치 및 간격에 따라, 날씨 텍스처 이미지로부터 복수의 조각 이미지를 컷팅할 수 있다. 이미지 내에 제2 깊이 구간의 깊이보다 얕은 깊이의 객체가 존재하는 경우에, 디바이스(1000)는 조각 이미지가 이미지 내의 객체와 중첩되지 않도록 조각 이미지를 컷팅할 수 있다.

동작 S1730에서 디바이스(1000)는 시뮬레이션 시간 주기를 식별할 수 있다. 디바이스(1000)는, 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 날씨의 속성 및 제2 깊이 구간에 따른 시뮬레이션 시간 주기를 식별할 수 있다.

동작 S1740에서 디바이스(1000)는 이미지 상에 제1 깊이 구간에 대응되는 조각 이미지 및 제2 깊이 구간에 대응되는 조각 이미지를 시뮬레이션할 수 있다. 디바이스(1000)는 제1 깊이 구간에 대응되는 복수의 조각 이미지 중 하나와 제2 깊이 구간에 대응되는 복수의 조각 이미지 중 하나를 이미지 상에 함께 오버랩시킬 수 있다.

도 18은 본 개시의 일 실시예에 따른 시스템이 날씨에 관련된 객체가 삭제된 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.

동작 S1800 내지 동작 S1815, 및 동작 S1825은 도 3의 동작 S300 내지 동작 S320에 대응되므로, 동작 S1800 내지 동작 S1815, 및 동작 S1825에 대한 설명은 편의상 생략하기로 한다.

동작 S1820에서 서버(2000)는 제3 인공지능 모델을 이용하여, 이미지에서 날씨에 관련된 객체를 삭제할 수 있다. 서버(2000)는 이미지에서 날씨를 나타내는 객체를 제거하기 위한 제3 인공지능 모델에 이미지를 입력함으로써, 날씨에 관한 객체가 삭제된 이미지를 획득할 수 있다. 또한, 제3 인공지능 모델은 이미지 내의 날씨 관련 객체를 제거하기 위하여 미리 훈련된 모델일 수 있으며, 예를 들어, 인공 신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다.

동작 S1830에서 서버(2000)는 날씨에 관련된 객체가 삭제된 이미지, 객체 인식 정보, 공간 정보 및 복수의 날씨 텍스처 이미지를 디바이스(1000)에게 제공할 수 있다.

동작 S1840에서 디바이스(1000)는 날씨에 관련된 객체가 삭제된 이미지 상에 날씨 효과를 시뮬레이션할 수 있다. 디바이스(1000)는 현재 날씨, 이미지 내의 객체 및 공간의 깊이에 따라 날씨 텍스처 이미지를 선택할 수 있다. 디바이스(1000)는 선택된 날씨 텍스처 이미지로부터 복수의 조각 이미지들을 잘라내고, 복수의 조각 이미지들을, 소정의 시간 주기로 순차적으로, 날씨에 관련된 객체가 삭제된 이미지 상에 오버랩시킬 수 있다.

도 19는 본 개시의 일 실시예에 따른 날씨에 관련된 객체가 삭제된 이미지의 예시를 나타내는 도면이다.

도 19를 참조하면, 비오는 날씨에 촬영된 사진(190) 내에는 빗방울이 포함되어 있다. 빗방울을 포함하는 사진(190)이 제3 인공지능 모델에 입력되면, 빗방울이 제거된 사진(192)가 제3 인공지능 모델로부터 출력될 수 있다.

도 20은 본 개시의 일 실시예에 따른 시스템이 현재 시각에 대응되는 기준 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.

동작 S2000 내지 동작 S2020은 도 3의 동작 S300 내지 동작 S320에 대응되므로, 동작 S2000 내지 동작 S2020에 대한 설명은 편의상 생략하기로 한다.

동작 S2025에서 서버(2000)는 기설정된 시간대들에 대응되는 복수의 기준 이미지들을 생성할 수 있다. 서버(2000)는 이미지의 색상을 변경함으로써, 예를 들어, 아침에 대응되는 기준 이미지, 낮에 대응되는 기준 이미지, 저녁에 대응되는 기준 이미지 및 밤에 대응되는 기준 이미지를 생성할 수 있다.

동작 S2030에서 서버(2000)는 복수의 기준 이미지, 객체 인식 정보, 공간 정보 및 복수의 날씨 텍스처 이미지를 디바이스(1000)에게 제공할 수 있다.

동작 S2035에서 디바이스(1000)는 현재 시각을 식별할 수 있다.

동작 S2040에서 디바이스(1000)는 현재 시각에 대응되는 기준 이미지를 선택할 수 있다. 디바이스(1000)는 서버(2000)로부터 수신된 기준 이미지들 중 현재 시각에 대응되는 기준 이미지를 선택할 수 있다. 예를 들어, 현재 시각이 13:00인 경우에, 디바이스(1000)는 낮에 대응되는 기준 이미지를 선택할 수 있다.

동작 S2045에서 디바이스(1000)는 선택된 기준 이미지 상에 날씨 효과를 시뮬레이션할 수 있다.

도 21은 본 개시의 일 실시예에 따른 기 설정된 시간대에 대응되는 기준 이미지들의 예시를 나타내는 도면이다.

도 21을 참조하면, 이미지로부터 아침에 대응되는 기준 이미지, 낮에 대응되는 기준 이미지, 저녁에 대응되는 기준 이미지 및 밤에 대응되는 기준 이미지가 생성될 수 있다.

도 22는 본 개시의 일 실시예에 따른 시스템이, 색상 변화 경로에 따라 기준 이미지의 색상을 변경하고, 색상 변경된 기준 이미지 상에 날씨 효과를 시뮬레이션하는 방법의 흐름도이다.

동작 S2200 내지 동작 S2220은 도 3의 동작 S300 내지 동작 S320에 대응되므로, 동작 S2200 내지 동작 S2220에 대한 설명은 편의상 생략하기로 한다.

동작 S2225에서 서버(2000)는 기설정된 시간대들에 대응되는 복수의 기준 이미지들을 생성할 수 있다. 서버(2000)는 이미지의 색상을 변경함으로써, 예를 들어, 아침에 대응되는 기준 이미지, 낮에 대응되는 기준 이미지, 저녁에 대응되는 기준 이미지 및 밤에 대응되는 기준 이미지를 생성할 수 있다.

동작 S2230에서 서버(2000)는 복수의 기준 이미지들 간의 색상 변화 경로를 나타내는 색상 변화 경로 정보를 생성할 수 있다. 서버(2000)가 제1 기준 이미지를 제2 기준 이미지로 변경하는 경우에, 서버(2000)는 제1 기준 이미지의 색상이 제2 기준 이미지의 색상으로 부드럽게 변경될 수 있도록 할 수 있다. 이를 위하여, 서버(2000)는 제1 기준 이미지의 특정 영역의 색상으로부터 제2 기준 이미지의 특정 영역의 색상까지 색상이 변화되는 경로를 결정함으로써, 색상 변화 경로 정보를 생성할 수 있다. 서버(2000)는 복수의 기준 이미지들을 제4 인공지능 모델에 입력함으로써 기준 이미지들 간의 색상 변화 경로를 나타내는 색상 변화 경로 정보를 획득할 수 있다. 제4 인공지능 모델은, 기준 이미지들의 속성을 고려하여 기준 이미지들 간의 색상이 자연스럽게 변경되도록 하기 위하여 미리 훈련된 모델일 수 있으며, 예를 들어, 인공 신경망(Artificial Neural Network)을 기반으로 하는 모델일 수 있다.

동작 S2235에서 서버(2000)는 복수의 기준 이미지, 색상 변화 경로 정보, 객체 인식 정보, 공간 정보 및 복수의 날씨 텍스처 이미지를 디바이스(1000)에게 제공할 수 있다.

동작 S2240에서 디바이스(1000)는 현재 시각을 식별할 수 있다.

동작 S2245에서 디바이스(1000)는 현재 시각에 대응되는 기준 이미지를 선택할 수 있다. 디바이스(1000)는 서버(2000)로부터 수신된 기준 이미지들 중 현재 시각에 대응되는 기준 이미지를 선택할 수 있다. 또한, 선택된 기준 이미지의 다음 기준 이미지를 선택할 수 있다. 예를 들어, 현재 시각이 13:00인 경우에, 디바이스(1000)는 낮에 대응되는 기준 이미지 및 저녁에 대응되는 기준 이미지를 선택할 수 있다.

동작 S2250에서 디바이스(1000)는 색상 변화 경로 정보에 기초하여, 선택된 기준 이미지의 색상을 변경할 수 있다. 예를 들어, 낮에 대응되는 기준 이미지 및 저녁에 대응되는 기준 이미지 간의 색상 변화 경로 정보에 기초하여, 서버(2000)는 낮에 대응되는 기준 이미지의 색상을 점차적으로 변화시킬 수 있다.

동작 S2255에서 디바이스(1000)는 색상 변경된 기준 이미지 상에 날씨 효과를 시뮬레이션할 수 있다.

도 23은 본 개시의 일 실시예에 따른 기준 이미지들 간의 색상 변화 경로의 예시를 나타내는 도면이다.

도 23을 참조하면, 낮 기준 이미지(230)로부터 저녁 기준 이미지(231)까지 낮 기준 이미지(230)의 색상이 어떻게 변화해야 하는지에 관한 색상 변화 경로 정보가 생성될 수 있다. 기준 이미지들의 여러 영역들 간에 색상이 어떻게 변화해야 하는지에 관한 색상 변화 경로가 결정될 수 있다.

예를 들어, 낮 기준 이미지(230) 내의 특정 영역(234)의 색상이 저녁 기준 이미지(231) 내의 특정 영역(235)의 색상으로 어떻게 변화하여야 하는지에 관한 경로(238)이 소정의 색상표(237) 상에서 결정될 수 있다. 낮 기준 이미지(230) 내의 특정 영역(234)은 이미지(231) 내의 특정 영역(235)에 대응되는 동일한 위치의 영역일 수 있다.

한편, 상기에서는, 서버(2000)가 제1 인공지능 모델을 이용하여 객체 인식 정보를 획득하고, 제2 인공지능 모델을 이용하여 공간 정보를 획득하고, 제3 인공지능 모델을 이용하여 이미지 내에서 날씨를 나타내는 객체를 삭제하고, 제4 인공지능 모델을 이용하여 기준 이미지들 간의 색상 변화 경로 정보를 획득하는 것으로 설명하였지만, 이에 제한되지 않는다.

디바이스(1000)가 제1 인공지능 모델, 제2 인공지능 모델, 제3 인공지능 모델 및 제4 인공지능 모델 중 적어도 하나를 서버(2000)로부터 수신하여 저장할 수 있으며, 디바이스(1000)가 제1 인공지능 모델, 제2 인공지능 모델, 제3 인공지능 모델 및 제4 인공지능 모델 중 적어도 하나를 이용함으로써, 필요한 데이터를 획득할 수도 있다. 이 경우, 제1 인공지능 모델, 제2 인공지능 모델, 제3 인공지능 모델 및 제4 인공지능 모델은 소프트웨어로 구현될 수 있다.

도 24는 본 개시의 일 실시예에 따른 서버의 블록도이다.

도 24를 참조하면, 본 개시의 일 실시예에 따른 서버(2000)는 통신 인터페이스(2100), DB(2200), 인공지능 모델(2300), 및 제어부(2400)를 포함할 수 있다.

통신 인터페이스(2100)는, 디바이스(1000)와의 통신을 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(2100)는, 근거리 통신부, 이동 통신부, 무선 통신부를 포함할 수 있다. 통신 인터페이스(2100)는, 이미지 상에 날씨 효과를 시뮬레이션하기 위하여 필요한 정보를 디바이스(1000)와 송수신할 수 있다.

DB(2200)는, 제어부(2400)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 이미지 상에 날씨 효과를 시뮬레이션하기 위하여 필요한 정보를 저장할 수 있다. DB(2200)는, 예를 들어, 이미지, 날씨 텍스처 이미지, 객체 인식 정보, 공간 정보, 시뮬레이션 기준 정보, 기준 이미지, 색상 변화 경로 정보 등을 저장할 수 있다.

인공지능 모델(2300)은 이미지 상에 날씨 효과를 시뮬레이션하기 위하여 필요한 동작을 수행할 수 있다. 예를 들어, 인공지능 모델(2300)은 이미지 내의 객체를 인식하기 위한 제1 인공지능 모델, 이미지 내의 공간을 분석하기 위한 제2 인공지능 모델, 및 이미지 내에서 날씨를 나타내는 객체를 삭제하기 위한 제3 인공지능 모델을 포함할 수 있다. 또한, 인공지능 모델(2300)은 기준 이미지들 간의 색상 변화 경로를 나타내는 색상 변화 경로 정보를 생성하기 위한 제4 인공지능 모델(미도시)를 포함할 수 있다.

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작될 수 있다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

제어부(2400)는, 서버(2000)의 전반적인 동작을 제어한다. 제어부(2400)는, DB(2200)에 저장된 프로그램들을 실행함으로써, 통신 인터페이스(2100), DB(2200), 및 인공지능 모델(2300) 등을 제어할 수 있다. 제어부(2400)는 통신 인터페이스(2100), DB(2200), 및 인공지능 모델(2300)을 제어함으로써, 도 1 내지 도 23에서의 서버(2000)의 동작을 수행할 수 있다.

구체적으로, 제어부(2400)는, 디바이스(1000)에서 선택된 이미지를 획득하고, 제1 인공지능 모델을 이용하여, 이미지 내의 객체를 인식할 수 있다.

제어부(2400)는 제2 인공지능 모델을 이용하여, 이미지 내의 객체의 깊이에 관한 공간 정보를 획득할 수 있다.

제어부(2400)는 복수의 날씨 텍스처 이미지를 획득할 수 있다. 제어부(2400)는 복수의 날씨들 별로 미리 등록된 복수의 날씨 텍스처들을 DB로부터 획득할 수 있다. 제어부(2400)는, 예를 들어, 비오는 날씨를 나타내는 위한 복수의 날씨 텍스처들, 눈오는 날씨를 나타내는 복수의 날씨 텍스처들, 안개낀 날씨를 나타내는 복수의 날씨 텍스처들을 획득할 수 있다. 또한, 날씨 별로 미리 등록된 복수의 날씨 텍스처들은, 깊이 구간들에 각각 대응될 수 있다. 날씨 별로 미리 등록된 복수의 날씨 텍스처들은, 깊이 구간에 따라 서로 상이할 수 있다. 깊이 구간은, 이미지 내의 공간의 깊이 정도를 구간으로 구별하기 위한 값일 수 있다.

제어부(2400)는 제3 인공지능 모델을 이용하여, 이미지에서 날씨에 관련된 객체를 삭제할 수 있다.

제어부(2400)는 복수의 날씨 텍스처 이미지를 시뮬레이션하기 위한 기준을 결정할 수 있다. 제어부(2400)는, 예를 들어, 날씨에 따라 어떤 날씨 텍스처 이미지를 이용해야 하는지에 관한 기준, 조각 이미지를 위하여 날씨 텍스처 이미지의 어느 부분을 잘라내야 하는지에 관한 기준, 조각 이미지들 간의 간격에 관한 기준, 및 깊이 구간에 따라 조각 이미지를 얼마 동안 표시해야 하는지에 관한 기준을 결정할 수 있다.

제어부(2400)는 기설정된 시간대들에 대응되는 복수의 기준 이미지들을 생성할 수 있다. 제어부(2400)는 이미지의 색상을 변경함으로써, 예를 들어, 아침에 대응되는 기준 이미지, 낮에 대응되는 기준 이미지, 저녁에 대응되는 기준 이미지 및 밤에 대응되는 기준 이미지를 생성할 수 있다. 제어부(2400)는 복수의 기준 이미지들 간의 색상 변화 경로를 나타내는 색상 변화 경로 정보를 생성할 수 있다.

제어부(2400)는 객체 인식 정보, 공간 정보, 복수의 날씨 텍스처 이미지, 시뮬레이션 기준에 관한 기준 정보, 날씨에 관한 객체가 삭제된 이미지, 복수의 기준 이미지, 및 색상 변화 경로 정보를 디바이스(1000)에게 제공할 수 있다.

도 25는 본 개시의 일 실시예에 따른 디바이스의 블록도이다.

도 25에 도시된 바와 같이, 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 및 메모리(1700)를 포함할 수 있다.

사용자 입력부(1100)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

사용자 입력부(1100)는, 이미지 상에 날씨 효과를 시뮬레이션하기 위한 사용자 입력을 수신할 수 있다.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.

디스플레이부(1210)는 디바이스(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 이미지 상에 날씨 효과를 시뮬레이션하기 위한 GUI를 디스플레이할 수 있다.

한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.

음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 진동 모터(1230)는 진동 신호를 출력할 수 있다.

제어부(1300)는, 통상적으로 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600)를 제어할 수 있다. 제어부(2400)는 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600)를 제어함으로써, 도 1 내지 도 23에서의 디바이스(1000)의 동작을 수행할 수 있다.

구체적으로, 제어부(1300)는, 이미지를 선택할 수 있다. 제어부(1300)는 앰비언트 모드에서 화면 상에 디스플레이될 이미지를 선택하기 위한 GUI를 디스플레이하고, 디스플레이된 GUI를 통한 사용자 입력에 기초하여 이미지를 선택할 수 있다.

제어부(1300)는 이미지를 서버(2000)에게 전송할 수 있다. 제어부(1300)는 이미지를 서버(2000)에게 제공하면서, 이미지에 대하여 날씨 효과를 시뮬레이션하기 위하여 필요한 데이터를 제공해 줄 것을 서버(2000)에게 요청할 수 있다.

제어부(1300)는 객체 인식 정보, 공간 정보, 복수의 날씨 텍스처 이미지, 시뮬레이션 기준에 관한 기준 정보, 날씨에 관한 객체가 삭제된 이미지, 복수의 기준 이미지, 및 색상 변화 경로 정보를 서버(2000)로부터 수신할 수 있다.

제어부(1300)는 현재 날씨를 식별하고, 현재 날씨에 대응되는 날씨 텍스처 이미지들을 선택할 수 있다. 제어부(1300)는 서버(2000)로부터 수신된 복수의 날씨 텍스처 이미지들 중에서, 현재 날씨의 속성에 대응되는 날씨 텍스처 이미지들을 선택할 수 있다. 제어부(1300)는 현재 날씨의 속성 및 이미지 내의 공간의 깊이에 따라, 날씨 텍스처 이미지들을 선택할 수 있다. 제어부(1300)는 선택된 날씨 텍스처 이미지들을 이용하여, 이미지 상에 현재 날씨를 나타내는 이미지 효과를 시뮬레이션할 수 있다. 제어부(1300)는 선택된 날씨 텍스처 이미지로부터 조각 이미지들을 잘라낼 수 있다. 또한, 제어부(1300)는 조각 이미지들을 기설정된 주기로 순차적으로 이미지 상에 오버랩 시킴으로써 이미지에 대하여 날씨 이미지 효과를 부여할 수 있다.

제어부(1300)는 시뮬레이션 기준 정보에 기초하여, 이미지 상에 날씨 효과를 시뮬레이션할 수 있다. 제어부(1300)는 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 현재 날씨의 속성에 따라 조각 이미지들의 컷팅 위치 및 간격을 식별할 수 있다. 제어부(1300)는 식별된 컷팅 위치 및 간격에 따라, 날씨 텍스처 이미지로부터 복수의 조각 이미지를 컷팅할 수 있다. 제어부(1300)는 시뮬레이션 시간 주기를 식별할 수 있다. 제어부(1300)는, 날씨 효과를 시뮬레이션하기 위한 기준 정보에 기초하여, 날씨의 속성 및 깊이 구간에 따른 시뮬레이션 시간 주기를 식별할 수 있다. 제어부(1300)는 이미지 상에 제1 깊이 구간에 대응되는 조각 이미지 및 제2 깊이 구간에 대응되는 조각 이미지를 시뮬레이션할 수 있다. 디바이스(1000)는 제1 깊이 구간에 대응되는 복수의 조각 이미지 중 하나와 제2 깊이 구간에 대응되는 복수의 조각 이미지 중 하나를 이미지 상에 함께 오버랩시킬 수 있다.

제어부(1300)는 날씨에 관련된 객체가 삭제된 이미지 상에 날씨 효과를 시뮬레이션할 수 있다.

제어부(1300)는 현재 시각에 대응되는 기준 이미지 상에 날씨 효과를 시뮬레이션할 수 있다. 제어부(1300)는 서버(2000)로부터 수신된 기준 이미지들 중 현재 시각에 대응되는 기준 이미지를 선택할 수 있다. 제어부(1300)는 선택된 기준 이미지 상에 날씨 효과를 시뮬레이션할 수 있다.

제어부(1300)는 색상 변화 경로 정보에 기초하여, 선택된 기준 이미지의 색상을 변경할 수 있다. 예를 들어, 낮에 대응되는 기준 이미지 및 저녁에 대응되는 기준 이미지 간의 색상 변화 경로 정보에 기초하여, 제어부(1300)는 낮에 대응되는 기준 이미지의 색상을 점차적으로 변화시킬 수 있다. 제어부(1300)는 색상 변경된 기준 이미지 상에 날씨 효과를 시뮬레이션할 수 있다.

센싱부(1400)는, 디바이스(1000)의 상태 또는 디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.

센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(1500)는, 서버(2000)와의 통신을 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.

또한, 통신부(1500)는, 이미지 상에 날씨 효과를 시뮬레이션하기 위하여 필요한 정보를, 서버(2000)와 송수신할 수 있다.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(1000)로 입력되거나 디바이스(1000)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.

UI 모듈(1710)은, 애플리케이션 별로 디바이스(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

알림 모듈(1730)은 디바이스(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다.

본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims

디바이스가 날씨에 관련된 이미지 효과를 제공하는 방법에 있어서,
이미지를 획득하는 동작;
상기 이미지 내의 객체의 형상에 관한 객체 인식 정보, 상기 이미지 내의 상기 객체의 깊이에 관한 공간 정보 및 복수의 날씨 텍스처 이미지들을 서버로부터 수신하는 동작;
상기 복수의 날씨 텍스처 이미지들 중에서 현재 날씨를 나타내는 날씨 텍스처 이미지들을 선택하는 동작; 및
상기 선택된 날씨 텍스처 이미지들을 상기 이미지 상에 오버랩함으로써, 상기 이미지 상에 상기 현재 날씨를 나타내는 이미지 효과를 제공하는 동작;
을 포함하며,
상기 이미지 효과를 제공하는 동작은, 상기 선택된 날씨 텍스처 이미지들로부터 획득되는 복수의 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩함으로써, 상기 현재 날씨를 나타내는 이미지 효과를 제공하는, 방법.
제1 항에 있어서,
상기 객체 인식 정보는, 상기 이미지를 제1 인공지능 모델에 적용함으로써, 상기 서버에 의해 생성되며,
상기 공간 정보는, 상기 이미지를 제2 인공지능 모델에 적용함으로써, 상기 서버에 의해 생성되는, 방법.
제1 항에 있어서,
상기 현재 날씨를 나타내는 날씨 텍스처 이미지들은, 제1 깊이 구간에 대응되는 제1 날씨 텍스처 이미지 및 제2 깊이 구간에 대응되는 제2 날씨 텍스처 이미지를 포함하는, 방법.
제3 항에 있어서,
상기 이미지 효과를 제공하는 동작은,
상기 제1 날씨 텍스처 이미지로부터 복수의 제1 조각 이미지들을 획득하는 동작;
상기 제2 날씨 텍스처 이미지로부터 복수의 제2 조각 이미지들을 획득하는 동작;
상기 복수의 제1 조각 이미지들 중에서 선택된 제1 조각 이미지 및 상기 복수의 제2 조각 이미지들 중에서 선택된 제2 조각 이미지를 상기 이미지 상에 함께 오버랩하는 동작;
을 포함하는 것인, 방법.
제4 항에 있어서,
상기 오버랩하는 동작은, 상기 복수의 제1 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩하고, 상기 복수의 제2 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩하는 것인, 방법.
제5 항에 있어서,
상기 복수의 제1 조각 이미지들이 오버랩되는 주기 및 상기 복수의 제2 조각 이미지들이 오버랩되는 주기는 서로 상이한 것인, 방법.
제4 항에 있어서,
상기 제1 날씨 텍스처 이미지 내의 상기 복수의 제1 조각 이미지들의 위치 및 간격은, 상기 현재 날씨에 따라 결정되는 것인, 방법.
제3 항에 있어서,
상기 제1 날씨 텍스처 이미지 내에 포함된 날씨를 나타내는 오브젝트의 크기는, 상기 제2 날씨 텍스처 이미지 내에 포함된 날씨를 나타내는 오브젝트의 크기와 서로 상이한 것인, 방법.
제1 항에 있어서,
상기 이미지를 획득하는 동작은, 상기 서버에 의해 날씨를 나타내는 오브젝트가 제거된 상기 이미지를 상기 서버로부터 수신하는 것인, 방법.
제1 항에 있어서,
상기 이미지를 획득하는 동작은, 기설정된 시간대에 대응되는 기준 이미지를 상기 서버로부터 수신하는 것인, 방법.
날씨에 관련된 이미지 효과를 제공하는 디바이스에 있어서,
통신 인터페이스;
디스플레이;
하나 이상의 인스트럭션을 저장하는 메모리;
상기 하나 이상의 인스트럭션을 실행함으로써, 이미지를 획득하고, 상기 이미지 내의 객체의 형상에 관한 객체 인식 정보, 상기 이미지 내의 상기 객체의 깊이에 관한 공간 정보 및 복수의 날씨 텍스처 이미지들을 서버로부터 수신하고, 상기 복수의 날씨 텍스처 이미지들 중에서 현재 날씨를 나타내는 날씨 텍스처 이미지들을 선택하고, 상기 선택된 날씨 텍스처 이미지들을 상기 이미지 상에 오버랩함으로써, 상기 이미지 상에 상기 현재 날씨를 나타내는 이미지 효과를 제공하는 프로세서;
를 포함하며,
상기 프로세서는, 상기 선택된 날씨 텍스처 이미지들로부터 획득되는 복수의 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩함으로써, 상기 현재 날씨를 나타내는 이미지 효과를 제공하는, 디바이스.
제11 항에 있어서,
상기 객체 인식 정보는, 상기 이미지를 제1 인공지능 모델에 적용함으로써, 상기 서버에 의해 생성되며,
상기 공간 정보는, 상기 이미지를 제2 인공지능 모델에 적용함으로써, 상기 서버에 의해 생성되는, 디바이스.
제11 항에 있어서,
상기 현재 날씨를 나타내는 날씨 텍스처 이미지들은, 제1 깊이 구간에 대응되는 제1 날씨 텍스처 이미지 및 제2 깊이 구간에 대응되는 제2 날씨 텍스처 이미지를 포함하는, 디바이스.
제13 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 제1 날씨 텍스처 이미지로부터 복수의 제1 조각 이미지들을 획득하고, 상기 제2 날씨 텍스처 이미지로부터 복수의 제2 조각 이미지들을 획득하고, 상기 복수의 제1 조각 이미지들 중에서 선택된 제1 조각 이미지 및 상기 복수의 제2 조각 이미지들 중에서 선택된 제2 조각 이미지를 상기 이미지 상에 함께 오버랩하는 것인, 디바이스.
제14 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 복수의 제1 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩하고, 상기 복수의 제2 조각 이미지들을 상기 이미지 상에 순차적으로 오버랩하는 것인, 디바이스.
제15 항에 있어서,
상기 복수의 제1 조각 이미지들이 오버랩되는 주기 및 상기 복수의 제2 조각 이미지들이 오버랩되는 주기는 서로 상이한 것인, 디바이스.
제14 항에 있어서,
상기 제1 날씨 텍스처 이미지 내의 상기 복수의 제1 조각 이미지들의 위치 및 간격은, 상기 현재 날씨에 따라 결정되는 것인, 디바이스.
제13 항에 있어서,
상기 제1 날씨 텍스처 이미지 내에 포함된 날씨를 나타내는 오브젝트의 크기는, 상기 제2 날씨 텍스처 이미지 내에 포함된 날씨를 나타내는 오브젝트의 크기와 서로 상이한 것인, 디바이스.
제11 항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 서버에 의해 날씨를 나타내는 오브젝트가 제거된 상기 이미지를 상기 서버로부터 수신하는 것인, 디바이스.
제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.