KR20210030466A - 이미지 획득 장치 및 그의 제어 방법 - Google Patents

이미지 획득 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20210030466A
KR20210030466A KR1020217005416A KR20217005416A KR20210030466A KR 20210030466 A KR20210030466 A KR 20210030466A KR 1020217005416 A KR1020217005416 A KR 1020217005416A KR 20217005416 A KR20217005416 A KR 20217005416A KR 20210030466 A KR20210030466 A KR 20210030466A
Authority
KR
South Korea
Prior art keywords
image
background
electronic device
information
area
Prior art date
Application number
KR1020217005416A
Other languages
English (en)
Other versions
KR102500760B1 (ko
Inventor
반종명
여해동
이한성
홍순혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210030466A publication Critical patent/KR20210030466A/ko
Application granted granted Critical
Publication of KR102500760B1 publication Critical patent/KR102500760B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

본 개시는 태그, 태그가 태그 탐색 신호에 대한 응답 신호를 전송하는 방법 에 관한 것이다. 구체적으로, 복수의 슬레이브 노드 중 적어도 하나로부터 상기 태그를 식별하기 위한 식별 데이터를 포함하는 상기 태그 탐색 신호를 수신하는 단계; 상기 수신된 태그 탐색 신호를 이용하여 상기 태그 내의 상기 에너지 저장 소자를 충전하는 단계; 상기 수신된 태그 탐색 신호로부터 상기 태그를 식별하기 위한 상기 식별 데이터를 획득하는 단계; 상기 획득된 식별 데이터가 상기 태그에 기 저장된 식별 정보와 일치하는지 여부를 결정하는 단계; 및 상기 에너지 저장 소자가 소정 수치 이상 충전되고 상기 획득된 식별 데이터가 상기 태그에 기 저장된 식별 정보와 일치하는 경우 상기 태그 탐색 신호에 대한 응답 신호를 출력하는 단계; 를 포함하는 응답 신호를 전송하는 방법이 개시된다.

Description

이미지 획득 장치 및 그의 제어 방법
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 구체적으로, 본 개시는 인공지능 시스템을 이용하여 이미지를 획득하는 장치 및 그의 제어 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
또한, 인공지능 기술은 사진이나 동영상과 같은 이미지를 획득하는데도 이용될 수 있다.
개시된 실시 예에 따르면, 인공지능(AI) 시스템을 이용하여 이미지를 획득하는 장치 및 그의 제어 방법이 제공될 수 있다.
일 실시 예에 따른 전자 장치의 이미지 획득 방법에 있어서, 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하는 단계; 상기 획득된 제1 이미지 내 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하는 단계; 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하는 단계; 및 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는 단계를 포함하는 이미지 획득 방법이 제공될 수 있다.
일 실시 예에 의하면, 적어도 하나의 이미지를 디스플레이 하는 디스플레이; 하나 이상의 인스트럭션을 저장하는 저장부; 및 상기 하나 이상이 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하고, 상기 획득된 제1 이미지 내 적어도 하나의 객체 및 배경에 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하고, 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하고, 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는, 전자 장치가 제공될 수 있다.
일 실시 예에 의하면, 이미지 획득 방법이 기록된 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 저장 매체는, 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하는 동작; 상기 획득된 제1 이미지 내 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하는 동작; 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하는 동작; 및 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는 동작을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 프로그램 제품을 제공할 수 있다.
본 개시에 따른 이미지를 획득하는 전자 장치는 사용자의 의도에 부합하는 이미지 효과를 나타내는 이미지 필터들을 이용하여 이미지를 생성할 수 있다.
도 1은 일 실시예에 따른, 전자 장치가 수행하는 이미지 획득 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시 예에 따른, 전자 장치가 제1 이미지에 포함된 적어도 하나의 객체 영역 및 배경 영역의 위치 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른, 전자 장치가 이미지로부터 특징 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른, 전자 장치가 이미지로부터 적어도 하나의 객체 영역 및 배경 영역을 검출하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시 예에 따른, 전자 장치가 이용하는 신경망(Neural Network)의 구조를 설명하기 위한 도면이다.
도 7은 또 다른 실시 예에 따른, 전자 장치가 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
도 8은 일 실시 예에 따른, 전자 장치가 이미지의 구도에 기초하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른, 전자 장치가 이미지 내 광원에 대한 정보를 이용하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른, 전자 장치가 이미지 내 광원에 대한 정보를 이용하여 필터를 결정하는 방법을 설명하기 위한 순서도이다.
도 11은 일 실시 예에 따른, 전자 장치가 이용하는 부가 정보들의 예시를 나타내는 도면이다.
도 12는 일 실시 예에 따른, 전자 장치가 부가 정보들을 이용하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른, 전자 장치가 전자 장치의 동작을 제어하는 부가정보를 이용하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른, 전자 장치가 부가 정보를 이용하여 필터를 수동 또는 자동으로 적용하는 방법을 설명하기 위한 도면이다.
도 15는 또 다른 실시 예에 따른 전자 장치가 필터를 결정하는 방법을 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른, 서버를 이용하여 제2 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 17은 또 다른 실시 예에 따른, 서버를 이용하여 제2 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 18은 일 실시 예에 따른, 전자 장치가 복수의 학습 모델들을 이용하여 이미지를 분석하는 방법을 설명하기 위한 도면이다.
도 19는 일 실시 예에 따른, 전자 장치가 이용하는 신경망의 학습 데이터를 설명하기 위한 도면이다.
도 20 은 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 21은 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 22는 일 실시 예에 따른 서버의 블록도이다.
발명의 실시를 위한 최선의 형태
일 실시 예에 따른 전자 장치의 이미지 획득 방법에 있어서, 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하는 단계; 상기 획득된 제1 이미지 내 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하는 단계; 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하는 단계; 및 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는 단계를 포함하는 이미지 획득 방법이 제공될 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 적어도 하나의 이미지를 디스플레이 하는 디스플레이; 하나 이상의 인스트럭션을 저장하는 저장부; 및 상기 하나 이상이 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하고, 상기 획득된 제1 이미지 내 적어도 하나의 객체 및 배경에 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하고, 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하고, 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는, 전자 장치가 제공될 수 있다.
일 실시 예에 따른 기록매체에 있어서, 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하는 동작; 상기 획득된 제1 이미지 내 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하는 동작; 상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하는 동작; 및 상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는 동작을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
발명의 실시를 위한 형태
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른, 전자 장치(1000)가 수행하는 이미지 획득 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(1000)는 전자 장치(1000)에 포함된 카메라를 이용하여 이미지를 획득할 수 있다. 전자 장치(1000)는 카메라를 이용하여 제1 이미지를 획득하고, 획득된 제1 이미지를 이용하여 제2 이미지를 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 획득하는 제1 이미지는 전자 장치(1000)의 디스플레이에 디스플레이되는 프리뷰 이미지, 전자 장치(1000)의 메모리에 저장되거나 서버로부터 수신한 기 저장된 이미지를 포함할 수 있고, 제2 이미지는 서로 다른 이미지 효과를 나타내는 이미지 필터들을 기초로 보정된 제1 이미지를 포함할 수 있다.
전자 장치(1000)가 획득하는 제1 이미지는 적어도 하나의 객체 및 배경을 포함할 수 있다. 예를 들어, 제1 이미지는 적어도 하나의 객체에 해당하는 부분의 이미지를 포함하는 제1 객체 영역(112), 제2 객체 영역(114)을 포함하고, 전자 장치(1000)는 획득된 제1 이미지에서 제1 객체 영역(112) 및 제2 객체 영역(114)을 검출할 수 있다. 본 개시에 따르면, 객체 영역은 제1 이미지 내 객체에 해당하는 부분의 픽셀들을 포함하는 영역이고, 배경 영역은 제1 이미지 내 배경에 해당하는 부분의 픽셀들을 포함하는 영역일 수 있다.
본 개시에 따른 전자 장치(1000)는 검출된 제1 객체 영역(112), 제2 객체 영역(114) 및 획득된 제1 이미지에서 제1 객체 영역 및 제2 객체 영역이 제거된 영역을 나타내는 배경 영역에 서로 다른 이미지 효과를 나타내는 이미지 필터들을 적용할 수 있다. 예를 들어, 도 1의 출력 이미지(104)를 참조하면, 전자 장치(100)는 획득된 제1 이미지에서 제1 객체 영역(112) 및 제2 객체 영역(114)이 제거된 배경 영역에 수묵화 필터를 적용함으로써, 배경 영역에 수묵화 효과를 나타낼 수 있다.
또한, 출력 이미지(106)를 참조하면, 전자 장치(1000)는 제1 객체 영역(112) 및 제2 객체 영역(114)에 선명 효과 필터를 적용함으로써 객체를 선명하게 나타내고, 배경 영역에 윤곽선 필터를 적용함으로써 배경 영역을 구성하는 선들의 윤곽을 나타낼 수 있다. 또한, 출력 이미지(108)를 참조하면, 전자 장치(1000)는 제1 객체 영역(112) 및 제2 객체 영역(114)에 카툰화 필터를 적용함으로써 제1 이미지 내 복수의 객체들을 캐릭터로 나타낼 수 있다.
또 다른 실시 예에 따르면, 전자 장치(1000)가 획득하는 제1 이미지는 제1 이미지의 구도를 결정하기 위한 적어도 하나의 기준선을 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 획득된 제1 이미지에서 제1 이미지의 구도를 결정하기 위한 기준선을 생성하고, 생성된 기준선을 이용하여 제1 이미지를 복수의 분할 영역들로 구분하며, 복수의 분할 영역들에 서로 다른 이미지 효과를 나타내는 이미지 필터들을 적용함으로써 제2 이미지를 생성할 수 있다. 본 개시에 따른 전자 장치(1000)가 생성하는 기준선들은 제1 이미지 내 소실점(vanishing point)에서 교차하는 복수의 소실선(vanishing line)을 의미할 수 있다. 본 명세서에서 기술되는 소실점은 물리 공간에서 평행한 직선들이 이미지 상에서 투영되어 원근 효과에 의해 모이는 점을 의미할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)가 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용하는 이미지 필터를 이용하여 나타내려는 이미지 효과들은 수묵화 효과, 흐림 효과, 블러 효과, 선명 효과, 윤곽선 효과, 카툰화 효과, 3D 효과, 노이즈 제거 효과, 노이즈 추가 효과, 모자이크 효과, 프레스코 효과, 파스텔 효과, 페인트 효과, 스폰지 효과, 수채화 효과, 흑백 효과 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 전자 장치(1000)는 여러 계층을 가진 깊은 신경망(Neural Network) 구조를 가지는 딥러닝 알고리즘을 이용하여 제1 이미지에 복수의 필터를 적용함으로써 제2 이미지를 생성할 수 있다. 딥러닝은 기본적으로 여러 계층을 가진 깊은 신경망(deep neural network) 구조로 형성될 수 있다. 본 개시에 따른 전자 장치가 이용하는 신경망은 합성곱 신경망(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)을 포함할 수 있으나, 이에 한정되지 않는다. 일 실시 예에 의하면, 전자 장치(1000)가 이용하는 신경망은 컨벌루션 레이어와 풀링 레이어(pooling layer)가 반복 사용되는 CNN 구조에 풀리 커넥티드 레이어(fully-connected)가 연결된 구조일 수 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 제1 이미지에 복수의 필터를 적용함으로써 제2 이미지를 생성하기 위하여, 복수의 신경망을 사용할 수 있다. 예를 들어, 전자 장치(1000)는 제1 신경망을 이용하여 획득된 제1 이미지에서 적어도 하나의 객체 및 배경을 검출할 수 있고, 제2 신경망을 이용하여 제1 이미지에 적용할 복수의 필터를 결정할 수 있다.
일 실시 예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 모바일 단말, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
본 명세서에서 기술되는 전자 장치(1000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이하에서는, 설명의 편의상, 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.
도 2는 일 실시예에 따른, 전자 장치가 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S220에서, 전자 장치(1000)는 적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 전자 장치에 포함된 카메라를 이용하여 제1 이미지를 획득할 수 도 있지만, 유선 및 무선 중 적어도 하나의 방식으로 연결된 외부 서버 또는 다른 전자 장치로부터 이미지를 획득할 수 있다. 카메라를 이용하여 획득되는 제1 이미지는 전자 장치(1000)에 저장될 최종 이미지를 획득하기 위한 프리뷰 이미지를 포함할 수 있고, 프리뷰 이미지는 전자 장치(1000)의 디스플레이에 디스플레이되거나, 전자 장치(1000)와 유선 및 무선 중 적어도 하나의 방식으로 연결된 외부 디스플레이 장치에 디스플레이될 수 있다.
단계 S240에서, 전자 장치(1000)는 획득된 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다. 예를 들어, 전자 장치(1000)는 획득된 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하고, 획득된 특징 정보를 기초로 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다. 본 개시에 따른 전자 장치(1000)가 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출하는 것은 제1 이미지에 포함된 적어도 하나의 객체 영역 및 배경 영역의 위치를 결정하고, 위치가 결정된 적어도 하나의 객체 영역 및 배경 영역에 각각 포함된 객체 및 배경의 종류를 결정하는 것일 수 있다. 또 다른 실시 예에 따르면, 전자 장치(1000)는 전자 장치 내에 미리 학습되어 저장된 객체 모델 및 배경 모델을 이용하여 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다.
또 다른 실시 예에 따르면, 전자 장치(1000)는 획득된 제1 이미지가 입력되는 경우, 상기 적어도 하나의 객체에 해당하는 부분의 이미지를 포함하는 객체 영역 및 상기 배경에 해당하는 부분의 이미지를 포함하는 배경 영역을 식별하기 위한 특징 정보를 출력 하는 제1 신경망(Neural Network)을 이용하여 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하고, 획득된 특징 정보를 기초로 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다. 본 개시에 따른 제1 신경망은 전자 장치 내에 미리 학습되어 저장된 객체 모델 및 배경 모델을 기초로 학습될 수 있다. 또한, 본 개시에 따른 특징 정보는 제1 이미지 내 적어도 하나의 객체 및 배경의 종류에 관한 정보 및 제1 이미지 내 적어도 하나의 객체 영역 및 배경 영역의 위치를 결정하기 위한 정보를 포함할 수 있다.
전자 장치(1000)는 검출된 적어도 하나의 객체 및 배경 영역을 나타내는 표식을 디스플레이할 수 있다. 예를 들면, 전자 장치(1000)는 전자 장치(1000)에 포함된 디스플레이 또는 유선 및 무선 중 적어도 하나의 방식으로 연결된 디스플레이 장치에 제1 이미지와 함께 검출된 적어도 하나의 객체 및 배경을 나타내는 표식을 함께 디스플레이 할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 검출된 적어도 하나의 객체 및 배경을 나타내는 표식을 다양한 방식으로 표시할 수 있다. 예를 들어, 전자 장치(1000)는 적어도 하나의 객체 및 배경이 포함된 객체 영역 및 배경 영역의 인근에 별 모양 또는 숫자 기호와 같은 표식을 디스플레이 할 수 있다.
단계 S260에서, 전자 장치(1000)는 검출된 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 서로 다른 이미지 효과를 나타내기 위하여, 적어도 하나의 객체 및 배경 별로 이미지 필터를 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 객체 및 배경 각각에 대한 특징 정보가 입력되는 경우, 제1이미지에 적용할 상기 이미지 필터를 출력하는 제2 신경망(Neural Network) 이용하여 이미지 필터를 결정할 수 도 있다.
단계 S280에서, 전자 장치(1000)는 결정된 이미지 필터들을 적어도 하나의 객체 및 배경 각각에 적용함으로써 제2 이미지를 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 생성한 제2 이미지를 전자 장치(1000)의 메모리에 저장하거나, 전자 장치(1000)와 연결된 서버 또는 다른 전자 장치에 저장할 수 있다. 특히, 본 개시에 따른 전자 장치(1000)는 검출된 적어도 하나의 객체 영역 및 배경 영역 별로 복수의 이미지 필터들이 중첩되어 적용될 수 있다. 예를 들어, 제1 객체 영역(112)에는 선명 효과 필터 및 윤곽선 필터가 중첩되어 적용되고, 제2 객체 영역(114)에는 수묵화 필터 및 흑백 필터가 적용될 수도 있다.
또 다른 실시 예에 의하면, 단계 S280에 앞서, 전자 장치(1000)는 적어도 하나의 객체 및 배경 각각에 대하여 결정된 이미지 필터의 크기 및 적용 범위를 조절하고, 크기 및 적용 범위가 조절된 이미지 필터를 제1 이미지 내 적어도 하나의 객체 영역 및 배경 영역 별로 적용함으로써 제2 이미지를 생성할 수도 있다. 또한 단계 S280이후, 전자 장치(1000)는 제2 이미지를 생성한 후, 상기 생성된 제2 이미지에 대한 피드백을 사용자로부터 획득할 수 있다. 일 실시 예에 의하면 전자 장치(1000)는 획득된 피드백에 기초하여 상기 제2 신경망 내 레이어들 및 상기 레이어들 간에 연결 강도에 관한 가중치를 갱신(refine)함으로써 제2 신경망을 재 학습할 수 있다.
도 3은 일 실시 예에 따른, 전자 장치가 제1 이미지에 포함된 적어도 하나의 객체 영역 및 배경 영역의 위치 정보를 결정하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 제1 이미지를 획득하고, 획득된 제1 이미지를 미리 정의된 사이즈로 리사이징(re-sizing)할 수 있다. 전자 장치(1000)는 리사이징된 제1 이미지를 분할함으로써 미리 결정된 크기의 격자셀들(402)을 생성할 수 있다. 본 개시에 따른 전자 장치(1000)는 제1 이미지로부터 적어도 하나의 객체 영역들 및 배경 영역을 검출하기 위한 위치 정보를 결정하기 위하여, 획득된 제1 이미지를 제1 신경망에 필요한 크기로 리사이징할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 40개의 격자셀들을 생성할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따른 전자 장치(1000)는 제1 이미지를 입력으로 하는 제1 신경망(Neural Network)를 이용하여, 각각의 격자셀들에 종속되는 미리 설정된 수의 바운더리 셀들(406, 409)을 생성하고, 생성된 바운더리 셀들(406, 409) 각각의 중심 좌표 및 바운더리 셀들(406, 409) 내 적어도 하나의 객체가 포함될 확률을 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 생성된 각 격자셀들 마다 2개의 바운더리 셀들을 생성할 수 있고, 각 격자셀들에 종속되는 바운더리 셀들의 수는 변경될 수 있다.
일 실시 예에 따르면, 생성된 바운더리 셀들은 바운더리 셀들의 중심 좌표 및 바운더리 셀 내부에 적어도 하나의 객체에 대응하는 이미지(예컨대, 객체에 대응하는 이미지의 화소값을 나타내는 픽셀들)가 존재할 확률에 대한 정보를 이용하여 식별될 수 있다. 전자 장치(1000)는 제1 신경망을 이용하여 생성된 바운더리 셀들 중 내부에 객체에 대응하는 이미지가 존재할 확률이 가장 높은 바운 더리 셀들을 객체 영역들(404, 408, 410)로 검출할 수 있다.
예를 들어, 전자 장치(1000)는 제1 이미지에 존재하는 적어도 하나의 객체에 대응하는 이미지(예컨대 과자를 나타내는 이미지, 404)를 중복하여 포함하는 바운더리 셀들 중(404, 406, 409) 내부에 객체가 존재할 확률이 가장 높은 바운더리 셀(404)을 객체 영역으로 검출할 수 있다. 이를 위하여 전자 장치(1000)는 바운더리 셀들(404, 406, 409) 중 바운더리 셀 내에 적어도 하나의 객체에 대응하는 이미지(예컨대 픽셀)가 존재하는 확률이 기 설정된 임계치 이상인지 여부에 기초하여, 적어도 하나의 객체에 대응하는 이미지를 포함하는 바운더리 셀들(406, 409)을 제거할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 바운더리 셀 내 객체에 대응하는 이미지가 존재할 확률이 기 설정된 임계치 이하인 바운더리 셀을 제거하기 위하여, NMS(Nom-maximal Suppression 비-최대값 억제) 알고리즘을 이용할 수 있다.
전자 장치(1000)는 제1 이미지에 존재하는 적어도 하나의 객체에 대응하는 이미지를 중복하여 포함하는 바운더리 셀들 중, 바운더리 셀들 내부에 객체가 존재할 확률이 가장 높은 바운더리 셀을 객체 영역으로 검출하는 과정을 반복함으로써 제1 이미지로부터 적어도 하나의 객체 영역들을 검출할 수 있다. 전자 장치(1000)는 제1 이미지에 존재하는 적어도 하나의 객체 별로 대응되는 바운더리 셀들을 이용하여 객체 영역을 결정하기 위한 위치 정보를 결정할 수 있다.
예를 들어, 전자 장치(1000)는 제1 이미지에서 좌표를 설정하기 위한 원점을 설정하고, 설정된 원점을 기초로, 검출된 바운더리 셀들의 중심 픽셀 좌표와, 바운더리 셀들의 경계 픽셀 좌표들을 획득할 수 있다. 전자 장치(1000)는 제1 이미지에 존재하는 적어도 하나의 객체 별로 설정된 바운더리 셀의 중심 픽셀 좌표 및 경계 픽셀 좌표들을 이용하여 객체 영역들의 위치 정보를 결정할 수 있다. 또한, 전자 장치(1000)는 제1 이미지에 존재하는 적어도 하나의 객체 별로 대응되는 바운더리 셀의 중심 픽셀 좌표 및 경계 픽셀 좌표와 제1 이미지 전체의 바운더리 픽셀 좌표를 이용하여 배경 영역들의 위치 정보를 결정할 수 있다.
도 4는 일 실시 예에 따른, 전자 장치가 이미지로부터 특징 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 결정된 객체 영역들의 위치 정보를 이용하여 제1 이미지로부터 적어도 하나의 객체 영역들(322, 323, 324, 326, 328, 329 및 332)을 검출하고, 객체 영역들의 위치를 나타내는 위치 정보 및 검출된 객체 영역들에 포함된 객체의 종류에 관한 정보 중 적어도 하나를 이용하여 객체에 대한 특징 정보를 획득할 수 있다. 또한, 전자 장치(1000)는 배경 영역의 위치를 나타내는 위치 정보 및 검출된 배경 영역에 포함된 배경의 종류에 관한 정보 중 적어도 하나를 이용하여 배경에 대한 특징 정보를 획득할 수 있다. 전자 장치(1000)는 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다. 이하에서는, 객체 및 배경 각각에 대한 특징 정보를 획득하는 방법을 구체적으로 설명한다.
예를 들어, 전자 장치(1000)는 제1 신경망을 이용하여 결정된 적어도 하나의 객체 영역들(322, 323, 324, 326, 328, 329 및 332)의 위치 정보를 이용하여 적어도 하나의 객체 영역들을 검출하고, 검출된 객체 영역들에 포함된 객체들의 종류를 결정할 수 있다. 전자 장치(1000)는 검출된 객체 영역들의 위치 정보 및 객체 영역들에 포함된 객체들의 종류에 대한 정보를 이용하여 객체에 대한 특징 정보를 획득할 수 있다.
또한, 전자 장치(1000)는 객체 영역들의 위치 정보를 이용하여 검출된 객체 영역들과 객체 영역들이 검출되지 않은 영역을 구분하기 위하여 검출된 객체 영역들을 마스킹할 수 있다. 예를 들어, 전자 장치(1000)는 검출된 적어도 하나의 객체 영역들과 객체 영역들이 검출되지 않는 영역들 2가지 색상 정보로 구분하여 마스킹할 수 있다. 본 명세서에서 전자 장치(1000)가 검출된 적어도 하나의 객체 영역들을 마스킹하는 것은, 검출된 적어도 하나의 객체 영역들에 포함된 픽셀들의 화소값을 바이너리(Binary) 처리하는 것에 대응될 수 있다.
본 개시에 따른 전자 장치(1000)는 마스킹 처리된 적어도 하나의 객체 영역들을 제1 이미지로부터 제거함으로써 배경 영역을 검출할 수 있다. 즉, 전자 장치(1000)는 적어도 하나의 객체 영역들의 위치 정보를 기초로 객체 영역들을 검출하고, 검출된 객체 영역을 제1 이미지에서 제거함으로써 제1 이미지로부터 배경 영역을 검출할 수 있다. 또 다른 실시 예에 의하면 전자 장치(1000)는 마스킹 처리된 적어도 하나의 객체 영역들의 위치 정보 및 제1 이미지의 전체 바운더리 픽셀들의 좌표를 이용하여 배경 영역을 결정하기 위한 위치 정보를 결정하고, 배경 영역을 결정하기 위한 위치 정보를 이용하여 배경 영역을 검출할 수 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 획득된 제1 이미지 내 상기 적어도 하나의 객체 영역 및 배경 영역 각각의 위치를 나타내는 위치 정보를 결정하고, 결정된 적어도 하나의 객체 영역 및 배경 영역 각각의 위치 정보를 이용하여 제1 이미지로부터 객체 영역 및 배경 영역을 바로 검출할 수도 있다. 즉, 전자 장치는 검출된 적어도 하나의 객체 영역들을 제1 이미지에서 제거하는 방법이 아니라, 적어도 하나의 객체 영역 및 배경 영역 각각의 위치 정보를 기초로, 적어도 하나의 객체 영역 및 배경 영역을 제1 이미지로부터 검출할 수 있다. 본 개시에 따른 전자 장치(1000)는 배경 영역의 위치 정보를 기초로 검출된 배경 영역에 포함된 배경의 종류를 결정할 수 있다. 전자 장치(1000)는 결정된 배경 영역에 포함된 배경의 종류 및 배경 영역의 위치 정보를 이용하여 배경에 대한 특징 정보를 획득할 수 있다.
즉, 전자 장치(1000)는 획득된 제1 이미지 내 상기 적어도 하나의 객체 영역 및 배경 영역에 포함된 상기 적어도 하나의 객체 및 배경의 종류에 관한 정보를 결정하고, 결정된 상기 적어도 하나의 객체 및 배경의 종류에 관한 정보 및 상기 결정된 적어도 하나의 객체 영역 및 배경 영역에 대한 위치 정보 중 적어도 하나를 이용하여 특징 정보를 획득할 수도 있다. 본 개시에 따른 특징 정보는 적어도 하나의 객체 및 배경 각각에 대하여 획득될 수 있다. 예를 들어, 배경에 대한 특징 정보는 배경 영역의 위치 정보 및 배경 영역에 포함된 배경의 종류에 대한 정보 중 적어도 하나를 포함할 수 있고, 객체에 대한 특징 정보는 객체 영역의 위치 정보 및 객체 영역에 포함된 객체의 종류에 대한 정보 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 전자 장치(1000)는 적어도 하나의 객체 및 배경 각각에 대해 획득한 특징 정보들을 이용하여 특징 정보 테이블(380)을 생성할 수 있다. 예를 들어, 전자 장치(1000)가 생성한 특징 정보 테이블(380)은 인덱스(382), 이미지(384), 종류(386) 및 위치 정보(388)에 대한 카테고리를 포함할 수 있다. 예를 들어, 인덱스(382)에 대한 카테고리는 검출된 객체 및 배경을 구분하기 위한 식별 번호를 나타내고, 이미지(384)에 대한 카테고리는 적어도 하나의 객체 및 배경을 나타내는 픽셀들의 화소값에 대한 정보를 나타내며, 종류(386)에 대한 카테고리는 적어도 하나의 객체 영역들 및 배경 영역 각각에 포함된 객체 또는 배경의 종류를 나타내고, 위치 정보(388)에 대한 카테고리는 적어도 하나의 객체 영역들 및 배경 영역 각각에 대한 위치 정보들을 나타낼 수 있다.
도 5는 일 실시 예에 따른, 전자 장치가 이미지로부터 적어도 하나의 객체 영역 및 배경 영역을 검출하는 방법을 설명하기 위한 순서도이다.
S520에서, 전자 장치(1000)는 획득된 제1 이미지를 분할함으로써 복수의 격자셀들을 생성할 수 있다. 예를 들어, 전자 장치(1000)는 획득된 제1 이미지의 크기를 리사이징하고, 리사이징된 제1 이미지를 분할함으로써 미리 결정된 크기의 격자셀들을 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 획득된 제1 이미지를 제1 신경망에 입력 시킴으로써 복수의 격자셀들을 생성할 수 있다.
S540에서, 전자 장치(1000)는 생성된 격자셀들에 종속되는 복수개의 바운더리 셀들을 생성할 수 있다. 단계 S540에서, 전자 장치(1000)가 생성하는 바운더리 셀들은 생성된 격자셀들에 종속되고, 바운더리 셀들 내부에 적어도 하나의 객체에 대응하는 이미지가 존재할 확률을 나타낼 수 있다.
S560에서, 전자 장치(1000)는 생성된 바운더리 셀들 내에 객체에 대응하는 이미지(예컨대, 픽셀)가 존재할 확률을 기초로 객체 영역의 위치를 나타내는 위치 정보를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지를 분할함으로써 40개의 격자셀들을 생성하고, 생성된 각각의 격자셀 마다 종속되는 2개의 바운더리 셀들을 생성(40*2=80개)할 수 있다. 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체를 중복하여 포함하는 바운더리 셀들이 존재하는 경우, NMS 알고리즘을 이용하여, 객체에 대응하는 이미지 당 하나의 바운더리 셀을 결정하고, 결정된 바운더리 셀의 중심 좌표 및 바운더리 셀의 경계(바운더리) 픽셀들의 좌표를 이용하여 객체 영역의 위치 정보를 결정할 수 있다.
S580에서, 전자 장치(100)는 객체 영역의 위치 정보를 이용하여 제1 이미지로부터 적어도 하나의 객체 영역을 검출할 수 있다. 예를 들어, 전자 장치(1000)는 검출된 객체 영역을 제1 이미지로부터 제거함으로써 배경 영역을 검출할 수 있다. 즉, 전자 장치(100)는 획득된 제1 이미지 내 객체 영역을 결정하기 위한 위치 정보를 먼저 결정하고, 결정된 위치 정보에 기초하여 제1 이미지로부터 객체 영역 및 배경 영역을 검출할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 획득된 제1 이미지 내 객체 영역 및 배경 영역을 결정하기 위한 위치 정보를 먼저 결정하고, 결정된 위치 정보를 기초로 제1 이미지로부터 객체 영역 및 배경 영역을 검출할 수 있다.
도 6은 일 실시 예에 따른, 전자 장치가 이용하는 신경망(Neural Network)의 구조를 설명하기 위한 도면이다.
본 개시에 따른 전자 장치(1000)가 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하기 위하여 이용하는 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어들, 상기 컨벌루션 레이어들의 일단에 연결되어 검출된 적어도 하나의 객체 영역 및 배경 영역에 각각 포함된 객체 및 배경의 종류에 관한 정보를 출력하는 풀리커넥티드 레이어, 적어도 하나의 객체 영역들 및 배경 영역의 위치 정보를 나타내는 풀리커넥티드 레이어 및 마스킹된 적어도 하나의 객체 영역들 및 배경 영역을 출력하는 풀리 커넥티드 레이어를 포함할 수 있다. 또한, 제1 신경망은 컨벌루션 레이어들 및 풀리 커넥티드 레이어들에 더하여 컨벌루션 레이어와 교대로 반복 배치되는 풀링 레이어들을 더 포함할 수 있다.
또한, 본 개시에 따른 전자 장치(1000)는 적어도 하나의 객체 영역들 및 배경 영역 각각에 대한 특징 정보를 제2 신경망에 입력 시킴으로써 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 필터들을 결정할 수 있다. 일 실시 예에 의하면, 전자 장치는 획득된 제1 이미지에 포함된 적어도 하나의 객체 및 배경 각각에 서로 다른 이미지 효과를 나타내는 이미지 필터를 적용함으로써 제2 이미지를 생성하기 위해 복수의 신경망 모델을 이용할 수도 있지만, 단일의 신경망 모델을 이용하여 제2 이미지를 생성할 수도 있다. 즉, 전자 장치(1000)가 이용하는 제1 신경망 및 제2 신경망은 단일의 신경망 모델로 구현될 수 있다.
전자 장치(1000)가 제2 이미지를 생성하기 위해 이용하는 신경망 모델은 메모리에 저장된 기 정의된 동작 규칙에 따라 입력 데이터를 처리하도록 동작하는 인공 지능 모델로써, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 7은 또 다른 실시 예에 따른, 전자 장치가 이미지를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S720에서, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 이용하여 제1 이미지를 촬영하는 전자 장치에 대한 촬영 모드를 결정할 수 있다. 예를 들어, 전자 장치(100)는 미리 학습된 촬영 모델을 기초로 학습된 신경망을 이용하여 제1 이미지를 촬영하는 전자 장치에 대한 촬영 모드를 결정할 수 있다.
예를 들어, 전자 장치(1000)는 제1 이미지에 포함된 객체 및 배경에 대한 특징 정보를 기초로, 제1 이미지를 촬영하기에 적합한 촬영 모드를 결정할 수 있고, 본 개시에 따른 촬영 모드는 접사 모드, 글씨 모드, 풍경 모드, 야경 모드, 삼각대 모드, 운동 모드, 야경 인물 모드, 역광 모드를 포함할 수 있으나 이에 한정되는 것은 아니다. 또한, 본 개시에 따른 촬영 모드는 하나 이상의 촬영 모드가 함께 적용되는 멀티 촬영 모드를 더 포함할 수 있다.
본 개시에 따른 전자 장치(1000)는 촬영 모드가 결정되는 경우, 결정된 촬영 모드에 따라 결정되는 촬영 파라미터를 결정할 수 있다. 본 개시에 따른 촬영 파라미터는 전자 장치(1000)가 이미지를 촬영하는 경우 조절 가능한 조리개값, 감도, 셔터 속도 값등을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(1000)는 제1 이미지를 촬영하기 위한 복수의 촬영 모드를 결정하고, 결정된 복수의 촬영 모드에 따른 촬영 파라미터를 결정할 수도 있다.
단계 S740에서, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 이용하여, 적어도 하나의 객체 및 배경 사이의 상대적인 위치 관계를 결정하고, 결정된 상대적인 위치 관계를 기초로 제1 이미지의 구도를 분석할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보 및 전자 장치의 촬영 모드에 따라 결정되는 촬영 파라미터를 이용하여 제1 이미지의 구도를 분석할 수 있다. 본 개시에 따른 이미지의 구도는 황금비 구도, 수평 구도, 수직 구도, 삼등분 구도, 소실점 구도 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 전자 장치(1000)가 분석된 제1 이미지의 구도를 이용하여 필터를 적용하는 방법은 도 8을 참조하여 구체적으로 설명하기로 한다.
단계 S760에서, 전자 장치(1000)는 제1 이미지 내 광원에 대한 정보를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지에서 배경 영역이 차지하는 비율이 기 설정된 임계값 이상인 경우, 제1 이미지 내 픽셀들의 화소값에 기초하여 상기 제1 이미지 내 광원에 대한 정보를 결정할 수 있다.
일 실시 예에 의하면 광원에 대한 정보는 광원 중심 및 광원 경계에 대한 정보를 포함할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지 내 픽셀들의 화소값을 이용하여 제1 이미지 내 픽셀들 중 가장 명도값이 큰 픽셀을 결정할 수 있고, 가장 명도 값이 큰 픽셀의 좌표를 광원 중심으로 결정할 수 있다. 또한, 전자 장치(1000)는 제1 이미지 내 픽셀들의 화소값을 이용하여 제1 이미지 내 픽셀들 중 기 설정된 화소값 이상을 가지는 픽셀 집합들을 검출하고, 검출된 픽셀 집합들의 경계에 위치하는 픽셀들의 좌표를 광원 경계로 결정할 수 있다.
단계 S780에서, 전자 장치(1000)는 부가 정보를 획득할 수 있다. 본 개시에 따른 전자 장치(1000)가 획득하는 부가 정보는 도 11을 참조하여 구체적으로 설명하기로 한다.
본 개시에 따른 전자 장치(1000)는 결정된 촬영 모드, 제1 이미지의 구도, 제1 이미지 내 광원에 대한 정보 및 부가 정보 중 적어도 하나에 기초하여 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다. 즉, 전자 장치(1000)는 결정된 촬영 모드에 따른 촬영 파라미터만을 이용하여 이미지 필터를 결정하거나, 제1 이미지의 구도만을 이용하여 이미지 필터를 결정하거나, 제1 이미지 내 광원에 대한 정보만을 이용하여 이미지 필터를 결정하거나, 획득된 부가 정보에 기초하여 이미지 필터를 결정할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 결정된 촬영 모드에 따른 촬영 파라미터, 제1 이미지의 구도, 제1 이미지 내 광원에 대한 정보 및 부가 정보 모두를 이용하여 이미지 필터를 결정할 수도 있다.
도 8은 일 실시 예에 따른, 전자 장치가 이미지의 구도에 기초하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
전술한 바와 같이, 전자 장치(1000)는 검출된 적어도 하나의 객체 각각에 이미지 필터를 적용할 수 있다. 도 8의 출력 이미지(804)를 참조하면, 전자 장치(1000)는 입력 이미지(802)에서 검출된 객체인 건물 2(814)에만 흑백 필터를 적용함으로써 건물 2가 위치하는 영역에 흑백 효과를 나타낼 수 있다. 하지만, 또 다른 실시 예에 의하면, 전자 장치(1000)는 특징 정보를 기초로, 제1 이미지의 구도를 분석하고, 분석된 제1 이미지의 구도를 이용하여, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 필터를 결정할 수 있다.
예를 들어, 전자 장치(1000)는 입력 이미지(802)로부터 건물 1(813), 건물 2(814) 및 배경 각각에 대한 특징 정보를 획득할 수 있다. 전자 장치(1000)는 검출된 건물 1(813), 건물 2(814) 및 배경 각각의 특징 정보들을 이용하여 입력 이미지의 구도를 결정하기 위한 복수의 기준선(예컨대 소실선, 816, 818, 820, 822)들을 생성하고, 생성된 복수의 기준선들을 이용하여 입력 이미지(802)를 분할함으로써 복수의 분할 영역들(832, 836)을 생성할 수 있다. 본 개시에 따른 기준선들은 제1 이미지 내 적어도 하나의 소실점에 수렴할 수 있다.
출력 이미지(806)를 참조하면, 본 개시에 따른 전자 장치(1000)는 복수의 기준선들(816, 818, 820, 822)을 이용하여 입력 이미지(802)를 분할함으로써 복수의 분할 영역들을 생성하고, 생성된 복수의 분할 영역들 중 제4 분할 영역(836)에만 윤곽선 필터를 적용할 수 있다. 또 다른 실시 예인, 출력 이미지(808)를 참조하면, 전자 장치(1000)는 복수의 기준선들을 이용하여 입력 이미지(802)를 분할함으로써 복수의 분할 영역들을 생성하고, 생성된 복수의 분할 영역들 중 제1 분할 영역(832) 및 제2 분할 영역(836)에 포함된 이미지의 형상을 선명하게 하기 위한 선명 효과 필터를 적용할 수 있다.
도 9는 일 실시 예에 따른, 전자 장치가 이미지 내 광원에 대한 정보를 이용하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 제1 이미지 내 광원에 대한 정보를 결정하고, 결정된 제1 이미지 내 광원에 대한 정보를 이용하여 제1 이미지에 적용할 이미지 필터를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지로부터 배경 영역(902)을 검출하고, 검출된 배경 영역(902)이 제1 이미지에서 차지하는 비율을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 획득된 제1 이미지에서 배경 영역이 차지하는 비율이 기 설정된 임계값 이상인 경우(예컨대 50%이상인 경우), 상기 제1 이미지 내 픽셀들의 화소값에 기초하여 제 이미지 내 광원에 대한 정보를 결정할 수 있다.
일 실시 예에 의하면, 광원에 대한 정보는 광원 중심 및 광원 경계에 대한 정보를 포함할 수 있다. 전자 장치(1000)는 제1 이미지 내 픽셀들의 화소값을 이용하여 제1 이미지 내 픽셀들 중 가장 명도값이 큰 픽셀을 결정할 수 있고, 가장 명도 값이 큰 픽셀의 좌표를 광원 중심으로 결정할 수 있다. 또한, 전자 장치(1000)는 제1 이미지 내 픽셀들의 화소값을 이용하여 제1 이미지 내 픽셀들 중 기 설정된 화소값 이상을 가지는 픽셀 집합들을 검출하고, 검출된 픽셀 집합들의 경계에 위치하는 픽셀들의 좌표를 광원 경계로 결정할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 결정된 광원 중심 및 광원 경계를 이용하여 광원 영역을 결정할 수 있다. 전자 장치(1000)는 광원 정보를 기초로 결정된 광원 영역에 이미지 필터를 적용함으로써 제2 이미지를 생성할 수 있다. 예를 들어, 전자 장치(1000)는 광원 정보를 기초로 결정된 광원 영역 별로 서로 다른 이미지 필터를 적용할 수도 있지만, 광원 중심으로부터 떨어진 거리 별로 서로 다른 이미지 필터를 적용할 수도 있다.
보다 상세하게는, 전자 장치(1000)는 제1이미지로부터 검출된 배경 영역에서 사각형 형태의 광원 영역(932), 배경 영역에서 광원 영역(932)을 포함하는 상단 영역(934) 및 배경 영역에서 광원 영역(932)을 포함하지 않는 하단 영역(936)을 결정하고, 영역 별로 서로 다른 이미지 필터를 적용할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 광원 영역(932) 및 상단 영역(934)에 포함된 픽셀들의 명도값을 낮추기 위한 이미지 필터를 광원 영역(932) 및 상단 영역(934)에 적용하고, 상대적으로 광원이 포함되지 않아 낮은 명도값을 가지는 픽셀들을 주로 포함하는 하단 영역(936)에 포함된 픽셀들의 명도값을 높이기 위한 이미지 필터를 하단 영역(936)에 적용할 수 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 광원 중심에서 떨어진 거리 별로 서로 다른 이미지 효과를 나타내는 필터를 배경 영역에 적용할 수 있다. 예를 들어, 전자 장치(1000)는 광원 중심을 원점으로 가장 반지름이 작은 광원 영역(942)에는 명도값을 -3만큼 낮추기 위한 이미지 필터를 적용하고, 광원 중심을 원점으로 반지름이 가장 큰 광원 영역(946)에는 명도 값을 -1만큼 낮추기 위한 이미지 필터를 적용할 수 있다.
도 10은 일 실시 예에 따른, 전자 장치가 이미지 내 광원에 대한 정보를 이용하여 필터를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S920에서, 전자 장치(1000)는 획득된 제1 이미지로부터 배경 영역을 검출할 수 있다. 단계 S920은 도 2의 단계 S240에 대응될 수 있으므로, 구체적인 설명은 생략하기로 한다.
단계 S930에서, 전자 장치(1000)는 검출된 배경 영역이 차지하는 비율이 임계값 이상인지 여부를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지에 포함된 전체 픽셀 수에 대한 배경 영역에 포함된 픽셀 수의 비율을 이용함으로써 검출된 배경 영역이 차지하는 비율이 임계값 이상인지 여부를 결정할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 제1 이미지에서 배경 영역이 차지하는 비율이 50%이상인 경우, 제1 이미지 내 픽셀들의 화소값에 기초하여 제1 이미지 내 광원에 대한 정보를 결정할 수 있다.
단계 S940에서, 전자 장치(1000)는 제1 이미지에서 배경 영역이 차지하는 비율이 임계값 이상인 경우, 제1 이미지 내 픽셀들의 화소값을 기초로, 명도 값에 대한 히스토그램을 생성할 수 있다.
단계 S960에서, 전자 장치(1000)는 생성된 히스토그램을 이용하여 제 이미지로부터 광원 영역을 검출할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지 내 픽셀들의 화소값을 이용하여, 픽셀의 좌표 별로 명도 값에 대한 히스토그램을 생성하고, 생성된 히스토그램에 나타난 명도 값을 이용하여 광원 중심 및 광원 경계를 결정할 수 있다. 전자 장치(1000)는 결정된 광원 중심 및 광원 경계를 이용하여 중 광원 영역을 결정할 수 있다.
단계 S980에서, 전자 장치(1000)는 결정된 광원 영역 및 광원 중심으로부터 떨어진 거리 중 적어도 하나에 기초하여 서로 다른 이미지 효과를 나타내는 이미지 필터를 결정할 수 있다. 단계 S980은 도 9의 전자 장치(1000)의 동작에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
도 11은 일 실시 예에 따른, 전자 장치가 이용하는 부가 정보들의 예시를 나타내는 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 획득된 제1 이미지에 더하여, 제1 이미지와 관련된 부가 정보를 획득하고, 획득된 부가 정보를 더 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경에 적용할 이미지 필터를 결정할 수 있다. 본 개시에 따른 전자 장치(1000)가 획득하는 부가 정보는 상기 제1 이미지가 촬영된 시간에 대한 정보(1021), 상기 제1 이미지가 촬영된 장소에 대한 정보(1022), 상기 제1 이미지가 촬영된 시간에 상기 제1 이미지가 촬영된 장소의 날씨에 대한 정보(1024), 상기 제1 이미지를 촬영한 상기 전자 장치의 방향에 대한 정보(1023), 제1 이미지가 촬영된 장소가 건물의 실내인지, 또는 실외인지 여부를 나타내는 정보(1025), 상기 전자 장치의 동작 제어 정보(1026, 예컨대, 카메라 옵션), 상기 전자 장치 사용자의 선호 필터 정보(1027) 및 상기 전자 장치 사용자의 필터 수정 이력 중 적어도 하나를 포함할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)가 획득하는 부가 정보들은 전자 장치(1000)내의 메모리에 테이블 형식으로 미리 저장될 수 있다. 또한, 전자 장치(1000)가 획득하는 부가 정보들은 제1 이미지에 첨부된 메타 데이터 형식으로 획득될 수 있다. 일 실시 예에 의하면, 제1 이미지가 촬영된 시간에 대한 정보(1021)는 제1 이미지에 첨부된 타임 스탬프(time stamp)를 이용하여 획득될 수 있다. 본 개시에 따른 제1 이미지를 촬영한 상기 전자 장치의 방향에 대한 정보(1023)는 획득된 제1 이미지가 전자 장치(1000)에 포함된 전방 카메라 및 후방 카메라 중 어떤 카메라를 이용하여 촬영되었는지 여부를 나타낼 수 있다. 또한, 전자 장치 사용자의 선호 필터 정보(1027)는 전자 장치(1000) 사용자가 주로 사용하는 객체 및 배경 별 선호하는 필터를 나타낼 수 있다.
또한, 본 개시에 따른 전자 장치의 동작 제어 정보는 전자 장치(1000)가 결정된 이미지 필터를 제1 이미지에 자동으로 적용할 것인지 또는 수동으로 적용할 것인지 여부를 나타낼 수 있다. 예를 들어, 전자 장치의 동작 제어 정보가 자동(AO)인 경우, 전자 장치(1000)는 획득된 제1 이미지에 포함된 적어도 하나의 객체 및 배경 각각에 결정된 이미지 필터들을 자동으로 적용할 수 있다. 하지만, 전자 장치의 동작 제어 정보가 수동(MO)인 경우, 전자 장치(1000)는 제1 이미지에 포함된 적어도 하나의 객체 및 배경 각각에 적용할 수 있는 후보 필터 이미지들을 제공하고, 제공된 후보 필터 이미지들 중 적어도 하나의 후보 이미지 필터를 선택하는 사용자 입력에 기초하여 수동으로 이미지 필터들을 적용할 수 있다.
도 12는 일 실시 예에 따른, 전자 장치가 부가 정보들을 이용하여 필터를 적용하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면 전자 장치(1000)는 제1 이미지 및 제1 이미지와 관련된 부가 정보들 획득하고, 획득된 부가 정보들을 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 적용할 수 있다. 본 개시에 따른 부가 정보들은 제1 이미지에 메타 데이터 형식으로 결합될 수 있다. 예를 들어, 전자 장치(1000)가 획득한 제1 이미지에는 객체 및 배경을 포함하는 피사체에 대한 정보, 제1 이미지가 촬영된 시간(1073), 제1 이미지가 촬영된 위치, 장소(1074), 제1 이미지가 촬영된 시간에 제1 이미지가 촬영된 장소의 날씨(1075)에 대한 정보가 결합될 수 있다.
본 개시에 따른 전자 장치(1000)는 전자 장치에 미리 학습된 신경망(Neural Network)를 이용하여, 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출하고, 검출된 객체 및 배경 각각에 대한 특징 정보(1077)를 기초로, 제1 이미지의 구도에 대한 구도 정보(1078), 제1 이미지를 촬영하기 위한 전자 장치(1000)의 촬영 모드에 대한 정보(1079), 제1 이미지 내 광원에 대한 정보(1081)를 획득할 수 있다.
또한, 본 개시에 따른 전자 장치(1000)는 사용자의 필터 수정 이력(1084)을 포함하는 부가 정보들을 더 획득하고, 획득된 부가 정보들, 특징 정보(1077), 구도 정보(1078), 촬영 모드에 대한 정보(1079) 및 광원에 대한 정보(1081) 중 적어도 하나를 이용하여 제1 이미지 내 객체 및 배경 각각에 적용할 이미지 필터들을 적용함으로써 제2 이미지를 생성할 수 있다. 예를 들어, 전자 장치(1000)는 제1 이미지에 사람의 얼굴 부분에는 밝기(bright, 1085) 필터를 적용하고, 모자 부분에는 카툰 필터(1087)를 적용하며, 배경 부분에는 블러 필터(out-focusing, 1086)필터를 적용함으로써 제2 이미지를 생성할 수 있다.
도 13은 일 실시 예에 따른, 전자 장치가 전자 장치의 동작을 제어하는 부가정보를 이용하는 방법을 설명하기 위한 도면이다.
단계 S1310에서, 전자 장치(1000)는 제1 이미지에 관한 부가 정보들을 획득할 수 있다. S1310에서 전자 장치(1000)가 획득하는 부가 정보들은 도 11의 부가 정보 테이블에 포함된 정보들에 대응 될 수 있으므로 구체적인 설명은 생략하기로 한다.
단계 S1320에서, 전자 장치(1000)는 획득된 부가 정보에 전자 장치 제어 정보가 포함되어있는지 여부를 결정할 수 있다. S1320에서 전자 장치(1000)가 획득하는 전자 장치 제어 정보는 도 11의 부가 정보 테이블에 포함된 전자 장치 제어 정보(카메라 옵션, 1026)에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
단계 S1330에서, 전자 장치(1000)는 획득된 부가 정보에 전자 장치 제어 정보가 포함되어 있는 경우, 전자 장치 제어 정보가 수동인지 여부를 결정할 수 있다. 단계 S1340에서, 전자 장치(1000)는 부가 정보에 포함된 전자 장치 제어 정보가 수동(MO)인 경우, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 후보 이미지 필터들을 디스플레이 제공할 수 있다. 전자 장치(1000)는 디스플레이에 제공된 후보 이미지 필터들을 선택하는 사용자 입력에 기초하여, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터를 적용하여 제2 이미지를 생성할 수 있다.
단계 S1350에서, 전자 장치(1000)는 부가 정보에 포함된 전자 장치 제어 정보가 자동(AO)인 경우, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터들을 자동으로 적용할 수 있다. 즉, 전자 장치(1000)는 부가 정보에 포함된 전자 장치 제어 정보가 자동인 경우, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터들을 자동으로 적용함으로써, 추가적인 사용자의 입력 없이도 제2 이미지를 생성할 수 있다.
도 14는 일 실시 예에 따른, 전자 장치가 부가 정보를 이용하여 필터를 수동 또는 자동으로 적용하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 입력 이미지(1340) 및 카메라 옵션이 자동(AO)으로 설정된 부가 정보(1342)를 획득할 수 있다. 본 개시에 따른 전자 장치(1000)는 부가 정보에 포함된 카메라 옵션이 자동(AO)인 경우, 제1 이미지 내 포함된 적어도 하나의 객체들 및 배경 각각에 서로 다른 이미지 효과를 나타내는 이미지 필터들을 자동으로 적용함으로써 출력 이미지(1350)를 생성할 수 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 입력 이미지(1360) 및 카메라 옵션이 수동(AO)으로 설정된 부가 정보(1362)를 획득할 수 있다. 본 개시에 따른 전자 장치(1000)는 부가 정보에 포함된 카메라 옵션이 수동(MO)인 경우, 제1 이미지 내 포함된 적어도 하나의 객체들 및 배경 각각에 서로 다른 이미지 효과를 나타내는 후보 이미지 필터들을 전자 장치의 디스플레이에 제공하고, 디스플레이에 제공된 후보 이미지 필터 중 적어도 하나의 후보 이미지 필터를 선택하는 사용자 입력에 기초하여, 수동으로 제1 이미지 내 포함된 적어도 하나의 객체들 및 배경 각각에 이미지 필터들을 적용함으로써 제2 이미지를 생성할 수 있다.
도 15는 또 다른 실시 예에 따른 전자 장치가 필터를 결정하는 방법을 설명하기 위한 도면이다.
본 개시에 따른 전자 장치(1000)는 적어도 하나의 신경망 모델을 이용하여 획득된 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 후보 이미지 필터를 디스플레이에 제공할 수 있다. 예를 들어, 전자 장치(1000)는 획득된 제1 이미지 내 포함된 객체 및 배경의 종류에 대한 정보(1540) 및 제1 이미지 내 포함된 객체 및 배경의 위치 정보를 포함하는 특징 정보가 입력되는 경우 적어도 하나의 필터를 출력하는 신경망 모델을 미리 학습하고, 미리 학습된 신경망 모델을 이용하여 적어도 하나의 후보 이미지 필터들을 제공할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 제1 이미지에 더하여, 제1 이미지에 관한 부가 정보(1550)를 더 획득하고, 획득된 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보 및 부가 정보가 입력되는 경우, 제1 이미지 내 객체 및 배경 각각에 적용할 이미지 필터를 출력하는 신경망 모델을 미리 학습하고, 미리 학습된 신경망 모델을 이용하여 적어도 하나의 후보 이미지 필터들을 제공할 수 있다. 즉, 본 개시에 따른 전자 장치(1000)는 제1 이미지에 포함된 객체 및 배경의 종류에 대한 정보, 제1 이미지에 포함된 객체 및 배경의 위치 정보 및 부가 정보(1550) 중 적어도 하나에 따라 구별될 수 있는 복수의 카테고리(1570)를 생성하고, 생성된 복수의 카테고리 별로 미리 학습된 신경망 모델을 이용하여, 카테고리 별 서로 다른 후보 이미지 필터들을 제공할 수 있다.
도 16은 일 실시 예에 따른, 서버를 이용하여 제2 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 전자 장치(1000)는 전자 장치(1000)와 유선 또는 무선으로 연결된 서버(2000)에 탑재된 신경망을 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다.
예를 들어, 단계 S1610에서, 전자 장치(1000)는 획득한 제1 이미지를 서버로 전송할 수 있다. 즉, 전자 장치(1000)는 제1 이미지가 획득되는 경우, 제1 신경망 내지 제2 신경망을 포함하는 서버와 통신 링크를 형성하고, 형성된 통신 링크를 이용하여 제1 이미지를 서버(2000)로 전송할 수 있다.
단계 S1620에서, 서버(2000)는 제1 이미지가 입력되는 경우, 적어도 하나의 객체에 해당하는 부분의 이미지를 포함하는 객체 영역 및 배경에 해당하는 부분의 이미지를 포함하는 배경 영역을 식별하기 위한 특징 정보를 출력하는 제1 신경망을 이용하여 제1 이미지 내 객체 및 배경 각각에 대한 특징 정보를 획득할 수 있다. 단계 S1630에서, 서버(2000)는 획득된 특징 정보를 기초로, 제1 이미지 내 적어도 하나의 객체 및 배경을 검출할 수 있다.
단계 S1640에서, 서버(2000)는 검출된 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로 획득된 제1 이미지를 분석할 수 있다. 예를 들어, 본 개시에 따른 서버(2000)는 특징 정보가 입력되는 경우, 제1 이미지에 적용할 이미지 필터들을 출력하는 제2 신경망을 이용하여 전자 장치(1000)로부터 전송된 제1 이미지를 분석할 수 있다. 본 개시에 따른 서버(2000)가 제1 이미지를 분석하는 동작은 제1 이미지의 구도를 분석하는 동작, 제1 이미지 내 광원에 대한 정보를 결정하는 동작 및 제1 이미지를 촬영하는 전자 장치의 촬영 모드를 결정하는 동작을 더 포함할 수 있다.
단계 S1650에서, 서버(2000)는 제1 이미지의 분석 결과를 기초로, 제1 이미지 내 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정할 수 있다. 단계 S1660에서, 서버(2000)는 결정된 이미지 필터들에 대한 정보를 전자 장치(1000)로 전송할 수 있다.
S1670에서, 전자 장치(1000)는 서버(2000)로부터 수신된 이미지 필터들에 대한 정보를 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 서로 다른 이미지 효과를 나타내는 이미지 필터들을 적용할 수 있다. 단계 S1680에서, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 서로 다른 이미지 효과를 나타내는 필터들을 적용함으로써 제2 이미지를 생성할 수 있다.
도 17은 또 다른 실시 예에 따른, 서버를 이용하여 제2 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 전자 장치(1000)는 전자 장치(1000)내에 탑재된 제1 신경망을 이용하여 획득된 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하고, 전자 장치(1000)와 유선 또는 무선으로 연결된 서버(2000)에 탑재된 제2 신경망을 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다.
구체적으로, S1710에서, 전자 장치(1000)는 전자 장치(1000)내에 탑재된 제1 이미지가 입력되는 경우, 적어도 하나의 객체 영역 및 배경 영역을 식별하기 위한 특징 정보를 출력하는 제1 신경망을 이용하여, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득할 수 있다. S1720에서, 전자 장치(1000)는 획득된 특징 정보를 기초로 제1 이미지에서 적어도 하나의 객체 및 배경을 검출할 수 있다. S1730에서, 전자 장치(1000)는 검출된 적어도 하나의 객체 및 배경에 대한 정보를 서버(2000)로 전송할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 획득된 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보가 제1 신경망으로부터 출력되는 경우, 제2 신경망을 포함하는 서버(2000)와 통신 링크를 형성하고, 형성된 통신 링크를 이용하여 획득된 특징 정보를 기초로 는 검출된 적어도 하나의 객체 및 배경에 대한 정보를 서버(2000)로 전송할 수 있다.
단계 S1740에서, 서버(2000)는 서버(2000)내에 탑재된 특징 정보가 입력되는 경우, 제1 이미지에 적용할 이미지 필터들을 출력하는 제2 신경망을 이용하여 제1 이미지를 분석할 수 있다. 본 개시에 따른 서버(2000)가 제1 이미지를 분석하는 동작은 제1 이미지를 촬영하는 전자 장치의 촬영 모드를 결정하는 동작, 제1 이미지의 구도를 분석하는 동작, 제1 이미지 내 광원에 대한 정보를 결정하는 동작을 더 포함할 수 있다.
단계 S1750에서, 서버(2000)는 제1 이미지의 분석 결과를 기초로 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다. 예를 들어, 서버(2000)는 결정된 촬영 모드, 제1 이미지의 구도 및 제1 이미지에 포함된 광원에 대한 정보 중 적어도 하나에 기초하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 결정할 수 있다.
S1760에서, 서버(2000)는 결정된 이미지 필터들에 대한 정보를 전자 장치(1000)로 전송할 수 있다. S1770에서, 전자 장치(1000)는 서버(2000)로부터 수신된 이미지 필터들에 대한 정보를 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 적용할 수 있다. S1780에서, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터들을 적용함으로써 제2 이미지를 생성할 수 있다.
도 18은 일 실시 예에 따른, 전자 장치가 복수의 학습 모델들을 이용하여 이미지를 분석하는 방법을 설명하기 위한 도면이다.
본 개시에 따른 전자 장치(1000)는 제1 이미지(1810)가 입력되는 경우, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 출력하는 미리 학습된 제1 신경망(Neural Network)을 이용하여 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출할 수 있다. 전자 장치(1000)가 객체 및 배경을 검출하기 위하여 이용하는 제1 신경망은 객체 및 배경 모델(1822)을 기초로 학습될 수 있고, 객체 및 배경 모델(1822)은 제1 이미지에서 검출된 객체 및 배경에 대한 정보를 기초로 업데이트(예컨대 갱신)될 수 있다. 즉, 본 개시에 따른 전자 장치(1000)는 제1 신경망을 이용하여 제1 이미지로부터 적어도 하나의 객체 및 배경을 검출하고, 검출된 적어도 하나의 객체 및 배경에 대한 정보를 기초로 업데이트 된 객체 및 배경 모델을 이용하여 제1 신경망 내 레이어들 및 상기 레이어들 간에 연결 강도에 관한 가중치를 갱신함으로써 재 학습될 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 입력으로 하는 제2 신경망을 이용하여, 제1 이미지를 촬영하는 전자 장치(1000)의 촬영 모드를 결정하고, 결정된 촬영 모드에 따라 결정되는 촬영 파라미터에 기초하여 제1 이미지에 적용할 이미지 필터들을 결정할 수 있다. 전자 장치(1000)가 촬영 모드를 결정하기 위하여 이용하는 제2 신경망은 촬영 모델(1832)을 기초로 학습될 수 있고, 촬영 모델(1832)은 획득된 제1 이미지에 대해 결정된 촬영 모드에 대한 정보를 기초로 업데이트(예컨대 갱신)될 수 있다. 즉, 본 개시에 따른 전자 장치(1000)는 제2 신경망을 이용하여 제1 이미지를 촬영하기 위한 촬영 모드를 결정하고, 결정된 촬영 모드에 대한 정보를 기초로 업데이트 된 촬영 모델을 이용하여 제2 신경망 내 레이어 들 및 상기 레이어들 간에 연결 강도에 관한 가중치를 갱신함으로써 재 학습될 수 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 제1 이미지(1810) 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 입력으로 하는 제2 신경망을 이용하여, 제1 이미지에 대한 구도 및 제1 이미지 내 광원에 대한 정보를 결정할 수 있다. 전자 장치(1000)가 제1 이미지의 구도 및 제1 이미지 내 광원에 대한 정보를 결정하기 위하여, 이용하는 제2 신경망은 구도 및 광원 모델(1842)을 기초로 학습될 수 있고, 구도 및 광원(1842)모델은 제1 이미지에 대해 결정된 구도 및 광원에 대한 정보를 기초로 업데이트(예컨대 갱신)될 수 있다. 즉, 본 개시에 따른 전자 장치(1000)는 제2 신경망을 이용하여 제1 이미지의 구도 및 제1 이미지에 포함된 광원에 대한 정보를 결정하고, 결정된 제1 이미지의 구도 및 제1 이미지에 포함된 광원에 대한 정보를 기초로 업데이트 된 구도 및 광원 모델을 이용하여 제2 신경망 내 레이어들 및 상기 레이어들 간에 연결 강도에 관한 가중치를 갱신함으로써 재 학습될 수 있다.
도 19는 일 실시 예에 따른, 전자 장치가 이용하는 신경망의 학습 데이터를 설명하기 위한 도면이다.
본 개시에 따른 전자 장치(1000)가 이용하는 신경망 모델은 전자 장치(1000)가 획득한 제1 이미지 원본(1910)을 기초로 학습될 수 있다. 하지만, 본 개시에 따른 전자 장치(1000)는 사용자의 의도에 더 부합하는 이미지 필터들을 제공하기 위해, 이미 이미지 필터가 적용된 제1 이미지(1920)를 기초로 학습될 수 있음은 물론이다. 더불어, 본 개시에 따른 전자 장치(1000)가 이용하는 신경망 모델은 적용된 이미지 필터가 수정된 제1 이미지(1930)를 기초로도 학습될 수 있기 때문에, 신경망 모델이 제공한 후보 이미지 필터들을 수정하는 사용자의 의도가 더 잘 반영된 후보 이미지 필터를 제공할 수도 있다.
도 20 및 도 21은 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 20에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 디스플레이(1100), 프로세서(1300), 통신부(1500) 및 저장부(1700)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(1000)는 구현될 수 있다.
예를 들어, 도 21에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 사용자 입력부(1100), 출력부(1200), 프로세서(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 전자 장치(1000)가 디스플레이 상에 제공한 제1 이미지에 적용하기 위한 후보 이미지 필터 중 적어도 하나의 이미지 필터를 선택하는 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력하기 위한 화면을 포함한다. 또한, 화면은 영상을 디스플레이 할 수 있다. 예를 들면, 화면의 적어도 일부는 제1 이미지의 적어도 일부 및 제1 이미지에 적어도 하나의 이미지 필터가 적용된 제2 이미지를 디스플레이 할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 20에 기재된 전자 장치(1000)의 기능을 수행할 수 있다.
또한, 프로세서(1300)는 하나 또는 복수의 프로세서로 구성될 수 있고, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능(AI) 전용 프로세서일 수 있다. 일 실시 예에 의하면, 프로세서(1300)가 범용 프로세서, 인공지능 프로세서 및 그래픽 전용 프로세서를 포함하는 경우, 인공지능 프로세서는 범용 프로세서 또는 그래픽 전용 프로세서와 별도의 칩으로 구현될 수도 있다.
예를 들어, 프로세서(1300)는 제1 이미지에서 적어도 하나의 객체 및 배경을 검출하고, 검출된 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들을 적용함으로써 서로 다른 이미지 효과를 나타내기 위해 인공지능(AI) 프로세서 또는 그래픽 전용 프로세서 또는 범용 프로세서 중 적어도 하나를 사용하여 제2 이미지를 생성할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 범용 프로세서를 이용하여 전자 장치의 일반적인 동작들(예컨대, 제1 이미지를 획득하고, 제1 이미지에 이미지 필터들을 적용함으로써 생성된 제2 이미지를 디스플레이에 출력하는 동작)을 수행하고, 인공지능 프로세서를 이용하여 제1 이미지를 이용하여 제2 이미지를 생성하기 위한 동작들(예컨대, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하고, 획득된 특징 정보를 이용하여 제1 이미지에 적용할 이미지 필터들을 결정하며, 결정된 이미지 필터들을 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용하는 동작들)을 수행할 수도 있으나, 이에 한정되는 것은 아니다.
즉, 전자 장치(1000)는 효율적으로, 제2 이미지를 생성함에 있어, 필요한 프로세싱 자원들을 결정하고, 결정된 프로세싱 자원들에 기초하여, 범용 프로세서, 그래픽 전용 프로세서 또는 인공지능 프로세서 중 적어도 하나를 사용할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 사용자의 텍스트, 이미지 및 동영상 입력을 수신하도록 사용자 입력부(1100)를 제어할 수 있다. 프로세서(1300)는 사용자의 음성 입력을 수신하도록 마이크로폰(1620)을 제어할 수 있다. 프로세서(1300)는 사용자 입력에 기초하여 전자 장치(1000)의 동작을 수행하는 애플리케이션을 실행할 수 있으며, 실행된 애플리케이션을 통하여 사용자 입력을 수신하도록 제어할 수 있다. 예를 들면, 프로세서(1300)는, 보이스 어시스턴트 애플리케이션 (Voice Assistant Application)을 실행하고, 실행된 애플리케이션을 제어함으로써 마이크로폰(1620)을 통하여 사용자의 음성 입력을 수신하도록 제어할 수 있다.
프로세서(1300)는 제1 이미지 및 제2 이미지가 디스플레이 되도록 전자 장치(1000)의 출력부(1200) 및 메모리(1700)를 제어할 수 있다. 프로세서(1300)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 후보 이미지 필터를 디스플레이에 제공하고, 디스플레이상에 후보 이미지 필터가 적용되기 전 제1 이미지 및 후보 이미지 필터가 적용된 제2 이미지가 같이 디스플레이 되도록 출력부(1200) 및 메모리(1700)를 제어할 수 있다.
프로세서(1300)는 제1 이미지에서 적어도 하나의 객체 및 배경을 검출하고, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터를 결정하며, 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터를 적용함으로써 제2 이미지를 생성하기 위한 인공지능 모델을 학습시킬 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 이미지 필터가 적용되기 전 이미지 데이터 또는 이미지 필터가 적용된 이미지 데이터를 포함하는 학습 데이터를 이용하여, 인공지능 모델을 학습 시킬 수 있다. 또한, 프로세서(1300)는 메모리 또는 데이터 베이스에 미리 저장된 객체 및 배경 모델, 촬영 모델 또는 구도 광원 모델에 기초하여 인공 지능 모델을 학습시킬 수 있다.
프로세서(1300)는 인공지능 모델을 학습하기 위한 학습 데이터들을 전자 장치 내의 입력 기기 또는 전자 장치와 통신 가능한 외부의 장치로부터 획득할 수도 있다. 예를 들어, 프로세서(1300)는 인공 지능 모델을 학습하기 위한 원본 이미지 데이터 또는 이미지 필터가 적용된 이미지 데이터를 전자 장치와 연결된 다른 전자 장치 또는 서버로부터 획득할 수도 있다. 또한, 프로세서(1300)는 인공 지능 모델을 학습하기 위한 객체 및 배경 모델, 촬영 모델 또는 구도 광원 모델을 전자 장치와 연결된 다른 전자 장치 또는 서버로부터 수신할 수도 있다.
일 실시 예에 의하면, 프로세서는 인공지능 모델 학습을 위해 획득된 데이터들을 전처리할 수 있다. 예를 들어, 프로세서는 획득된 데이터들을 미리 설정된 포맷으로 가공할 수 있다. 일 실시 예에 의하면, 프로세서는 인공지능 모델 학습을 위한 학습 데이터들을 기 설정된 기준(예컨대, 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등)에 따라 선택할 수 있고, 인공지능 모델 학습을 위한 학습 데이터들을 선택하기 위한 기준을 선택하는 방법 역시 학습할 수도 있다.
예를 들어, 전자 장치 내의 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또한, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수도 있다.
일 실시 예에 의하면, 프로세서(1300)가 복수의 프로세서 또는 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서로 구현될 때, 복수의 프로세서 또는 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서 중 적어도 일부는 전자 장치(1000) 및 전자 장치(1000)와 연결된 다른 전자 장치 또는 서버(2000)에 탑재될 수도 있다.
일 실시 예에 의하면, 전자 장치(1000)가 동작하기 위한 기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
본 개시에 따른 프로세서(1300)가 제2 이미지를 생성하기 위해 이용하는 신경망 모델은 메모리에 저장된 기 정의된 동작 규칙에 따라 입력 데이터를 처리하도록 동작하는 인공 지능 모델로써 레이어들 간의 연결 강도에 관한 가중치들이 학습되는 복수의 신경망 레이어들로 구성될 수 있다.
프로세서(1300)가 제2 이미지를 생성하기 위해 이용하는 신경망(Neural Network) 모델들은 메모리(1700) 또는 서버(2000)에 저장된 복수의 학습 모델(객체 및 배경 모델(1822), 촬영 모델(1832), 구도 및 광원 모델(1842))에 기초하여 학습될 수 있다. 즉, 프로세서(1300)는 객체 및 배경 모델에 저장된 이미지내 객체 및 배경에 대한 정보에 기초하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 출력하는 제1 신경망을 학습시킬 수 있고, 촬영 모델에 저장된 촬영 모드에 대한 정보 및 구도 및 광원 모델에 저장된 구도 및 광원에 대한 정보에 기초하여 특징 정보가 입력되면 제1 이미지에 적용될 후보 이미지 필터들을 출력하는 제2 신경망을 미리 학습시킬 수 있다. 프로세서(1300)는 제1 이미지를 획득하고, 메모리에 미리 저장된 제1 신경망을 이용하여, 획득된 제1 이미지에 포함된 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하고, 특징 정보가 입력되면, 제1 이미지에 적용할 적어도 하나의 이미지 필터들을 출력하는 제2 신경망을 이용하여 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 이미지 필터를 적용함으로써 제2 이미지를 생성할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1400)는 전자 장치(1000)의 사양 정보, 전자 장치(1000)의 상태 정보, 전자 장치(1000)의 주변 환경 정보, 사용자의 상태 정보 및 사용자의 디바이스 사용 이력 정보 중 일부를 생성하는데 이용될 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 전자 장치(1000)가 다른 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다. 또한, 통신부(1500)는, 제1 이미지 또는 제1 이미지에서 검출된 배경 및 객체 에 대한 정보를 서버(2000)에 전송할 수 있다.
일 실시예에 따르면, 통신부(1500)는 전자 장치(1000)가 획득한 제1 이미지 또는 전자 장치(1000)가 획득하여 메모리(1700)에 저장한 제1 이미지의 적어도 일부를 서버(2000)로 전송할 수 있다. 또 다른 실시 예에 의하면, 통신부(1500)는 제1 이미지로부터 검출된 적어도 하나의 객체 및 배경에 대한 정보(예컨대 적어도 하나의 객체 및 배경의 종류에 대한 정보와 객체 영역 및 배경의 위치 정보를 포함하는 특징 정보)를 서버(2000)로 전송할 수 있다.
일 실시예에 따르면, 통신부(1500)는 전자 장치(1000)와 연결된 다른 전자 장치(1000)에 저장된 이미지, 이미지 내 적어도 하나의 객체 및 배경에 대한 정보를 서버(2000)로 전송할 수 있다. 예를 들면, 통신부(1500)는 제1 이미지의 식별자(예를 들면, URL, 메타데이터)를 서버(2000)로 전송할 수 있다.
일 실시예에 따르면, 통신부(1500)는 서버로부터 제1 이미지에 적용할 이미지 필터에 대한 정보를 수신할 수 있다. 일 실시예에 따르면, 통신부(1500)는 서버로부터 제1 이미지에 이미지 필터가 적용되어 이미지 효과가 나타난 제2 이미지를 수신할 수도 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라(1610)에 의해 촬영된 이미지는 사용자의 컨텍스트 정보로 활용될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1700)는 이미지 및 메모리(1700)에 저장된 이미지를 탐색한 결과를 저장할 수 있다. 메모리(1700)는 전자 장치(1000)에 저장된 이미지들에 관련된 정보를 전자 장치(1000)에 저장할 수 있다. 예를 들면, 메모리(1700)는 이미지가 저장된 경로, 이미지의 촬영 시간을 포함하는 이미지와 관련된 부가 정보, 객체 및 배경 모델(1822), 촬영 모델(1832), 구도 및 광원 모델(1842) 등을 저장할 수 있다.
또한, 메모리(1700)는 객체 및 배경 모델(1822), 촬영 모델(1832), 구도 및 광원 모델(1842)등을 기초로 학습되는 신경망, 신경망의 구조를 특정하기 위한 레이어들 및 레이어들 간의 가중치에 관한 정보를 더 저장할 수 있다. 예를 들면, 메모리(1700)는 학습된 신경망뿐만 아니라, 획득된 원본 이미지, 원본 이미지에 필터가 적용된 이미지, 필터가 적용된 이미지를 대상으로 사용자가 이미 적용된 이미지 필터를 수정하는 경우, 적용된 이미지 필터가 수정된 이미지 등을 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 22는 일 실시 예에 따른 서버의 블록도이다.
본 개시에 따른 서버(2000)는 프로세서(2300), 통신부(2500) 및 데이터베이스(Data Base, 2700)을 포함할 수 있다.
통신부(2500)는 전자 장치(1000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(2500)는 전자 장치(1000)로부터 제1 이미지를 수신하거나, 제1 이미지로부터 전자 장치(1000)가 검출한 적어도 하나의 객체 및 배경에 대한 정보(예컨대 객체 및 배경 각각에 대한 특징 정보)를 수신할 수 있다. 또한 통신부(2500)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터들에 대한 정보를 전자 장치(1000)로 전송할 수 있다.
DB(2700)는 객체 및 배경 모델(1822), 촬영 모델(1832), 구도 및 광원 모델(1842), 복수의 학습 모델(1822, 1832 및 1842)를 기초로 학습되는 신경망 및 신경망에 입력되는 학습 데이터를 저장할 수 있다. 예를 들면, DB(2700)는 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 출력하는 제1 신경망, 특징 정보가 입력되는 경우 제1 이미지 내 적어도 하나의 객체 및 배경 각각에 적용할 이미지 필터를 출력하는 제2 신경망을 저장할 수 있다. 또한, DB(2700)는 전자 장치(1000)에 저장된 이미지들에 관련된 정보를 더 저장할 수 있다. (예컨대, 이미지가 저장된 경로, 이미지의 촬영 시간을 포함하는 이미지와 관련된 부가 정보 등) 또 다른 실시 예에 의하면, DB(2700)는 이미지 필터가 적용되지 않은 원본 이미지, 적어도 하나의 이미지 필터가 적용된 이미지, 필터가 적용된 이미지를 대상으로, 사용자가 이미지 필터를 수정하는 경우, 적용된 이미지 필터가 수정된 이미지 등을 저장할 수 있다.
프로세서(2300)는 통상적으로 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 서버(2000)의 DB(2700)에 저장된 프로그램들을 실행함으로써, DB(2700) 및 통신부(2500) 등을 전반적으로 제어할 수 있다. 프로세서(2300)는 DB(2700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도20에서의 전자 장치(1000)의 동작의 일부를 수행할 수 있다.
프로세서(2300)는 제1 이미지로부터 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하는 기능, 획득된 객체 및 배경 각각에 대한 특징 정보를 기초로 제1 이미지의 구도를 분석하는 기능, 제1 이미지를 촬영하는 전자 장치(1000)의 촬영 모드를 결정하는 기능, 제1 이미지에 포함된 광원에 대한 정보를 결정하는 기능, 제1 이미지와 관련된 부가 정보들을 획득하는 기능 중 적어도 하나를 수행할 수 있다.
프로세서(2300)는 제1 이미지로부터 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 획득하는데 필요한 데이터, 획득된 특징 정보를 기초로, 제1 이미지의 구도를 분석하는데 필요한 데이터, 제1 이미지 내 광원에 대한 정보를 결정하는데 필요한 데이터, 제1 이미지를 촬영하기 위한 전자 장치의 촬영 모드를 결정하기 위한 데이터 중 적어도 하나를 관리할 수 잇다.
일 실시 예에 따른 전자 장치가 이미지를 획득하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다.
컴퓨터 저장 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 일 실시 예에 따른 전자 장치가 이미지를 획득하는 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 장치 또는 컴퓨터 프로그램 제품(product)이 제공될 수 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치의 이미지 획득 방법에 있어서,
    적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하는 단계;
    상기 획득된 제1 이미지 내 상기 적어도 하나의 객체 및 배경 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하는 단계;
    상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하는 단계; 및
    상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는 단계를 포함하는 이미지 획득 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 객체 및 배경을 검출하는 단계는
    상기 획득된 제1 이미지가 입력되는 경우, 상기 적어도 하나의 객체에 해당하는 부분의 이미지를 포함하는 객체 영역 및 상기 배경에 해당하는 부분의 이미지를 포함하는 배경 영역을 식별하기 위한 특징 정보를 출력 하는 제1 신경망(Neural Network)을 이용하여 상기 적어도 하나의 객체 및 배경 각각에 대한 상기 특징 정보를 획득하는 단계를 포함하는, 이미지 획득 방법.
  3. 제1항에 있어서, 상기 이미지 필터를 결정하는 단계는
    상기 특징 정보가 입력되는 경우, 상기 제1 이미지에 적용할 상기 이미지 필터를 출력하는 제2 신경망(Neural Network) 이용하여 상기 이미지 필터를 결정하는 단계를 포함하는, 이미지 획득 방법.
  4. 제2항에 있어서, 상기 특징 정보는
    상기 적어도 하나의 객체 또는 배경의 종류에 관한 정보 및
    상기 제1 이미지 내에서 상기 객체 영역 및 상기 배경 영역의 위치를 결정하기 위한 위치 정보를 포함하는, 이미지 획득 방법.
  5. 제2항에 있어서, 상기 적어도 하나의 객체 및 배경을 검출하는 단계는
    상기 획득된 제1 이미지 내 상기 객체 영역 및 상기 배경 영역을 결정하기 위한 위치 정보를 결정하는 단계; 및
    상기 결정된 위치 정보를 기초로 상기 제1 이미지에서 상기 객체 영역 및 상기 배경 영역을 검출하는 단계를 포함하는, 이미지 획득 방법.
  6. 제5항에 있어서, 상기 특징 정보를 획득하는 단계는
    상기 객체 영역 및 상기 배경 영역에 각각 포함된 상기 적어도 하나의 객체 및 상기 배경의 종류에 관한 정보를 결정하는 단계; 및
    상기 결정된 상기 적어도 하나의 객체 및 배경의 종류에 관한 정보 및 상기 결정된 위치 정보를 기초로 상기 특징 정보를 획득하는 단계를 포함하는, 이미지 획득 방법.
  7. 제1항에 있어서, 상기 이미지 필터를 결정하는 단계는
    상기 특징 정보를 이용하여 상기 제1 이미지를 촬영하는 상기 전자 장치에 대한 촬영 모드를 결정하는 단계; 및
    상기 결정된 촬영 모드에서 결정되는 촬영 파라미터에 기초하여 상기 이미지 필터를 결정하는 단계를 포함하는, 이미지 획득 방법.
  8. 제2항에 있어서, 상기 이미지 필터를 결정하는 단계는
    상기 검출된 배경 영역 및 상기 객체 영역의 상대적인 위치 관계를 기초로 상기 제1 이미지의 구도를 분석하는 단계; 및
    상기 분석된 제1 이미지의 구도를 기초로 상기 이미지 필터를 결정하는 단계를 포함하는, 이미지 획득 방법.
  9. 제8항에 있어서, 상기 이미지 필터를 결정하는 단계는
    상기 획득된 제1 이미지에서 상기 배경 영역이 차지하는 비율이 기 설정된 임계값 이상인 경우, 상기 제1 이미지 내 픽셀들의 화소값에 기초하여 상기 제1 이미지 내 광원에 대한 정보를 결정하는 단계; 및
    상기 결정된 광원에 대한 정보 및 상기 구도 중 적어도 하나에 기초하여 상기 이미지 필터를 결정하는 단계를 더 포함하는, 이미지 획득 방법.
  10. 제2항에 있어서, 상기 제2 이미지를 생성하는 단계는
    상기 결정된 상기 이미지 필터의 크기 및 적용 범위를 조절하는 단계; 및
    상기 크기 및 적용범위가 조절된 이미지 필터를 상기 객체 영역 및 상기 배경 영역 별로 적용하는 단계를 포함하는, 이미지 획득 방법.
  11. 적어도 하나의 이미지를 디스플레이 하는 디스플레이;
    하나 이상의 인스트럭션을 저장하는 저장부; 및
    상기 하나 이상이 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써
    적어도 하나의 객체 및 배경을 포함하는 제1 이미지를 획득하고,
    상기 획득된 제1 이미지 내 적어도 하나의 객체 및 배경에 각각에 대한 특징 정보를 기초로, 상기 적어도 하나의 객체 및 배경을 검출하고,
    상기 검출된 적어도 하나의 객체 및 배경 각각에 적용할 서로 다른 이미지 효과를 나타내는 이미지 필터들을 결정하고,
    상기 결정된 이미지 필터들을 상기 적어도 하나의 객체 및 배경 각각에 적용하여 제2 이미지를 생성하는, 전자 장치.
  12. 제11항에 있어서, 상기 프로세서는,
    상기 획득된 제1 이미지가 입력되는 경우, 상기 적어도 하나의 객체에 해당하는 부분의 이미지를 포함하는 객체 영역 및 상기 배경에 해당하는 부분의 이미지를 포함하는 배경 영역을 식별하기 위한 특징 정보를 출력 하는 제1 신경망(Neural Network) 이용하여 상기 특징 정보를 획득하는, 전자 장치.
  13. 제11항에 있어서, 상기 프로세서는,
    상기 특징 정보가 입력되는 경우, 상기 제1 이미지에 적용할 상기 이미지 필터를 출력하는 제2 신경망(Neural Network) 이용하여 상기 이미지 필터를 결정하는, 전자 장치.
  14. 제12항에 있어서, 상기 프로세서는,
    상기 획득된 제1 이미지 내 상기 객체 영역 및 상기 배경 영역을 결정하기 위한 위치 정보를 결정하고, 상기 결정된 위치 정보를 기초로 상기 제1 이미지에서 상기 객체 영역 및 상기 배경 영역을 검출하는, 전자 장치.
  15. 제1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020217005416A 2018-10-23 2019-10-11 이미지 획득 장치 및 그의 제어 방법 KR102500760B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180126860 2018-10-23
KR1020180126860 2018-10-23
PCT/KR2019/013346 WO2020085694A1 (ko) 2018-10-23 2019-10-11 이미지 획득 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20210030466A true KR20210030466A (ko) 2021-03-17
KR102500760B1 KR102500760B1 (ko) 2023-02-16

Family

ID=70331578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217005416A KR102500760B1 (ko) 2018-10-23 2019-10-11 이미지 획득 장치 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US11699213B2 (ko)
KR (1) KR102500760B1 (ko)
WO (1) WO2020085694A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128469A1 (ko) * 2022-01-03 2023-07-06 삼성전자주식회사 이미지 기반의 이미지 효과를 제공하는 전자 장치 및 그 제어 방법
US11948308B2 (en) 2021-07-09 2024-04-02 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180027887A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
JP6841345B2 (ja) * 2017-12-06 2021-03-10 日本電気株式会社 画像認識モデル生成装置、画像認識モデル生成方法および画像認識モデル生成プログラム
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
JP7096361B2 (ja) * 2018-12-14 2022-07-05 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
KR20200084395A (ko) * 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
US11748870B2 (en) * 2019-09-27 2023-09-05 Intel Corporation Video quality measurement for virtual cameras in volumetric immersive media
US11656353B2 (en) * 2019-10-10 2023-05-23 Orbital Insight, Inc. Object measurement using deep learning analysis of synthetic aperture radar backscatter signatures
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
JP2021149446A (ja) * 2020-03-18 2021-09-27 株式会社日立製作所 注視物体認識システム及び方法
KR20210126934A (ko) * 2020-04-13 2021-10-21 삼성전자주식회사 광원 정보를 출력하는 방법 및 장치
KR102251076B1 (ko) * 2020-08-26 2021-05-13 아주대학교산학협력단 실내 이미지를 사용하여 설계도면을 추정하는 방법
US11727678B2 (en) * 2020-10-30 2023-08-15 Tiliter Pty Ltd. Method and apparatus for image recognition in mobile communication device to identify and weigh items
EP4181067A4 (en) * 2020-11-30 2023-12-27 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR ENCODING AND DECODING IMAGES BY AI
US20230059007A1 (en) * 2021-08-20 2023-02-23 Adobe Inc. Generating object-based layers for digital image editing using object classification machine learning models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2018088794A2 (ko) * 2016-11-08 2018-05-17 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858681B1 (ko) 2007-02-15 2008-09-17 연세대학교 산학협력단 지문 영상 생성을 위한 영상 필터 조합 생성 방법
JP2014068227A (ja) 2012-09-26 2014-04-17 Nikon Corp 撮像システム
US20140354768A1 (en) * 2013-05-30 2014-12-04 Microsoft Corporation Socialized Mobile Photography
US20150370907A1 (en) 2014-06-19 2015-12-24 BrightSky Labs, Inc. Systems and methods for intelligent filter application
US9412046B2 (en) 2014-10-10 2016-08-09 Facebook, Inc. Training image adjustment preferences
KR20160051390A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
US9569697B1 (en) * 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
CN106851063A (zh) * 2017-02-27 2017-06-13 努比亚技术有限公司 一种基于双摄像头的曝光调节终端及方法
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
US10497105B2 (en) * 2017-11-01 2019-12-03 Google Llc Digital image auto exposure adjustment
US10630903B2 (en) * 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure
US10614347B2 (en) * 2018-01-25 2020-04-07 Adobe Inc. Identifying parameter image adjustments using image variation and sequential processing
KR102661983B1 (ko) * 2018-08-08 2024-05-02 삼성전자주식회사 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
WO2020077494A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 智能拍照方法、系统及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2018088794A2 (ko) * 2016-11-08 2018-05-17 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948308B2 (en) 2021-07-09 2024-04-02 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
WO2023128469A1 (ko) * 2022-01-03 2023-07-06 삼성전자주식회사 이미지 기반의 이미지 효과를 제공하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102500760B1 (ko) 2023-02-16
US11699213B2 (en) 2023-07-11
WO2020085694A1 (ko) 2020-04-30
US20210390673A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
KR102500760B1 (ko) 이미지 획득 장치 및 그의 제어 방법
KR102453169B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR102631309B1 (ko) 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
US10631045B2 (en) Method and apparatus for filtering video
KR102359391B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11810279B2 (en) Image acquisition device and method of controlling the same
KR102443214B1 (ko) 영상처리장치 및 그 제어방법
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
KR102384878B1 (ko) 동영상을 필터링하는 방법 및 장치
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
EP3879449A1 (en) Electronic device for recognizing object in image, and operation method thereof
KR20200084428A (ko) 동영상을 제작하는 방법 및 그에 따른 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant