KR102627658B1 - 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. - Google Patents

레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. Download PDF

Info

Publication number
KR102627658B1
KR102627658B1 KR1020180121158A KR20180121158A KR102627658B1 KR 102627658 B1 KR102627658 B1 KR 102627658B1 KR 1020180121158 A KR1020180121158 A KR 1020180121158A KR 20180121158 A KR20180121158 A KR 20180121158A KR 102627658 B1 KR102627658 B1 KR 102627658B1
Authority
KR
South Korea
Prior art keywords
images
image
arrangement
object area
areas
Prior art date
Application number
KR1020180121158A
Other languages
English (en)
Other versions
KR20200041114A (ko
Inventor
김동현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180121158A priority Critical patent/KR102627658B1/ko
Priority to CN201910905239.6A priority patent/CN111047670A/zh
Priority to US16/583,470 priority patent/US11049305B2/en
Priority to EP19202305.9A priority patent/EP3637315A1/en
Publication of KR20200041114A publication Critical patent/KR20200041114A/ko
Application granted granted Critical
Publication of KR102627658B1 publication Critical patent/KR102627658B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

전자 장치를 개시한다. 본 전자 장치는, 메모리, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하고, 판단된 배치에 대한 정보를 메모리에 저장하며, 저장된 판단된 배치에 대한 정보에 기초하여 복수의 영역에 복수의 이미지가 표시되도록 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는, 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초하여 오브젝트 영역의 중요도를 판단하고, 복수의 영역에 복수의 이미지를 배치함에 있어, 중요도에 따른 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 복수의 영역에 대한 복수의 이미지의 배치를 판단한다.

Description

레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. { ELECTRONIC APPARATUS IDENTIFYING IMAGE ARRANGEMENT ON LAYOUT, CONTROLLING METHOD OF ELECTRONIC APPARATUS AND COMPUTER READABLE MEDIUM }
본 개시는 복수의 이미지를 자동으로 편집하고 배치하기 위한 전자 장치 및 그 제어 방법에 관련된 것으로, 보다 상세하게는 복수의 이미지를 기설정된 레이아웃(layout)에 기초하여 배치함에 있어 복수의 이미지에 포함된 오브젝트 영역의 손실 정도를 최소화하기 위한 전자 장치 및 그 제어 방법에 관련된 것이다.
이미지 처리 기술의 발전과 상용화로 인해 전문가가 아닌 일반인들도 이미지를 편집하기가 쉬워졌으며, 그로 인해 개인이 직접 촬영한 일상적인 이미지를 간편하게 편집하여 SNS(Social Network Services/Sites) 등을 통해 공개하는 것은 보편적인 일이 되었다.
특히, 사용자가 하나 이상의 이미지를 간단하게 편집 및 배열할 수 있도록 이미지가 배열될 레이아웃(layout)을 제공하는 한편, 해당 레이아웃에 이미지를 배치할 수 있게 하는 다양한 애플리케이션이 제공되고 있었다.
다만, 종래의 애플리케이션은 복수의 이미지를 레이아웃 내 복수의 영역에 배치함에 있어 사용자가 이미지를 선택한 순서대로 이미지들이 복수의 영역 각각에 순서대로 맞춰 편집되거나, 또는 이미지들 간의 연관관계에만 기초하여 이미지의 배치를 판단하였다. 그 결과 각 이미지에 있어 비교적 중요한 부분인 오브젝트 영역이 잘리는 경우가 빈번했다.
본 개시의 목적은 복수의 이미지에 포함된 오브젝트 영역을 식별하는 한편, 복수의 이미지가 기설정된 레이아웃에 따라 배치됨에 있어 오브젝트 영역의 손실이 최소가 되도록 하는 배치를 판단하는 전자 장치 및 그 제어 방법을 제공함에 있다.
아울러, 사용자의 선택 및/또는 카테고리에 기반하여 오브젝트 영역 각각의 중요도를 판단하고, 이에 기초하여 복수의 이미지를 레이아웃에 따라 배치하는 전자 장치 및 그 제어 방법을 제공함에도 본 개시의 목적이 있다.
본 개시의 일 실시 에에 따른 전자 장치는, 메모리, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하고, 상기 판단된 배치에 대한 정보를 상기 메모리에 저장하고, 상기 저장된 상기 판단된 배치에 대한 정보에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단한다.
이때, 상기 프로세서는, 상기 오브젝트 영역의 단위 면적마다 상기 중요도를 반영한 관심 값을 획득하고, 상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 획득된 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단할 수 있다.
이 경우, 상기 프로세서는, 상기 복수의 이미지 중 제1 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치 및 상기 제1 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고, 상기 식별된 제1 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 중 제2 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제2 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제2 이미지의 배치 및 상기 제2 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고, 상기 식별된 제2 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단할 수도 있다.
한편, 상기 프로세서는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 상기 오브젝트 영역 각각의 중요도를 판단할 수 있다.
이때, 상기 프로세서는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단할 수 있다.
그리고, 상기 프로세서는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 상기 오브젝트 영역의 중요도를 판단할 수 있다.
이 경우, 본 전자 장치는 상기 프로세서는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 상기 사용자 입력에 대한 정보를 상기 메모리에 저장하고, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 상기 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 상기 저장된 사용자 입력에 대한 정보에 기초하여 상기 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단할 수 있다.
한편, 상기 프로세서는, 상기 복수의 영역 각각의 사이즈에 기초하여 상기 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대하고, 상기 복수의 영역 각각의 종횡비가 상기 제1 이미지의 종횡비와 다르다면, 상기 축소 또는 확대된 제1 이미지에서 상기 복수의 영역 각각의 사이즈에 대응되는 부분만 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치를 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하는 단계, 상기 판단된 배치에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 단계를 포함하고, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단한다.
이 경우, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 오브젝트 영역의 단위 면적마다 상기 중요도를 반영한 관심 값을 획득하고, 상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 획득된 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단할 수 있다.
이때, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지 중 제1 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 상기 제1 이미지를 배치하는 경우 상기 관심 값의 손실 정도를 식별하고, 상기 식별된 손실 정도에 기초하여, 상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 복수의 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단할 수 있다.
아울러, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지 중 제2 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제2 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 상기 제2 이미지를 배치하는 경우 상기 관심 값의 손실 정도를 식별하고, 상기 식별된 손실 정도 모두에 기초하여, 상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 복수의 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단할 수 있다.
한편, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 상기 오브젝트 영역 각각의 중요도를 판단할 수 도 있다.
이 경우, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고, 상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단할 수 있다.
그리고, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 상기 오브젝트 영역의 중요도를 판단할 수 있다.
이때, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 상기 사용자 입력에 대한 정보를 저장하고, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 상기 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 상기 저장된 사용자 입력에 대한 정보에 기초하여 상기 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단할 수도 있다.
한편, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 영역 각각의 사이즈에 기초하여 상기 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대하고, 상기 복수의 영역 각각의 종횡비가 상기 제1 이미지의 종횡비와 다르다면, 상기 축소 또는 확대된 제1 이미지에서 상기 복수의 영역 각각의 사이즈에 대응되는 부분만 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치를 식별할 수도 있다.
본 개시의 일 실시 예에 따른 컴퓨터 판독 가능 매체에는, 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하는 단계, 상기 판단된 배치에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 단계를 포함하고, 상기 복수의 이미지의 배치를 판단하는 단계는, 상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는, 동작을 수행하도록 하는 컴퓨터 명령어가 저장되어 있다.
본 개시에 따른 전자 장치 및 그 제어 방법은, 복수의 이미지가 기설정된 레이아웃에 따라 배치됨에 있어 오브젝트 영역의 손실이 최소가 되도록 하는 배치를 자동으로 판단하여, 사용자에게 편의를 증대시킬 수 있다.
특히, 사용자의 선택 및/또는 카테고리에 기반하여 오브젝트 영역 각각의 중요도를 판단하고, 중요도가 반영된 오브젝트 영역의 손실 정도를 고려하므로, 복수의 이미지를 레이아웃에 따라 배치함에 있어 사용자가 원하는 요소들이 반영된 최적의 이미지 배치를 판단할 수 있다.
도 1은 본 개시의 다양한 실시 예에 따른 전자 장치를 설명하기 위한 복수의 이미지와 레이아웃을 소개하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3 내지 도 4는 복수의 이미지로부터 오브젝트 영역을 획득하는 한편, 오브젝트 영역 각각의 중요도를 식별하는 예를 설명하기 위한 도면,
도 5 내지 도 7은 각각의 이미지를 복수의 영역 각각에 배치함에 있어 관심 값의 최소 손실 값을 획득하는 예를 설명하기 위한 도면,
도 8은 각각의 이미지가 복수의 영역 각각에 배치됨에 있어 관심 값의 최소 손실 값을 정리한 것으로서, 복수의 이미지를 복수의 영역에 배치함에 있어 관심 값의 손실이 최소가 되는 경우를 설명하기 위한 표,
도 9는 복수의 이미지를 복수의 영역에 배치함에 있어 관심 값의 손실이 최소가 되도록 배치한 결과를 나타내는 도면,
도 10 내지 도 11은 은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도 및 도면,
도 12는 본 개시의 일 실시 예에 다른 전자 장치의 제어 방법의 순서도,
도 13은 도 12에 있어 복수의 이미지의 배치를 판단하는 예를 설명하기 위한 순서도,
도 14는 오브젝트 영역의 중요도를 식별하는 일 예를 설명하기 위한 순서도, 그리고
도 15는 오브젝트 영역에 중요도가 반영된 관심 값을 획득하고, 복수의 이미지를 복수의 영역에 배치함에 있어 관심 값의 손실이 최소가 되는 배치를 판단하는 일 예를 설명하기 위한 알고리즘이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 다양한 실시 예에 따른 전자 장치 및 전자 장치의 제어 방법을 설명하기 위한 복수의 이미지와 레이아웃을 소개하기 위한 도면이다.
도 1을 참조하면, 7개의 이미지(10-1, 10-2, ... , 10-7) 및 7개의 영역으로 구분된 레이아웃(20)을 확인할 수 있다. 레이아웃(20) 내 7개의 영역은 각각 순서(1 내지 7)가 정해져있고 각각의 종횡비(ex. 1.17:1)가 기재되어 있다.
본 개시는, 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하는 전자 장치 및 그 제어 방법에 대한 기술을 설명하기 위한 것이므로, 이하에서는 본 개시에 따른 기술의 설명과 함께 그 예로서 도 1에 도시된 7개의 이미지(10-1, 10-2, ... , 10-7)를 레이아웃(20)에 따라 구분된 7개의 영역에 배치하는 구체적인 과정을 함께 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 휴대폰, 스마트폰 등의 단말 장치로 구현되거나 또는 TV, 스마트 TV, 노트북 PC, 데스크탑 PC, 태블릿 PC, 키오스크, 모니터 등 하나 이상의 이미지를 디스플레이할 수 있는 디스플레이 장치일 수 있다. 또한, 전자 장치(100)는 셋탑박스, OTT(On The Top) 또는 서버 등으로 구현되는 한편 디스플레이를 포함하는 외부 장치가 하나 이상의 이미지를 디스플레이할 수 있도록 이미지에 대한 데이터를 유/무선으로 외부 장치에 전송할 수도 있다.
도 2를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장하기 위한 구성이다.
이를 위해, 메모리(110)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
메모리(110)에는 기설정된 하나 이상의 레이아웃(layout)에 대한 정보, 하나 이상의 이미지에 대한 정보가 저장될 수 있다.
레이아웃은 하나 이상의 이미지를 편집 및 배치하는 방법을 의미할 수 있다. 하나 이상의 이미지를 특정 화면에 배치함에 있어, 해당 화면은 레이아웃에 따라 하나 이상의 영역으로 구분될 수 있다. 구분된 각 영역에는 이미지가 각각 배치될 수 있으며 그 결과, 레이아웃에 따라 구분된 영역의 수와 동일한 수의 이미지가 레이아웃 내 영역에 배치될 수 있다. 그리고, 이렇게 배치된 이미지는 전자 장치(100) 또는 외부 장치(도시되지 않음)를 통해 디스플레이될 수 있다.
레이아웃에 대한 정보는 레이아웃에 따라 구분된 영역의 수, 각 영역의 가로/세로 사이즈 또는 비율, 각 영역의 위치, 각 영역의 번호 또는 순서 등을 포함할 수 있다.
메모리(110)에 저장된 이미지는 전자 장치(100)의 통신부(도시되지 않음), 입출력 포트(도시되지 않음), 방송 수신부(도시되지 않음) 등을 통해 외부로부터 수신된 이미지 데이터에 기초하여 획득된 것일 수 있다. 또는, 전자 장치(100)의 사용자 입력부(도시되지 않음)에 포함되는 적어도 하나의 버튼, 키보드, 마우스 등에 대한 사용자 조작 및/또는 사용자 입력부(도시되지 않음)에 포함되는 터치 패드/패널에 대한 사용자 입력에 기초하여 그려진 이미지일 수도 있다. 또는, 전자 장치(100)의 사용자 입력부(도시되지 않음)에 포함되는 적어도 하나의 카메라(도시되지 않음)를 통해 촬영되어 획득된 이미지일 수도 있다.
메모리(110)에는 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치에 대한 정보가 저장될 수 있다. 구체적으로, 복수의 이미지 중 구분된 복수의 영역 각각에 배치되는 이미지가 무엇인지, 각 이미지가 각 영역에 배치됨에 있어 이미지가 확대/축소되는 비율, 각 이미지가 각 영역에 배치됨에 있어 잘리게 되는 이미지 내 영역 등에 대한 정보가 저장될 수 있다. 이때, 복수의 이미지의 배치는 프로세서(120)에 의해 판단된 것일 수 있다.
그 밖에, 메모리(110)에는 각 이미지에 포함된 오브젝트 영역에 대한 정보, 각 오브젝트 영역의 카테고리에 대한 정보, 사용자가 선택한 카테고리에 대한 정보 등이 저장될 수 있는데, 관련된 내용은 도 3 내지 도 4를 통해 도시 및 설명되는 전자 장치(100)의 동작과 함께 설명한다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위해, 프로세서(120)는 RAM(Random Access Memory)(도시되지 않음), ROM(Read Only Memory)(도시되지 않음), CPU(central processing unit)(도시되지 않음), GPU(Graphic processing unit)(도시되지 않음) 및 시스템 버스(도시되지 않음) 등을 포함할 수 있으며, 전자 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
프로세서(120)는 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단할 수 있다. 이때, 프로세서(120)는 메모리(110)에 일시적 또는 비일시적으로 저장된 복수의 이미지에 대하여 그 배치를 판단할 수도 있고, 또는 외부 장치(도시되지 않음)에 저장된 복수의 이미지의 식별 번호, 크기, 오브젝트, 카테고리 중 적어도 하나에 대한 정보만을 이용하여 복수의 이미지의 배치를 판단할 수도 있다. 그리고, 프로세서(120)는 판단된 복수의 이미지의 배치에 대한 정보를 메모리(110)에 저장할 수 있다.
이때, 프로세서(120)는 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 오브젝트 영역의 중요도와, 중요도에 따른 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다.
이 경우, 프로세서(120)는 먼저 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초하여 오브젝트 영역의 중요도를 판단할 수 있다. 그리고, 복수의 영역에 복수의 이미지를 배치함에 있어, 중요도에 따른 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 복수의 영역에 대한 복수의 이미지의 배치를 판단할 수 있다.
오브젝트 영역은 이미지 내 비중이 높은 오브젝트가 포함된 영역 또는 기설정된 오브젝트가 포함된 영역일 수 있다. 오브젝트 영역은 각 이미지마다 반드시 하나일 필요는 없고, 특정 이미지에 대해서는 존재하지 않거나 또는 둘 이상일 수도 있다.
일반적으로, 오브젝트 영역은 이미지 내에서 비교적 중요한 영역에 해당하므로, 레이아웃에 따라 구분된 복수의 영역에 맞게 복수의 이미지를 편집 및 배치함에 있어 그 손실 정도를 줄일 필요가 있다.
프로세서(120)는 복수의 이미지 각각의 컬러 정보 및 edge 정보를 이용하여 오브젝트 영역을 추출할 수 있다.
예로, 프로세서(120)는 Canny, Sobel 알고리즘 등에 기초하여 이미지 내 edge를 검출할 수 있다. 검출된 edge는 인간 시각 지각 능력에 민감하게 반응하는 고주파 성분이므로 오브젝트 영역을 검출하기 위한 요소로 적합하다.
그리고, 프로세서(120)는 검출된 edge를 중심으로 근처 영역의 컬러 분포를 식별할 수 있다. 구체적으로, 프로세서(120)는 이미지 내에서 edge 영역을 중심으로 하는 특정한 크기의 블록에 포함되는 화소들의 컬러 값(Red, Green, Blue 중 적어도 하나)의 평균값을 획득한 뒤, 평균값보다 작은 구역의 컬러 분포와 평균값보다 큰 구역의 컬러 분포를 각각 구할 수 있다. 그 후, 프로세서(120)는 edge 영역 주변의 고주파 정도와 컬러 분포의 정도를 조합하여 각 화소에 대한 수치를 산출한 뒤, 해당 수치가 높은 화소를 포함하는 영역을 오브젝트 영역으로 식별할 수 있다.
프로세서(120)는 이미지를 분석하여 이미지 내 포함된 오브젝트를 식별하도록 학습된 인공지능 모델을 이용하여, 이미지 내 포함된 오브젝트를 식별하고, 해당 오브젝트가 포함된 영역을 오브젝트 영역으로 판단할 수도 있다.
이를 위해, 메모리(110)에는 이미지를 분석하여 이미지 내 포함된 하나 이상의 오브젝트를 식별하도록 학습된 인공지능 모델이 저장될 수 있다. 이때, 인공지능 모델은 이미 외부 장치(도시되지 않음) 등을 통해 학습된 이후 메모리(110)에 저장된 것일 수도 있지만, 기계 학습을 위한 DNN(Deep Neural Network) 가속기 등 인공지능 전용 칩을 포함하는 프로세서(120)에 의해 학습된 것일 수도 있다.
또는, 프로세서(120)가 외부 장치(도시되지 않음)와 통신을 수행함으로써, 외부 장치(도시되지 않음)에 저장된 인공지능 모델의 판단 결과를 데이터 형태로 수신하고, 이를 기초로 이미지 내 포함된 오브젝트를 식별할 수도 있다.
오브젝트는 동물, 하늘, 땅, 바다, 태양, 별, 달, 인간, 다양한 음식, 인간의 얼굴, 그 밖에 여러 가지 사물이거나 꽃, 풀, 나무 등 자연적 요소에 해당하는 대상일 수 있다. 다만, 프로세서(120)가 식별하는 오브젝트는 인공지능 모델의 학습에 이용된 데이터에 따라 달라지는 것이므로, 오브젝트가 상술한 예들에 한정되는 것은 아니다.
도 3은 프로세서(120)가 복수의 이미지로부터 오브젝트 영역을 식별한 예를 도시한다.
도 3을 참조하면, 프로세서(120)는 제1 이미지(30-1)로부터 자연 풍경 및 피자 각각에 해당하는 오브젝트 영역을 식별하였고, 제2 이미지(30-2)로부터는 얼굴 및 음식들에 해당하는 오브젝트 영역을 식별하였음을 알 수 있다. 이렇듯, 7개의 이미지에 걸쳐(30-1, 30-2, ... , 30-7) 다양한 오브젝트 영역이 총 14개 식별된 것을 확인할 수 있다.
프로세서(120)는 메모리(110)에 기저장된 카테고리에 대한 정보에 기초하여, 식별된 각 오브젝트 영역에 대응되는 카테고리를 식별할 수 있다. 이때, 기저장된 정보에 대응되는 카테고리는 얼굴, 음식, 자연, 동물, 식물 등 다양하게 기설정된 것일 수 있다.
프로세서(120)는 각 오브젝트 영역에 포함되는 오브젝트의 카테고리에 기초하여 각 오브젝트 영역의 중요도를 판단할 수 있다. 예로, 피자, 햄버거 등의 오브젝트를 포함하는 오브젝트 영역은 '음식' 카테고리에 해당하는 것으로 식별될 수 있다.
프로세서(120)는 기설정된 카테고리에 대해서는 다른 카테고리에 비해 중요도를 더 높게 식별할 수 있다. 구체적으로, 기설정된 카테고리에 대응되는 오브젝트 영역에 대해서는 다른 카테고리에 대응되는 오브젝트 영역보다 중요도를 더 높게 식별할 수 있다. 관련하여, 프로세서(120)는, 레이아웃에 따라 구분된 복수의 영역에 복수의 이미지를 삽입하기 위한 복수의 이미지의 편집 및 배치를 판단함에 있어, 복수의 이미지에 포함된 오브젝트 영역의 손실 정도가 최소가 되도록 하는 편집 및 배치를 판단하게 되는데, 이때, 각 오브젝트 영역별로 동일한 면적이 손실되더라도, 중요도가 더 큰 오브젝트 영역의 손실 정도가 더 큰 것으로 판단할 수도 있다.
프로세서(120)는 복수의 이미지에 포함된 오브젝트 영역 중, 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 오브젝트 영역 각각의 중요도를 판단할 수 있다.
구체적으로, 프로세서(120)는, 복수의 이미지에 포함된 오브젝트 영역 중, 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고, 복수의 이미지에 포함된 오브젝트 영역 중, 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단할 수 있다.
도 3에서 식별된 오브젝트 영역들은 각각 음식, 자연, 얼굴 중 하나의 카테고리에 해당한다. 이때, 프로세서(120)는 7개의 이미지(30-1, 30-2, ... , 30-7)에 포함된 14개의 오브젝트 영역 중 6개는 '음식', 5개는 '자연', 3개는 '얼굴' 카테고리에 해당한다는 점을 식별할 수 있다. 그리고, 프로세서(120)는 14개의 오브젝트 영역 중 그 비율이 가장 큰 '음식' 카테고리에 해당하는 오브젝트 영역에 대해서는 중요도를 가장 크게 식별하고, 두 번째로 비율이 큰 '자연' 카테고리에 해당하는 오브젝트 영역에 대해서는 중요도를 두 번째로 크게 식별할 수 있다.
프로세서(120)가 오브젝트 영역의 카테고리 비율에 기초하여 중요도를 식별하는 상술한 예는, 복수의 이미지에 포함된 오브젝트 영역 중 가장 많은 오브젝트 영역에 대응되는 카테고리가, 복수의 이미지를 촬영 또는 획득한 사용자의 취향 또는 의도에 가장 부합하는 카테고리일 가능성이 높다는 점을 고려한 것이다.
프로세서(120)는 직접적인 사용자 입력에 기초하여 카테고리 및 오브젝트 영역의 중요도를 식별할 수도 있다. 구체적으로, 사용자 입력에 기초하여 선택된 카테고리에 대해서는 다른 카테고리에 비해 중요도를 더 높게 식별할 수도 있다.
이때, 프로세서(120)는 메모리(110)에 저장된 복수의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 저장된 각 카테고리에 대한 중요도의 순위를 설정할 수도 있다. 그 결과, 프로세서(120)는, 사용자 입력에 기초하여 중요도가 높게 설정된 카테고리에 대응되는 오브젝트 영역의 중요도를, 중요도가 낮게 설정된 카테고리에 대응되는 오브젝트 영역의 중요도에 비해 더 크게 식별할 수 있다.
프로세서(120)는 복수의 이미지에 포함되는 오브젝트 영역을 획득한 뒤, 획득된 오브젝트 영역들의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여, 각 오브젝트 영역의 중요도를 판단할 수도 있다.
예로, 도 3과 같이 '음식', '자연', '얼굴' 카테고리에 대응되는 오브젝트 영역이 7개의 이미지(30-1, 30-2, ... , 30-7)로부터 획득된 경우, 만약 중요도의 순위를 '얼굴', '자연', '음식'의 순으로 설정하는 사용자 입력이 수신된다면, 프로세서(120)는 '음식' 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 식별하고, '자연' 카테고리에 대응되는 오브젝트 영역의 중요도를 두 번째로 높게 식별할 수도 있다.
프로세서(120)는 복수의 이미지에 포함되는 오브젝트 영역을 획득한 뒤, 획득된 오브젝트 영역 중 적어도 하나를 직접 선택하는 사용자 입력에 기초하여, 각 오브젝트 영역의 중요도를 판단할 수도 있다.
한편, 프로세서(120)는, 특정한 복수의 이미지에 포함된 오브젝트 영역 중 적어도 하나 또는 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력의 이력에 기초하여, 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단할 수도 있다.
구체적으로, 프로세서(120)는 복수의 이미지에 포함된 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 대한 정보를 메모리(110)에 저장하는 한편, 상술한 레이아웃 또는 기설정된 다른 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 저장된 사용자 입력에 대한 정보에 기초하여 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단할 수 있다.
예를 들어, 복수의 이미지에 포함된 오브젝트 영역의 카테고리 중 '얼굴' 카테고리를 선택한 사용자 입력이 수신된 이력이 있는 경우, 프로세서(120)는 이를 메모리(110)에 저장해두었다가, 이후에 별도의 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단하는 데에 반영하여, 상술한 별도의 복수의 이미지에 포함된 오브젝트 영역 중 '얼굴' 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단할 수 있다.
한편, 상술한 실시 예들을 통해 중요도가 식별되면, 프로세서(120)는 식별된 중요도를 각 오브젝트 영역에 반영하고, 중요도가 반영된 오브젝트 영역의 손실 정도가 최소가 되도록, 복수의 이미지를 레이아웃 내 복수의 영역에 배치할 수 있다.
구체적으로, 프로세서(120)는, 오브젝트 영역의 단위 면적마다, 각 오브젝트 영역에 대해 식별된 중요도를 반영한 관심 값을 획득하고, 복수의 영역에 복수의 이미지를 배치함에 있어, 획득된 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
도 4는, 프로세서(120)가 각 오브젝트 영역의 중요도를 식별한 결과에 기초하여 각 영역에 관심 값을 반영한 결과를 설명하기 위한 도면으로, 7개의 이미지(40-1, 40-2, ... , 40-7)에 있어 중요도(관심 값)에 따라 각 오브젝트 영역의 밝기를 다르게 표시한 것이다. 도 4에 있어, 관심 값이 큰 영역일수록 진하게(어둡게) 표시되었다.
도 4와 같이, '음식'에 대응되는 오브젝트 영역, '자연'에 대응되는 오브젝트 영역, '얼굴'에 대응되는 오브젝트 영역 순으로 카테고리의 중요도가 식별된 경우, 일 예로 프로세서(120)는, '음식'에 대응되는 오브젝트 영역의 각 단위 면적에 대해서는 관심 값 '3'을 부여하고, '자연'에 대응되는 오브젝트 영역의 각 단위 면적에 대해서는 관심 값 '2'를 부여하며, '얼굴'에 대응되는 오브젝트 영역의 각 단위 면적에 대해서는 관심 값 '1'을 부여할 수 있다. 다만, 이러한 수치는 일 예일 뿐 이에 한정되는 것이 아니다.
이때, 만약 복수의 이미지를 복수의 영역에 배치함에 있어 '음식'에 대응되는 오브젝트 영역과 '자연'에 대응되는 오브젝트 영역 중 어느 하나가 일정한 면적만큼 손실되어야 한다면, 프로세서(120)는 관심 값을 고려하여, '자연'에 대응되는 오브젝트 영역이 해당 면적만큼 손실 되도록 복수의 이미지의 배치를 판단할 수 있다.
한편, 상술한 실시 예들은 각 오브젝트 영역 내부에 대해서는 프로세서(120)가 각 단위 면적마다 관심 값을 모두 동일하게 획득하는 경우를 전제로 설명하였으나, 이와 달리 프로세서(120)는, 오브젝트 영역 중 식별된 오브젝트 자체에 해당되는 영역의 중요도를 그렇지 않은 영역보다 더 크게 식별할 수도 있다. 예로, 도 3의 제1 이미지(30-1)를 참조하면, 프로세서(120)는, 피자가 포함된 오브젝트 영역에 있어, 피자가 사각형의 오브젝트 영역을 가득 채운 것은 아니기 때문에, 해당 오브젝트 영역 중 피자 자체에 대응되는 영역의 관심 값을 나머지 영역의 관심 값보다 더 높게 식별할 수도 있다.
레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단함에 있어, 관심 값의 손실 정도가 최소가 되도록 하는 배치를 판단하기 위해, 프로세서(120)는 복수의 이미지 중 각각의 이미지를 복수의 영역 중 각각의 영역에 배치함에 있어, 각각의 이미지에 대응되는 관심 값의 손실 정도가 최소가 되는 최적의 배치를 판단하고, 이때의 관심 값 손실 정도를 식별할 수 있다. 그리고, 프로세서(120)는, 판단된 최적의 배치들 및 관심 값 손실 정도를 모두 고려하여, 복수의 영역 각각에 대한 복수의 이미지 각각의 최적의 배치, 즉 복수의 이미지에 포함된 오브젝트 영역들의 관심 값의 손실 정도가 최소가 되는 배치를 판단할 수 있다.
구체적으로, 프로세서(120)는, 복수의 이미지 중 제1 이미지를 복수의 영역 각각에 배치함에 있어, 제1 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 제1 이미지의 배치를 식별하고, 이 경우 관심 값의 손실 정도를 식별할 수 있다.
이때, 프로세서(120)는, 복수의 영역 각각의 사이즈에 기초하여 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대할 수 있다. 그리고, 복수의 영역 각각의 종횡비가 제1 이미지의 종횡비와 다르다면, 축소 또는 확대된 제1 이미지에서 복수의 영역 각각의 사이즈에 대응되는 부분만 복수의 영역 각각에 배치함에 있어, 제1 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 제1 이미지의 배치를 식별할 수 있다. 또한, 이 경우 관심 값의 손실 정도를 식별할 수 있다.
예를 들어, 제1 이미지의 종횡비가 2:1인 반면 제1 이미지가 배치될 특정 영역의 종횡비가 1:1인 경우, 해당 영역을 제1 이미지로 가득 채워야 하므로, 프로세서(120)는 제1 이미지의 세로 크기가 해당 영역의 세로 크기와 같거나 더 큰 값을 가지도록, 제1 이미지의 종횡비는 유지한 채로 제1 이미지를 확대 또는 축소할 수 있다. 이때, 만약 프로세서(120)가 제1 이미지의 세로 크기가 해당 영역의 세로 크기와 같아지도록 제1 이미지를 확대 또는 축소하였다면, 확대 또는 축소된 제1 이미지의 가로 크기가 해당 영역의 가로 크기의 두 배가 되므로, 프로세서(120)는 관심 값의 손실 정도가 최소가 되도록, 확대 또는 축소된 제1 이미지의 가로 크기의 절반에 대응되는 영역을 제거하여, 제1 이미지를 해당 영역에 배치할 수 있다.
한편, 레이아웃의 크기에 대한 정보가 아직 정해지지 않은 경우, 즉 레이아웃에 따라 구분된 복수의 영역 각각의 종횡비만이 정해진 경우, 프로세서(120)는 복수의 영역 각각에 제1 이미지를 배치함에 있어, 제1 이미지 중 복수의 영역 각각의 종횡비에 대응되는 부분만 복수의 영역 각각에 배치할 수 있다. 그리고, 추후 레이아웃의 크기에 대한 정보가 정해지면, 프로세서(120)는 제1 이미지 중 복수의 영역 각각의 종횡비에 대응되는 부분을 복수의 영역 각각의 사이즈에 맞게 확대 또는 축소하여 복수의 영역 각각에 배치할 수 있다.
예를 들어, 제1 이미지의 종횡비가 2:1이고 제1 이미지가 배치될 특정 영역의 종횡비가 1:1인 상황에서 아직 해당 영역의 사이즈는 정해지지 않은 경우, 제1 이미지가 해당 영역에 배치됨에 있어 해당 영역을 가득 채워야 하기 때문에, 프로세서(120)는 제1 이미지 중 종횡비가 1:1에 해당하는 부분 이미지를 제1 이미지로부터 획득하여 해당 영역에 배치해야 한다. 이때, 프로세서(120)는 제1 이미지의 관심 값을 최대한 많이 포함하는 부분 이미지를 획득할 수 있다. 그리고, 레이아웃의 크기에 대한 정보가 정해져 해당 영역의 사이즈가 정해지면, 부분 이미지와 해당 영역의 종횡비는 이미 1:1로 같기 때문에, 프로세서(120)는 부분 이미지를 해당 영역의 사이즈에 맞게 확대 또는 축소하여 해당 영역에 배치할 수 있다.
도 5는, 7개의 이미지(10-1, 10-2, ... , 10-7) 중 특정 이미지(10-7)를 레이아웃(20)에 따라 구분된 복수의 영역 각각에 배치함에 있어, 이미지(10-7)에 포함되는 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되는 최적의 배치에 따라 이미지(10-7)가 복수의 영역 각각에 배치된 경우를 도시한다.
도 5에서, 레이아웃(20)에 따라 구분된 7개의 영역 중 좌측 상단의 영역(510)을 참조하면, 좌측 상단의 영역(510)과 이미지(10-7)의 가로 크기를 맞춘 결과, 좌측 상단의 영역(510)과 종횡비가 다른 이미지(10-7)의 세로 길이는 좌측 상단의 영역의 세로 길이보다 커지게 된다. 따라서, 이미지(10-7)에 포함된 두 개의 오브젝트 영역(520, 530) 중 적어도 하나의 일부가 잘려나갈 수밖에 없고, 결론적으로, 이미지(10-7)가 좌측 상단의 영역(510)에 배치됨에 있어, 비교적 중요도(단위 면적당 관심 값)가 더 큰 '음식' 카테고리에 대응되는 오브젝트 영역(520)의 손실 면적이, '자연' 카테고리에 대응되는 오브젝트 영역(530)의 손실 면적에 비해 더 작도록 배치되었다는 점을 확인할 수 있다.
한편, 프로세서(120)는 확대 또는 축소된 이미지를 특정 영역에 배치하는 경우 관심 값의 손실 정도를 최소화하는 배치를 판단함에 있어, 관심 값이 수치로 반영된 적분 이미지를 이용할 수도 있다.
도 6은, 프로세서(120)가 특정 영역에 대한 특정 이미지의 배치를 판단함에 있어 특정 이미지의 관심 값이 반영된 적분 이미지를 이용하는 일 예를 설명하기 위한 도면이다.
도 6의 (a)를 참조하면, 특정 이미지(610)를 특정 영역(650)에 삽입함에 있어, 이미지(610)의 가로 크기가 해당 영역(650)의 가로 크기보다 크므로, 해당 영역(650)에 이미지(610)를 배치하기 위해서는 이미지(610)의 일부를 제거해야 하는 상황이다.
또한, 도 6의 (a)는 프로세서(120)가 이미지(610)를 해당 영역(650)에 배치함에 있어, 이미지(610)에 포함된 오브젝트 영역의 관심 값의 손실 정도가 최소가 되도록 하는 배치를 판단해야 하는 상황을 가정한다.
도 6의 (b)를 참조하면, 프로세서(120)는 이미지(612)의 각 단위 면적마다 관심 값이 반영되어 수치화된 이미지(612)를 획득할 수 있다. 예로, 수치화된 이미지(612)의 좌측 상단 영역(612-1)은 아무런 오브젝트 영역이 포함되지 않아 관심 값이 '7'로 비교적 작은 반면, 좌측 하단의 비교적 넓은 영역(612-2)에는 중요도가 있는 오브젝트 영역이 위치하고 있어 관심 값이 '8'인 경우에 해당할 수 있다.
도 6의 (b)를 참조하면, 프로세서(120)는 수치화된 이미지(612)로부터 적분 이미지(614)를 획득할 수 있다. 프로세서(120)는, 수치화된 이미지(612)의 특정 좌표를 기준으로, 해당 좌표, 해당 좌표의 좌측 영역, 해당 좌표의 위쪽 영역, 해당 좌표의 좌측 상단 영역의 수치를 모두 더한 값을 해당 좌표의 수치로 설정함으로써 적분 이미지(614)를 획득할 수 있다. 예로, 적분 이미지(614)상에서 (3(행), 2(열))에 위치한 '48'은, 수치화된 이미지(612)상에서 (3, 2)에 위치한 '8'을 포함하여 좌측, 위쪽, 좌측 상단의 영역의 수치를 모두 더한 값에 해당한다. (48 = 7 + 9 + 8 + 8 + 8 + 8)
도 6의 (b)를 참조하면, 이미지(610)를 해당 영역(650)에 배치하는 경우로는, 이미지(610)의 좌측 영역을 배치하는 경우(650-1), 이미지(610)의 가운데 영역을 배치하는 경우(650-2), 이미지(610)의 우측 영역을 배치하는 경우(650-3)가 있다. 프로세서(120)는 상술한 세 가지 배치 중, 관심 값의 손실 정도가 최소가 되는 배치, 즉 수치화된 이미지(612)상에서 해당 수치들의 손실 정도가 최소가 되는 배치를 최적의 배치로 판단할 수 있다.
도 6의 (b)를 참조하면, 프로세서(120)는, 이미지(610) 중 해당 영역(650)에 배치되는 부분에 대응되는 수치 값의 합이 '96'으로 가장 큰 세 번째 배치(650-3)가, 관심 값의 손실 정도가 최소가 되는 최적의 배치인 것으로 판단할 수 있다.
프로세서(120)는, 복수의 이미지 중 제1 이미지를 복수의 영역 각각에 배치함에 있어, 관심 값의 손실 정도가 최소가 되도록 하는 제1 이미지의 배치를 식별함은 물론, 이 경우 제1 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도를 식별할 수 있다.
도 7은 7개의 이미지(10-1, 10-2, ... , 10-7) 중 특정 이미지(10-7)을 레이아웃(20) 내 각각의 영역에 배치함에 있어, 이미지(10-7)에 대응되는 관심 값의 손실 정도가 최소가 되는 최적의 배치를 도시한 것이다. 또한, 도 7을 참조하면, 레이아웃(20) 내 각각의 영역에는, 각각의 영역에 대한 이미지(10-7)의 최적의 배치에 따른 관심 값의 손실 정도가 비율로 기재되어 있다.
프로세서(120)는 각각의 영역에 대한 제1 이미지의 최적의 배치 및 그때의 관심 값 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다. 구체적으로는, 복수의 영역에 복수의 이미지를 배치함에 있어, 복수의 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
그리고, 프로세서(120)는, 복수의 이미지 중 제1 이미지뿐만 아니라 다른 이미지들 각각에 대해서도, 복수의 영역 각각에 대한 최적의 배치 및 최적의 배치에 따른 관심 값의 손실 정도를 식별할 수 있다.
구체적으로, 프로세서는, 복수의 이미지 중 제1 이미지가 아닌 제2 이미지를 복수의 영역 각각에 배치함에 있어서도, 제2 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 제2 이미지의 (최적의) 배치를 식별하고, 이때 관심 값의 손실 정도를 식별할 수 있다. 그리고, 식별된 제2 이미지의 최적의 배치 및 그때의 관심 값 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다.
즉, 앞서 식별된 제1 이미지의 최적의 배치 및 그에 따른 관심 값 손실 정도, 식별된 제2 이미지의 최적의 배치 및 이에 따른 관심 값 손실 정도 모두에 기초하여, 복수의 영역에 복수의 이미지를 배치함에 있어, 복수의 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
복수의 이미지의 수가 3개 이상이어서, 제1 및 제2 이미지 외에도 하나 이상의 다른 이미지를 포함하는 경우, 프로세서(120)는 다른 이미지에 대해서도 복수의 영역 각각에 대한 최적의 배치 및 그에 따른 관심 값 손실 정도를 식별할 수 있다.
이렇듯, 복수의 영역 각각에 대한 복수의 이미지 각각의 최적의 배치 및 그에 따른 관심 값의 손실 정도가 각각 식별된 결과, 프로세서(120)는 이를 이용하여 복수의 영역에 대한 복수의 이미지의 최적의 배치, 즉 복수의 이미지에 대응되는 관심 값의 손실 정도가 최소가 되는 배치를 판단할 수 있다.
도 8은, 복수의 영역 각각에 대해, 복수의 이미지 각각이 관심 값의 손실 정도가 최소가 되도록 배치된 경우에 있어, 각각 식별된 관심 값의 손실 정도를 정리한 표이다.
도 8에 있어, 행은 복수의 이미지 각각(10-1, 10-2, ..., 10-7)에 대응되고, 내 열은 복수의 영역 각각(도 1 참조)에 대응된다.
다만, 도 8을 참조하면, 제1 이미지(10-1)의 경우 복수의 영역 중 6번째 영역에 배치하는 경우 관심 값의 손실을 최소화(4.7)할 수 있고, 제2 이미지의 경우 역시 복수의 영역 중 6번째 영역에 배치하는 경우 관심 값의 손실을 최소화(1.5)할 수 있다는 점에서 문제가 있다. 제1 이미지 및 제2 이미지 모두를 6번째 영역에 배치할 수는 없기 때문이다.
따라서, 프로세서(120)는 복수의 이미지 전체에 대응되는 관심 값의 손실이 최소가 되도록, N * N 최적화 매칭 알고리즘인 헝가리안 메소드(Hungarian Method)를 사용할 수 있다.
그 결과, 도 8을 참조하면, 프로세서(120)는 제1 이미지(10-1)를 1번째 영역에, 제2 이미지(10-2)를 6번째 영역에, 제3 이미지(10-3)를 7번째 영역에, 제4 이미지(10-4)를 3번째 영역에, 제5 이미지(10-5)를 4번째 영역에, 제6 이미지(10-6)를 2번째 영역에, 제7 이미지(10-7)를 5번째 영역에 배치하는 경우, 복수의 이미지(10-1, 10-2, ... , 10-7)에 포함되는 오브젝트 영역의 관심 값의 손실 정도가 최소가 될 수 있다는 점을 판단할 수 있다. (이때, 각 이미지가 각 영역에 배치됨에 있어, 앞서 식별한 각 영역에 대한 각 이미지의 최적의 배치에 따르는 것은 당연하다.)
결론적으로, 프로세서(120)는 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 최종적으로 판단할 수 있다. 그리고, 판단된 배치에 대한 정보를 메모리(110)에 저장할 수 있다. 이후, 메모리(110)에 저장된 판단된 배치에 대한 정보에 기초하여 복수의 영역에 복수의 이미지가 표시되도록 전자 장치(100)를 제어할 수 있다. 이때, 프로세서(120)는 복수의 이미지를 표시하도록 전자 장치(100)에 포함된 디스플레이(도시되지 않음)를 제어할 수 있다. 또는, 외부 디스플레이 장치(도시되지 않음)가 복수의 이미지를 표시할 수 있도록 전자 장치(100)의 통신부(도시되지 않음) 또는 입출력 포트(도시되지 않음)를 통해 복수의 이미지에 대한 데이터 및/또는 판단된 배치에 대한 데이터를 외부 디스플레이 장치(도시되지 않음)에 유/무선으로 전송할 수도 있다.
도 9는, 레이아웃(20)에 따라 구분된 복수의 영역에 7개의 이미지(10-1, 10-2, ... , 10-7)가 배치됨에 있어, 관심 값의 손실 정도가 최소가 되는 배치가 최종적으로 판단되어, 그에 따라 7개의 이미지(10-1, 10-2, ... , 10-7)가 디스플레이된 예를 도시한다.
한편, 상술한 실시 예들은 주로 복수의 이미지를 복수의 영역에 배치하는 경우에 대해 서술하였으나, 프로세서(120)가 하나의 이미지를 하나의 영역에 배치함에 있어, 해당 이미지에 포함된 적어도 하나의 오브젝트 영역 각각의 중요도에 기초하여 각 오브젝트 영역의 관심 값을 획득하고, 관심 값의 손실 정도가 최소가 되는 해당 이미지의 배치를 판단할 수도 있다.
도 10과 도 11은 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도와 도면이다.
도 10을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에도, 통신부(130), 방송 수신부(140), 입출력 포트(150), 사용자 입력부(160), 디스플레이(170), 음성 출력부(180) 중 적어도 하나를 더 포함할 수 있다.
통신부(130)는 외부 장치(도시되지 않음)와 무선 혹은 유선으로 데이터 통신을 수행하기 위한 수단이다. 프로세서(120)는 통신부(130)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
무선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(130)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(130)는 동축 케이블, 광섬유 케이블 등과 연결되어 LAN(Local Area Network) 통신을 수행함으로써 다양한 데이터를 송수신할 수도 있다.
프로세서(120)는 통신부(130)를 통해 외부로부터 하나 이상의 이미지 및/또는 레이아웃에 대한 정보를 수신할 수 있다.
예를 들어, 도 11의 (c)와 같이 전자 장치(100)가 휴대폰 또는 스마트폰으로 구현되어 서버인 외부 장치(200)와 통신부(130)를 통한 통신이 가능한 경우, 전자 장치(100)는 서버인 외부 장치(200)로부터 하나 이상의 이미지 및/또는 레이아웃에 대한 데이터를 수신하고, 레이아웃에 따라 구분된 하나 이상의 영역에 대한 이미지의 배치를 판단할 수 있다.
한편, 통신부(130)는, 전자 장치(100)를 제어하기 위한 원격 제어 장치(도시되지 않음) 등과 데이터를 송수신하기 위한 제1 통신부(도시되지 않음) 및 외부 서버(도시되지 않음)와 데이터를 송수신하기 위한 제2 통신부(도시되지 않음)를 각각 별도로 포함할 수도 있다. 이때, 제1 통신부(도시되지 않음)는 이더넷 모뎀, 와이파이 모듈, 블루투스 모듈 등으로 구현되는 한편, 제2 통신부는 별도의 와이파이 모듈 또는 이더넷 모듈 등으로 구현될 수도 있다.
방송 수신부(140)는 방송 컨텐츠에 대한 신호를 수신할 수 있다. 방송 컨텐츠는 영상, 오디오 및 부가 데이터(예를 들어, EPG)를 포함할 수 있으며, 방송 수신부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 컨텐츠 신호를 수신할 수 있다.
방송 수신부(140)는 방송국으로부터 전송되는 방송 컨텐츠를 수신하기 위해 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다.
입출력 포트(150)를 통해, 전자 장치(100)는 외부로부터 이미지 및/또는 음성에 대한 신호를 수신하거나 또는 외부에 이미지 및/또는 음성 신호를 전송할 수 있다.
이를 위해, 입출력 포트(150)는 HDMI 포트, 디스플레이 포트, RGB 포트, DVI(Digital Visual Interface) 포트, 썬더볼트 및 컴포넌트 포트 등 유선 포트로 구현될 수 있다. 또는, 입출력 포트(150)는 와이파이나 블루투스 통신 등 무선 통신을 위한 포트로 구현될 수도 있다.
입출력 포트(150)는 HDMI 포트나 썬더볼트 등으로 구현되어 이미지 및 음성 신호를 함께 전송하도록 구현될 수도 있지만, 이미지 신호를 전송하는 제1 포트 및 음성 신호를 전송하는 제2 포트가 각각 별도로 구현된 것일 수도 있다.
입출력 포트(150)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 음성 또는 이미지 데이터를 송수신하거나 혹은 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수도 있다.
예로, 도 11의 (a)와 같이 전자 장치(100)가 디스플레이를 포함하는 TV 등의 디스플레이 장치인 경우, 전자 장치(100)는 입출력 포트(150)를 통해 셋탑박스 등의 외부 장치(200)로부터 하나 이상의 이미지를 입력받을 수 있다. 그리고, 프로세서(120)는 입력된 하나 이상의 이미지를 기설정된 레이아웃에 따라 구분된 복수의 영역에 삽입하기 위한 배치를 판단할 수 있다.
다른 예로, 도 11의 (b)와 같이 전자 장치(100)가 셋탑박스 등으로 구현된 경우, 전자 장치(100)는 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단한 뒤, 판단된 배치에 따라 복수의 영역에 배치된 복수의 이미지에 대한 데이터를 입출력 포트(150)를 통해 TV 등 디스플레이가 있는 외부 장치(200)에 전송할 수 있다. 그 결과, 외부 장치(200)는 전자 장치(100)에 의해 판단된 배치에 따라 복수의 영역에 배치된 복수의 이미지를 디스플레이 할 수 있다.
사용자 입력부(160)는 전자 장치(100)가 사용자로부터 명령 또는 정보를 포함하는 사용자 입력을 수신할 수 있게 하는 구성이다.
프로세서(120)는 사용자 입력부(160)를 통해 하나 이상의 이미지에 포함된 오브젝트 영역 중 적어도 하나 또는 오브젝트 영역에 대응되는 카테고리 중 적어도 하나를 선택하기 위한 사용자 입력을 수신할 수 있다.
사용자 입력부(160)는 적어도 하나의 오브젝트 영역 또는 카테고리를 선택하기 위한 사용자 입력을 수신하기 위해 하나 이상의 버튼, 키보드, 마우스(이상 도시되지 않음) 등을 포함할 수도 있다.
사용자 입력부(160)는 적어도 하나의 오브젝트 영역 또는 카테고리를 선택하기 위한 사용자 입력을 터치 형태로 입력받기 위해, 디스플레이(170)와 함께 구현된 터치 패널(도시되지 않음) 또는 별도의 터치 패드(도시되지 않음)를 포함할 수 있다.
사용자 입력부(160)는, 사용자 입력부(160)에 구비된 버튼, 키보드, 마우스 등에 대한 사용자 조작 및/또는 사용자 입력부(160)에 구비된 터치 패널/패드에 대한 사용자의 입력에 기초하여, 하나 이상의 이미지를 획득할 수도 있다. 즉, 사용자는 사용자 입력부(160)를 통해 하나 이상의 이미지를 그려낼 수 있다.
사용자 입력부(160)는, 하나 이상의 카메라(도시되지 않음)를 포함하는 한편, 카메라(도시되지 않음)를 통해 촬영된 이미지를 획득할 수 있다. 이때, 하나 이상의 카메라(도시되지 않음)는 광 센서를 포함하는 디지털 카메라일 수 있다.
사용자 입력부(160)는 적어도 하나의 오브젝트 영역 또는 카테고리를 선택하기 위한 사용자 입력을 음성으로 입력받기 위해 마이크(도시되지 않음)를 포함할 수도 있다.
한편, 도 11의 (a) 또는 (b)와 같이 전자 장치(100)를 제어하기 위한 원격 제어 장치(300)가 있는 경우, 전자 장치(100)는 원격 제어 장치(300)에 구비된 마이크(도시되지 않음)를 통해 수신된 사용자의 음성에 대한 데이터를 원격 제어 장치로부터 수신하고, 이에 기초하여, 적어도 하나의 오브젝트 영역 또는 카테고리를 선택하는 사용자 입력을 수신할 수 있다. 이때, 아날로그 음성 신호가 원격 제어 장치(300)에 구비된 마이크(도시되지 않음)를 통해 수신되면 원격 제어 장치(300)가 이를 디지털화 하여 블루투스 또는 와이파이 통신을 통해 전자 장치(100)로 전송할 수 있다.
구체적으로, 프로세서(120)는 사용자 입력부(160)에 구비된 마이크(도시되지 않음) 또는 원격 제어 장치(300)에 구비된 마이크를 통해 수신된 사용자의 음성에 대한 데이터를 음성 인식하여 텍스트로 변환하고, 변환된 텍스트의 내용에 기초하여 적어도 하나의 오브젝트 영역 또는 카테고리를 선택하는 사용자 입력의 내용을 식별할 수 있다.
한편, 상술한 원격 제어 장치(300)는 도 11의 (a) 또는 (b)와 같이 TV 또는 셋탑박스인 전자 장치(100)를 제어하기 위한 리모컨을 구현될 수도 있으나, 이와 달리 스마트폰 등의 단말 장치에 원격 제어 애플리케이션이 설치 및 저장되어 TV 또는 셋탑박스인 전자 장치(100)를 제어하도록 구현된 것일 수도 있다. 이때, 원격 제어 장치(300)는 와이파이, 블루투스, 적외선 통신 등에 기초하여 제어 신호를 전자 장치(100)에 전송할 수 있으며, 전자 장치(100)는 상술한 통신 방식에 따라 원격 제어 장치(100)의 제어 신호를 수신할 수 있는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 등으로 구현된 제1 통신부(도시되지 않음) 및 서버 등 외부 장치(도시되지 않음)와 통신할 수 있는 와이파이 모듈, 이더넷 모듈 등으로 구현된 제2 통신부를 포함할 수도 있다. 제1 통신부 및 제2 통신부는 하나로 구현될 수도 있고 별도로 구현될 수도 있다.
디스플레이(170)는 프로세서(120)의 제어에 따라 하나 이상의 이미지를 표시하기 위한 구성이다. 이를 위해, 디스플레이(170)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED) 등으로 구현될 수 있다. LCD로 구성되는 경우, 디스플레이(170) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로(도시되지 않음), 백라이트 유닛(도시되지 않음) 등도 함께 포함될 수 있다.
한편, 디스플레이(170)는 사용자의 터치 조작을 감지할 수 있는 터치 패널이 포함된 터치스크린 형태로 구현될 수도 있으며, 이 경우 사용자 입력부(160)에 포함되는 것으로 볼 수 있다.
디스플레이(170)는 방송 수신부(140)를 통해 수신된 방송 신호에 포함된 이미지, 통신부(130)를 통해 수신되는 데이터에 포함된 이미지, 사용자 입력부(160)를 통해 획득되는 이미지, 메모리(110)에 저장된 이미지 파일에 포함된 이미지, 입출력 포트(150)를 통해 외부로부터 수신된 신호에 포함된 이미지 등을 디스플레이할 수 있다.
음성 출력부(180)는 프로세서(120)의 제어에 따라 특정한 음성을 출력하기 위한 구성이다. 음성 출력부(180)는 방송 수신부(140)를 통해 수신된 방송 신호에 포함된 음성, 통신부(130)를 통해 수신되는 신호에 포함된 음성, 사용자 입력부(160)에 구비된 마이크(도시되지 않음) 또는 외부 마이크(도시되지 않음)를 통해 입력되어 전자 장치(100)에 수신된 음성, 메모리(110)에 저장된 오디오 파일에 포함된 음성, 입출력 포트(150)를 통해 외부로부터 수신된 신호에 포함된 음성 등을 출력할 수 있다.
이를 위해, 음성 출력부(180)는 스피커(190) 및/또는 헤드폰/이어폰 출력 단자(도시되지 않음)로 구현될 수 있다.
이하 도 12 내지 도 15를 통해서는, 본 개시에 따른 전자 장치의 제어 방법을 설명한다.
도 12는 본 개시의 일 실시 예에 다른 전자 장치의 제어 방법의 순서도이다. 도 12를 참조하면, 본 제어 방법은 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하고(S1210), 판단된 배치에 기초하여 복수의 영역에 복수의 이미지가 표시되도록 전자 장치를 제어할 수 있다(S1220). 이때, 판단된 배치에 따라 배치된 복수의 이미지는, 전자 장치의 디스플레이에 표시될 수도 있고, 또는 전자 장치로부터 복수의 이미지에 대한 데이터를 수신한 외부 장치의 디스플레이에 표시될 수도 있다.
복수의 이미지의 배치를 판단함(S1210)에 있어, 본 제어 방법은, 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 오브젝트 영역의 중요도와, 중요도에 따른 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다. 도 13은 이를 보다 구체적인 동작 순서에 따라 설명하기 위한 순서도이다.
도 13을 참조하면, 본 제어 방법은, 복수의 이미지의 배치를 판단함에 있어, 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초하여 오브젝트 영역의 중요도를 판단할 수 있다(S1310).
오브젝트 영역은, 이미지 내 비중이 높은 오브젝트가 포함된 영역 또는 기설정된 오브젝트가 포함된 영역일 수 있다. 오브젝트 영역은 각 이미지마다 반드시 하나일 필요는 없고, 특정 이미지에 대해서는 존재하지 않거나 또는 둘 이상일 수도 있다.
카테고리는 음식, 자연, 동물, 식물, 건물, 얼굴 등 다양하게 기저장된 것일 수 있으며, 예를 들어 특정 오브젝트 영역에 포함된 오브젝트가 햄버거인 경우, 해당 오브젝트 영역은 음식 카테고리에 대응되는 것으로 식별될 수도 있다.
이후, 식별된 카테고리에 따라 오브젝트 영역 각각의 중요도 순위를 판단할 수 있다.
이때, 복수의 이미지에 포함된 오브젝트 영역 중, 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 오브젝트 영역 각각의 중요도를 판단할 수도 있다. 구체적으로, 복수의 이미지에 포함된 오브젝트 영역 중, 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고, 복수의 이미지에 포함된 오브젝트 영역 중, 상기 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단할 수 있다.
한편, 복수의 이미지에 포함된 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 오브젝트 영역의 중요도를 판단할 수도 있다. 그리고, 복수의 이미지에 포함된 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 대한 정보를 저장할 수 있다.
이후, 기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 저장된 사용자 입력에 대한 정보에 기초하여 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단할 수도 있다.
중요도가 판단되면, 복수의 영역에 복수의 이미지를 배치함에 있어, 중요도에 따른 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 복수의 영역에 대한 복수의 이미지의 배치를 판단할 수 있다(S1320).
이때, 오브젝트 영역의 단위 면적마다 식별된 중요도를 반영한 관심 값을 획득할 수 있다. 그리고, 복수의 영역에 복수의 이미지를 배치함에 있어, 획득된 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
구체적으로, 먼저 복수의 이미지 중 제1 이미지를 복수의 영역 각각에 배치함에 있어, 제1 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 제1 이미지를 배치하는 경우 관심 값의 손실 정도를 식별할 수 있다.
이때, 복수의 영역 각각의 사이즈에 기초하여 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대할 수도 있다. 이 경우, 복수의 영역 각각의 종횡비가 제1 이미지의 종횡비와 다르다면, 축소 또는 확대된 제1 이미지에서 복수의 영역 각각의 사이즈에 대응되는 부분만 복수의 영역 각각에 배치함에 있어, 제1 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 제1 이미지의 배치를 식별할 수 있다. 그리고, 관심 값의 손실 정도가 최소가 되도록 하는 제1 이미지의 (최적의) 배치에 따른 관심 값의 손실 정도를 식별할 수 있다.
식별된 제1 이미지의 배치 및 그에 따른 관심 값의 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다. 구체적으로, 복수의 영역에 복수의 이미지를 배치함에 있어, 복수의 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
복수의 영역 각각에 대한 제1 이미지의 (최적의) 배치를 식별하는 한편, 복수의 이미지 중 제1 이미지와 다른 제2 이미지를 복수의 영역 각각에 배치함에 있어 최적의 배치 및 그때의 관심 값 손실 정도 역시 식별할 수 있다.
구체적으로, 복수의 이미지 중 제2 이미지를 복수의 영역 각각에 배치함에 있어, 제2 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 제2 이미지의 (최적의) 배치를 식별할 수 있다. 이때, 이러한 제2 이미지의 배치에 따른 관심 값의 손실 정도 역시 식별할 수 있다.
그리고, 복수의 영역 각각에 대한 제2 이미지의 (최적의) 배치와 그에 다른 관심 값 손실 정도에 기초하여 복수의 이미지의 배치를 판단할 수 있다.
즉, 복수의 영역 각각에 대한 제1 이미지의 (최적의) 배치와 그에 따른 관심 값 손실 정도, 복수의 영역 각각에 대한 제2 이미지의 (최적의) 배치와 그에 따른 관심 값 손실 정도 등에 기초하여, 복수의 영역에 복수의 이미지를 배치함에 있어, 복수의 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는 복수의 이미지의 배치를 판단할 수 있다.
복수의 이미지의 수가 3개 이상이어서, 제1 및 제2 이미지 외에도 다른 이미지를 포함하는 경우, 다른 이미지들에 대해서도 복수의 영역 각각에 대한 최적의 배치 및 그에 따른 관심 값 손실 정도를 식별할 수 있다. 그리고, 식별 결과에 기초하여, 복수의 이미지에 포함된 오브젝트 영역에 대응되는 관심 값의 손실 정도가 최소가 되도록 하는, 복수의 영역에 대한 복수의 이미지의 배치를 판단할 수 있다.
도 14는 도 13에서 오브젝트 영역의 중요도를 식별하는 단계(S1310)의 일 예를 설명하기 위한 순서도이다.
도 14를 참조하면, 먼저, 복수의 이미지로부터 오브젝트 영역을 획득할 수 있다(S1410). 이때, 복수의 이미지 각각의 컬러 정보 및 edge 정보에 기초하여 오브젝트 영역을 획득할 수 있다. 또는, 이미지에 포함된 오브젝트를 식별하도록 학습된 인공지능 모델을 이용하여 이미지에 포함된 오브젝트를 식별하고, 해당 오브젝트를 포함하는 영역을 오브젝트 영역으로 식별할 수도 있다.
그리고, 오브젝트 영역 각각에 포함된 오브젝트의 카테고리를 식별하는(S1420) 한편, 식별된 카테고리 내 각 카테고리의 비율을 획득할 수 있다(S1430).
예를 들어, 5개의 이미지에 포함된 8개의 오브젝트 영역 중 5개의 오브젝트 영역이 '자연' 카테고리에 대응되고, 3개의 오브젝트 영역이 '음식' 카테고리에 대응되는 경우, '자연' 카테고리의 비율은 5/8이고 '음식' 카테고리의 비율은 3/8로 식별할 수 있다.
그리고, 오브젝트 영역에 대응되는 카테고리의 비율이 클수록, 오브젝트 영역의 중요도를 더 높게 식별할 수 있다(S1440). 예를 들어, 앞서 오브젝트 영역의 카테고리 중 '자연' 카테고리의 비율이 5/8이고 '음식' 카테고리의 비율이 3/8이므로, '자연' 카테고리에 대응되는 오브젝트 영역의 중요도를 '음식' 카테고리에 대응되는 오브젝트 영역의 중요도보다 더 높게 식별할 수 있다.
도 15는 도 13의 S1320 단계의 구체적인 실시 예로서, 오브젝트 영역에 중요도가 반영된 관심 값을 획득하고, 복수의 이미지를 복수의 영역에 배치함에 있어 관심 값의 손실이 최소가 되는 배치를 판단하는 일 예를 설명하기 위한 알고리즘이다.
도 15를 참조하면, 도 14와 마찬가지로 복수(n)의 이미지로부터 오브젝트 영역을 획득하는 한편(S1510), 식별된 오브젝트 영역 각각의 중요도를 식별할 수 있다(S1520). 이때, 오브젝트 영역 각각의 카테고리 및/또는 사용자 입력에 기초하여 오브젝트 영역 각각의 중요도를 식별할 수 있음은 물론이다.
그리고, 오브젝트 영역의 중요도를 반영한 관심 값을 획득할 수 있다(S1530). 구체적으로, 오브젝트 영역의 단위 면적마다, 해당되는 중요도를 반영하여 수치화한 관심 값을 획득할 수 있다.
그 후, 복수(n)의 영역 각각에 복수의 이미지 각각을 배치함에 있어, 각 이미지에 포함된 오브젝트 영역의 관심 값 손실이 최소가 되는 최적의 배치를 식별하고, 최적의 배치에 따른 관심 값의 (최소) 손실 값을 식별할 수 있다(S1540).
이 경우, 예를 들어 특정 이미지(복수의 이미지 중 i번째)를 특정 영역(복수이 영역 중 j번째)에 배치함에 있어, 이미지(i번째)에 포함된 오브젝트 영역에 대응되는 관심 값의 손실이 최소가 되도록 하는 이미지(i번째)의 최적의 배치를 식별하는 한편, 최적의 배치에 따른 관심 값의 (최소) 손실 값을 식별할 수 있다(S1540'). 그리고, 이러한 과정을 1번째부터 n번째까지의 이미지 각각을 1번째부터 n번째까지의 영역 각각에 배치하는 모든 경우에 대해 반복할 수 있다.
그 후, 식별된 최적의 배치 및 식별된 (최소) 손실 값을 고려하여, 복수의 이미지에 포함되는 오브젝트 영역 전체에 대응되는 관심 값의 손실이 최소가 되는, 복수의 영역에 대한 복수의 이미지의 배치를 최종적으로 판단할 수 있다(S1550). 이때, 복수의 이미지에 포함되는 오브젝트 영역 전체에 대응되는 관심 값의 손실이 최소가 되도록, N * N 최적화 매칭 알고리즘인 헝가리안 메소드(Hungarian Method)를 이용할 수 있다.
이렇듯, 본 개시에 따른 전자 장치(100) 및 전자 장치의 제어 방법은, 레이아웃에 따라 구분된 복수의 영역에 복수의 이미지를 배치함에 있어, 복수의 이미지에 포함된 오브젝트 영역을 획득함은 물론, 사용자의 의도 및 복수의 이미지의 특성에 기초하여 오브젝트 영역 각각의 중요도를 식별하여 자동으로 반영함으로써, 사용자가 복수의 이미지를 별도로 편집하거나 그 배치를 임의로 지정해야 하는 불편을 해소할 수 있다는 효과가 있다.
한편, 도 12 내지 도 15를 통해 설명한 본 전자 장치의 제어 방법은, 도 2 및 도 10을 통해 도시 및 설명한 전자 장치(100)를 통해 구현될 수 있다.
또는, 전자 장치(100) 및 적어도 하나의 외부 장치(도시되지 않음)를 포함하는 시스템을 통해 구현될 수도 있다. 관련하여, 전자 장치(100) 및 서버(도시되지 않음)를 통해 본 전자 장치의 제어 방법이 수행되는 경우를 상정할 수 있다. 이때, 전자 장치(100) 및 서버(도시되지 않음)는 도 12 내지 도 15를 통해 설명된 제어 방법의 단계들을 다양한 형태로 분담하여 수행할 수 있다.
예로, 전자 장치(100)는 통신부(130), 방송 수신부(140), 입출력 포트(150) 등을 통해 하나 이상의 이미지를 데이터 또는 신호 형태로 수신하거나 또는 사용자 입력부(160)에 포함된 카메라를 통해 촬영된 하나 이상의 이미지를 획득한 뒤, 수신 또는 획득된 이미지를 서버로 전송할 수 있다. 그리고, 서버는 하나 이상의 이미지를 서버에 기저장된 레이아웃에 따라 배치함에 있어, 하나 이상의 이미지 내 오브젝트 영역의 중요도에 따른 손실 정도가 최소가 되도록 하는 하나 이상의 이미지의 배치를 판단하고, 판단된 배치에 대한 정보를 전자 장치(100)에 전송할 수 있다. 이때, 전자 장치(100)는 판단된 배치에 따라 배치된 하나 이상의 이미지를 직접 디스플레이하거나, 또는 판단된 배치에 따라 배치된 하나 이상의 이미지에 대한 정보를 입출력 포트(150)를 통해 연결된 외부 장치(도시되지 않음)에 전송하여 해당 외부 장치가 디스플레이하도록 할 수도 있다.
또는, 전자 장치(100)가 하나 이상의 이미지를 서버로 전송하면, 서버는 하나 이상의 이미지로부터 오브젝트 영역을 식별하여 그에 대한 정보를 전자 장치(100)에 전송하고, 전자 장치(100)는 식별된 오브젝트 영역 중 적어도 하나의 오브젝트를 선택하는 사용자 입력에 기초하여 각 오브젝트 영역의 중요도를 식별할 수 있다. 그리고, 전자 장치(100)는 메모리(110)에 기저장된 레이아웃에 따라 구분된 하나 이상의 영역에 하나 이상의 이미지를 배치함에 있어, 중요도에 따른 오브젝트 영역의 손실 정도가 최소가 되도록 하는 배치를 판단할 수도 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(Programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processor), 제어기(controller), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessor), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서 130: 통신부
140: 방송 수신부 150: 입출력 포트
160: 사용자 입력부 170: 디스플레이
180: 음성 출력부 200: 외부 장치
300: 원격 제어 장치

Claims (19)

  1. 전자 장치에 있어서,
    메모리; 및
    기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하고, 상기 판단된 배치에 대한 정보를 상기 메모리에 저장하며, 상기 저장된 상기 판단된 배치에 대한 정보에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하며,
    상기 적어도 하나의 오브젝트 영역의 손실 정도는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값에 기초하며,
    상기 프로세서는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값의 손실 정도가 최소가 되도록 상기 복수의 이미지의 배치를 판단하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트 영역의 단위 면적마다 상기 중요도를 반영한 관심 값을 획득하고,
    상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 획득된 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 중 제1 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치 및 상기 제1 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고,
    상기 식별된 제1 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 중 제2 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제2 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제2 이미지의 배치 및 상기 제2 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고,
    상기 식별된 제2 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 상기 오브젝트 영역 각각의 중요도를 판단하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 상기 오브젝트 영역의 중요도를 판단하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 상기 사용자 입력에 대한 정보를 상기 메모리에 저장하고,
    기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 상기 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 상기 저장된 사용자 입력에 대한 정보에 기초하여 상기 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단하는, 전자 장치.
  9. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 영역 각각의 사이즈에 기초하여 상기 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대하고,
    상기 복수의 영역 각각의 종횡비가 상기 제1 이미지의 종횡비와 다르다면, 상기 축소 또는 확대된 제1 이미지에서 상기 복수의 영역 각각의 사이즈에 대응되는 부분만 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치를 식별하는, 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하는 단계; 및
    상기 판단된 배치에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 단계;를 포함하고,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하며,
    상기 적어도 하나의 오브젝트 영역의 손실 정도는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값에 기초하며,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값의 손실 정도가 최소가 되도록 상기 복수의 이미지의 배치를 판단하는, 제어 방법.
  11. 제10항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 오브젝트 영역의 단위 면적마다 상기 중요도를 반영한 관심 값을 획득하고,
    상기 복수의 영역에 상기 복수의 이미지를 배치함에 있어, 상기 획득된 관심 값의 손실 정도가 최소가 되도록 하는 상기 복수의 이미지의 배치를 판단하는, 제어 방법.
  12. 제11항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지 중 제1 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치 및 상기 제1 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고,
    상기 식별된 제1 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는, 제어 방법.
  13. 제12항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지 중 제2 이미지를 상기 복수의 영역 각각에 배치함에 있어, 상기 제2 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제2 이미지의 배치 및 상기 제2 이미지의 배치에 따른 상기 관심 값의 손실 정도를 식별하고,
    상기 식별된 제2 이미지의 배치 및 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는, 제어 방법.
  14. 제10항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 수에 기초하여 상기 오브젝트 영역 각각의 중요도를 판단하는, 제어 방법.
  15. 제14항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 카테고리 각각에 대응되는 오브젝트 영역의 비율을 획득하고,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역 중, 상기 획득된 비율이 가장 높은 카테고리에 대응되는 오브젝트 영역의 중요도를 가장 높게 판단하는, 제어 방법.
  16. 제10항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 사용자 입력에 기초하여 상기 오브젝트 영역의 중요도를 판단하는, 제어 방법.
  17. 제16항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 상기 오브젝트 영역의 카테고리 중 적어도 하나를 선택하는 상기 사용자 입력에 대한 정보를 저장하고,
    기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 다른 복수의 이미지의 배치를 판단함에 있어, 상기 다른 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리 및 상기 저장된 사용자 입력에 대한 정보에 기초하여 상기 다른 복수의 이미지에 포함된 오브젝트 영역의 중요도를 판단하는, 제어 방법.
  18. 제12항에 있어서,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 영역 각각의 사이즈에 기초하여 상기 제1 이미지를 종횡비를 유지한 상태로 축소 또는 확대하고,
    상기 복수의 영역 각각의 종횡비가 상기 제1 이미지의 종횡비와 다르다면, 상기 축소 또는 확대된 제1 이미지에서 상기 복수의 영역 각각의 사이즈에 대응되는 부분만 상기 복수의 영역 각각에 배치함에 있어, 상기 제1 이미지에 포함된 상기 오브젝트 영역에 대응되는 상기 관심 값의 손실 정도가 최소가 되도록 하는 상기 제1 이미지의 배치를 식별하는, 제어 방법.
  19. 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금 동작을 수행하도록 하는 컴퓨터 명령어가 저장된 컴퓨터 판독 가능 매체로서,
    상기 동작은,
    기설정된 레이아웃에 따라 구분된 복수의 영역에 대한 복수의 이미지의 배치를 판단하는 단계; 및
    상기 판단된 배치에 기초하여 상기 복수의 영역에 상기 복수의 이미지가 표시되도록 상기 전자 장치를 제어하는 단계;를 포함하고,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    상기 복수의 이미지에 포함된 적어도 하나의 오브젝트 영역의 카테고리에 기초한 상기 오브젝트 영역의 중요도와 상기 중요도에 따른 상기 적어도 하나의 오브젝트 영역의 손실 정도에 기초하여 상기 복수의 이미지의 배치를 판단하는 단계;를 포함하며,
    상기 적어도 하나의 오브젝트 영역의 손실 정도는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값에 기초하며,
    상기 복수의 이미지의 배치를 판단하는 단계는,
    각 오브젝트 영역의 중요도를 반영한 이미지의 관심 값의 손실 정도가 최소가 되도록 상기 복수의 이미지의 배치를 판단하는, 컴퓨터 판독 가능 매체.
KR1020180121158A 2018-10-11 2018-10-11 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. KR102627658B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180121158A KR102627658B1 (ko) 2018-10-11 2018-10-11 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
CN201910905239.6A CN111047670A (zh) 2018-10-11 2019-09-24 电子设备、电子设备执行的方法以及计算机可读介质
US16/583,470 US11049305B2 (en) 2018-10-11 2019-09-26 Electronic apparatus identifying image arrangement on layout, controlling method of electronic apparatus and computer readable medium
EP19202305.9A EP3637315A1 (en) 2018-10-11 2019-10-09 Electronic apparatus identifying image arrangement on layout, controlling method of electronic apparatus and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121158A KR102627658B1 (ko) 2018-10-11 2018-10-11 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.

Publications (2)

Publication Number Publication Date
KR20200041114A KR20200041114A (ko) 2020-04-21
KR102627658B1 true KR102627658B1 (ko) 2024-01-22

Family

ID=68382118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121158A KR102627658B1 (ko) 2018-10-11 2018-10-11 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.

Country Status (4)

Country Link
US (1) US11049305B2 (ko)
EP (1) EP3637315A1 (ko)
KR (1) KR102627658B1 (ko)
CN (1) CN111047670A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157811B2 (en) * 2019-10-28 2021-10-26 International Business Machines Corporation Stub image generation for neural network training
KR102580558B1 (ko) 2023-07-19 2023-09-20 김갑배 레이저 절단기의 생상성 향상을 위한 도면 자동 배치서비스를 제공하는 장치, 방법 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082519B2 (en) 2006-02-08 2011-12-20 Dolphin Software Ltd. Efficient display systems and methods
JP2014199641A (ja) 2013-03-13 2014-10-23 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
US20160350932A1 (en) * 2015-05-29 2016-12-01 Samsung Electronics Co., Ltd. Method and device for displaying image

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100347013B1 (ko) * 2000-02-16 2002-08-03 한국과학기술원 연속 영역 필터링 및 보간 기법을 이용한 영상 스케일링방법 및 장치
KR20040083178A (ko) * 2003-03-21 2004-10-01 삼성전자주식회사 복수 이미지 배치방법 및 장치
US7532771B2 (en) 2004-11-12 2009-05-12 Microsoft Corporation Image processing system for digital collage
KR100679049B1 (ko) * 2005-09-21 2007-02-05 삼성전자주식회사 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치
JP4196303B2 (ja) * 2006-08-21 2008-12-17 ソニー株式会社 表示制御装置および方法、並びにプログラム
JP2008217479A (ja) 2007-03-05 2008-09-18 Fujifilm Corp 画像配置方法及び装置
GB2451483B (en) * 2007-07-31 2012-05-30 Hewlett Packard Development Co Image processing method, system and computer readable medium
KR101435140B1 (ko) * 2007-10-16 2014-09-02 삼성전자 주식회사 영상 표시 장치 및 방법
US9179102B2 (en) * 2009-12-29 2015-11-03 Kodak Alaris Inc. Group display system
US8791996B2 (en) * 2010-03-31 2014-07-29 Aisin Aw Co., Ltd. Image processing system and position measurement system
US9152616B2 (en) * 2011-04-28 2015-10-06 Flipboard, Inc. Template-based page layout for web content
KR101990570B1 (ko) * 2011-08-04 2019-06-18 삼성전자주식회사 복수의 이미지 패킹 방법 및 장치
CN103620648B (zh) * 2012-05-29 2018-02-02 松下知识产权经营株式会社 图像评价装置、图像评价方法、集成电路
KR101414195B1 (ko) 2012-11-26 2014-07-01 네이버 주식회사 복수의 아이템들을 공간 내에 자동으로 배치하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6280382B2 (ja) * 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
US9424671B1 (en) 2013-09-04 2016-08-23 Google Inc. Optimizing photo album layouts
CN103677517B (zh) 2013-12-02 2016-06-29 三星电子（中国）研发中心 一种图片查找方法和装置
US9292756B2 (en) * 2013-12-10 2016-03-22 Dropbox, Inc. Systems and methods for automated image cropping
US9424653B2 (en) * 2014-04-29 2016-08-23 Adobe Systems Incorporated Method and apparatus for identifying a representative area of an image
JP6513963B2 (ja) 2015-02-25 2019-05-15 京セラ株式会社 電子機器及び電子機器の動作方法
US10380227B2 (en) 2015-06-07 2019-08-13 Apple Inc. Generating layout for content presentation structures
KR102193567B1 (ko) * 2015-06-17 2020-12-22 삼성전자주식회사 복수의 이미지를 디스플레이하는 전자 장치 및 이의 이미지 처리 방법
CN106371689B (zh) 2015-07-23 2019-11-05 腾讯科技（深圳）有限公司 图片拼接方法、装置及系统
KR101719291B1 (ko) 2016-01-13 2017-03-23 라인 가부시키가이샤 영상 제공 방법 및 영상 제공 장치
US10140675B2 (en) 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082519B2 (en) 2006-02-08 2011-12-20 Dolphin Software Ltd. Efficient display systems and methods
JP2014199641A (ja) 2013-03-13 2014-10-23 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
US20160350932A1 (en) * 2015-05-29 2016-12-01 Samsung Electronics Co., Ltd. Method and device for displaying image

Also Published As

Publication number Publication date
KR20200041114A (ko) 2020-04-21
CN111047670A (zh) 2020-04-21
US11049305B2 (en) 2021-06-29
US20200118316A1 (en) 2020-04-16
EP3637315A1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
US10412452B2 (en) Display device and method for replacing advertisement
KR102627658B1 (ko) 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US10528223B2 (en) Photo narrative essay application
US9648114B2 (en) System and method for displaying data feeds from multiple online social networks
KR102523167B1 (ko) 디스플레이 장치 및 그 제어 방법.
WO2016070541A1 (zh) 投影仪自适应调整方法、装置及计算机存储介质
KR102607214B1 (ko) 디스플레이 장치 및 그 제어 방법
US20170091152A1 (en) Generating grid layouts with mutable columns
KR20180136405A (ko) 소셜 미디어 플랫폼에서 색상을 분석하기 위한 시스템 및 방법
CN110476147A (zh) 电子装置及其显示内容的方法
KR101615058B1 (ko) 외부 디스플레이 해상도 선택을 위한 방법
CN103713832A (zh) 一种显示处理方法及电子设备
CN105574909A (zh) 一种图片组合模板处理方法、装置及终端
EP4030766A1 (en) Methods, systems, and media for color palette extraction for video content item
US20160343352A1 (en) Control unit and method for dynamically controlling resolution of display
US20180173399A1 (en) Display device for adjusting transparency of indicated object and display method for the same
CN112740319B (zh) 电子设备及其控制方法
US10896661B2 (en) Image processing apparatus and method for controlling the same
US9412016B2 (en) Display device and controlling method thereof for outputting a color temperature and brightness set
KR20200035556A (ko) 전자 장치 및 그 제어 방법
US10803566B2 (en) Method for dynamically adjusting image clarity and image processing device using the same
US10104339B1 (en) Electronic device and video display method
CN103106886A (zh) 可自动调色的显示装置及其自动调色方法
CN109213458B (zh) 电子装置及其显示控制方法
US20180067632A1 (en) User terminal apparatus and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant