KR102346632B1 - 컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작 - Google Patents

컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작 Download PDF

Info

Publication number
KR102346632B1
KR102346632B1 KR1020170030275A KR20170030275A KR102346632B1 KR 102346632 B1 KR102346632 B1 KR 102346632B1 KR 1020170030275 A KR1020170030275 A KR 1020170030275A KR 20170030275 A KR20170030275 A KR 20170030275A KR 102346632 B1 KR102346632 B1 KR 102346632B1
Authority
KR
South Korea
Prior art keywords
display device
content
image
display
display devices
Prior art date
Application number
KR1020170030275A
Other languages
English (en)
Other versions
KR20170105444A (ko
Inventor
아룬라케시 요가난단
쿠미 아키요시
마크 슐라거
멜린다 양
유창 후
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170105444A publication Critical patent/KR20170105444A/ko
Application granted granted Critical
Publication of KR102346632B1 publication Critical patent/KR102346632B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/16—Digital picture frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Abstract

각각의 제 1 컨텐츠가 디스플레이된 하나 이상의 디스플레이 장치의 이미지를 수신하는 단계; 적어도 하나의 디스플레이 장치에 대해, 디스플레이 장치 식별자(ID)를 검색하는 단계; 및 상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(ID)에 기초하여, 상기 이미지와 상호작용시, 상기 적어도 하나의 디스플레이 장치에 디스플레이된 상기 제 1 컨텐츠가 변경되도록 하는 단계;를 포함하는, 컨텐츠 관리 방법이 개시된다.

Description

컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작{CONFIGURATION AND OPERATION OF DISPLAY DEVICES INCLUDING CONTENT CURATION}
하나 이상의 실시예는 디스플레이 장치들에 관한 것으로, 특히 컨텐츠 큐레이션(content curation)을 포함하는 디스플레이 장치들을 구성하고 제어하는 것에 관한 것이다.
디바이스 및 디스플레이의 생태계(ecosystem)가 성장함에 따라, 종종 사용자가 하나의 디바이스에서 다른 디바이스로 컨텐츠를 전송하는 것이 필요해졌다. 블루투스 및 와이파이와 같은 통신 시스템이 이용 가능함에도 불구하고, 이러한 동작들을 수행하는 데 이용되는 상호작용 인터페이스는 여전히 직관적이지 못하다. 일반적으로, 사용자는 디스플레이에 연결하기 위해 이름 목록에서 찾아보고 해당 이름을 선택해야 하므로, 디스플레이의 이름, 네트워크/네트워크 식별자(ID)에서 디스플레이의 표현을 알고 기억해야 할 필요가 있다. 이 문제는 사용자가 디스플레이들의 클러스터를 큐레이팅(curating)해야할 때 복잡해지므로, 현재 작업 중인 디스플레이를 아는 것을 어렵게 한다.
하나 이상의 실시예는, 일반적으로 컨텐츠 큐레이션을 포함하는 디스플레이 장치들을 구성하고 제어하는 것에 관한다.
본 개시의 제 1 측면은 각각 제1 컨텐츠가 디스플레이된 하나 이상의 디스플레이 장치의 이미지를 수신하는 단계; 적어도 하나의 디스플레이 장치에 대해, 디스플레이 장치 식별자(ID)를 검색하는 단계; 및 상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(ID)에 기초하여, 상기 이미지와 상호작용시, 상기 적어도 하나의 디스플레이 장치에 디스플레이된 상기 제1 컨텐츠가 변경되도록 하는 단계;를 포함하는, 컨텐츠를 관리하기 위한 방법을 제공한다.
본 개시의 제 2 측면은 명령들을 저장하는 메모리; 및 프로세스를 포함하는 명령을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 프로세스는, 각각 제1 컨텐츠가 디스플레이된 하나 이상의 디스플레이 장치의 이미지를 수신하는 단계; 적어도 하나의 디스플레이 장치에 대해, 디스플레이 장치 식별자(ID)를 검색하는 단계; 및 상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(ID)에 기초하여, 상기 이미지와 상호작용시, 상기 적어도 하나의 디스플레이 장치에 디스플레이된 상기 제1 컨텐츠가 변경되도록 하는 단계;를 포함하는, 컨텐츠를 관리하기 위한 장치를 제공한다.
본 개시의 제 3 측면은 프로세서에 의해 실행될 때, 방법을 수행하는 프로그램을 포함하는 프로세서 판독가능 매체를 제공하는데, 방법은 각각 제1 컨텐츠가 디스플레이된 하나 이상의 디스플레이 장치의 이미지를 수신하는 단계; 적어도 하나의 디스플레이 장치에 대해, 디스플레이 장치 식별자(ID)를 검색하는 단계; 및 상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(ID)에 기초하여, 상기 이미지와 상호작용시, 상기 적어도 하나의 디스플레이 장치에 디스플레이된 상기 제1 컨텐츠가 변경되도록 하는 단계;를 포함한다.
하나 이상의 실시예의 다른 양상 및 이점은 하나 이상의 실시예의 예시적인 원리를 도시하는 도면과 함께 설명될 때, 후술한 상세한 설명으로부터 명확해질 것이다.
바람직한 실시 형태뿐만 아니라 실시예들의 성질 및 장점을 보다 잘 이해하기 위해, 첨부된 도면과 함께 상세한 설명이 참조되어야 한다.
도 1은 일 실시예에 따른 통신 시스템의 개략도를 나타낸다.
도 2는 일 실시예에 따른, 컨텐츠 재생 모듈을 포함하는 전자 장치를 포함하는 시스템에 대한 구성의 블록도를 나타낸다.
도 3a-3d는 일 실시예에 따른, 디스플레이 장치에 대한 전자 장치 상의 가상 오버레이들의 연속적인 잠금(continous lock)의 예시를 나타낸다.
도 4a는 일 실시예에 따른 복수의 디스플레이 장치들의 클러스터의 예시를 나타낸다.
도 4b는 일 실시예에 따른, 복수의 디스플레이 장치들의 클러스터의 레이아웃을 캡쳐하는 전자 장치를 나타낸다.
도 5a-5f는 일 실시예에 따른, 복수의 디스플레이 장치들의 클러스터 상에 디스플레이된 이미지 컨텐츠를 관리하는 예시에 대한 순서도를 나타낸다.
도 6a-6d는 일 실시예에 따라 크기를 조정함으로써, 디스플레이 장치 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시의 순서도를 나타낸다.
도 7a-7d는 일 실시예에 따라 공간적으로 응집된 방식으로 복수의 디스플레이 장치들을 통해 단일 이미지 컨텐츠를 분산시킴으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다.
도 8a-8d는 일 실시예에 따라 이미지 컨텐츠가 디스플레이 장치들의 전체 그룹에 걸쳐 디스플레이 장치들 사이에 공백을 포함하면서 잘리도록, 이미지 컨텐츠 선택 프로세스 동안에 선택된 이미지 컨텐츠의 상부에 오버레이(overlay)함으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다.
도 9a-9f는 일 실시예에 따라 관심 영역(region of interest, ROI)에 기초하여 단일 이미지를 복수의 디스플레이 장치들에 걸쳐 분산시킴으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다.
도 10a-10d는 일 실시예에 따라 디스플레이 장치 상에 디스플레이된 이미지 컨텐츠의 상대적인 관계를 변경시킴으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다.
도 11a-11f는 일 실시예에 따른, 복수의 디스플레이 장치들 중 임의의 디스플레이의 장치에 도시된 이미지 컨텐츠를 공유하는 예시에 대한 순서도를 나타낸다.
도 12a-12b는 일 실시예에 따라 디스플레이 장치들 간에 이미지 컨텐츠를 이동시키기 위한 드래그 앤 드롭 손가락 움직임의 예시도를 나타낸다.
도 13a-13b는 일 실시예에 따라 디스플레이 장치들에 대해 기설정된 필터 또는 주변 색상에 기초한 필터를 적용하기 위한 드래그 앤 드롭 손가락 움직임의 예시도를 나타낸다.
도 14a-14c는 일 실시예에 따라 디스플레이 장치들에 대한 매트 색상(mat color)으로서 이용하기 위해 디스플레이되는 이미지 컨텐츠로부터 색상을 선택하는 예시도를 나타낸다.
도 15는 일 실시예에 따른, 복수의 영역들에서 디스플레이 장치들을 그룹핑(grouping)하는 예시도를 나타낸다.
도 16a-16c는 일 실시예에 따른, 전자 장치를 이용하여 디스플레이 장치들의 그룹을 관리하는 예시도를 나타낸다.
도 17a-17b는 일 실시예에 따라 디스플레이 장치들을 측정하고, 복수의 디스플레이 장치들을 다양하게 구성하기 위한 추천을 제공하는 예시적인 템플릿 추천의 예시도를 나타낸다.
도 18a-18b는 일 실시예에 따른, 복수의 디스플레이 장치들의 전체적인 캔버스 레이아웃에 대한 예시적인 템플릿 추천의 예시도를 나타낸다.
도 19는 복수의 디스플레이 장치들에 대한 뷰어(viewer)의 상대적인 위치에 따라 다른 관점(viewing perspective)의 예시를 나타낸다.
도 20a-20d는 일 실시예에 따라 복수의 디스플레이 장치들의 크기, 형상 및 전체적인 레이아웃에 기초하여 이상적인 관점의 위치를 결정하는 예시도를 나타낸다.
도 21a-21d는 일 실시예에 따라 프레임을 캡쳐하고, 방 내에 현저한 색상을 분석하며, 스크롤 가능한 목록으로써 색상들을 디스플레이하고, 전자 장치 상의 목록에 기초하여 이미지를 나타내는 예시를 나타낸다.
도 22a-22c는 일 실시예에 따라 디스플레이 프레임 주위의 벽의 색상을 평가하고, 평가한 정보를 디스플레이 장치의 매트(mat)의 색상에 매칭하기 위해 이용하는 예시도를 나타낸다.
도 23a-23c는 일 실시예에 따라 반복 패턴을 식별하고, 디스플레이 장치에 유사한 투명 매트 효과를 제공하기 위해 패턴을 디지털 방식으로 합성하는 예시도를 나타낸다.
도 24a-24c는 일 실시예에 따른, 디스플레이 장치 상에 이미지를 디스플레이하기 위한 커스터마이징 매트(customizing mat)의 예시를 나타낸다.
도 25a-25b는 일 실시예에 따른, 디스플레이 장치 상에 이미지를 디스플레이하기 위한 커스터마이징 매트의 다른 예시를 나타낸다.
도 26은 일 실시예에 따른, 캡쳐된 이미지 상에 시각적 효과를 오버레이하기 위한 프로세스의 흐름도를 나타낸다.
도 27은 일 실시예에 따른, 복수의 디스플레이 장치들에 걸쳐 이미지를 분산시키기 위한 프로세스의 흐름도를 나타낸다.
도 28은 일 실시예에 따른, 디스플레이 장치들을 구성하고 제어하기 위한 프로세스의 흐름도를 나타낸다.
도 29는 하나 이상의 실시예를 구현하는 컴퓨팅 시스템을 포함하는 정보 처리 시스템을 나타내는 하이 레벨 블록도이다.
이하의 설명은 하나 이상의 실시예의 일반적인 원리를 설명하기 위한 것이며 본원에서 청구된 발명의 개념을 제한하려는 것이 아니다. 또한, 본원에 설명된 특정한 특징들은 다른 설명된 특징들과 각각 다양한 가능한 조합 및 순열로 조합하여 이용될 수 있다. 본 명세서에서 다르게 정의되지 않는 한, 모든 용어는 상세한 설명으로부터 유추된 의미뿐만 아니라 당업자가 이해하는 의미 및/또는 사전, 논문 등에서 정의된 의미를 포함하여 가능한 가장 넓게 해석해야 한다.
하나 이상의 실시예는 시각 및 공간적으로 직관적인 방식의 기술에 기초한 컴퓨터 비전 및 증강 현실(AR)을 이용하여, 디스플레이 장치들(예를 들어, 태블릿, 모니터, 디지털 사진 디스플레이 프레임, 컴퓨팅 디스플레이, 텔레비전 디스플레이, 프로젝션 디스플레이 등)의 클러스터에 대해 용이한 컨텐츠 큐레이션(content curation)을 제공한다. 일 실시예는 디스플레이들의 클러스터의 가상 표현(virtual representations)을 저장 및 검색하는 것에 대한 처리를 제공하고, 모바일 디바이스 (예를 들어, 스마트 폰, 태블릿, 웨어러블 디바이스, 휴대용 컴퓨팅 장치 등)를 이용하여 가상 표현을 국부적으로 또는 원격으로 큐레이팅한다(curate).
하나 이상의 실시예는 디스플레이 또는 디스플레이들의 클러스터를 시각적으로 식별하고 디스플레이 또는 디스플레이들의 클러스터와 직접적으로 상호작용하는 독특한 방식을 제공한다. 또한, 네트워크 ID, 블루투스 ID 등과 같은 텍스트 표현, 또는 폴더 또는 아이콘과 같은 상징적 표현 대신에, 디스플레이들의 시각적 표현에 선택된 컨텐츠를 직접 드래그 앤 드롭하는 것과 같은 고급 사용자 상호작용이 이용될 수 있다.
하나 이상의 실시예는 공간적으로 지능적인 이미지(이미지는 정지 이미지(예를 들어, 사진) 및 동영상(예를 들어, 비디오)을 포함) 편집 및 디스플레이들의 큐레이션을 제공한다. 이미지들은 이미지들을 보여주는 디스플레이들에 보다 잘 매칭되는 가로 세로 비율로 잘릴 수 있다. 단일 이미지는 공간적으로 응집된 방식으로 복수의 디스플레이들에 분산되도록 처리될 수 있다. 이미지에 포함된 소정의 중요 영역들/특징들의 선택적인 디스플레이는 선택된 디스플레이들 상에 디스플레이될 수 있다. 필터와 같은 특수 효과는 공간적인 상호작용을 통해 특정 디스플레이에 할당될 수 있다.
하나 이상의 실시예는 지리적으로 디스플레이들로부터 제거되어도 친숙한 사용자 경험(user experience)을 유지하면서 디스플레이들의 클러스터를 큐레이팅하는데 이용될 수 있는, 가상의 벽과 같은 디스플레이들의 클러스터의 시각적 표현을 저장 및 검색하는 것을 제공한다. 또한, 디스플레이들의 클러스터들을 다양한 그룹들로 그룹화하고, 집단 행동(collective behavior), 디스플레이할 컨텐츠, 그룹 특수 효과 등과 같은 각각의 그룹의 속성을 지정하는 처리가 제공된다. 한 그룹에서 다른 그룹으로 특정 디스플레이를 동적 재할당(dynamic reassignment)할 수 있고, 그룹 동작에 예외를 적용할 수도 있다.
하나 이상의 실시예는 시각 및 공간적으로 직관적인 방식으로 컴퓨터 비전 및 AR 기반 기술을 이용하는 디스플레이들의 클러스터에 대해 용이한 계획(planning), 배열(arrangement), 정렬(alignment) 및 장착(mounting)을 제공한다. 주변 환경을 갖는 디스플레이들의 부분적 또는 전체적 블렌딩(blending)은 색상, 질감(texture), 재질(material), 및 패턴과 같은 디스플레이들의 특징들을 모방함으로써 제공된다. 처리는 디스플레이들의 배치를 위한 특정한 측정치와 함께 디스플레이들의 가능한 배열을 위한 측정치, 계산값 및 제안을 제공한다. 디스플레이들의 위치 및 정렬에 대한 즉각적인 피드백이 제공되며, 디스플레이들은 사용자가 원하는 구성에 가깝게 가이드(guide)하는 보정(correction)을 위해 시각적으로 표시될 수 있다.
물리적 벽의 색상, 이용가능한 조명, 디스플레이 클러스터 내 이미지들 간의 컬러 팔레트(color palette)의 차이와 같은 디스플레이 클러스터의 주변 정보에 기초하여, 하나 이상의 실시예는 시각적으로 즐거운 방식으로 디스플레이 내 현재 이미지들을 향상시킬 수 있는 적합한 이미지 필터들의 제안을 제공한다. 주변 정보(ambient information)는 지역 컬렉션 또는 디스플레이가 위치한 방의 주변에 가장 잘 매치되는 큐레이팅된 서비스들로부터 사진 또는 삽화(artwork)를 제안하는 데 이용될 수 있다.
하나 이상의 실시예는 원근 보정(perspective correction)을 이용함으로써 디스플레이들의 클러스터의 옆이나 근처에 서있을 때에도, 디스플레이들의 클러스터의 먼 관점 또는 보다 이상적인 관점에 대한 정보를 제공한다. 주변 정보(예를 들어, 물리적 벽의 색상, 질감 및 패턴)는 디스플레이의 소정의 영역에서 벽의 세부사항들(details)을 모방하여 부분적으로 또는 전체적으로 주변 환경과 블렌딩(blending)되기 위해 이용된다. 디지털 사진 프레임에서 아날로그 사진 프레임의 다양한 물리적 매트(mats)를 모방할 수 있다.
도 1은 일 실시예에 따른 통신 시스템(10)의 개략도를 나타낸다. 통신 시스템(10)은 발신 동작을 시작하는 통신 디바이스(예를 들어, 전송 디바이스(12)) 및 통신 네트워크(110)를 포함할 수 있다. 전송 디바이스(12)는 통신 네트워크(110) 내에서 다른 통신 디바이스와 통신 동작을 시작하고 수행하기 위해 이용될 수 있다. 예를 들어, 통신 시스템(10)은 전송 디바이스(12)로부터 통신 동작을 수신하는 통신 디바이스(예를 들어, 수신 디바이스(11))를 포함할 수 있다. 통신 시스템(10)은 복수의 전송 디바이스(12)들 및 수신 디바이스(11)들을 포함할 수 있지만, 도 1에는 도면의 단순화를 위해 각각 하나의 전송 디바이스(12) 및 수신 디바이스(11)만이 도시된다.
통신 네트워크를 생성하도록 동작하는 임의의 적합한 회로, 장치, 또는 시스템, 또는 이들의 조합(예를 들어, 통신 타워 및 원격 통신 서버를 포함하는 무선 통신 인프라)은 통신 네트워크(110)를 생성하는데 이용될 수 있다. 통신 네트워크(110)는 임의의 적합한 통신 프로토콜을 이용하여 통신을 제공할 수 있다. 일 실시예에서, 통신 네트워크(110)는 예를 들어, 종래의 전화선, 케이블 텔레비전, 와이파이(Wi-Fi)(예를 들어, IEEE 802.11 프로토콜), 블루투스(Bluetooth), 고주파 시스템(예를 들어, 900MHz, 2.4GHz 및 5.6GHz 통신 시스템), 적외선, 다른 비교적 국소화된 무선 통신 프로토콜, 또는 이들의 조합을 지원할 수 있다. 일 실시예에서, 통신 네트워크(110)는 무선 셀룰러 폰 및 개인 이메일 장치(예를 들어, 블랙 베리(Blackberry))에 의해 이용되는 프로토콜을 지원할 수 있다. 예를 들어, 프로토콜은 GSM, GSM+EDGE(GSM plus EDGE), CDMA, 쿼드 밴드 및 다른 셀룰러 프로토콜을 포함할 수 있다. 다른 예시에서, 장거리 통신 프로토콜은 VOIP, LAN, WAN 또는 다른 TCP-IP 기반 통신 프로토콜을 이용하여 전화를 걸거나 받기 위한 와이파이 및 프로토콜을 포함할 수 있다. 전송 디바이스(12) 및 수신 디바이스(11)는 통신 네트워크(110) 내에 위치할 때, 경로(13)와 같은 양방향 통신 경로를 통해 통신하거나, 두 단방향 통신 경로들을 통해 통신할 수 있다. 전송 디바이스(12) 및 수신 디바이스(11) 모두는 통신 동작을 시작하고, 시작된 통신 동작을 수신할 수 있다.
전송 디바이스(12) 및 수신 디바이스(11)는 통신 동작들을 전송하고 수신하기 위한 임의의 적합한 디바이스를 포함할 수 있다. 예를 들어, 전송 디바이스(12) 및 수신 디바이스(11)는 모바일 폰, 텔레비전 시스템, 카메라, 캠코더, 오디오 및 비디오 기능을 가진 디바이스, 태블릿, 웨어러블 디바이스, 및 무선(무선 가능 액세서리 시스템의 지원이 있거나 없는) 또는 유선(예를 들어, 종래의 전화선 이용)으로 통신이 가능한 임의의 다른 디바이스를 포함할 수 있다. 통신 동작은, 예를 들어, 음성 통신(예를 들어, 전화), 데이터 통신(예를 들어, 이메일, 텍스트 메시지, 미디어 메시지), 비디오 통신, 또는 이들의 조합(예를 들어, 화상 회의)을 포함하는 임의의 적합한 통신 형태를 포함할 수 있다.
도 2는 디스플레이 장치 1-N(140)(예를 들어, 태블릿, 모니터, 디지털 사진 디스플레이 프레임, 컴퓨팅 디스플레이, 텔레비전 디스플레이, 프로젝션 디스플레이 등; N은 0 이상)을 구성하고 제어하기 위해 이용되며, 전자 장치(120)를 이용한 컨텐츠 큐레이션을 포함하는 구조 시스템(100)의 기능적인 블록도를 나타낸다. 전송 디바이스(12) 및 수신 디바이스(11)는 전자 장치(120)의 특징들의 전부 또는 일부를 포함할 수 있다. 일 실시예에서, 전자 장치(120)는 디스플레이(121), 마이크로폰(122), 오디오 출력(123), 입력 메커니즘(124), 통신 회로(125), 제어 회로(126), 카메라(128), 시각적 애플리케이션(129)(디스플레이 장치 컨텐츠 큐레이션, 관리, 배열 등을 제어하기 위한) 및 임의의 다른 적합한 구성요소들을 포함할 수 있다. 일 실시예에서, 애플리케이션 1-N(127)은 클라우드 또는 서버(130), 통신 네트워크(110) 등으로부터 획득되어 제공될 수 있으며, N은 1 이상의 양의 정수이다.
일 실시예에서, 오디오 출력(123), 디스플레이(121), 입력 메커니즘(124), 통신 회로(125) 및 마이크로폰(122)에 의해 이용되는 모든 애플리케이션은 제어 회로(126)에 의해 상호 연결되고 관리될 수 있다. 예를 들어, 음악을 다른 튜닝(tuning) 디바이스에 전송할 수 있는 핸드헬드 뮤직 플레이어(handheld music player)가 전자 장치(120)에 통합 될 수 있다.
일 실시예에서, 오디오 출력(123)은 전자 장치(120)의 사용자에게 오디오를 제공하기 위한 임의의 적합한 오디오 구성요소를 포함할 수 있다. 예를 들어, 오디오 출력(123)은 전자 장치(120)에 내장된 하나 이상의 스피커(예를 들어, 모노 또는 스테레오 스피커)를 포함할 수 있다. 일 실시예에서, 오디오 출력(123)은 전자 장치(120)에 원격으로 결합된 오디오 구성요소를 포함할 수 있다. 예를 들어, 오디오 출력(1230)은 유선(예를 들어, 잭으로 전자 장치(120)에 결합) 또는 무선(예를 들어, 블루투스 헤드폰 또는 블루투스 헤드셋)으로 통신 장치와 결합될 수 있는 헤드셋, 헤드폰 또는 이어폰을 포함할 수 있다.
일 실시예에서, 디스플레이(121)는 사용자에게 보이는 디스플레이를 제공하기 위한 임의의 적합한 스크린 또는 프로젝션 시스템을 포함할 수 있다. 예를 들어, 디스플레이(121)는 전자 장치(120)에 통합된 스크린(예를 들어, LCD 스크린)을 포함할 수 있다. 다른 예시로서, 디스플레이(121)는 전자 장치(120)로부터 멀리 떨어진 표면 상에 컨텐츠의 디스플레이를 제공하기 위해, 이동 가능한 디스플레이 또는 프로젝팅(projecting) 시스템을 포함할 수 있다. 디스플레이(121)는 제어 회로(126)의 지시 하에서 디스플레이 컨텐츠(예를 들어, 통신 동작에 관한 정보 또는 이용 가능한 매체 선택에 관한 정보)를 동작할 수 있다.
일 실시예에서, 입력 메커니즘(124)은 전자 장치(120)에 사용자 입력 또는 명령을 제공하기 위한 임의의 적합한 메커니즘 또는 사용자 인터페이스일 수 있다. 입력 메커니즘(124)은 버튼, 키패드, 다이얼, 클릭 휠(click wheel) 또는 터치스크린과 같은 다양한 형태를 취할 수 있다. 입력 메커니즘(124)은 멀티 터치 스크린을 포함할 수 있다.
일 실시예에서, 통신 회로(125)는 통신 네트워크(예를 들어, 도 1의 통신 네트워크(110))에 연결되도록 동작하고, 전자 장치(120)로부터의 통신 동작 및 매체를 통신 네트워크 내의 다른 장치로 전송하도록 동작하는 임의의 적합한 통신 회로일 수 있다. 통신 회로(125)는, 예를 들어, 와이파이(예를 들어, IEEE 802.11 프로토콜), 블루투스, 고주파 시스템(예를 들어, 900 MHz, 2.4 GHz 및 5.6 GHz 통신 시스템), 적외선, GSM, GSM+EDGE, CDMA, 쿼드밴드(quadband) 및 다른 셀룰러 프로토콜, VOIP, TCP-IP, 또는 임의의 다른 적합한 프로토콜과 같은 임의의 적합한 통신 프로토콜을 이용하여 통신 네트워크와의 인터페이스로 동작할 수 있다.
일 실시예에서, 통신 회로(125)는 임의의 적합한 통신 프로토콜을 이용하여 통신 네트워크를 생성하도록 동작할 수 있다. 예를 들어, 통신 회로(125)는 다른 통신 디바이스들과 연결되도록, 근거리 통신 프로토콜을 이용하여 근거리 통신 네트워크를 생성할 수 있다. 예를 들어, 통신 회로(125)는 전자 장치(120)를 블루투스 헤드셋과 결합하기 위해, 블루투스 프로토콜을 이용하여 로컬 통신 네트워크를 생성하도록 동작할 수 있다.
일 실시예에서, 제어 회로(126)는 전자 장치(120)의 동작 및 실행을 제어하도록 동작할 수 있다. 제어 회로(126)는, 예를 들어, 프로세서, 버스(예를 들어, 전자 장치(120)의 다른 구성요소로 명령을 전송하기 위한), 메모리, 저장부(storage) 또는 전자 장치(120)의 동작을 제어하기 위한 임의의 다른 적합한 구성요소를 포함할 수 있다. 일 실시예에서, 프로세서는 디스플레이를 구동시키고 사용자 인터페이스로부터 수신된 입력을 처리할 수 있다. 메모리 및 저장부는, 예를 들어, 캐시, 플래시 메모리, ROM 및/또는 RAN/DRAM을 포함할 수 있다. 일 실시예에서, 메모리는 특별히 저장하기 위한 펌웨어(예를 들어, 운영 체제, 사용자 인터페이스 기능 및 프로세서 기능과 같은 디바이스 애플리케이션에 대한)로 전용될 수 있다. 일 실시예에서, 메모리는 전자 장치(120)가 통신 동작을 수행하는 다른 장치와 관련된 정보를 저장(예를 들어, 통신 동작에 관련된 접속 정보(contact information)를 저장 또는 사용자에 의해 선택된 매체 타입 또는 매체 아이템과 관련된 정보를 저장)하기 위해 동작할 수 있다.
일 실시예에서, 제어 회로(126)는 전자 장치(120) 상에 실행된 하나 이상의 애플리케이션의 동작을 수행하도록 동작할 수 있다. 임의의 적합한 수 또는 유형의 애플리케이션이 실행될 수 있다. 다음의 설명이 상이한 애플리케이션들을 열거할지라도, 애플리케이션의 일부 또는 전부가 하나 이상의 애플리케이션으로 결합될 수 있다. 예를 들어, 전자 장치(120)는 자동 음성 인식(ASR) 애플리케이션, 다이얼로그 애플리케이션, 지도 애플리케이션, 미디어 애플리케이션(예를 들어, 퀵타임(QuickTime), 모바일 음악 애플리케이션, 또는 모바일 비디오 애플리케이션), 소셜 네트워킹 애플리케이션(예를 들어, 페이스북, 트위터 등), 인터넷 브라우징 애플리케이션 등을 포함할 수 있다. 일 실시예에서, 전자 장치(120)는 통신 동작을 수행하기 위해 동작하는 하나 이상의 애플리케이션을 포함할 수 있다. 예를 들어, 전자 장치(120)는 메시징 애플리케이션, 메일 애플리케이션, 음성 메일 애플리케이션, 인스턴트 메시징 애플리케이션(예를 들어, 채팅을 위한), 화상 회의 애플리케이션, 팩스 애플리케이션, 또는 임의의 적합한 통신 동작을 수행하기 위한 임의의 다른 적합한 애플리케이션을 포함할 수 있다.
일 실시예에서, 전자 장치(120)는 마이크로폰(122)을 포함할 수 있다. 예를 들어, 통신 동작 동안에, 통신 동작을 설정하는 수단으로써, 또는 물리적인 사용자 인터페이스를 이용하는 것에 대한 대안으로써, 전자 장치(120)는 애플리케이션1-N(127)의 음성 제어 및 탐색(navigation)을 위한 오디오(예를 들어, 음성)를 사용자가 전송할 수 있게 하는 마이크로폰(122)을 포함할 수 있다. 마이크로폰(122)은 전자 장치(120)에 통합되거나, 전자 장치(120)에 원격으로 결합될 수 있다. 예를 들어, 마이크로폰(122)은 유선 헤드폰에 통합될 수 있고, 마이크로폰(122)은 무선 헤드셋에 통합될 수 있고, 마이크로폰(122)은 원격 제어 장치에 통합될 수 있다.
일 실시예에서, 카메라 모듈(128)은 스틸 이미지 및 비디오 이미지를 캡쳐하기 위한 기능, 편집 기능, 사진/비디오 등을 전송 및 공유하기 위한 통신 상호운용성(communication interoperability)을 포함하는 하나 이상의 카메라 장치를 포함할 수 있다.
일 실시예에서, 시각적 애플리케이션(129)은 컨텐츠를 관리하고, 컨텐츠를 큐레이팅하고, 디스플레이 장치들의 배열을 제공하기 위한 프로세스 및/또는 프로그램을 포함한다. 컨텐츠는 시각 컨텐츠, 그래픽 이미지, 비디오 컨텐츠, 사진 등을 포함할 수 있다. 시각적 애플리케이션(129)은 후술하는 바와 같이 컨텐츠 및/또는 디스플레이 장치들의 처리, 큐레이팅, 제어, 관리 및 배열 중 어느 하나를 포함할 수 있다.
일 실시예에서, 전자 장치(120)는 통신 동작을 수행하기에 적합한 임의의 다른 구성요소를 포함할 수 있다. 예를 들어, 전자 장치(120)는 호스트 장치, 2차 입력 메커니즘(예를 들어, 온/오프 스위치) 또는 임의의 다른 적합한 구성요소에 결합하기 위한 전원, 포트 또는 인터페이스를 포함할 수 있다.
도 3a-3d는 일 실시예에 따른, 디스플레이 장치(140)에 대한 전자 장치(120) 상의 가상 오버레이(410)의 연속적인 잠금(continous lock)의 예시를 나타낸다. 일 실시예에서, 사용자가 전자 장치(120)의 시야(FOV) 내에 디스플레이 장치(140)를 유지시키면서 전자 장치(120)를 가지고 주위를 돌아다니면, 가상 오버레이(410)는 연속적으로 매칭되어 각각의 디스플레이에 잠겨진다(locked). 일 실시예에서, 가상 오버레이(410)의 매칭 및 잠금은 패턴 매칭(예를 들어, 인스턴스-레벨 오브젝트 검출, 카테고리-레벨 오브젝트 인식, 블록-기반 시각적-패턴 매칭 등을 이용한 패턴 매칭), 컴퓨터 비전 및 컴퓨터 그래픽을 결합하는 AR 기술에 의해 달성된다.
예를 들어, AR 라이브러리의 일부(예를 들어, 시각적 애플리케이션(129) 및/또는 애플리케이션 1-N(127)의 일부)인 패턴 매칭 프로세서(예를 들어, 도 29의 프로세서(3111)) 또는 프로세스(예를 들어, 시각적 애플리케이션(129) 또는 컨텐츠 큐레이션 및 디스플레이 관리 프로세싱(3130))는 전자 장치(120) 상에 존재하며, 이미지들의 한정된 세트를 검출하도록 훈련된다. 전자 장치(120)가 디스플레이 장치(140)를 가리키고, 디스플레이 장치(140)에 디스플레이되는 이미지가 전자 장치(120)의 패턴 매칭 데이터베이스에 존재하면, 패턴 매칭 프로세스 또는 프로세서는 이미지의 존재 및 식별된 이미지의 이름과 같은 세부 사항을 AR 라이브러리에 제공한다. AR 라이브러리는 씬(scene)에서 패턴이 존재하는 곳과 네 모퉁이의 위치와 같은 세부 사항을 결정하기 위해, AR 라이브러리의 컴퓨터 비전 프로세스 또는 프로세서를 이용한다. AR 라이브러리는 검출된 네 모서리 내에서 원하는 시각적 효과를 오버레이하기 위해, 디스플레이 장치(140)에 잠금된 상태를 유지하는 가상 오버레이의 착시를 제공하는 AR 라이브러리의 컴퓨터 그래픽 프로세스 또는 프로세서를 이용한다.
일 실시예에서, 가상 오버레이(410)는 요소들(elements) 위에 향상된 사용자 인터페이스 요소들이 중첩되도록 한다. 요소는 전자 장치(120)가 가리키는 디스플레이 장치(140)(예를 들어, 색상, 채도, 필터 등)의 상태를 변경하는데 이용될 수 있는 버튼 및 위젯(widget)을 포함할 수 있다. 또한, 갤러리에서 가상 오버레이(410)로 드래그하는 컨텐츠/효과와 같은 보다 향상된 상호작용이 가능하다. 위의 모든 것을 합치면, 사용자는 단지 전자 장치(120)로 디스플레이 장치(140)를 가리킴으로써, 디스플레이 장치(140)의 속성을 검출하고 조작할 수 있다. 따라서, 디스플레이 장치(140)에 대한 매우 직관적인 시각을 제공하며, 디스플레이 장치(140)와의 공간적으로 응집된 상호작용을 허용하고, 만족스러운 사용자 경험(user experience)을 제공한다.
또한, 상술한 컴퓨터 비전 기술은 디스플레이 장치(140)의 주변 장치들(neighbors)에 대한 디스플레이 장치(140)의 위치, 방향, 종횡비 및 크기(dimensions)를 측정할 수 있도록 한다. 일 실시예에서, AR 라이브러리는 AR 라이브러리의 패턴 매칭 라이브러리(예를 들어, 시각적 애플리케이션(129) 및/또는 애플리케이션 1-N(127))를 이용하여, 복수의 이미지 타겟들(targets)을 동시에 추적한다. 복수의 이미지 타겟들을 동시에 추적함으로써, 전자 장치(120)는 친숙한 이미지를 디스플레이하고 있는 디스플레이들의 클러스터에서 각각의 디스플레이 장치(140)의 상부에 가상 오버레이들이 설정(setup)되게한다. 이후, 어떤 디스플레이 장치(140)가 다른 디스플레이 장치(140)의 왼쪽, 또다른 디스플레이 장치(140)의 위쪽에 있는지 결정하기 위해, 가상 오버레이들의 컬렉션(collection)은 공간적으로 분석될 수 있다. 따라서, 디스플레이 장치들(140)의 클러스터의 상대적인 위치가 결정될 수 있다. 다른 가상 오버레이에 대한 한 가상 오버레이의 모서리들(edges)의 상대적인 방향에 기초하여, 전자 장치(120)는 디스플레이 장치들(140)의 상대적인 방향을 결정할 수 있다. 따라서, 디스플레이 장치들(140)의 클러스터의 상대적인 방향은 결정될 수 있다.
디스플레이 장치(140)의 종횡비(aspect ratio)는 높이(height)와 너비(width) 간의 비율이다. 디스플레이 장치들(140)은, 레터 박스(letterbox) 또는 수평 끝(horizontal extreme) 또는 수직 끝(vertical extreme)에 검은 선이 표시되지 않도록 하기 위해, 디스플레이 장치(140)의 용례 및 디스플레이 장치(140)에 디스플레이될 필요가 있는 정확한 종횡비를 갖는 적절한 매체에 따라, 4:3, 16:9, 16:10 등과 같은 다양하고 인기가 있는 종횡비 포맷(format)을 가질 수 있다. 각각의 디스플레이 장치(140)는 고유한 종횡비 및 물리적 크기를 본질적으로 알고 있다. 전자 장치(120)가 디스플레이 장치(140)를 가리키고 식별하면, 전자 장치(120)는 디스플레이 장치(140)의 종횡비 및 크기를 질의하기 위해, 디스플레이 장치(140)와 통신하며 전자 장치(120)에 의한 추가 계산에 이용되는 네트워크 통신을 이용할 수 있다. 일 실시예에서, 디스플레이 장치(140)의 종횡비는 네트워크 통신없이 결정될 수 있다. 전자 장치(120)는 상술한 가상 오버레이를 가지고 디스플레이 장치(140)의 관측된 종횡비를 결정하기 위해, 가상 오버레이들의 높이와 너비를 비교할 수 있다. 디스플레이 장치들(140)의 클러스터가 제공될 때, 컴퓨터 비전 기술은 클러스터 내의 다른 디스플레이 장치(140)에 대한 한 디스플레이 장치(140)의 상대적인 위치, 배열 및 크기 차이를 평가하는데 이용될 수 있다. 상술한 컴퓨터 비전 기술이 다른 디스플레이 장치(140)에 대한 한 디스플레이 장치(140)의 상대적인 위치, 배열 및 크기를 평가하는데 이용될 수 있기 때문에, 공간적으로 응집된 방식으로 복수의 디스플레이 장치들(140) 사이의 빈 공간(gap)을 고려하여(예를 들어, 도 7d 및 도8d에 도시) 복수의 디스플레이 장치들(140)에 걸쳐 단일 이미지를 효과적으로 분산시키는데 이용될 수 있다.
일 실시예에서, 도 4a에 도시된 멀티 디스플레이 장치 환경은 전자 장치(120)를 이용하여 디스플레이 장치들(140)의 물리적인 측면에서 식별이 수행될 수 있도록 한다. 예를 들어, 단일 디스플레이 장치(140) 또는 디스플레이 장치들(140)의 클러스터는 동일하거나 상이한 크기의 모듈형 디스플레이 장치들(140)로도 지칭된다. 디스플레이 장치들(140)은 모두 동일한 네트워크 상에 연결된다. 네트워크는 와이파이, 블루투스, LAN, WAN, 셀룰러 등과 같은 유선 또는 무선 통신 채널일 수 있다. 각각의 디스플레이 장치(140)는 네트워크로 연결된 다른 장치들을 평가하고, 네트워크로 연결된 다른 장치들과 통신하는데 이용될 수 있는 고유한 네트워크 ID를 갖는다. 각각의 디스플레이 장치(140)는 터치하거나 터치하지 않는 제스처 상호작용 특징을 갖거나 갖지 않을 수 있다. 예를 들어, 디스플레이 장치(140)를 로컬 네트워크에 추가하기 위해 초기 설정 프로세스가 필요할 수 있다. 예를 들어, 사용자는 근거리 무선 통신(NFC), USB등을 갖는 다른 기술을 통해, 전자 장치(120)로부터 각각의 디스플레이 장치(140)에 로컬 네트워크 구성 데이터를 전송할 수 있다.
일 실시예에서, 디스플레이 장치(140)는, 컴퓨터 비전 기술을 이용하여 각각의 디스플레이 장치(140)의 개별적인 식별을 가능하게 하는, 발광 다이오드(LED)의 스펙트럼(가시 또는 적외선) 또는 디스플레이 장치(140) 프레임의 베젤/경계(bezel/border) 상의 다른 물리적 마커(physical marker)를 포함할 수 있다. 예를 들어, 멀티 터치 또는 에어 제스처(air gesture)와 같은 입력 기술을 이용하여, 사용자는 나머지 디스플레이 장치들(140)과 동일한 네트워크 상에 있는, 카메라(128)를 갖는 전자 장치(120)에 접속(accessing)할 수 있다. 카메라(128)의 시야(FOV)는 넓은 영역을 보기 위해 조정되거나, 좁은 영역에 초점을 맞추기 위해 줌 인(zoom in)될 수 있다. 예를 들어, 디스플레이 장치들(140)은 또한 네트워크를 통해 TV 또는 스피커와 같은 다른 엔터테인먼트 장치에 연결될 수 있다.
일 실시예에서, 전자 장치(120)는 디스플레이 장치(140)를 보고(view) 시각적 애플리케이션(129)을 이용하기 위해, 카메라(128)를 이용함으로써, 디스플레이 장치(140)와 상호작용을 수행하고, 디스플레이 장치(140)에 명령할 수 있다. 상호작용은 직접 상호작용/조작을 지칭할 수 있다. 예를 들어, 다른 디스플레이 장치(140), 전자 장치(120) 및 디스플레이 장치들(140)이 위치한 방에 대한 각각의 디스플레이 장치(140)의 위치, 방향 및 크기를 결정하는 능력인 디스플레이 장치(140)의 추적은 전자 장치(120)를 이용하여 제공된다.
컴퓨터 비전은 몇몇 프로세스를 이용하여 디스플레이 장치들(140)을 추적할 수 있을 정도로 발전되어 왔다.
- 프레임 마커: 디스플레이 장치(140)는 식별될 수 있는, 마커로 알려진 특정 기정의된 패턴을 디스플레이할 수 있다. 마커는 일반적으로 바둑판 같은 고유한 패턴의 형태를 취한다. 다양하고 복잡한 여러 유형의 마커가 있다. 예를 들어, QR코드 및 바코드는 마커의 특정 예시이다.
- 이미지 타겟: 패턴 매칭의 발전으로 인해, 디스플레이 장치(140)를 추적하고 식별하기 위한 방식으로써 일반 이미지를 이용할 수 있다. 따라서, 현재 디스플레이된 이미지에 적용될 수도 있고, 또는 각각의 디스플레이 장치(140)가 동일한 목적을 위해 이용되는 고유한 기본(default) 이미지를 가질 수도 있다.
- 문자 인식: 디스플레이 장치(140)는 다른 메타데이터를 추적하고 시각적으로 통신하기 위해 이용될 수 있는 특정 텍스트를 디스플레이할 수 있다.
- 워터마킹된 마커(watermarked marker): 디스플레이된 이미지는 디스플레이 장치(140)를 식별하기 위한 방법으로, 보이지 않는 워터마크(카메라(128)에 의하여만 포착(pick up)될 수 있는)로의 암호화(encrypt)가 이용될 수 있다.
- 프레임에 내장된 LED: 가시/비가시 LED 또는 다른 발광 요소는 디스플레이 장치(140)의 베젤에 내장될 수 있다. 이후, 발광 요소는 디스플레이 장치(140)를 식별하고 추적할 수 있게 하는 특정 방식 및/또는 특정 색상으로 점멸하도록 배열될 수 있다.
- 프레임의 물리적 특징: 현대의 AR 소프트웨어는 3D 모델로 패턴 매칭하고 실시간으로 추적할 수 있기 때문에, 고유한 물리적 특징을 갖는 디스플레이 장치들(140)은 디스플레이 장치(140)를 식별하고 추적하는 수단으로서의 역할을 수행할 수 있다.
하나 이상의 실시예가 이미지 타겟팅 기술로 후술된다. 하지만, 다른 추적 기술 또한 이용될 수 있다.
본원에 설명된 통신 링크 기술은 전자 장치(120)의 카메라(128)를 통해 보았을 때 알려진 이미지를 식별할 수 있게 하는 컴퓨터 비전 기술을 핵심으로 이용한다. 일 실시예에서, 네트워크 내의 모든 디스플레이 장치들(140)은 각각의 디스플레이 장치(140)를 업데이트하기 위해, 현재 디스플레이된 이미지의 이름, 디스플레이 장치들(140)의 네트워크 ID, 디스플레이 장치들(140)의 종횡비와 같은 세부사항을 가지고 서로 지속적으로 통신할 수 있다. 결과적으로, 전자 장치(120)를 포함하는 네트워크 상의 모든 디스플레이 장치들(140)은 네트워크 ID와 현재 디스플레이된 이미지 사이의 관계를 나타내는 룩업테이블을 포함한다. 룩업테이블의 예시가 아래에 제공된다.
네트워크 ID 현재 이미지
1 IMG3
2 IMG1
3 IMG5
일 실시예에서, 전자 장치(120)가 디스플레이 장치들(140)의 클러스터를 가리킬 때, 어떤 디스플레이 장치가 어떤 네트워크 ID에 대응되는지 즉시 알지는 못한다. 일 실시예에서, 전자 장치(120)는 이미저리(imagery)의 ‘알려진’ 세트를 구성하는 패턴 라이브러리를 가진다. 각각의 패턴은 이미지 식별자와 연관된다. 전자 장치(120)는 캡쳐된 이미지의 어떤 특징이 패턴 라이브러리의 임의의 컨텐츠와 매칭되는지 알기 위해, 또한 카메라(128)로 캡쳐하는 각각의 프레임을 지속적으로 스캔하기 위해 시각적 애플리케이션(129)을 이용한다. 전자 장치(120)가 디스플레이 상의 알려진 이미지를 관찰하고 인식할 때, 전자 장치(120)는 특정 디스플레이 장치(140)의 네트워크 ID를 식별하기 위해 룩업테이블을 이용하고, 이후에 디스플레이 장치(140)에 대한 임의의 후속 명령 또는 변경을 통신하기 위해 룩업테이블을 이용한다. 전자 장치(120)에 의해 이용되는 패턴 라이브러리는 전자 장치(120) 상에 존재하거나 도 2의 클라우드/서버(130)에서 접속될 수 있다. 카메라(128)를 통해 캡쳐된 모든 이미지는 이미지가 분석되고, 패턴으로 정의되어 패턴 라이브러리 및 클라우드/서버(130)에 추가되는 전처리 단계를 거친다. 패턴 라이브러리의 클라우드/서버 버전은 데이터와 함께 최신 상태를 보장하도록 다른 사용자 및 다른 장치와 지속적으로 동기화될 수 있다. 일 실시예에서, 패턴 라이브러리에 대한 모든 업데이트는 클라우드/서버에서 직접 수행된다. 다른 실시예에서, 전자 장치(120) 또는 디스플레이 장치(140)는 자신의 로컬 패턴 라이브러리를 변경할 때마다 클라우드/서버와 패턴 라이브러리 동기화를 시작한다. 각각의 디스플레이 장치(140)는 기본 이미지로서의 역할을 하고, 차례로 디스플레이 장치(140)를 고유하게 식별할 수 있게 하는 고유 이미지로 미리 로딩될(pre-loaded) 수 있다.
일 실시예에서, 컴퓨터 비전 기술은 또한 전자 장치(120)의 디스플레이(121)에 대한 디스플레이 장치(140)의 물리적 크기 및 상대적인 위치 및 방향을 식별하기 위해 이용될 수 있다. 컴퓨터 그래픽 기술은 전자 장치(120)의 디스플레이(121) 상에 도 4b의 디지털/가상 오버레이(510)를 렌더링(rendering)하는데 이용될 수 있으며, 디지털/가상 오버레이(510)는 디스플레이 장치들(140)의 상부에 있고, 디스플레이 장치들(140)의 뷰(view)를 에워싼다(encompass).
도 4a는 일 실시예에 따른, 복수의 디스플레이 장치들(140)의 클러스터의 예시를 나타낸다. 디스플레이 장치들(140)의 클러스터와 가상 오버레이들(예를 들어, 도 4b의 가상 오버레이(510)) 간의 관계는 가상 벽으로 불리는 스냅샷(snapshot)으로 캡쳐될 수 있으며, 가상 벽은 디스플레이 장치(140)가 위치하는 방/환경뿐만 아니라 가상 오버레이를 나타내는 라이브 이미저리(live imagery)의 조합이다. 하나 이상의 실시예는 가상 벽을 언제든지 조작할 수 있도록, 가상 벽의 저장 및 검색을 제공한다. 가상 벽은 카메라(128)에 의해 캡쳐된 방의 사진으로 생각될 수 있으며, 디스플레이 장치(140)의 컨텐츠만이 시간에 따라 업데이트된다. 일 실시예에서, 가상 벽은 표준 직사각형 이미지 형태를 취할 수 있다. 다른 실시예에서, 가상 벽은 전자 장치(120) 상의 복수의 카메라들(128) 에 의하거나, 단일 카메라(128)를 갖는 전자 장치(120) 주위로 스위핑(sweeping)되거나, 다른 알려진 방법으로 캡쳐된 360도(또는 다른 각도) 이미지와 같은 파노라마 이미지일 수 있다. 물리적 디스플레이 장치(140)가 새로운 이미지로 업데이트됨에 따라, 디스플레이 장치(140)를 포함하는 가상 벽은 대응하는 가상 오버레이를 업데이트한다. 사용자는 가상 오버레이가 실제 디스플레이 장치(140)의 근처에 있지 않을 때에도, 사용자는 가상 벽 내의 가상 오버레이에 컨텐츠를 드래그 앤 드롭하여 실제 디스플레이 장치(140)를 업데이트할 수 있다. 따라서, 사용자가 디스플레이 장치들(140)의 클러스터를 원격으로 큐레이팅하는 것을 가능하게 한다.
일 실시예에서, 사용자가 자신의 시야(FOV) 내의 모든 관심있는 디스플레이 장치들(140)을 만족스럽게 커버하는 프레임을 설정하고, 상술한 오버레이들을 그리기 위해 추적이 시작되면, 몇가지 유형의 정보가 추적 데이터를 통해 획득될 수 있다.
a) 각각의 디스플레이 장치(140)의 크기 및 종횡비
b) 각각의 디스플레이 장치(140)의 현재 방향(가로 또는 세로)
c) 서로에 대한 디스플레이 장치들(140)의 상대적인 크기
d) 서로에 대한 디스플레이 장치들(140)의 위치 및 방향(즉, 디스플레이 장치들(140)간의 갭(gap))
e) 각각의 디스플레이 장치(140) 및 디스플레이 장치(140)들이 장착된 평면/벽으로부터 전자 장치(120) 및 사용자까지의 거리
f) 각각의 디스플레이 장치(140) 및 디스플레이 장치들(140)이 장착된 평면/벽에 대한 사용자의 상대적인 방향
상기 나열된 풍부한 정보 목록은 디스플레이 장치(140)의 제어, 구성 및 컨텐츠 큐레이션에 흥미로운 능력 및 기능을 추가하는 시각적 애플리케이션(129)을 제공한다.
일 실시예에서, 디스플레이 장치(140)를 추적하는 것 이외에도, 사용자는 다음의 옵션들 중 어느 하나를 통하여 주변 정보를 제공할 수 있다.
- 더 많은 방의 주변 정보를 포함하도록 뒤로 물러나거나 FOV를 넓힘
- 사용자가 주변 환경을 캡쳐한 곳에서 방의 일부나 대표적인 물체(object)의 사진을 촬영하는 별도의 단계를 수행
- 주변 계산(ambience calculation)에 이용하기 위한, 스티칭된(stitched) 방의 360도 이미지를 캡쳐하기 위해 사용자가 이동/회전을 수행
도 4a에 도시된 바와 같이, 3개의 디스플레이 장치들(140)이 벽에 걸려있다. 예를 들어, 3개의 디스플레이 장치들(140)은 상이한 형상 및 크기를 가진다. 하지만, 디스플레이 장치들(140)은 동일한 형상 또는 크기를 취하거나, 다양한 형상 또는 크기를 취할 수 있으며, 추가적인 디스플레이 장치(140) 또는 더 적은 디스플레이 장치(140)가 특정 레이아웃 조합을 형성하기 위해 존재할 수 있다. 각각의 디스플레이 장치(140)는 디스플레이 장치(140)가 아직 구성되지 않은 경우 제조시 기본값이거나, 디스플레이 장치(140)의 이전 컨텐츠 관리를 통해 패턴 라이브러리에 의해 기록된 사용자 제공 컨텐츠를 디스플레이한다.
일 실시예에서, 주변 정보(ambience information)가 캡쳐되면, 벽의 색상, 방의 조명, 주위 디스플레이 장치들(140)에 도시된 모든 이미지들의 색상 스펙트럼 등과 같은 주변의 소정의 세부사항을 평가할 수 있다. 일 실시예에서, 전자 장치(120)에서 실행되는 애플리케이션은 2차원(2D) 모드와 AR 모드 사이에서 전환될 수 있다. 예를 들어, 2D 모드는 이미지 갤러리를 브라우징하고 타이핑하는 것과 같은 동작에 필요한 정규 2D 상호작용을 허용한다. AR 모드는 AR 라이브러리를 로딩(loading)하고, 디스플레이 장치(140)를 보고, 디스플레이 장치(140)와 상호작용하는데 이용되는 카메라 뷰를 제공한다. 일 실시예에서, 전자 장치(120)에서 AR 모드가 켜지면, 디스플레이 장치(140)는 전술한 추적 기술에 기초하여, 이미지 중 하나에 도움이되는 컨텐츠로 전환한다. 일 실시예에서, 디스플레이된 컨텐츠는 디스플레이 장치(140) 고유의 미리 결정된 프레임 마커, 워터마킹(watermarking)등의 형태를 취할 수 있다. 다른 실시예에서, 현재 디스플레이된 이미지 자체는 이미지 타겟 및 추적(tracking)을 제공할 수 있다. 전자 장치(120)는 계속적으로 모든 디스플레이 장치(140)들의 상태와 통신하고, 대응하여 올바른 패턴 인식 데이터 세트가 로딩될 수 있다.
도 4b는 일 실시예에 따라 도 4a의 복수의 디스플레이 장치들(140)의 클러스터의 레이아웃을 캡쳐하는 전자 장치(120)를 도시한다. 도시된 바와 같이, 전자 장치(120)는 도 4a의 디스플레이 장치들(140)의 레이아웃을 캡쳐하고, 각각의 캡쳐된 디스플레이 장치들(140)에 걸쳐 오버레이(510)를 제공한다. 사용자가 카메라(128)로 디스플레이 장치들(140)을 가리키게 하면, 전자 장치(120)는 각각의 디스플레이 장치들(140)을 인식하기 위해, 전술한 패턴 매칭 프로세스를 시작한다.
일 실시예에서, 컨텐츠 인식에만 의존하는 대신에, 전자 장치(120)는 디스플레이 장치(140)의 프레임, 모서리 또는 경계 주위에 임베디드된(embedded) LED에 기초하여, 한 디스플레이 장치(140)를 다른 디스플레이 장치(140)와 구별할 수 있다. 예를 들어, 각각의 디스플레이 장치(140)는 고유한 LED 점등 패턴을 가질 수 있다. 각각의 디스플레이 장치(140)에 대해 X개의 LED가 있는 경우, 고유한 패턴은 X의 제곱에 이를 수 있다. 다른 예시로서, LED는 온/오프 주파수, 온/오프 시퀀스(on/off sequence) 등을 제어함으로써, 고유한 패턴을 증가시킬 수 있다. 일 실시예에서, 전자 장치(120)는 하나의 디스플레이 장치(140)를 캡쳐된 디스플레이 장치(140)의 동일한 그룹 내의 다른 디스플레이 장치(140)와 구별할 필요가 있다. 동일한 패턴은 다른 그룹에 속하는 한 다른 디스플레이 장치(140)에 대해 발생할 수 있다. 따라서, 보다 적은 수의 고유한 패턴이 요구될 수 있다. 고유한 패턴은 페어링(pairing) 프로세스 중에 자기 자신을 나타낼 필요가 있을 수 있다. 일 실시예에서, 페어링 프로세스는 와이파이 ID, 블루투스 네트워크 등과 같은 네트워크 통신을 위한 자격 증명(credentials for network communication) 및 각각의 패스워드를 전자 장치(120)상에 로딩하고, NFC와 같은 기술을 통해 디스플레이 장치(140)에 전송하는 것을 포함한다. 일단 디스플레이 장치(140)가 네트워크 통신을 위한 자격 증명을 수신하면, 디스플레이 장치(140)가 무선 네트워크 상에 존재하여, 전자 장치(120)와 디스플레이 장치(140) 사이의 무선 통신이 가능하게 된다. 일단 디스플레이 장치(140)가 전자 장치(120)와 페어링되면, 디스플레이 장치(140)의 식별은 전술한 바와 같이 대응하는 가상 오버레이와 연관된다.
일 실시예에서, 복수의 디스플레이 장치들(140)이 인식될 때, 시각적 애플리케이션(129)은 전자 장치(120)에 의해 캡쳐된 이미지에서 인식된 디스플레이 장치들(140) 각각의 영역 또는 픽셀들을 식별한다. 예를 들어, 박스 영역(오버레이(510))은 식별된 영역 또는 픽셀들에 대응하는 각각의 인식된 디스플레이 장치들(140)에 대해 생성되고, 대응하는 가상 물체(virtual object)를 나타낸다. 박스 영역들은 대응하는 디스플레이 장치(140)와 연관되어 있으며, 각각의 박스 영역은 대응하는 디스플레이 장치(140)의 디스플레이 성능에 가장 적합한 종횡비를 유지한다.
도 5a-5f는 일 실시예에 따른, 복수의 디스플레이 장치들(140)의 클러스터 상에 디스플레이된 이미지 컨텐츠를 관리하는 예시에 대한 순서도를 나타낸다. 도 5a-5f에서, 세 개의 디스플레이들(640, 641, 642)이 도시되는데, 세 개의 디스플레이들(640, 641, 642)은 전술한 디스플레이 장치(140)와 유사하다. 도 5a-5d에서, 이미지 컨텐츠(651)는 디스플레이(641)에 디스플레이된다. 예를 들어, 사용자는 원하는 디스플레이(641)에 컨텐츠를 업로드하기 위해, 전술한 것과 동일한 제어 수단을 이용할 수 있다. 예를 들어, 장치 상의 앨범(on-device album) 또는 갤러리(630)로부터 전자 장치(120)에 나타난 박스 영역 중 하나에 사진을 드래그함으로써, 사진이 업로드될 수 있다. 도 5d는 앨범 또는 갤러리(630)로부터 디스플레이(641)와 연관된 박스 영역으로의 드래깅(661)을 도시한다. 도 5e에서, 앨범 또는 갤러리(630)로부터 드래그된 이미지는 이미지 컨텐츠(651)를 대체하는 이미지 컨텐츠(652)로써 디스플레이(641)상에 디스플레이된다. 도 5f는 디스플레이들(640, 641, 642)의 최종적인 벽(resulting wall)을 나타낸다.
도 6a-6d는 일 실시예에 따라 크기를 조정함으로써, 디스플레이 장치(701) 상에 디스플레이된 이미지 컨텐츠(711)를 관리하기 위한 예시의 순서도를 나타낸다. 오늘날 사용자는 사용자의 컬렉션에 많은 이미지들을 갖고 있다. 이미지(예를 들어, 사진, 비디오 등)는 디지털 카메라, 스마트폰 등과 같은 다양한 장치들로 촬영된다. 또한, 페이스북(FACEBOOK), 인스타그램(INSTAGRAM), 핀터레스트(PINTEREST), 스냅챗(SNAPCHAT) 등과 같은 다양한 소셜 플랫폼 및 서비스로부터 이미지를 수신하거나, 이미지에 접근할 수 있다. 사용자는 디스플레이 장치(701)(전술한 디스플레이 장치(140)와 유사)에 이미지를 공유하기를 원할 것이지만, 이미지는 다양한 크기와 종횡비를 가질 수 있어, 의도된 디스플레이 장치(701)의 종횡비와 1:1로 매칭되지 않을 수 있다.
디스플레이(710)의 종횡비에 맞도록 이미지를 중앙에 맞춰 자르는 것(center cropping)과 같은 자동 잘라내기 메커니즘(auto cropping mechanism)은 이미지 내의 관심 영역(ROI)이 이미지 내의 임의의 위치에 있을 수 있으므로 만족스러운 결과를 제공하지 못한다. 또한, 이미지를 중앙에 맞춰 자르는 것(center cropping)은 필요한 정보를 잘라내거나 어울리지 않는 방식(unflattering manner)으로 표현될 수 있다. 수동으로 이미지의 종횡비를 파악하고, 다른 애플리케이션(a third party app)으로 이동하여 잘라내기를 수행하는 것은 지루할 수 있다. 모듈형 디스플레이는 항상 네트워크로 연결되어 있으며, 물리적인 세부사항 및 상태와 같은 세부사항을 서로 계속적으로 통신하므로, 모듈형 디스플레이에 놓인 이미지가 언제 매칭되지 않는지 알 수 있다. 일 실시예에서, 도 6a에 도시된 바와 같이, 앨범 또는 갤러리(630)로부터 이미지 컨텐츠(720)를 드래그함으로써, 도 6b에 도시된 것과 같은 새로운 팝업창(730)이 나타난다. 새로운 팝업창(730)은 사용자가 드래그한 디스플레이의 종횡비(높이에 대한 너비의 비율)의 직사각형을 따라 드래그된 이미지(720)를 표시한다. 사용자는 사용자가 디스플레이하려는 영역에 가장 잘 맞을 때까지 박스(종횡비가 잠겨진)를 이동하고 크기를 조정할 수 있다. 확인 시, 이미지의 서브셋(subset)만이 도 6d에 도시된 것과 같은 조정된 이미지 컨텐츠(721)로서 디스플레이(710)에 나타날 것이다.
다른 실시예에서, 드래그 앤 드롭 및 미스매치(mismatch)를 식별할 때, 시각적 애플리케이션(129)은 특정 종횡비에 보다 잘 맞는 디스플레이 그룹 내 다른 디스플레이 장치(140)를 제안할 수 있으므로, 사용자는 이미지의 모양과 느낌을 자르고 손상시킬 필요가 없다. 다른 디스플레이 장치(140)를 이용하라는 추천은 주변 디스플레이 장치들(140)의 색상, 컨텐츠의 움직임, 해상도(resolution) 및 다른 특징들에 기초할 수 있다. 예를 들어, 디스플레이 장치들(140)의 클러스터가 주변 환경(예를 들어, 벽)에 배열되어, 좌측의 디스플레이 장치들(140)은 주로 빨간색 컬러 스펙트럼에 있는 이미지를 보여주고, 우측의 디스플레이 장치들(140)은 주로 파란색 컬러 스펙트럼에 있는 이미지를 보여주는 시나리오를 가정하자. 주로 주황색인 이미지가 우측에 있는 디스플레이 장치(140)로 드래그 앤 드롭되면, 주황색은 주로 파란색을 갖는 디스플레이 장치들(140) 중에서 부적절하게 눈에 띄게된다. 하나 이상의 실시예는 분석을 수행하고, 시각적으로 만족스러운 효과를 위해 이미지가 좌측의 디스플레이 장치들(140) 중 하나에 위치하는 것이 적절하다고 제안한다. 이후, 사용자는 제안된 추천을 선택하거나, 대조(contrasting look)를 의도하는 경우(예를 들어, 창의적인 이유로) 추천을 무시하는 선택을 할 수 있다.
하나 이상의 실시예는 디스플레이 장치(예를 들어, 디스플레이 장치(140)) 상에 디스플레이된 이미지 컨텐츠를 원격으로 관리하는 것을 제공한다. 일 실시예에서, 벽은 몇몇의 디스플레이 장치들(140)을 포함할 수 있다. 일 실시예에서, 사용자가 전자 장치(120)로 벽에 있는 디스플레이 장치들의 이미지를 캡쳐할 때, 이미지는 또한 다른 벽 장식(예를 들어, 주위의 가구, 조명기기들 사이의 색 대비, 식물 또는 다른 환경 설정 등)과 같은 디스플레이 장치들 주위의 컨텍스트 정보(contextual information)를 캡쳐하고, 이후 이미지는 가상 벽으로 저장된다. 가상 벽 이미지에서 이용가능한 컨텍스트 정보는 모듈형 장치와 사용자 상호작용의 유연성을 향상시킬 수 있다. 예를 들어, 사용자는 침실에 머무르면서 거실에 있는 모듈형 장치의 컨텐츠를 관리할 수 있다. 디스플레이 장치들(140)의 클러스터의 시각적 스냅샷인 가상 벽은 또한 스냅 샷 내에 공간적으로 임베디드된 IP 주소와 같은 네트워크 주소의 목록으로 생각될 수 있다. 손에 있는 네트워크 주소로, 각각의 디스플레이 장치(140)는 집 안의 어디에서나 제어될 수 있다. 내부 네트워크가 인터넷과 같은 외부 네트워크와 연결되면, 사용자는 먼 위치의 디스플레이 장치들(140)을 큐레이팅할 수 있다. 또는, 멀리 위치한 디스플레이 장치(140)의 네트워크 주소에 접속(accessing)할 수 있는 다른 사용자도 디스플레이 장치(140)를 큐레이팅할 수 있다.
예를 들어, 캐리비안(Caribbean)에서와 같은 장소에서 사용자가 휴가 중일 때, 사용자는 컨텐츠 디스플레이 변경을 관리하기 위해, 하나 이상의 가상 벽을 이용할 수 있다(이 예시는 전자 장치(120)가 허브에 대해 특정 모듈형 디스플레이 장치를 식별할 수 있어, 허브를 통해 컨텐츠 관리를 완료하기 위해, 전자 장치(120)와 상호작용할 수 있는 홈 허브(home hub)를 필요로할 수 있음). 또는, 복수의 디스플레이 장치들이 와이파이와 같은 기술을 통해 인터넷에 연결되면, 디스플레이 장치들을 큐레이팅하는 것은 클라우드를 통해 달성될 수 있다. 가상 벽의 컨텍스트 정보는 사용자에게 각각의 모듈형 장치들에 디스플레이될 컨텐츠뿐만 아니라, 주변 설정을 고려한 컨텐츠 디스플레이의 전체적인 효과를 고려할 수 있게 한다. 예를 들어, 사용자는 가상 벽을 저장할 수 있고, 복도, 게스트룸, 거실 등과 같은 대표적인 이름으로 가상 벽을 분류할 수 있다.
또한, 사용자는 사용자의 가상 벽을 친구와 공유할 수 있으므로, 친구는 간단하게 자신의 사진 벽을 큐레이팅할 수 있다. 또는, 사용자는 특정 디스플레이들을 소정의 친구들에게 제공하여, 소정의 친구들이 특정 디스플레이들을 큐레이팅하게할 수 있다. 예를 들어, 어머니는 대학에 다니지 않는 딸에게 디스플레이를 제공할 수 있다. 딸은 디스플레이에 접속할 수 있고, 어머니에게 자신의 생활을 알리기 위해, 자신이 좋아하는 이미지로 디스플레이를 계속적으로 업데이트할 수 있다. 따라서, 가상 벽의 공유는 재미있고 친밀한 상호작용을 제공할 수 있다.
예를 들어, 이미지 컨텐츠는 앨범 또는 갤러리로부터 선택된다. 사용자는 선택된 이미지 컨텐츠를 벽에 위치한 선택된 디스플레이 장치와 연관된 오버레이로 드래그 앤 드롭할 수 있다. 이미지 컨텐츠가 놓여지면, 이미지 컨텐츠가 선택된 디스플레이 장치에서 디스플레이된다.
도 7a-7d는 일 실시예에 따라 공간적으로 응집된 방식으로 복수의 디스플레이들(901, 902, 903)(전술한 디스플레이 장치(140)와 유사)을 통해 단일 이미지 컨텐츠를 분산시킴으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다. 예를 들어, 이미지 컨텐츠는 공간적으로 응집된 방식으로 디스플레이들(901, 902, 903)에 걸쳐 분산된다. 도 7a는 컨텐츠 관리 및 제어를 위해 이용가능한 앨범 또는 갤러리(630)를 갖는 전자 장치(120) 상의 디스플레이들(901, 902, 903)의 레이아웃의 캡쳐된 이미지를 나타낸다. 디스플레이들(901, 902, 903)은 각각 이미지 컨텐츠(911, 912, 913)를 디스플레이한다. 디스플레이들에 걸쳐 이미지를 분산시키기 위해, 사용자는 3 단계를 수행해야 한다:
a) 메뉴 옵션을 선택하여, 모드로 들어갈 의도를 표현하는 단계; b) 시스템이 이미지를 분산시키기 원하는 선택된 디스플레이를 알도록, 디스플레이들(901, 902, 903)의 가상 오버레이들이 탭핑(tapping)되는 단계; c) 선택된 디스플레이들 중 어느 하나의 가상 오버레이에 이미지를 드래그 앤 드롭하는 단계. 이후, 각각의 디스플레이는 특정 디스플레이에 유효한 텍스처 좌표(texture coordinates)를 따라 관심있는 이미지를 불러오도록 메시지를 전송하고, 디스플레이는 예상되는 이미지의 부분만을 디스플레이하도록 디스플레이를 이용한다. 텍스처 좌표는 이미지의 특정 서브 영역을 나타내는데 이용되는 값들의 쌍이다. 텍스처 좌표는 디스플레이 장치가 렌더링(rendering)해야하는 픽셀인, 디스플레이들(901, 902, 903)의 이미지 상의 정확한 4개의 지점(point)을 통신하는데 이용될 수 있다. 디스플레이들(901, 902, 903) 각각 및 전자 장치(120)에 대한 상대적인 위치, 이들 각각의 종횡비(aspect ratio) 및 물리적 크기(physical dimension)에 종속적으로(depending), 각각의 디스플레이들(901, 902, 903)은 디스플레이될 이미지의 특정 서브 영역에 대해 계산될 수 있어, 대응하는 텍스처 좌표(texture coordinates)가 결정될 수 있다. 물리적 유추(physical analogy)는 큰 프린트의 사진을 촬영한 다음, 몇몇의 사진 프레임의 상부에 오버레이하고, 사진의 어떤 영역이 실제로 어떤 사진 프레임의 상부에 해당하는지 파악하고, 잘라내어 각각의 사진 프레임에 드롭하며, 사진의 나머지 부분을 버리는 것이다.
도 7b에서, 사용자는 앨범 또는 갤러리(630)로부터 사용자가 디스플레이들(901, 902, 903)에 걸쳐 동시에 디스플레이되기 원하는 이미지를 선택하고, 선택된 이미지를 드래그하여 도 7c에 도시된 바와 같은 디스플레이들(901, 902, 903)에 드롭한다. 도 7d에서, 드롭된 이미지는 이미지 컨텐츠(921, 922, 923)로서, 세 개의 디스플레이들(901, 902, 903)에 걸쳐 분산된다. 따라서, 디스플레이들(901, 902, 903)에 걸친 이미지 컨텐츠의 공간적 관계를 유지할 수 있게된다. 이미지 컨텐츠(921, 922, 923) 내의 언덕의 기울기가 유지되는 것을 관찰할 수 있다. 프레임의 공간적 관계를 고려하지 않는 경우에는 이미지 컨텐츠(921, 922, 923) 내의 언덕의 기울기가 유지되지 않는다.
도 8a-8d는 일 실시예에 따라 이미지 컨텐츠가 디스플레이 장치들의 전체 그룹(1000)에 걸쳐 디스플레이 장치들 사이에 공백을 포함하면서 잘리도록, 이미지 컨텐츠 선택 프로세스 동안에 선택된 이미지 컨텐츠의 상부에 오버레이(overlay)함으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다. 도 8a-8d는 9개 디스플레이들을 가지고 도 7a-7d에 도시된 개념의 확장된 예시를 제공한다. 예를 들어, 선택된 이미지 컨텐츠(1030)를 형상 및 크기에 따라 9개 부분으로 분할하는 대신에, 도 8c는 디스플레이 장치가 컨텐츠 선택 프로세스 동안에 선택된 사진의 상부에 오버레이하여, 디스플레이 장치들의 전체 그룹(1000)에 걸쳐 이미지 컨텐츠가 공백을 포함하여 잘리는 것을 도시한다. 따라서, 사용자는 그룹(1000) 내 장치들에 걸쳐 디스플레이될 때, 이미지 컨텐츠가 어떻게 보이는 지를 이해할 수 있다. 도 8c의 박스 영역들(1040)의 그룹 내 각각의 박스 영역은 이미지 컨텐츠(1030)의 일부를 포함한다. 또한, 모든 박스 영역들은 선택된 이미지 컨텐츠(1030)의 일부 이미지만을 커버한다(cover). 도 8d는 디스플레이 장치(1001)가 잘린 이미지 컨텐츠(1041)를 보여주는 동안, 복수의 디스플레이 장치들에 의해 선택된 이미지 컨텐츠가 어떻게 디스플레이되는지를 도시한다. 디스플레이 장치는 도 8c의 대응하는 박스 영역에 오버랩된 이미지 부분만을 디스플레이한다.
일 실시예에서, 사용자는 선택된 컨텐츠가 각각의 디스플레이 장치 상에 어떻게 디스플레이될 지를 보다 유연하게 조정할 수 있는 옵션을 가진다. 예를 들어, 슬라이드(위쪽으로 이동, 아래쪽으로 이동, 왼쪽으로 이동 및 오른쪽으로 이동), 회전, 크기 조정 및 잘라내기와 같은 제스처를 통해, 선택된 이미지 컨텐츠(1030)는 박스 영역의 그룹(1040)에 대한 상대적인 위치, 방향, 크기 및 경계를 변경한다(박스 영역들의 상대적인 위치는 서로에 대해 고정됨). 예를 들어, 사용자가 고정된 박스 영역들 주위에서 선택된 이미지 컨텐츠(1030)를 조작할 때, 박스 영역들의 그룹(1040)은 그대로 유지된다. 이후, 선택된 이미지 컨텐츠(1030)는 원하는 고정된 박스 영역을 채운다. 따라서, 사용자는 자신이 선호하는 가능한 가장 좋은 방법으로 가장 흥미로운 컨텐츠를 맞출 수 있다.
도 9a-9f는 일 실시예에 따라 관심 영역(ROI)에 기초하여 단일 이미지를 복수의 디스플레이 장치들에 걸쳐 분산시킴으로써, 디스플레이 장치들(1101, 1102, 1103) 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다. 예를 들어, 복수의 디스플레이 장치들(1101, 1102, 1103)에 걸쳐 단일 컨텐츠를 분산시키기 위한 기술은 관심있는 박스 영역들(1131, 1132, 1133)에 기초한다. 도 9a는 벽에 고정된 디스플레이 장치들(1101, 1102, 1103) 및 전자 장치(120) 상에 디스플레이 장치들(1101, 1102, 1103)의 캡쳐된 이미지를 도시한다. 디스플레이 장치들(1101, 1102, 1103)은 각각 이미지 컨텐츠(1111, 1112, 1113)을 보여준다.
사용자는 앨범 또는 갤러리(630)로부터 사용자가 디스플레이 장치들(1101, 1102, 1103)에 걸쳐 동시에 디스플레이하기 원하는 이미지 컨텐츠를 선택하고, 전자 장치(120) 상에 표시된 디스플레이들 중 어느 하나에 드래그 앤 드롭한다. 도 9b는 원래의 박스 영역들(1131, 1132, 1133)에 기초하여, 어떻게 디스플레이 장치들(1101, 1102, 1103)에 걸쳐 선택된 이미지가 이미지 컨텐츠(1121, 1122, 1123)로서 디스플레이될 지에 대한 초기 뷰(initial view)를 도시한다. 도 9b-9f에 도시된 바와 같이, 박스 영역 내에 있는 선택된 이미지의 일부만이 디스플레이된다.
도 9b에서, 선택된 이미지 컨텐츠 내 사람의 신체는 박스 영역들(1131, 1132, 1133) 중 어느 하나에도 정확히/완전히 포함되지 않는다. 하나 이상의 실시예는 선택된 이미지 컨텐츠의 가장 원하는 부분을 임의의 디스플레이 장치에 업로드하기 위한 기능을 제공한다. 각각의 박스 영역은 특정 디스플레이에 지정되고, 어떤 픽셀이 특정 디스플레이에 그려지는지를 나타낸다. 박스 영역의 종횡비는 항상 할당된 디스플레이 장치의 종횡비에 잠겨진다(크기가 변경되어도 종횡비는 유지됨). 도 9c는 사용자가 박스 영역들(1131, 1132, 1133) 중 어느 하나를 선택하고, 선택된 박스 영역의 한 모서리(1140)를 드래그하여 박스 영역이 커버하는 영역을 변경할 수 있음을 나타낸다.
도 9d-9e는 어떻게 선택된 이미지 컨텐츠의 원하는 부분을 오버레이하도록 박스 영역이 이동되는지를 나타낸다. 전술한 바와 같이, 캡쳐된 이미지 상의 박스 영역은 특정 디스플레이 장치와 연관된다. 박스 영역의 모서리(1141)가 드래그, 이동 또는 크기가 조정되는 경우, 프로세스는 변경을 추적하고, 디스플레이 장치 연관성을 잃지 않으면서 박스 영역의 새로운 위치를 기록한다. 도 9f는 각각의 디스플레이 장치들(1101, 1102, 1103)이 전자 장치(120)를 통해 사용자에게 지정된 바와 같이, 선택된 이미지 컨텐츠의 정확한 부분들(1121, 1122, 1123)을 디스플레이할 수 있는 동작의 최종 결과를 도시한다.
도 10a-10d는 일 실시예에 따라 디스플레이 장치 (1201) 상에 디스플레이된 이미지 컨텐츠(1211)의 상대적인 관계를 변경시킴으로써, 복수의 디스플레이 장치들 상에 디스플레이된 이미지 컨텐츠를 관리하기 위한 예시도를 나타낸다. 예를 들어, 시각적 애플리케이션(129)은 디스플레이 장치 상에 디스플레이된 이미지 컨텐츠의 상대적인 관계를 사용자가 변경할 수 있게 하는 기능을 제공한다. 일 실시예에서, 사용자는 선택된 이미지(1240)(도 10b의 앨범 또는 갤러리(1230)로부터 선택된)의 임의의 부분에 오버레이하기 위해 우측 디스플레이 디바이스에 대응하는 박스 영역을 이동할 수 있다. 예를 들어, 우측의 디스플레이 장치(1201)는 선택된 이미지(1240)의 우측에 있는 아이의 이미지를 디스플레이할 수 있다. 또한, 대응하는 디스플레이 장치(1201) 상에 실제로 디스플레이될 이미지 컨텐츠의 부분을 조정하기 위해, 사용자는 박스 영역(1250)의 크기를 조정할 수 있다. 따라서, 사용자는 전체 선택된 이미지(1240)에 대해, 디스플레이 장치에 의해 디스플레이된 이미지 컨텐츠의 다른 측면의 비율을 변경할 수 있다. 다른 실시예에서, 사용자가 참조를 제공하기 위해, 이미지 컨텐츠에 대한 각각의 박스의 원래의 정렬을 나타내는 작은 삽입 이미지가 도시된다. 일단 박스 영역(1250)이 선택된 이미지 컨텐츠(1240)의 원하는 부분으로 드래그되면(또한, 크기가 조정되면), 최종 이미지 컨텐츠(1221)가 도 10d의 디스플레이 장치(1201) 상에 디스플레이된다.
도 11a-11f는 일 실시예에 따른, 복수의 디스플레이 장치들 중 임의의 디스플레이의 장치에 도시된 이미지 컨텐츠를 공유하는 예시에 대한 순서도를 나타낸다. 도 11a는 8개의 디스플레이 장치들(디스플레이 장치(140)와 유사)을 도시한다. 도 11b에서, 디스플레이 장치들(이미지 컨텐츠(1311)를 나타내는 디스플레이 장치(1301)를 포함)의 캡쳐된 이미지는 앨범 또는 갤러리(1330)와 함께 전자 장치(120) 상에 디스플레이된다. 사용자가 전자 장치(120)에서 오버레이를 갖는 디스플레이 장치로 이미지 컨텐츠를 드래그 앤 드롭하는 것과 마찬가지로, 이미지 컨텐츠를 저장하거나 공유하기 위해 반대 동작을 수행할 수 있다. 예를 들어, 저장, 공유 및 교환과 같은 동작을 수행하기 위한 목적으로, 사용자는 전자 장치(120)가 디스플레이 장치를 가리키도록하여, 디스플레이 장치에 디스플레이된 원래의 이미지 컨텐츠(예를 들어, 디스플레이 장치(1301) 상의 이미지 컨텐츠(1311))로 접속(accessing)할 수 있다.
전형적으로, 사용자가 현재 디스플레이 장치들 중 하나에 디스플레이된 이미지/비디오를 친구와 공유하기 원하면, 검색하고, 식별하고, 메시지 또는 이메일에 첨부하여 다른 사용자와 공유하기 위해, 모바일 디바이스의 매우 많은 사진들(예를 들어, 100s, 1000s)을 검색할 필요가 있다. 일 실시예에서, AR 기술을 이용하여, 시각적 애플리케이션(129)은 사진/비디오를 식별하고, 갤러리 또는 앨범에 저장된 로컬 복사본에 직접 연결하고, 친구와 공유, 다른 모바일 애플리케이션과 공유 등과 같은 추가 동작을 즉시 이용가능하게 한다. AR 추적은 데스크톱 컴퓨터의 바로가기(shortcuts)와 유사하게 동작한다.
가상 오버레이와 함께 전술한 네트워크 룩업테이블은 현재 디스플레이된 이미지에 기초하여 디스플레이를 식별하는데 유용하다. 또한, 동일한 룩업테이블은 특정 디스플레이 장치(140)가 현재 디스플레이하고 있는 원래 이미지를 획득하기 위해 이용될 수 있다. 사용자가 디스플레이 장치(140)와 연관된 가상 오버레이를 직접 터치하는 경우, 디스플레이가 현재 디스플레이하고 있는 이미지의 경로를 검색하기 위해, 시스템은 룩업테이블 상의 디스플레이와 연관된 네트워크 주소를 이용한다. 일단 경로가 검색되면, 시스템은 여러 동작들을 진행할 수 있다. 도 11b에서, 박스 영역(1320)은 사용자에 의해 선택된다. 도 11c에서, 박스 영역(1320) 내 선택된 이미지 컨텐츠(1311)는 도 11d에 도시된 바와 같이, 전자 장치(120) 상의 디스플레이의 공유 부분(1340)으로 드래그된다. 도 11e에서, 선택 그래픽(1350)(예를 들어, 창, 팝업 등)은 공유, 포워딩(forwarding), 저장 등에 대한 옵션(예를 들어, 텍스트 메시지, 이메일, 메신저, 갤러리 또는 앨범에 저장, 소셜 미디어 플랫폼 등)을 제공하는 선택된 이미지 컨텐츠(1311)와 함께 디스플레이된다. 예를 들어, 사용자가 텍스트 메시지로 이미지 컨텐츠(1311)를 공유하도록 선택하고, 도 11f는 원하는 다른 사용자들에게 포워딩된 이미지 컨텐츠(1311)를 갖는 텍스트 메시지 디스플레이(1360)를 나타낸다. 다른 예시로서, 사용자는 박스 영역(1320)에서 이미지 컨텐츠(1311)를 선택하고, 이미지 컨텐츠(1311)를 갤러리 또는 앨범, 즐겨찾기 선택 등과 같은 전자 장치(120) 상의 디스플레이의 일부로 드래그하여, 원하는 이미지 컨텐츠(1311)를 저장할 수 있다.
도 12a-12b는 일 실시예에 따라 디스플레이 장치들(1401, 1402, 1403) 간에 이미지 컨텐츠를 이동시키기 위한 드래그 앤 드롭 손가락 움직임의 예시도를 나타낸다. 예를 들어, 디스플레이 장치들(1401, 1402, 1403)은 각각 이미지 컨텐츠(1411, 1412, 1413)를 디스플레이한다. 예를 들어, 사용자는 이미지 컨텐츠(1412)를 디스플레이 장치(1402)에서 디스플레이 장치(1401)로 이동시키기를 원한다. 사용자는 전자 장치(120) 상에 표시된, 디스플레이 장치(1401)와 연관된 박스 영역(1440)에서 원하는 디스플레이에 드래그 앤 드롭합으로써 이미지 컨텐츠를 잡을 수 있다(grab). 이러한 방식으로, 사용자는 자신의 갤러리 또는 앨범(1430)에 도달할 필요 없이, 디스플레이 장치들의 클러스터 중에서 동일한 이미지 세트를 교체 및 재구성할 수 있다. 결과는 디스플레이 장치(1401)에 이미지 컨텐츠(1412)가 디스플레이된 도 12b에 나타난다. 예를 들어, 다른 이미지 컨텐츠(1422)는 이동된 이미지 컨텐츠(1412)를 대신한다. 이미지 컨텐츠(1422)는 기본 이미지(default image), 갤러리 또는 앨범(1430)의 다음 이미지, 디스플레이 장치 등에 기록된 이전에 디스플레이된 이미지 컨텐츠(예를 들어, 마지막으로 디스플레이된 이미지 컨텐츠 또는 셔플 선택)일 수 있다. 다른 실시예에서, 이미지 컨텐츠(1422)는 이미지 컨텐츠(1412)와 동일할 수 있다. 예를 들어, 디스플레이 장치들(1401, 1402) 사이에서 간단한 이미지 교환이 일어날 수 있다.
도 13a-13b는 일 실시예에 따라 디스플레이 장치들에 대해 기설정된 필터 또는 주변 색상에 기초한 필터를 적용하기 위한 드래그 앤 드롭 손가락 움직임의 예시도를 나타낸다.
이미지 컨텐츠를 디스플레이 장치로 드래그 앤 드롭하는 것에 더하여, 동일한 기술이 특정 디스플레이 장치에 효과를 적용하기 위해 이용될 수 있다. 도 13a는 사용자가 이미지 컨텐츠(1511)를 디스플레이하는 디스플레이 장치(1501)에서 시각적 애플리케이션(129)을 실행하는 전자 장치(120)를 가리키는 예시를 도시한다. 일단 디스플레이 장치(1501)가 인식되면, 사용자는 ‘흑백’, ‘세피아’, ‘비네트(vignette)’ 등과 같은 이미지 효과들(1530)의 목록으로부터 옵션(option)을 선택할 수 있고, 전자 장치(120)에서 보여지는 디스플레이 장치에 선택된 옵션을 드롭할 수 있다. 명령은 네트워크를 통해 전달되고, 의도된 디스플레이 장치는 선택된 효과(1531)를 도 13b의 디스플레이 장치(1501) 상에 디스플레이된 업데이트된 이미지 컨텐츠(1521)로서 적용할 수 있다.
일 실시예에서, 전자 장치(120)는 또한 주변 색상이라고 불리는, 디스플레이 장치(들)(예를 들어, 디스플레이 장치(1501))가 매달려/부착되어 있는 벽의 색상 및 실내 조명 색상을 검출할 수 있다. 디스플레이 장치(들)에 전시된 컨텐츠 이미지(들)의 컬러 스킴(color scheme) 및 주변의 컬러 스킴(color scheme)을 고려하여, 시각적 애플리케이션(129)은 컬러 필터(color filter)를 위한 추천을 제공할 수 있다. 컬러 필터는 전체적인 컬렉션의 컬러 팔레트(color palette)를 중화시킬 수 있고(neutralize), 심미적인 방식으로 실내에 블렌딩(blending)할 수 있다.
도 14a-14c는 일 실시예에 따라 디스플레이 장치들(예를 들어, 디스플레이 장치(1601))에 대한 매트 색상(mat color)으로서 이용하기 위해, 디스플레이되는 이미지 컨텐츠(1611)로부터 색상을 선택하는 예시도를 나타낸다. 시판되는 사진 프레임(picture frame)은 일반적으로 매트와 함께 제공된다. 일반적으로 매트는 프레임 주위의 과다한 정보로부터 색상을 제거하고 분리함으로써, 디스플레이된 이미지 컨텐츠에 주의를 기울이도록 하는 목적을 수행한다. 매트는 주로 종이로 만들어졌지만, 다양한 질감과 색상으로 제공된다. 도 14a는 매트 부분(1620) 및 이미지 컨텐츠(1611)를 갖는 디스플레이 장치(1601)를 도시한다. 예를 들어, 매트 부분(1620)을 수정하는 것이 바람직하다. 도 14b에서, 캡쳐된 이미지 컨텐츠는 전자 장치(120) 상에 디스플레이된다. 그래픽 또는 아이콘(1630)은 전자 장치(120) 상에 디스플레이된 이미지 컨텐츠의 부분을 선택하는데 이용된다. 도 14c에서, 그래픽 또는 아이콘(1630)은 이미지 컨텐츠의 일부로 드래그되어, 그래픽 또는 아이콘(1630)이 위치한 이미지 컨텐츠의 일부의 색상의 색상 표현(1640)(예를 들어, 선택된 색상의 그래픽 디스플레이)이 디스플레이된다. 이미지 매트(1620)는 선택된 색상 표현(1640)에 매칭되도록 매트(1621)로 변경된 후, 디스플레이 장치(1601) 상에 디스플레이된다.
도 15는 일 실시예에 따른, 복수의 영역들에서 디스플레이 장치들을 그룹핑하는 예시도를 나타낸다. 오늘날의 집은 다양한 형상과 크기의 디스플레이 장치들(예를 들어, 디스플레이 장치들(140))-텔레비전 세트, 디지털 사진 프레임(digital picture frame), 태블릿 등-로 채워질 수 있다. 또한, 디스플레이 장치들은 일반적으로 집의 다른 부분에도 설치될 수 있다. 특히 디지털 사진 프레임의 경우, 사람들은 다른 테마, 앨범 등의 이미지로 집의 다른 영역을 장식하는 것을 선호할 수 있다. 어떤 경우에, 사람들은 사진 프레임들의 클러스터를 둘 이상의 테마로 나눌 수도 있다. 예를 들어, 디스플레이 장치들(1701, 1702)이 있는 한 방(예를 들어, 거실)의 벽(1700) 상의 이미지 컨텐츠와 디스플레이 장치들(1703, 1704, 1705)이 있는 다른 방(예를 들어, 부엌)의 벽(1701)의 우측 이미지 컨텐츠. 벽의 좌측, 가운데, 우측 상의 소정 이미지 컨텐츠와 같은 다른 시나리오는 이미지 컨텐츠의 별도의 테마를 가질 수 있다. 예를 들어, 벽의 좌측에는 소년 사진, 벽의 가운데에는 가족 또는 부모님 사진, 벽의 우측에는 소녀 사진. 이러한 상황에서, 디스플레이 장치의 세트를 그룹핑할 필요성이 생긴다.
일 실시예에서, 디스플레이 장치들을 그룹핑하는 것은 다음과 같은 이점을 제공한다:
- 다른 인접한(또는 멀리있는) 그룹을 방해하지 않고, 디스플레이 장치들의 그룹과 상호작용/수정을 제공
- 그룹 내 모든 디스플레이 장치에 적용되는 특성(예를 들어, 그룹 효과/필터, 슬라이드 쇼 애니메이션 속도 등)을 설정하는 것을 제공
- 하나의 빠른 상호작용으로 그룹 내 모든 디스플레이 장치들의 큐레이션을 제공
도 15에 도시된 예시에서, 디스플레이 장치들(1701, 1702)은 그룹(1711)으로 설정되고(도 2의 전자 장치(120) 상에 캡쳐될 때, 쉽게 시각적으로 인식하기 위해 색상 또는 다른 표시가 그룹과 연관될 수 있음), 디스플레이 장치들(1703, 1704, 1705)은 그룹(1712)으로 설정될 수 있다(인식을 제공하기 위한 다른 색상 또는 다른 표시일 수 있음). 이러한 명확한 구별은 거실(벽(1700)) 이미지의 어떠한 상호작용도 부엌(벽(1710))의 디스플레이 장치들의 세트에 부정적 영향을 미치는 것을 방지하며, 부엌(벽(1710)) 이미지의 어떠한 상호작용도 거실(벽(1700))의 디스플레이 장치들의 세트에 부정적 영향을 미치는 것을 방지한다.
도 16a-16c는 일 실시예에 따른, 전자 장치(120)를 이용하여 디스플레이 장치들의 그룹을 관리하는 예시도를 나타낸다. 디스플레이 장치 그룹을 생성하고, 수정/큐레이팅하기 위한 몇몇의 상호작용 기회가 있다. 예를 들어, 사용자는 원하는 그룹을 생성하기 위해 상호작용을 이용할 수 있다. 도 16a는 표시자(indicator)의 트레이(tray)(1810, 1815)(예를 들어, 색상)이 전자 장치(120) 내에 나타나는 예시를 도시한다. 디스플레이 장치들(1801, 1802, 1803, 1804, 1805, 1806)은 다른 그룹(1810, 1815)에 위치하는 것이 바람직하다. 예를 들어, 그룹(1810)은 디스플레이 장치들(1801, 1802, 1803, 1804)을 포함한다. 그룹(1815)은 디스플레이 장치들(1805, 1806)을 포함한다. 사용자는 선택들(1830)로부터 그룹핑 선택을 선택할 수 있고, 전자 장치(120)가 디스플레이 장치를 가리킬 수 있으며, 표현된 또는 캡쳐된 디스플레이 장치로 표시자(예를 들어, 색상)를 드래그 앤 드롭할 수 있다. 전자 장치(120)에서, 두 그룹(1810, 1815)에 대한 표시자들(예를 들어, 색상)은 전자 장치(120)의 하단에 더 많은 그룹을 추가하기 위한 선택과 함께 표시된다.
도 16b에서, 그룹(1815) 표시자를 디스플레이 장치(1801)에 대한 대표 이미지(1850)에 드래그 앤 드롭하여, 그룹(1810)에서 그룹(1815)로 디스플레이 장치(1801)를 변경하기 위한 선택이 이루어진다. 도 16c는 그룹(1815) 디스플레이 장치(1801)의 할당을 완료하는 것을 도시한다. 완료 시, 디스플레이 장치(1801)는 이제 그룹(1815)(예를 들어, 주황색 그룹)으로 할당된다. 그룹(1815) 표시자(예를 들어, 주황색)로 할당된 모든 디스플레이들은 이제 동일한 그룹의 일부가 된다. 유사하게, 그룹(1810) 표시자(예를 들어, 청색)로 할당된 디스플레이들은 모두 청색 그룹의 일부가 된다. 사용자는 더 많은 그룹을 생성하기 위해 왼쪽의 플러스 (+) 버튼을 선택할 수 있다. 사용자는 원하는대로 그룹을 동작으로 할당하고 재배열할 수 있다. 모든 디스플레이 장치는 언제든지 다음 작업을 수행할 수 있다:
- 그룹에 가입
- 그룹을 떠나 다른 그룹에 가입
- 해당 그룹에 해당 디스플레이 장치만이 있는 자체 아일랜드 그룹(island group)이 됨
그룹 큐레이션 동작은 일반적으로 네가지 부분집합으로 분류될 수 있다: 일 대 일(one-to-one); 일 대 다(one-to-many); 다 대 다(many-to-many); 및 다 대 일(many-to-one). 접두사는 전자 장치(120) 상의 소스 선택의 특성을 나타내며, 접미사는 드롭 시의 목적지 할당의 특성을 나타낸다. 동작 및 동작의 출력은 사용자가 선택한 모드 중 어느 하나에 기초하여 변경된다.
일 대 일은 사용자가 하나의 디스플레이 장치에 영향을 미치기 위한 하나의 동작을 수행할 수 있는 기술을 나타낸다. 예를 들어, 드래그 앤 드롭 기술은 단일 이미지 컨텐츠를 단일 디스플레이 장치에 적용하기 위해 이용되는데, 상술한 바는 일 대 일 상호작용의 예시이다. 유사하게, 단일 디스플레이에 적용하기 위해 필터를 드래그 앤 드롭하는 것도 일 대 일일 수 있다.
일 대 다는 디스플레이 장치들의 세트가 그룹핑될 때, 이용되는 기술을 나타낸다. 사용자는 하나의 동작으로 그룹 내 모든 디스플레이 장치들에게 영향을 미치기 위해 친숙한 드래그 앤 드롭 동작을 수행할 수 있다. 예를 들어, 그룹 내 모든 디스플레이 장치들에 필터 효과를 적용하기 위해, 사용자는 그룹 내 임의의 디스플레이 장치에 필터를 드래그 앤 드롭할 수 있으며, 그룹 내 나머지 디스플레이 장치들에도 동일한 필터가 적용될 수 있다.
다 대 다는 앨범으로부터 단일 이미지 컨텐츠를 선택하고 드래그하는 대신에, 사용자가 앨범 아이콘을 드래그하여 그룹 내 어떤 디스플레이 장치에 드롭하면, 그룹 내 모든 디스플레이 장치들이 자동으로 앨범의 임의의 이미지를 불러오는 기술을 나타낸다.
다 대 일은 복수의 컨텐츠/동작들이 단일 디스플레이 장치에 할당되는 동작을 나타낸다. 예를 들어, 사용자는 해당 디스플레이에만 영향을 미치기 위해 단일 디스플레이 장치에 앨범 아이콘을 드래그 앤 드롭할 수 있으며, 드래그된 앨범 내 모든 이미지들이 스택(stack)을 형성하고, 디스플레이 장치가 슬라이드 쇼를 통해 이미지들을 반복한다.
일 실시예에서, 원하는 효과/출력을 획득하기 위한 상호작용 전/도중에, 사용자가 4가지 그룹핑 모드 중 어느 하나를 선택/변경하기 위한 의도를 표현할 수 있는 방식이 필요하다. 예를 들어, 일 대 일 모드로 연속 동작이 이루어지도록 사용자는 그룹핑 모드를 미리 선택할 수 있다. 여기에서, 사용자는 예를 들어 토글 버튼(toggle button)을 선택하여 ‘단일’ 모드로 전환하고, 필터를 드래그 앤 드롭한다. 사용자가 청색 그룹 내 디스플레이에 흑백 필터를 드래그 앤 호버링(hovering)하면, 해당하는 특정 디스플레이 장치만이 강조되어 해당 동작에 의해 영향받을 것임을 나타낸다. 드롭하면, 해당하는 특정 디스플레이 장치만이 흑백 필터가 적용된다.
다른 실시예에서, 일 대 다 모드로 연속 동작이 이루어지도록 사용자가 그룹핑 모드를 미리 선택하는 상황이 발생할 수 있다. 여기에서, 사용자는 예를 들어 토글 버튼을 선택하여 ‘그룹’ 모드로 전환하고, 필터를 드래그 앤 드롭한다. 사용자가 청색 그룹 내 디스플레이에 흑백 필터를 드래그 앤 호버링(hovering)하면, 청색 그룹 내 모든 디스플레이들이 강조되어 해당 동작에 의해 영향받을 것임을 나타낸다. 드롭하면, 청색 그룹 내 모든 디스플레이들에 흑백 필터가 적용된다.
또 다른 실시예에서, 사용자는 드롭 상호작용 동안에 연속 동작이 이루어지도록 그룹핑 모드를 선택할 수 있다. 사용자가 디스플레이 장치에 흑백 필터를 드래그 앤 호버링(hovering)하면, 오버레이는 두 개의 절반/서브 메뉴로 나누어져, ‘단일’ 및 ‘그룹’ 모드 사이의 옵션을 제공한다. 사용자가 ‘그룹’ 서브 메뉴에 드래그 앤 호버링(hovering)하면, 동일 그룹(예를 들어, 청색 그룹) 내 모든 다른 디스플레이 장치들이 강조되어 해당 동작에 의해 영향받을 것임을 나타낸다.
반면에, 사용자가 ‘단일’ 서브 메뉴에 드래그 앤 호버링(hovering)하면, 해당 디스플레이 장치만이 강조된다. 두 서브 메뉴들 중 사용자가 필터를 드래그 앤 드롭하는 서브 메뉴에 따라, 흑백 필터가 일 대 일 또는 일 대 다 방식으로 적용된다. 또는, 사용자는 드래그 동작을 시작할 때, 연속 동작을 위한 그룹핑 모드를 선택할 수도 있다. 예를 들어, 사용자가 흑백 필터를 드래그하기 시작하면, 두 서브 메뉴들은 드래그하는 지점 근처에 나타난다. 하나는 ‘그룹’ 동작을 나타내고, 다른 하나는 ‘단일’ 동작을 나타낸다. 사용자가 서브 메뉴들 중 하나로 효과를 드래그하면, 특정 서브 메뉴는 드롭하는 동안에 모드로 활성화된다. 도 20a에서, 사용자는 드래그하여 단일 모드 서브 메뉴에서 첫 번째 정지를 하고, 일 대 일 큐레이션을 활성화하며, 이후 디스플레이 상에 효과를 호버링 앤 드롭하여, 해당 디스플레이에만 영향을 미친다. 사용자가 드래그하여 그룹 모드 서브 메뉴에서 첫 번째 정지를 하면, 일 대 다 큐레이션을 활성화하며, 이후 청색 그룹의 디스플레이 장치 상에 효과를 호버링 앤 드롭하여, 청색 그룹 내 모든 디스플레이들에 영향을 미친다.
그룹 내에서 가능한 동작의 몇몇의 모델들이 있다:
- 앨범은 그룹 표시(예를 들어, 색상)를 지시할 수 있다. 즉, 표시(indication)와 앨범 사이에 엄격한 상관관계가 있다. 예를 들어, 크리스마스 앨범에서 사진을 보여주는 모든 디스플레이 장치들은 적색 그룹의 일부여야 한다. 디스플레이 장치 또는 디스플레이 장치들의 그룹에 해변 앨범이 할당되는 경우, 청색 그룹으로 전환해야 한다(예를 들어, 해변 앨범이 청색과 연관됨).
- 디스플레이 장치들은 동일한 그룹에 속할 수 있지만, 반드시 동일한 앨범의 이미지 컨텐츠를 표시할 필요는 없다.
- 그룹 내 다른 모든 것을 따라야 한다. 예를 들어, 그룹은 그룹의 색상을 유지하고, 앨범들 간에 전환할 수 있지만, 그룹 내 모든 디스플레이 장치들은 또한 새로운 앨범으로 전환해야 한다(예를 들어, 모든 디스플레이 장치는 동일한 앨범을 표시함).
도 17a-17b는 일 실시예에 따라 디스플레이 장치들을 측정하고, 복수의 디스플레이 장치들을 다양하게 구성하기 위한 추천을 제공하는 예시적인 템플릿 추천의 예시도를 나타낸다. 벽에 고정된 수평 막대인 선반(ledge)은 디스플레이들을 장착하는데 이용된다. 전자 장치(120)는 선반의 크기, 장착 슬롯의 간격 등과 같은 선반의 세부 사항을 이미 알고 있으며, 선반 모드로 전환될 때, 세부사항을 계산에 고려한다. 도 17a에 도시된 바와 같이, 도 17a는 벽의 선반에 위치한 디스플레이 장치들(1901, 1902, 1903, 1904, 1905, 1906, 1907, 1908)을 도시한다. 예를 들어, 선반 모드에서, 디스플레이 장치들은 반드시 서로 잘 정렬되지는 않은 것을 발견할 수 있다. 예를 들어, 전자 장치(120)는 전체적인 선반 레이아웃의 이미지를 캡쳐할 수 있다. 선반 모드의 각각의 디스플레이 장치들(1901, 1902, 1903, 1904, 1905, 1906, 1907)은 패턴 매칭을 통해 인식되고, 전자 장치(120)와 페어링된다. 일 실시예에서, 전자 장치(120)는 페어링 프로세스 동안에 각각의 디스플레이 장치의 길이(length)와 너비(width)를 획득할 수 있다. 예를 들어, 각각의 디스플레이 장치의 길이와 너비는 별도의 프로세스를 통해 수집될 수 있다. 예를 들어, 패턴 매칭은 도 17a에 도시된 바와 같은 디스플레이 장치들(1901, 1902, 1903, 1904, 1905, 1906, 1907)에 대한 3가지 패턴들(1920, 1921, 1922)을 인식할 수 있다.
선반의 크기가 고정되고, 전자 장치(120)에 알려지면, 디스플레이 장치들의 총 개수 및 각각의 디스플레이 장치의 크기 및 형상에 대한 지식에 따라, 전자 장치(120)는 사용자에게 선반 모드에서 디스플레이 장치들을 배치하기 위한 방법을 추천할 수 있다.
각각의 조립 방식(assembly manner)은 템플릿으로 지칭된다. 도 17b에 도시된 바와 같이, 모든 템플릿은 여러 개의 번호를 나타낸다. 선반의 안쪽 프레임에는, 디스플레이 장치들을 배치하기 위한 템플릿으로 제공된 번호에 따라 사용자가 배치할 수 있는(미리 설치되지 않은 경우) 표시된 측정치(marked measurement)(1910)가있다. 도시된 바와 같이, 전자 장치(120) 상에서 보여지는 템플릿 선택 부분으로부터 템플릿이 선택될 수 있다. 도 17b에서, 템플릿(1930)이 선택되고, 표시된 측정치에 따라 위치 또는 거리/측정치를 나타내는 번호와 함께 형상에 기초한 디스플레이 장치들의 아웃라인(outline)이 디스플레이된다. 템플릿에 따라, 사용자는 단순히 각각의 선반에 표시된 측정치에서의 번호에서 크기/형상에 기초하여 디스플레이 장치들을 배치하면 된다. 따라서, 사용자가 선반 상에 디스플레이 장치들(예를 들어, 디스플레이 장치들(1901, 1902, 1903, 1904, 1905, 1906, 1907))을 배열하는 것을 도와준다.
도 18a-18b는 일 실시예에 따른, 복수의 디스플레이 장치들의 전체적인 캔버스 레이아웃(2010)에 대한 예시적인 템플릿 추천의 예시도를 나타낸다. 벽에 고정된 평면 패널(flat panel)인 캔버스는 디스플레이들을 장착하는데 이용된다. 전자 장치(120)는 캔버스의 크기, 장착 슬롯의 간격 등과 같은 캔버스의 세부 사항을 이미 알고 있으며, 캔버스 모드로 전환될 때, 세부사항을 계산에 고려한다. 예를 들어, 전자 장치(120)를 이용하여, 전체적인 캔버스(2010) 레이아웃의 사진이 캡쳐된다. 캔버스(2010)의 크기는 고정되어 전자 장치(120)에 알려진다. 캔버스(2010)의 크기, 이용 가능한 디스플레이 장치들(예를 들어, 도 2의 디스플레이 장치(140))의 크기 및 형상, 디스플레이 장치들의 전력 충전 위치, 캔버스(2010)에서 이용가능한 전력 충전 위치 등(정보는 페어링 프로세스 동안 또는 별도의 프로세스(예를 들어, 캔버스(2010)의 발견)를 통해 검색될 수 있다)에 기초하여, 디스플레이 장치들의 배치의 가능한 조합의 개수를 계산할 수 있다.
캔버스 모드에서, 템플릿 추천은 디스플레이 장치를 선반 모드에서와 같이 수평 방향을 따라 정렬하는 것에 제한되지 않으며, 수직 방향을 따라 정렬할 수도 있다. 또한, 사용자가 템플릿 추천에 따라 디스플레이 장치를 잠그는(fasten) 것을 돕기 위해, 각각의 템플릿(2030)은 캔버스(2010) 상의 동일한 표시들(marks)과 매칭되는 디스플레이(2040)의 위치 표시들(position marks)을 나타낸다. 간단한 도구를 이용하여, 사용자는 종래에 계획, 측정, 정렬 등에 며칠이 걸렸던 디스플레이 장치들의 벽을 몇 시간 내에 하트 모양, 초승달 모양 등과 같은 복잡한 배열로 용이하게 설정할 수 있다.
일 실시예에서, 템플릿 추천은 타일 모드에도 적용될 수 있다. 일 실시예에서, 전자 장치(120)는 사용자의 스마트 폰을 이용하여 타일의 레이아웃 이미지를 캡쳐한다. 사용자는 디스플레이 장치가 해당 위치에 놓이면 안된다는 것을 나타내는 사진으로부터 소정의 영역 또는 타일을 깎아낼 수 있다(carve out). 이후, 가장 심미적인 디스플레이 효과를 달성하기 위해, 도 2의 시각적 애플리케이션(129)은 나머지 이용가능한 타일, 선택된 컨텐츠에 대해 디스플레이 장치를 어디에 배치할 것인지를 추천한다. 사용자가 이용하는 선반 또는 캔버스를 알 수 없거나, 사용자가 크기를 알 수 없는 탁상과 같은 표면에 장착한 상황에서, 시스템은 가능한 레이아웃에 대한 옵션 및 추천을 제공할 수 있지만, 디스플레이 장치(140)가 위치할 필요가 있는 곳의 특정 측정치 또는 위치를 제공할 수는 없다.
또한, 배열 추천은 다른 요인들에 의해 영항을 받을 수 있다. 디스플레이 장치들이 네트워크로 연결되어 있기 때문에, 사회적 요소(social element)를 가져오는 것이 가능하다. 예를 들어, 전국의 사용자들이 선호하고 인기가 있는 배열 스타일이 무엇인지에 대한 실시간 정보가 수집되어, 다른 사용자들에게 추천될 수 있다. 반대로, 누군가가 독특한 배열을 선호하면, 가장 적게 선택된 배열에 대한 추천이 이루어질 수 있다. 소정의 배열은 기하학적으로 대칭적이고, 보다 심미적일 수 있다. 사용자를 위한 특정 추천이 이루어질 수 있다. 일 실시예에서, 사용자가 이전에 이용한 배열이 추적될 수 있어, 배열이 다소 쉽게 이전으로 되돌아갈 수 있다. 따라서, 파티, 휴가 시즌 등과 같은 동안에, 디스플레이들의 일시적인 재배열이 이루어질 수 있으나, 이후 배열은 정확히 재배열 이전으로 되돌아갈 수 있다. 일 실시예에서, 템플릿 추천은 디스플레이들의 클러스터에서 디스플레이되도록 선택된 컨텐츠에 기초하여 이루어질 수 있다. 예를 들어, 단일 이미지가 복수의 이미지들에 무작위로 분산되어 있는 것과 같은 특정 시나리오에서, 무작위 템플릿 배열이 이미지가 디스플레이되는 심미적인 느낌에 영향을 미칠 수 있다. 현 관점에서 시스템은 단일 이미지가 복수의 디스플레이들에 분산되어 있는 것을 인식하고, 관련된 디스플레이들에 대한 유효한 템플릿 옵션 또는 추천만을 제안할 수 있다.
일 실시예에서, 상술한 배열 모드들 중 어느 하나에서, 장착 표면(선반/캔버스)은 장착(mounting)에 걸쳐 분산된 LED 광을 포함할 수 있다. 일단 전자 장치(120)에 의해 계산이 수행되면(또는 별도로 처리되면), LED 광이 점멸할 수 있어, 사용자는 해당 위치에 디스플레이 장치를 직접 위치시킬 수 있다. 따라서, 번호 또는 측정치를 찾을 필요가 없다. 다른 실시예에서, 장착 표면이 디스플레이 장치들의 배치/장착을 평가하기 위한 센서를 포함할 때, 사용자가 올바른 동작을 수행했음을 또한 확인할 수 있다. 전자 장치(120)는 장착/배열 동작을 수행함에 있어, 모든 단계의 성취마다 사용자에게 통지하여 안내할 수 있다. 따라서, 사용자의 인지 부하(cognitive load)를 현저히 감소시킬 수 있고, 디스플레이 장치들의 장착 및 배열 동작을 즐길 수 있게 한다.
도 19는 벽(2110) 상의 복수의 디스플레이 장치들에 대한 다른 관점(viewing perspective)의 예시도를 나타낸다. 도시된 바와 같이, 벽(2110)에 더 가깝게 서있는 사람(2130)은 벽(2110)에 더 멀리 서있는 사람(2140)과 다른 관점을 가진다. 도 19의 우측에서, 사람(2130, 2140)의 관점들은 각각의 점(2131, 2141)에 의해 기하학적인 그래픽 표현(2120)으로 표현된다. 관점의 차이는 디스플레이 장치들의 벽(2110)이 감지될 수 있는 방식에 영향을 미친다.
도 20a-20d는 일 실시예에 따라 복수의 디스플레이 장치들의 크기, 형상 및 전체적인 레이아웃에 기초하여 이상적인 관점의 위치를 결정하는 예시도를 나타낸다. 도 20a에 도시된 바와 같이, 복수의 디스플레이 장치들(예를 들어, 도 2의 디스플레이 장치들(140))은 벽(2210) 상에 배열된다. 도 20b에서, 전자 장치(120)는 벽(2210)의 뷰를 캡쳐한다. 도 20c에서, 전자 장치(120)는 디스플레이 장치들의 배열을 조정하도록 사용자들을 안내하기 위한 측정을 수행하고, 전자 장치(120)는 측정함에 따라 진행 디스플레이(2220)를 보여준다. 예를 들어, 사용자가 벽(2210) 상에 디스플레이 장치들을 고정시킬 때, 사용자는 디스플레이 장치들에 가까이 있기 때문에, 벽(2210)으로부터 떨어진 거리의 통상적인 관찰 위치로부터의 전체적인 효과를 잘 볼 수 없다. 또한, 가까운 거리는 매우 왜곡된 관점을 제공하며, 직선을 판독하기가 어려워서, 디스플레이 장치가 수평 또는 다른 디스플레이 장치에 대해 얼마나 잘 맞추어졌는지를 평가하기가 어렵다. 일반적으로, 가장 좋고, 가장 왜곡이 적은 뷰잉 경험(viewing experience)을 제공하는 이상적인 장소는 벽(2210)에서 적당히 떨어져 있고, 벽(2210)에 직접 마주하는 곳(예를 들어, 도 19의 사람(2130)과 비교하여, 사람(2140))이다. 도 20d에서, 벽(2210) 상의 디스플레이 장치들을 측정하고 처리한 후에, 이상적인 뷰잉 장소(ideal viewing spot) 또는 컨텐츠가 디스플레이된 디스플레이 장치의 위치로부터 벽(2210)의 뷰의 생성된 이미지인 프로젝팅된 뷰(2230)가 제공된다.
일 실시예에서, 디스플레이 장치들을 배열하는 사용자는 전자 장치(120)를 이용하여, 임의의 관점으로부터 모든 디스플레이 장치들의 사진 또는 비디오를 촬영할 수 있다. 예를 들어, 완벽한 직사각형 물체는 이미지(예를 들어, 도 20b에 도시된 전자 장치 상의 이미지)가 평면에 수직이 아닌 관점에서 촬영될 때 변형된 것처럼 보일 수 있다. 전자 장치(120)에 디스플레이된 이미지, 이미지의 물리적인 크기 등과 같은 요구되는 정보를 획득하기 위해, 디스플레이 장치들이 전자 장치(120)와 페어링되면, 카메라와 같은 전자 장치(120)의 센서(들)는 디스플레이 장치에 대한 전자 장치(120)의 거리 및 각도를 결정한다. 또는, 디스플레이 장치들의 크기 및 형상이 전자 장치(120)에 알려지면, 변형의 정도는 이미지의 변형된 물체에 대해 상대적인 사용자의 위치를 계산하는데 이용될 수 있다. 사용자가 디스플레이 장치(140)에 가깝게 이동할 경우, 가상 오버레이의 크기는 증가하고, 사용자가 디스플레이 장치(140)로부터 멀리 이동할 경우, 가상 오버레이의 크기는 감소한다. 사용자가 디스플레이 장치(140)의 바로 앞, 이상적인 관점에 있을 때, 디스플레이 장치(140)와 연관된 가상 오버레이는 서로 완벽하게 90도인 모서리를 갖는다. 사용자가 일반 축에서 옆으로 또는 아래로 더 많이 이동할수록, 왜곡된 관점에 매칭되도록 가상 오버레이의 모서리들은 90도에서 더 많이 벗어날 것이다. 투영 기하학(projective geometry), 호모그래피(homomgraphy) 등을 이용하여, 정보는 수학적으로 일반화될 수 있고, 디스플레이 장치(140)에 대해 사용자 및 전자 장치(120)가 현재 어디에 위치하고 있는지를 정확히 평가하기 위해, 디스플레이의 알려진 물리적 크기와 비교될 수 있다. 일단 현재 위치 및 관점이 계산되면, 이상적인 관점을 획득하기 위해, 요구되는 역회전(counter rotation) 및 이동량이 계산된다.
일 실시예에서, 디스플레이 장치들의 크기, 형상 및 전체적인 레이아웃에 기초하여, 전자 장치(120)는 이상적인 관점의 위치를 결정할 수 있다. 이상적인 관점은 벽과의 적당한 거리에서 전자 장치(120)가 어떤 변형을 일으키지 않고 이미지를 획득할 수 있는 위치일 수 있다. 일 실시예에서, 도 2의 시각적 애플리케이션(129)은 전자 장치(120)를 인식된 실제 위치로부터 이상적인 관점으로 가상적으로 이동시킴으로써, 어떻게 관점을 역회전하고 캡쳐된 이미지를 자를지를 계산할 수 있다. 따라서, 이미지가 전자 장치(120)에 의해 이상적인 관점에서 캡쳐된 것처럼, 이미지의 방향이 조정될 수 있다. 이러한 방식으로, 다른 사용자의 추가적인 도움 없이 디스플레이 장치들의 배열을 조정하기 위해, 사용자는 잘린 이미지를 따라가거나, 디스플레이 효과를 체크하기 위해, 이상적인 관점으로 계속 이동할 수 있다. 일 실시예에서, 전자 장치(120)는 이미지의 해상도가 허락하는 한, 뷰어(viewer)가 이상적인 관점뿐만 아니라, 디스플레이 장치들에 대한 임의의 각도 및 거리에서 보는 것을 허용한다. 예를 들어, 사용자는 이상적인 관점이 아닌 선호되는 관점을 식별할 수 있다. 잘린 이미지는 사용자가 선호하는 관점에서 디스플레이 장치들의 배열의 효과를 볼 수 있게 한다. 일 실시예에서, 이전의 배열로부터 학습된 사용자 선호 및/또는 디스플레이 장치들 주위의 환경 데이터(예를 들어, 디스플레이 공간의 크기, 디스플레이 장치들의 뷰를 방해하는 디스플레이 장치들 주변의 가구 및/또는 식물, 사용자가 자주 주도하는 디스플레이 장치들에 대한 시선(line sight)을 갖는 영역 등)에 기초하여, 선호되는 관점은 시각적 애플리케이션(129)에 의해 결정될 수 있다.
도 21a-21d는 일 실시예에 따라 프레임을 캡쳐하고, 방(2310) 내에 현저한 색상을 분석하며, 스크롤 가능한 목록(2320)으로써 색상들을 디스플레이하고, 전자 장치(120) 상의 목록(2320)에 기초하여 이미지(2330/2331)를 나타내는 예시를 나타낸다. 예를 들어, 검출된 방(2310)의 주변 색상은 사용자의 컬렉션(예를 들어, 갤러리, 앨범 등) 또는 방(2310)의 주변의 컬러 팔레트와 가장 잘 매칭되는 큐레이팅된 서비스로부터 이미지/예술 작품을 추천하는데 이용될 수 있다. 예를 들어, 도 21a는 도 2의 전자 장치(120)의 카메라(128)로 방(2310)을 가리키는 사용자를 도시한다. 전자 장치(120)는 프레임을 캡쳐하고, 방(2310)의 현저한 색상을 분석하며, 스크린의 하단에 스크롤 가능한 목록(2320)을 디스플레이한다. 사용자가 목록(2320) 내 임의의 색상(예를 들어, 색상(2321))을 누르는(press) 경우, 시각적 애플리케이션(129)은 데이터 베이스를 통해 선별하여, 선택된 색상을 지배적인 색상으로 갖는 이미지를 찾고, 도 21c에 도시된 바와 같이 스크롤 가능한 이미지 컬렉션(2330)을 사용자에게 제공한다. 유사하게, 색상(2321)의 선택은 도 21c의 이미지(2331)의 컬렉션을 야기한다. 사용자는 관심있는 이미지를 선택하여, 벽(2310) 상의 디스플레이 장치들에 대한 이미지의 큐레이션을 위해 이용할 수 있다.
도 22a-22c는 일 실시예에 따라 디스플레이 프레임 주위의 벽(2410)의 색상을 평가하고, 평가한 정보를 디스플레이 장치의 매트(2420)의 색상에 매칭하기 위해 이용하는 예시도를 나타낸다. 시판되는 대부분의 사진 프레임은 매트와 함께 제공된다. 일반적으로 매트는 프레임 주위의 과다한 정보로부터 색상을 제거하고 분리함으로써, 사진에 주의를 기울이도록 하기 위해 이용된다. 매트는 주로 종이로 만들어졌지만, 다양한 질감과 색상으로 제공된다. 일부 사진 프레임은 벽을 관통하여 벽 뒤쪽의 색상을 선택하는 투명한 매트를 가진다. 디지털 디스플레이 장치를 이용하여, 일 실시예는 디지털 매트를 이용하여 매트 경험을 시뮬레이션하고, 아날로그 사진 프레임과 대응되도록 동일한 목적을 제공한다.
일 실시예에서, 컴퓨터 비전 기술은 디스플레이 장치 주위의 벽(2410)의 색상을 평가하고, 평가한 정보를 매트(2420)의 색상에 이용한다. 예를 들어, 전자 장치(120)는 벽(2410)의 이미지를 캡쳐하고, 벽(2410)의 색상 성분을 분석하며, 도 22b의 벽(2410) 색상(들)에 매칭되는 매트들의 선택(2430)을 제공한다. 도 22c에서, 매트들의 선택(2430)으로부터 매트의 선택이 이루어지고, 가운데 디스플레이 장치의 매트(2420)를 매트(2421)로 변경한다.
도 23a-23c는 일 실시예에 따라 벽(2510) 상의 반복 패턴을 식별하고, 디스플레이 장치에 유사한 투명 매트 효과를 제공하기 위해 패턴을 디지털 방식으로 합성하는 예시도를 나타낸다. 예를 들어, 달성되는 효과는 벽(2510)의 디스플레이 장치 상의 사진/비디오 컨텐츠 주위의 투명 매트(예를 들어, 맑은 또는 투명한 유리)를 갖는 효과와 유사하다. 타일, 벽돌 및 벽지와 같은 패턴 디자인을 갖는 벽은 세계의 많은 지역에서 인기가 있다. 일 실시예는 패턴화된 벽으로 확장될 수 있다. 반복되는 패턴이 충분히 작으면, 적어도 몇가지 패턴의 예시를 포함하는 단일 이미지가 캡쳐되고, 완전히 보이며, 다른 물체에 의해 가려지지 않는다. 이후, 시스템은 반복되는 패턴을 식별하여 향후 처리를 위해 저장한다. 반복되는 패턴이 너무 크거나, 완전하게 보이는 예시가 서로 멀리 떨어지게 설정되면, 복수개의 오버랩된 이미지들을 합성하여 하나의 큰 이미지를 형성함으로써, 사용자는 유사한 효과를 달성할 수 있다. 디스플레이 장치가 장착된 벽(2510)의 복수의 이미지들이 있는 곳에서 단계가 수행된다. 컴퓨터 비전 기술을 이용하여 이미지들이 처리되고, 하나의 큰 이미지를 형성하기 위해 합성된다. 일 실시예에서, 전자 장치가 지원하는 경우, 디스플레이 장치(및 임의의 다른 디스플레이 장치들) 및 벽(2510)의 상당한 부분을 커버하는 하나의 큰 이미지도 또한 동일한 단계를 수행할 것이다. 반복된 패턴, 디스플레이 장치의 위치에 대한 배열 및 공간적 관계(예를 들어, 인스턴스-레벨 오브젝트 검출, 카테고리-레벨 오브젝트 인식, 블록-기반 시각적-패턴 매칭 등을 이용한 패턴 매칭)를 식별하기 위해, 프로세스는 합성된 이미지를 분석한다. 일 실시예에서, 시스템은 다음을 수행하는 프로세스를 실행한다: a) 이미지 너머로 명확하게 반복되는 패턴을 식별하기 위해 이미지가 분석된다; b) 식별된 패턴은 잘라내기(cropping)를 통해 분리되고, 다른 메타데이터(본 명세서에서 참조 패턴이라고 불림)와 함께 참조를 위해 데이터베이스에 저장된다; c) 각각의 디스플레이 장치(140)를 둘러싸는 직접적인 경계가 패턴의 존재를 위해 분석된다; d)경계 패턴은 식별된 참조 패턴의 부분집합인지 확인하기 위해 검사된다; e)일단 매칭되면, 참조 패턴의 모든 정보 및 디스플레이 장치(140)에 의해 가려지는 부분으로 구성되는, 검출된 경계 패턴이 실제로 더 큰지 결정된다. f) 이후, 볼 수 있지만 현재 디스플레이 장치(140)의 매트(2520) 영역으로 가려진 패턴의 영역은 영역 채우기(region filling)를 통해 디지털 방식으로 합성되고, 정확한 위치에 제공된다. 도 23c는 투명 매트 효과를 제공하기 위해 벽(2510) 상의 패턴과 매칭되는 결과 매트(2521)를 도시한다.
다른 예시에서, 벽은 벽돌 질감의 패턴을 가질 수 있다. 예를 들어, 벽 상의 디스플레이 장치는 원래 흰색 매트를 가진다. 예를 들어, 사용자는 디스플레이 장치 상의 명확한 매트 효과를 원한다. 전자 장치(120)는 벽의 이미지를 캡쳐하고, 벽의 패턴이 디스플레이 장치의 매트 영역에서 계속되도록 깨끗한 매트를 시뮬레이션하기 위해 벽 패턴을 분석한다. 깨끗해 보이는 매트에서 매트 영역으로 벽 패턴이 계속되도록 매트가 변경된다.
사용자가 디스플레이 장치(140) 없이 벽의 이미지를 캡쳐할 수 있을 때, 디스플레이 장치(140)를 장착하기 전 또는 디스플레이 장치(140)를 일시적으로 제거하고 장착할 수 있는 경우, 다른 예시가 후술된다. 기본적인 기술은 뺄셈 메커니즘(subtraction mechanism)으로 생각될 수 있다. 일 실시예에서, 벽의 이미지 a는 디스플레이 장치(140) 없이 캡쳐된다. 이후, 디스플레이 장치(140) 및 각각의 이미지들은 정확한 위치에 배치되고, 다른 이미지 b가 캡쳐된다. 컴퓨터 비전 기술이 두 이미지 a와 b를 정렬하기 위해 이용되며, 이미지 a에서 볼 수 있지만 이미지 b에서 가려진 영역 c를 알아내기 위해, 일 대 일 비교가 처리된다. 각각의 디스플레이 장치(140)의 매트 영역에 있는 영역 c로부터 각각의 픽셀이 결정된다. 영역 c에 대한 텍스처 좌표가 계산되고, 이후 각각의 디스플레이 장치로 전송되며, 이후 디스플레이 장치는 깨끗한 매트로 착각하도록, 매트 영역 내 원래 이미지 a로부터의 컨텐츠를 디스플레이한다.
상기 실시예는 반복 패턴의 모든 예시가 한 방향 또는 다른 방향으로 가려져, 다른 실시예에 대한 처리가 실행되기 어려운 경우에 특히 유용한 시나리오일 수 있다. 따라서, 반복 패턴 대신에, 반복 패턴의 부재로 상기 실시예가 이용 불가능한 사진, 그림 또는 벽화와 같은 하나의 큰 디자인으로 벽이 장식되는 시나리오에서 매우 가치 있는 기술이다.
도 24a-24c는 일 실시예에 따른, 디스플레이 장치 상에 이미지를 디스플레이하기 위한 커스터마이징 매트의 예시를 나타낸다. 일 실시예에서, 사용자는 보고 싶은 만큼의 매트를 볼 수 있도록 제어할 수 있다. 도 24a에 도시된 예시에서, 전자 장치(120)는 도 2의 카메라(128)로 매트(2615)를 갖는 디스플레이 장치(2610)를 가리킨다. 외부 매트 제어 인터페이스(2620) 및 내부 매트 제어 인터페이스(2630)는 전자 장치(120) 상에 디스플레이된다. 도 24b에 도시된 예시에서, 내부 매트 제어 인터페이스(2630)는 매트의 두께(thickness)를 조절하기 위해 이용된다. 예를 들어, 네 이미지들 사이의 매트(2615) 두께가 증가하여, 새로운 매트(2616)가 된다. 도 24c에 도시된 예시에서, 매트(2616)의 두께를 증가시키기 위해 외부 매트 제어 인터페이스(2620)가 이용되어, 새로운 매트(2617)가 된다. 외부 매트 제어 인터페이스(2620) 및 내부 매트 제어 인터페이스(2630)에 대한 스크롤 바를 조절하여, 원하는 경우 매트의 두께를 감소시킬 수도 있다.
도 25a-25b는 일 실시예에 따른, 디스플레이 장치 상에 이미지를 디스플레이하기 위한 커스터마이징 매트의 다른 예시를 나타낸다. 도 25a는 전자 장치(120)가 도 2의 카메라(128)로 매트(2715)를 갖는 디스플레이 장치(2710)를 가리키는 예시를 도시한다. 도 25b에 도시된 바와 같이, 매트(2715) 전체를 증가, 감소 또는 제거하기 위해, 매트가 터치되고 모서리(2720)로부터 안쪽 또는 바깥쪽으로 드래그될 수 있다. 예를 들어, 매트(2715)는 두께가 증가하여, 디스플레이 장치(2710)에 표시된 매트(2716)가 된다.
도 26은 일 실시예에 따른, 캡쳐된 이미지 상에 시각적 효과를 오버레이하기 위한 프로세스(2800)의 흐름도를 나타낸다. 일 실시예에서, 단계 2810에서, 프로세스(2800)는 전자 장치가 디스플레이 장치(예를 들어, 디스플레이 장치(140))를 가리킬 때, 전자 장치(예를 들어, 도 2의 전자 장치(120)의 카메라(128)를 이용) 상의 디스플레이 장치에 디스플레이된 이미지를 캡쳐하는 것을 제공한다. 단계 2820에서, 이미지의 패턴은 AR 라이브러리(예를 들어, 시각적 애플리케이션(129) 및/또는 애플리케이션 1-N(127)의 일부는 전자 장치에 존재하여 한정된 세트의 이미지를 검출하도록 훈련됨)의 일부인 패턴 매칭 데이터베이스(예를 들어, 매칭 프로세서(예를 들어, 도 29의 프로세서(3111)를 이용) 또는 프로세스(예를 들어, 도 2의 시각적 애플리케이션(129) 또는 컨텐츠 큐레이션 및 디스플레이 관리 프로세싱(3130))에서 매칭된다. 단계 2830에서, 이미지가 패턴 매칭 데이터베이스에 존재하면, 이미지의 존재, 식별된 이미지의 이름 등의 세부사항이 AR 라이브러리에 제공된다. 단계 2840에서, 프로세스(2800)는 씬(scene)에서 패턴이 존재하는 곳과 패턴의 네 모서리의 위치를 검출한다. 예를 들어, 씬에서 패턴이 존재하는 위치와 세부사항을 결정하기 위해, AR 라이브러리는 컴퓨터 비전 프로세스 또는 프로세서를 이용한다. 단계 2850에서, 전자 장치의 디스플레이 장치에 잠금 상태로 유지되는 가상 오버레이를 제공하기 위해, 시각적 효과는 검출된 네 모서리 내에 오버레이된다. 예를 들어, AR 라이브러리는 검출된 네 모서리 내에 원하는 시각적 효과를 오버레이하여, 디스플레이 장치에 잠금 상태를 유지하는 가상 오버레이를 제공하기 위해, AR 라이브러리의 컴퓨터 그래픽 프로세스 또는 프로세서를 이용한다.
도 27은 일 실시예에 따른, 복수의 디스플레이 장치들에 걸쳐 이미지를 분산시키기 위한 프로세스(2900)의 흐름도를 나타낸다. 일 실시예에서, 단계 2910에서는 전자 장치(예를 들어, 전자 장치(120)) 및 디스플레이 장치들 서로에 대하여, 복수의 디스플레이 장치들(예를 들어, 도 7a-7d의 디스플레이 장치들(901, 902, 903)) 각각의 상대적인 위치를 결정한다. 단계 2920에서, 프로세스(2900)는 디스플레이할 이미지의 특정 서브 영역에 대응되도록, 복수의 디스플레이 장치들 각각에 대한 종횡비 및 물리적 크기를 결정한다. 단계 2930에서, 프로세스(2900)는 복수의 디스플레이 장치들 각각에 대한 대응하는 텍스처 좌표를 연관시킨다. 텍스처 좌표는 복수의 디스플레이 장치들 각각에 디스플레이할 이미지의 일부를 나타낸다. 단계 2940에서, 프로세스(2900)는 이미지 및 연관된 텍스처 좌표를 포함하는 메시지를 복수의 디스플레이 장치들 각각에 전송한다. 단계 2950에서, 프로세스(2900)는 연관된 텍스처 좌표에 기초하여, 복수의 디스플레이 장치들에 걸친 이미지가 로딩되도록 한다.
도 28은 일 실시예에 따른, 디스플레이 장치들을 구성하고 제어하기 위한 프로세스(3000)의 흐름도를 나타낸다. 일 실시예에서, 단계 3010에서, 프로세스(3000)는 각각의 디스플레이된 제 1 컨텐츠를 갖는 하나 이상의 디스플레이 장치(예를 들어, 도 2의 디스플레이 장치(140))의 이미지를 수신한다. 단계 3020에서, 프로세스(3000)는 적어도 하나의 디스플레이 장치에 대하여, 디스플레이 장치 ID를 검색한다. 단계 3030에서, 적어도 하나의 디스플레이 장치의 디스플레이 장치 ID에 기초하여, 이미지와 상호작용하여, 적어도 하나의 디스플레이 장치에 디스플레이된 제1 컨텐츠를 변경되도록 한다.
일 실시예에서, 프로세스(3000)는 컴퓨터 비전 기술을 통해, 이미지 상의 영역들에 윤곽을 그리는 단계를 더 포함하고, 각각의 영역은 특유의 디스플레이 장치에 대응한다. 이미지와의 상호작용은 적어도 하나의 영역과의 상호작용을 포함한다. 또한, 프로세스(3000)는 적어도 두 디스플레이 장치들로 디스플레이하기 위한 제 2 컨텐츠가 전송되도록 할 수 있다. 제 2 컨텐츠는 제 2 컨텐츠의 공간적 관계를 유지하면서 적어도 두 디스플레이 장치에 걸쳐 디스플레이된다.
일 실시예에서, 프로세스(3000)는 컴퓨터 비전 기술을 이용하여 디스플레이 장치ID에 기초하여 컨텐츠 인식을 수행하는 단계를 더 포함할 수 있다. 또한, 하나 이상의 디스플레이 장치가 네트워크에 연결될 수 있으며, 컨텐츠 인식은 패턴 라이브러리에 접속하여 수행될 수 있다. 예를 들어, 사용자 인터페이스(예를 들어, 도 2의 전자 장치(120) 이용)는 디스플레이 장치들의 선택 및 선택된 디스플레이 장치들과의 상호 작용을 제공한다.
일 실시예에서, 프로세스(3000)는 하나 이상의 디스플레이 장치 상에 디스플레이된 컨텐츠를 관리하기 위한 다양한 제스처를 가능하게하기 위해, 사용자 인터페이스 상에 하나 이상의 디스플레이 장치를 오버레이하는 단계를 포함할 수 있다. 또한, 프로세스(3000)는 제 1 컨텐츠의 이미지의 부분의 선택을 수신하는 단계, 부분를 잘라내기 위한 명령을 수신하는 단계, 및 잘라낸 부분이 하나 이상의 디스플레이 장치의 선택된 디스플레이 장치에 디스플레이되도록하는 단계를 포함할 수 있다.
일 실시예에서, 프로세스(3000)는 제 2 컨텐츠의 이미지의 하나 이상의 부분의 선택을 수신하는 단계, 하나 이상의 부분을 잘라내기 위한 잘라내기 명령(cropping instruction)을 수신하는 단계, 및 잘라낸 하나 이상의 부분이 적어도 두 디스플레이 장치에 걸쳐 디스플레이되도록하는 단계를 포함할 수 있다.
도 29는 하나 이상의 실시예를 구현하는 컴퓨팅 시스템(3100)을 포함하는 정보 처리 시스템을 나타내는 하이 레벨 블록도이다. 시스템(3100)은 하나 이상의 프로세서(3111)(예를 들어, ASIC, CPU 등)를 포함하며, 전자 디스플레이 장치(3112)(그래픽, 텍스트 및 다른 데이터를 디스플레이하기 위한), 메인 메모리(3113)(예를 들어, 랜덤 액세스 메모리(RAM), 캐시 장치 등), 저장 장치(3114)(예를 들어, 하드 디스크 드라이브), 이동식 저장 장치(3115)(예를 들어, 이동식 저장 드라이브, 이동식 메모리, 자기 테이프 드라이브, 광학 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터가 기록된 컴퓨터 판독가능 매체), 사용자 인터페이스 장치(3116)(예를 들어, 키보드, 터치스크린, 키패드, 포인팅(pointing) 장치), 및 통신 인터페이스(3117)(예를 들어, 모뎀, 무선 송수신기(예를 들어, 와이파이, 셀룰러), 네트워크 인터페이스(예를 들어, 이더넷 카드(Ethernet card)), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 포함할 수 있다.
통신 인터페이스(3117)는 인터넷(3150), 모바일 전자 장치(3151), 서버(3152), 네트워크(3153) 등을 통해, 컴퓨터 시스템과 외부 장치들 간에 소프트웨어 및 데이터가 전송되도록 한다. 시스템(3100)은 상술한 장치들(3111-3117)이 연결되도록 통신 인프라(3118)(예를 들어, 통신 버스, 크로스 바(cross bar), 또는 네트워크)를 더 포함할 수 있다.
통신 인터페이스(3117)를 통해 전송되는 정보는, 신호를 전달하는 통신 링크를 통해, 통신 인터페이스(3117)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호와 같은 형태의 신호일 수 있고, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 폰 링크, 라디오 주파수(RF) 링크 및/또는 다른 통신 채널을 이용하여 구현될 수 있다.
모바일 무선 장치(예를 들어, 모바일 폰, 태블릿, 웨어러블 디바이스 등)에서의 하나 이상의 실시예의 일 구현 예로서, 시스템(3100)은 도 2의 카메라(128)와 같은 이미지 캡쳐 장치(3120) 및 도 2의 마이크로폰(122)과 같은 오디오 캡쳐 장치(3119)를 더 포함할 수 있다. 시스템(3100)은 MMS(3121), SMS(3122), 이메일(3123), 소셜 네트워크 인터페이스(SNI)(3124), 오디오/비디오(AV) 플레이어(3125), 웹 브라우저(3126), 이미지 캡쳐(3127)등과 같은 애플리케이션 프로세싱 또는 프로세서를 더 포함할 수 있다.
일 실시예에서, 시스템(3100)은 도 2의 시각적 애플리케이션(129)에 관하여 설명된 바와 유사한 프로세싱 및 상술한 컨텐츠 큐레이션, 디스플레이 장치 관리 프로세싱을 구현할 수 있는 컨텐츠 큐레이션 및 디스플레이 관리 프로세싱(3130)을 포함한다. 일 실시예에서, 운영 체제(3129)와 함께 컨텐츠 큐레이션 및 디스플레이 관리 프로세싱(3130)은 시스템(3100)의 메모리에 있는 실행 가능한 코드로 구현될 수 있다. 다른 실시예에서, 컨텐츠 큐레이션 및 디스플레이 관리 프로세싱(3130)은 하드웨어, 펌웨어 등으로 제공될 수 있다.
하나 이상의 실시예는 시각적인 방식으로 직관적이고 용이한 디스플레이 장치들(예를 들어, 도 2의 디스플레이 장치(140))의 큐레이션을 제공하며, 디스플레이 장치 자체에서 이미지를 추적함으로써 기능할 수 있다. 하나 이상의 실시예는 AR 패턴, 바코드 및 QR 코드와 같은 추가적인 시각적 마커(visual marker)를 필요로하지 않는다. 드래그 앤 드롭과 같은 고급 상호작용은 컨텐츠를 디스플레이 장치에 할당하기 위해 이용된다. 특정 디스플레이 장치에 특정 효과를 적용하는 것은 고급 공간적 상호작용을 통해 제공된다. 복수의 디스플레이 장치들에 걸쳐 이미지를 분산시키는 것은 공간적으로 응집된 방식으로 제공된다. 특정 디스플레이 장치에 디스플레이될 이미지의 중요한 관심 영역/특징을 선택하는 것이 제공된다. 하나 이상의 실시예는 이미지가 할당될 디스플레이 장치의 크기 및 종횡비에 기초하여, 공간적으로 지능적인 이미지의 편집을 가능하게한다.
하나 이상의 실시예는 동일한 사용자 경험을 갖는 물리적 디스플레이들로부터 지리적으로 분리된 경우에도 저장, 검색 및 큐레이팅될 수 있는 가상 벽으로서 디스플레이 장치들의 클러스터의 가상 표현을 제공한다. 디스플레이 그룹 및 특성/동작의 동적 생성(dynamic creation)이 제공된다. 고유한 UI 메커니즘을 통한 여러 유형의 그룹 상호작용이 제공된다. 주변 이미지 컨텐츠 및 물리적 벽 색상 및 조명과 같은 디스플레이 장치들의 주변 환경에 기초하여, 필터 선택을 위한 제안이 제공된다. 주변 정보에 기초하여, 로컬 컬렉션(local collection) 또는 큐레이팅된 서비스로부터 가장 적합한 사진/컨텐츠를 위한 제안이 제공된다.
하나 이상의 실시예는 장착될 디스플레이 장치의 개수, 형상 및 크기를 검출함으로써, 다양한 템플릿 및 배열 패턴의 제안을 제공하며, 선택된 패턴을 달성하기 위해 정확한 측정치를 제공한다. 실시간 위치 및 정렬 피드백이 제공되며, 선택된 패턴을 달성하기 위한 보정(correction) 및 가이드라인(guideline) 또한 제공된다. 디스플레이 옆에 서있을 때에도, 위치 및 정렬에 대한 결정을 돕는, 먼 관점의 디스플레이들의 클러스터가 제공된다. 디지털 매트 영역 내의 색상, 텍스처 및 패턴과 같은 특징을 모방하도록 주변 환경이 분석됨으로써, 주변 환경과 디지털 프레임을 블렌딩하여 즐거운 시각적 효과를 제공한다.
당업자에게 공지된 바와 같이, 상술한 예시적인 구조(architecture)는, 프로세서에 의해 실행되는 프로그램 명령, 소프트웨어 모듈, 마이크로코드, 컴퓨터 판독가능 매체 상의 컴퓨터 프로그램 제품, 아날로그/논리 회로, 응용 주문형 집적 회로(ASIC), 펌웨어, 소비자 전자 장치, AV 장치, 유/무선 송신기, 유/무선 수신기, 네트워크, 멀티미디어 장치 등과 같은 다양한 방식으로 구현될 수 있다. 또한, 상술한 구조의 실시예는, 전체가 하드웨어인 실시예, 전체가 소프트웨어인 실시예, 또는 소프트웨어 및 하드웨어 요소를 모두 포함하는 실시예의 형태를 취할 수 있다.
하나 이상의 실시예가 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명되었다. 블록도/흐름도의 각각의 블록 또는 블록들의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있다. 컴퓨터 프로그램 명령은 프로세서에 제공될 때, 머신(machine)을 생성하고, 프로세서를 통해 실행되는 명령은 흐름도 및/또는 블록도에 지정된 기능/동작을 구현하는 수단을 생성한다. 흐름도/블록도 내의 각각의 블록은 하나 이상의 실시예를 구현하는 하드웨어 및/또는 소프트웨어 모듈 또는 로직(logic)을 나타낼 수 있다. 대체적인 구현에서, 블록에서 언급된 기능은 도면에 언급된 순서와 다르게, 또는 동시에 발생할 수 있다.
“컴퓨터 프로그램 매체”, “컴퓨터 이용가능 매체”, “컴퓨터 판독가능 매체”, 및 “컴퓨터 프로그램 제품”은 일반적으로 메인 메모리, 2차 메모리, 이동식 저장 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크와 같은 매체를 지칭하기 위해 이용된다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 소프트웨어를 제공하기 위한 수단이다. 컴퓨터 판독가능 매체는 컴퓨터 시스템이 컴퓨터 판독가능 매체로부터 데이터, 명령, 메시지 또는 메시지 패킷, 및 다른 컴퓨터 판독가능 정보를 판독할 수 있도록 한다. 예를 들어, 컴퓨터 판독가능 매체는 플로피 디스크, ROM, 플래시 메모리, 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장 장치와 같은 비휘발성 메모리를 포함할 수 있다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 시스템들 간에 데이터 및 컴퓨터 명령과 같은 정보를 전송하는데 유용하다. 컴퓨터 프로그램 명령은 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 특정 방식으로 기능하는 장치에 지시하는 컴퓨터 판독가능 매체에 저장될 수 있고, 컴퓨터 판독가능 매체에 저장된 명령은 흐름도 및/또는 블록도의 블록 또는 블록들에 특정된 기능/동작을 구현하는 명령을 포함하는 제품을 생산한다.
본 명세서의 블록도 및/또는 흐름도를 나타내는 컴퓨터 프로그램 명령은 컴퓨터 구현 프로세스를 생성하기 위해 수행된 일련의 동작들을 야기하도록, 컴퓨터, 프로그램 가능 데이터, 처리 기기, 또는 처리 장치 상에 로딩될 수 있다. 컴퓨터 프로그램(예를 들어, 컴퓨터 제어 로직)은 메인 메모리 및/또는 2차 메모리에 저장된다. 또한, 컴퓨터 프로그램은 통신 인터페이스를 통해 수신될 수 있다. 컴퓨터 프로그램이 실행될 때, 컴퓨터 프로그램은 컴퓨터 시스템이 본 명세서에 기술된 실시예들의 특징을 수행하는 것을 가능하게 한다. 특히, 컴퓨터 프로그램이 실행될 때, 컴퓨터 프로그램은 프로세서 및/또는 멀티코어 프로세서가 컴퓨터 시스템의 특징을 수행하는 것을 가능하게 한다. 컴퓨터 프로그램은 컴퓨터 시스템의 제어부(controller)를 나타낸다. 컴퓨터 프로그램 제품은 하나 이상의 실시예의 방법을 수행하기 위해, 컴퓨터 시스템에 의해 판독가능하고, 컴퓨터 시스템에 의한 실행을 위한 명령들을 저장하는 유형의 저장 매체를 포함한다.
실시예들이 소정 버전을 참조하여 설명되었지만, 다른 버전도 가능하다. 그러므로, 첨부된 청구범위의 사상 및 범위는 본 명세서에 포함된 선호되는 버전의 설명에 제한되어서는 안된다.

Claims (20)

  1. 컨텐츠 관리를 위한 전자 장치의 동작 방법에 있어서,
    각각 제1 컨텐츠가 표시된 적어도 하나의 디스플레이 장치의 이미지를 수신하는 단계;
    상기 수신된 적어도 하나의 디스플레이 장치의 이미지를 표시하는 단계;
    상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(identifier, ID)를 검색하는(retrieving) 단계; 및
    상기 적어도 하나의 디스플레이 장치의 상기 디스플레이 장치 식별자에 기초하여, 상기 적어도 하나의 디스플레이 장치의 이미지와 상호작용 함으로써, 상기 적어도 하나의 디스플레이 장치에 표시된 상기 제1 컨텐츠를 제2 컨텐츠로 변경되도록 하는 단계;
    를 포함하고,
    상기 제2 컨텐츠는, 상기 적어도 하나의 디스플레이 장치의 주변 색상에 기초한 컬러 필터를 상기 제1 컨텐츠에 적용함으로써 획득되고, 상기 주변 색상은 상기 적어도 하나의 디스플레이 장치가 부착된 벽의 색상을 포함하고,
    상기 이미지와의 상호작용은, 상기 전자 장치에 표시된 상기 이미지에 대한 입력을 통해, 상기 적어도 하나의 디스플레이 장치의 컨텐츠를 제어하는 것인, 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 디스플레이 장치 중 특정 디스플레이 장치에 대응하는, 이미지 상의 각각의 영역들을 컴퓨터 비전 기술을 통해 그리는(delineating) 단계;
    를 더 포함하고,
    상기 이미지와의 상호작용은, 하나 이상의 영역 중 적어도 하나의 영역과의 상호작용을 포함하는, 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 디스플레이 장치 중 적어도 두 디스플레이 장치들에 상기 제2 컨텐츠가 전송되도록하는 단계;
    를 더 포함하고,
    상기 제2 컨텐츠는, 상기 제2 컨텐츠의 공간적 관계를 유지하면서 상기 적어도 두 디스플레이 장치들에 걸쳐 표시되는, 방법.
  4. 제1항에 있어서,
    상기 디스플레이 장치 식별자에 기초하여, 컴퓨터 비전을 이용한 컨텐츠 인식을 수행하는 단계;
    를 더 포함하는, 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 디스플레이 장치는 네트워크에 연결되고, 패턴 라이브러리(pattern library)에의 접속(accessing)에 기초하여, 컨텐츠 인식이 수행되는 것인, 방법.
  6. 제1항에 있어서,
    상기 이미지와의 상호작용은 디스플레이 장치들의 선택을 지원하는 사용자 인터페이스를 통해 이루어지며, 상기 선택된 디스플레이 장치들과 상호작용하는 것인, 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 디스플레이 장치 상에 표시된 컨텐츠를 관리하기 위한 다양한 제스처를 가능하게하기 위해, 사용자 인터페이스 상에 상기 적어도 하나의 디스플레이 장치를 오버레이하는(overlaying) 단계;
    를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제1 컨텐츠의 이미지의 부분의 선택을 수신하는 단계;
    상기 부분을 잘라내기 위한 명령을 수신하는 단계; 및
    상기 잘라낸 부분이 상기 적어도 하나의 디스플레이 장치 중 선택된 디스플레이 장치에 표시되도록 하는 단계;
    를 더 포함하는, 방법.
  9. 제1항 내지 제 8항 중 어느 한 항에 있어서,
    상기 제2 컨텐츠의 이미지의 하나 이상의 부분의 선택을 수신하는 단계;
    상기 하나 이상의 부분을 잘라내기 위한 잘라내기 명령(cropping instruction)을 수신하는 단계; 및
    상기 잘라낸 하나 이상의 부분이 적어도 두 디스플레이 장치들에 걸쳐 표시되도록 하는 단계;
    를 더 포함하는, 방법.
  10. 컨텐츠 관리를 위한 전자 장치에 있어서,
    메모리; 및
    각각의 제1 컨텐츠가 표시된 적어도 하나의 디스플레이 장치의 이미지를 수신하고,
    상기 수신된 적어도 하나의 디스플레이 장치의 이미지를 표시하고,
    상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(identifier, ID)를 검색(retrieve)하고,
    상기 적어도 하나의 디스플레이 장치의 상기 디스플레이 장치 식별자에 기초하여, 상기 적어도 하나의 디스플레이 장치의 이미지와 상호작용 함으로써, 상기 적어도 하나의 디스플레이 장치에 표시된 상기 제1 컨텐츠를 제2 컨텐츠로 변경되도록 하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 제2 컨텐츠는, 상기 적어도 하나의 디스플레이 장치의 주변 색상에 기초한 컬러 필터를 상기 제1 컨텐츠에 적용함으로써 획득되고, 상기 주변 색상은 상기 적어도 하나의 디스플레이 장치가 부착된 벽의 색상을 포함하고,
    상기 이미지와의 상호작용은, 상기 전자 장치에 표시된 상기 이미지에 대한 입력을 통해, 상기 적어도 하나의 디스플레이 장치의 컨텐츠를 제어하는 것인, 전자 장치.
  11. 제10항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 디스플레이 장치 중 특정 디스플레이 장치에 대응하는, 이미지 상의 각각의 영역들을 컴퓨터 비전 기술을 통해 그리(delineate)고,
    상기 이미지와의 상호작용은, 하나 이상의 영역 중 적어도 하나의 영역과의 상호작용을 포함하는, 전자 장치.
  12. 제10항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 디스플레이 장치 중 적어도 두 디스플레이 장치들에 상기 제2 컨텐츠가 전송되도록 하고,
    상기 제2 컨텐츠는, 상기 제2 컨텐츠의 공간적 관계를 유지하면서 상기 적어도 두 디스플레이 장치들에 걸쳐 표시되는, 전자 장치.
  13. 제10항에 있어서,
    디스플레이 장치들을 선택하고, 선택된 디스플레이 장치들과 상호작용하기 위한 사용자 인터페이스;
    를 더 포함하는, 전자 장치.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 컨텐츠의 이미지의 부분의 선택을 수신하고,
    상기 부분을 잘라내기 위한 명령을 수신하고,
    상기 잘라낸 부분이 상기 적어도 하나의 디스플레이 장치 중 선택된 디스플레이 장치에 표시되도록 하는 전자 장치.
  15. 컨텐츠 관리를 위한 전자 장치의 동작 방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    각각 제1 컨텐츠가 표시된 적어도 하나의 디스플레이 장치의 이미지를 수신하는 단계;
    상기 수신된 적어도 하나의 디스플레이 장치의 이미지를 표시하는 단계;
    상기 적어도 하나의 디스플레이 장치의 디스플레이 장치 식별자(identifier, ID)를 검색하는(retrieving) 단계; 및
    상기 적어도 하나의 디스플레이 장치의 상기 디스플레이 장치 식별자에 기초하여, 상기 적어도 하나의 디스플레이 장치의 이미지와 상호작용 함으로써, 상기 적어도 하나의 디스플레이 장치에 표시된 상기 제1 컨텐츠를 제2 컨텐츠로 변경되도록 하는 단계;
    를 포함하고,
    상기 제2 컨텐츠는, 상기 적어도 하나의 디스플레이 장치의 주변 색상에 기초한 컬러 필터를 상기 제1 컨텐츠에 적용함으로써 획득되고, 상기 주변 색상은 상기 적어도 하나의 디스플레이 장치가 부착된 벽의 색상을 포함하고,
    상기 이미지와의 상호작용은, 상기 전자 장치에 표시된 상기 이미지에 대한 입력을 통해, 상기 적어도 하나의 디스플레이 장치의 컨텐츠를 제어하는 것인,
    전자 장치의 동작 방법을 수행하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.
  16. 제15항에 있어서,
    상기 적어도 하나의 디스플레이 장치 중 특정 디스플레이 장치에 대응하는, 이미지 상의 각각의 영역들을 컴퓨터 비전 기술을 통해 그리는(delineating) 단계;
    를 더 포함하고,
    상기 이미지와의 상호작용은, 하나 이상의 영역 중 적어도 하나의 영역과의 상호작용을 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  17. 제15항에 있어서,
    상기 적어도 하나의 디스플레이 장치 중 적어도 두 디스플레이 장치들에 제2 컨텐츠가 전송되도록 하는 단계;
    를 더 포함하고,
    상기 제2 컨텐츠는, 상기 제2 컨텐츠의 공간적 관계를 유지하면서 상기 적어도 두 디스플레이 장치에 걸쳐 표시되도록 하는, 컴퓨터로 읽을 수 있는 기록 매체.
  18. 제15항에 있어서,
    상기 적어도 하나의 디스플레이 장치는 네트워크에 연결되고, 패턴 라이브러리(pattern library)에의 접속(accessing)에 기초하여, 컨텐츠 인식이 수행되는 것인, 컴퓨터로 읽을 수 있는 기록 매체.
  19. 제15항에 있어서,
    상기 적어도 하나의 디스플레이 장치 상에 표시된 컨텐츠를 관리하기 위한 다양한 제스처를 가능하게하기 위해, 사용자 인터페이스 상에 상기 적어도 하나의 디스플레이 장치를 오버레이하는 단계;
    를 더 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 제1 컨텐츠의 이미지의 부분의 선택을 수신하는 단계;
    상기 부분을 잘라내기 위한 명령을 수신하는 단계; 및
    상기 잘라낸 부분이 상기 적어도 하나의 디스플레이 장치 중 선택된 디스플레이 장치에 표시되도록 하는 단계;
    를 더 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.

KR1020170030275A 2016-03-09 2017-03-09 컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작 KR102346632B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662305938P 2016-03-09 2016-03-09
US62/305,938 2016-03-09
US15/283,005 2016-09-30
US15/283,005 US11853635B2 (en) 2016-03-09 2016-09-30 Configuration and operation of display devices including content curation

Publications (2)

Publication Number Publication Date
KR20170105444A KR20170105444A (ko) 2017-09-19
KR102346632B1 true KR102346632B1 (ko) 2022-01-03

Family

ID=59786495

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170030275A KR102346632B1 (ko) 2016-03-09 2017-03-09 컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작
KR1020170030276A KR102327207B1 (ko) 2016-03-09 2017-03-09 디바이스 관리를 포함하는 디스플레이 장치들의 구성 및 동작

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020170030276A KR102327207B1 (ko) 2016-03-09 2017-03-09 디바이스 관리를 포함하는 디스플레이 장치들의 구성 및 동작

Country Status (4)

Country Link
US (2) US10120635B2 (ko)
EP (2) EP3403414A4 (ko)
KR (2) KR102346632B1 (ko)
WO (2) WO2017155236A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474407B2 (en) 2013-10-10 2019-11-12 Pushd, Inc. Digital picture frame with automated interactions with viewer and viewer devices
US9952821B2 (en) * 2015-09-01 2018-04-24 Electronics And Telecommunications Research Institute Screen position sensing method in multi display system, content configuring method, watermark image generating method for sensing screen position server, and display terminal
US10120635B2 (en) 2016-03-09 2018-11-06 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
USD815648S1 (en) * 2016-04-11 2018-04-17 Mangala Iyer Display screen or portion thereof with graphical user interface
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US11317028B2 (en) * 2017-01-06 2022-04-26 Appsure Inc. Capture and display device
US10373346B2 (en) * 2017-05-01 2019-08-06 Baris Merzeci Methods and systems of customized digital-image projection
EP3407296A1 (en) * 2017-05-23 2018-11-28 Thomson Licensing Method and device for determining a characteristic of a display device
US10572988B1 (en) * 2017-06-19 2020-02-25 A9.Com, Inc. Capturing color information from a physical environment
KR102435193B1 (ko) * 2017-11-09 2022-08-24 삼성전자주식회사 전자 장치, 디스플레이 장치 및 멀티비전 설정 방법
KR102471073B1 (ko) * 2017-12-18 2022-11-25 삼성전자주식회사 전자 장치 및 그 동작방법
US10832597B2 (en) 2017-12-22 2020-11-10 Videri Inc. Multiple display device installation
CN111630486B (zh) * 2018-01-30 2023-07-07 富士胶片株式会社 电子相册装置、电子相册装置的工作方法及记录介质
KR102062832B1 (ko) 2018-02-02 2020-01-06 충북대학교 산학협력단 웹 기반 논문 큐레이션 서비스 시스템 및 방법
KR102338900B1 (ko) * 2018-02-13 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
JP2019185664A (ja) * 2018-04-17 2019-10-24 トヨタ自動車株式会社 制御装置、物体検出システム、物体検出方法及びプログラム
US11694392B2 (en) * 2018-05-22 2023-07-04 Apple Inc. Environment synthesis for lighting an object
JP7081052B2 (ja) * 2018-09-04 2022-06-06 アップル インコーポレイテッド 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示
KR102604170B1 (ko) * 2018-09-27 2023-11-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109348276B (zh) * 2018-11-08 2019-12-17 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
CN111258519B (zh) * 2018-11-30 2021-07-06 北京字节跳动网络技术有限公司 屏幕分屏实现方法、装置、终端和介质
US10901676B2 (en) * 2019-02-13 2021-01-26 International Business Machines Corporation Application extension to localized external devices
KR102633572B1 (ko) * 2019-02-19 2024-02-06 삼성전자주식회사 워치 페이스 이미지를 결정하기 위한 방법 및 그 전자 장치
US11120682B2 (en) 2019-02-20 2021-09-14 Robert Bosch Gmbh System and method for operating physical entities based on a virtual representation of the physical entities
RU2748176C1 (ru) * 2020-05-18 2021-05-20 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ настройки отображения данных на видеостене
US11481941B2 (en) * 2020-08-03 2022-10-25 Google Llc Display responsive communication system and method
US20230139932A1 (en) * 2020-11-25 2023-05-04 Boe Technology Group Co., Ltd. Screen Projection Interaction Method, Screen Projection System and Terminal Device
US11955144B2 (en) * 2020-12-29 2024-04-09 Snap Inc. Video creation and editing and associated user interface
KR102430959B1 (ko) 2021-10-08 2022-08-11 이주연 인공지능 기반 식물 정보 큐레이션 서비스 제공 방법, 장치 및 시스템
US11789602B1 (en) * 2022-04-18 2023-10-17 Spatial Systems Inc. Immersive gallery with linear scroll

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235574A1 (en) 2007-01-05 2008-09-25 Telek Michael J Multi-frame display system with semantic image arrangement
US20110090322A1 (en) 2007-01-05 2011-04-21 Lawther Joel S Multi-frame display system with perspective based image arrangement
US20130187835A1 (en) 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20150279037A1 (en) * 2014-01-11 2015-10-01 Userful Corporation System and Method of Video Wall Setup and Adjustment Using Automated Image Analysis

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100220042B1 (ko) * 1990-06-07 1999-09-01 가부시키가이샤 히타치 세이사쿠쇼 발표지원방법 및 그 장치
US7548787B2 (en) * 2005-08-03 2009-06-16 Kamilo Feher Medical diagnostic and communication system
JP2002132242A (ja) 2000-07-31 2002-05-09 Hewlett Packard Co <Hp> 自動適合式デジタルピクチャフレームディスプレイ
US7415212B2 (en) * 2001-10-23 2008-08-19 Sony Corporation Data communication system, data transmitter and data receiver
WO2004110074A2 (en) * 2003-06-05 2004-12-16 Nds Limited System for transmitting information from a streamed program to external devices and media
US7095075B2 (en) 2003-07-01 2006-08-22 Micron Technology, Inc. Apparatus and method for split transistor memory having improved endurance
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US20080165082A1 (en) * 2007-01-05 2008-07-10 Manico Joseph A Function enhancing array for multi-frame display system
US8542906B1 (en) * 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
WO2011019154A2 (en) 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
WO2011086956A1 (ja) * 2010-01-18 2011-07-21 日本電気株式会社 情報端末機器、情報端末機器による操作方法及びプログラム
US8630485B2 (en) * 2010-03-04 2014-01-14 Intellectual Ventures Fund 83 Llc Method for combining image and imaging product
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
KR101148508B1 (ko) 2010-07-16 2012-05-25 한국과학기술원 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
US8588548B2 (en) * 2010-07-29 2013-11-19 Kodak Alaris Inc. Method for forming a composite image
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
KR101742578B1 (ko) * 2011-01-14 2017-06-01 삼성전자주식회사 컨텐츠 관리 방법 및 이를 적용한 디스플레이 장치
US9398210B2 (en) 2011-02-24 2016-07-19 Digimarc Corporation Methods and systems for dealing with perspective distortion in connection with smartphone cameras
KR101857563B1 (ko) * 2011-05-11 2018-05-15 삼성전자 주식회사 네트워크 전자기기들 간 데이터 공유 방법 및 장치
US9092674B2 (en) 2011-06-23 2015-07-28 International Business Machines Corportion Method for enhanced location based and context sensitive augmented reality translation
US10162491B2 (en) * 2011-08-12 2018-12-25 Otoy Inc. Drag and drop of objects between applications
CN104025610B (zh) * 2011-12-28 2017-11-17 英特尔公司 用于基于一批图像来提供内容的系统、方法和装置
KR20130104086A (ko) * 2012-03-12 2013-09-25 한국전자통신연구원 다이내믹 멀티비전 서비스 제공 방법
US9154732B2 (en) 2012-04-09 2015-10-06 Futurewei Technologies, Inc. Visual conditioning for augmented-reality-assisted video conferencing
US20130329061A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
WO2013186835A1 (ja) 2012-06-11 2013-12-19 Ｎｅｃディスプレイソリューションズ株式会社 マルチスクリーンディスプレイシステム、ディスプレイ装置、ｉｄ設定機器、ｉｄ設定方法
TWI526041B (zh) 2012-07-17 2016-03-11 廣達電腦股份有限公司 互動系統及互動方法
US9092896B2 (en) * 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface
EP2701099A1 (en) 2012-08-24 2014-02-26 I4pack GmbH Computer network for dynamically controlling qr-codes
US20140058825A1 (en) 2012-08-24 2014-02-27 Verizon Patent And Licensing Inc. Augmented-reality-based offer management system
US20150262208A1 (en) 2012-10-04 2015-09-17 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US20140193037A1 (en) 2013-01-08 2014-07-10 John Fleck Stitzinger Displaying an Image on Multiple Dynamically Located Displays
US9286025B2 (en) 2013-03-21 2016-03-15 Polaris Financial Technology Ltd. Interactive rendering on a multi-display device
JP6260620B2 (ja) * 2013-06-17 2018-01-17 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6265683B2 (ja) 2013-10-28 2018-01-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム
WO2015077455A1 (en) 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
US9516218B1 (en) * 2014-02-06 2016-12-06 Google Inc. Grouping digital images based on detected objects
US20160342839A1 (en) * 2014-03-20 2016-11-24 Hewlett Packard Enterprise Development Lp Identifying electronic components for augmented reality
US9536352B2 (en) 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
US20150296324A1 (en) 2014-04-11 2015-10-15 Mitsubishi Electric Research Laboratories, Inc. Method and Apparatus for Interacting Between Equipment and Mobile Devices
US9712948B2 (en) 2014-04-30 2017-07-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Image triggered pairing
US9799142B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data collection
US20160086513A1 (en) 2014-09-19 2016-03-24 Casio Computer Co., Ltd. Server apparatus, data integration method and electronic device
JP6137137B2 (ja) * 2014-11-21 2017-05-31 コニカミノルタ株式会社 中継接続システム、中継接続プログラム
KR20170022029A (ko) * 2015-08-19 2017-03-02 엘지전자 주식회사 디지털 액자 제어방법
KR20170029900A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CA2957383A1 (en) 2016-02-08 2017-08-08 University Of Ontario Institute Of Technology System and method for spatial interaction for viewing and manipulating off-screen content
US10120635B2 (en) 2016-03-09 2018-11-06 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235574A1 (en) 2007-01-05 2008-09-25 Telek Michael J Multi-frame display system with semantic image arrangement
US20110090322A1 (en) 2007-01-05 2011-04-21 Lawther Joel S Multi-frame display system with perspective based image arrangement
US20130187835A1 (en) 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20150279037A1 (en) * 2014-01-11 2015-10-01 Userful Corporation System and Method of Video Wall Setup and Adjustment Using Automated Image Analysis

Also Published As

Publication number Publication date
WO2017155237A9 (en) 2017-11-16
WO2017155236A1 (en) 2017-09-14
WO2017155237A1 (en) 2017-09-14
EP3424225A4 (en) 2019-03-20
KR20170105444A (ko) 2017-09-19
US10120635B2 (en) 2018-11-06
US20170262245A1 (en) 2017-09-14
US20170262247A1 (en) 2017-09-14
EP3403414A1 (en) 2018-11-21
EP3403414A4 (en) 2019-01-16
KR102327207B1 (ko) 2021-11-17
US11853635B2 (en) 2023-12-26
EP3424225A1 (en) 2019-01-09
KR20170105445A (ko) 2017-09-19

Similar Documents

Publication Publication Date Title
KR102346632B1 (ko) 컨텐츠 큐레이션을 포함하는 디스플레이 장치들의 구성 및 동작
JP6199903B2 (ja) 光源のリモートコントロール
CN107113226B (zh) 用于识别周边设备的电子装置及其方法
CN104780654B (zh) 便携终端的控制方法
US10642235B2 (en) Control apparatus, control method, and control system that provide display control to display images associated with master and slave devices
CN104850432B (zh) 调节颜色的方法及装置
US20140337749A1 (en) Display apparatus and graphic user interface screen providing method thereof
CN104684207A (zh) 便携式终端及其控制方法
CN107087100A (zh) 图像显示装置、照相机及其控制方法
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US9582605B2 (en) Generating user specific applications for performing functions in a user device and method for controlling the same
CN110798622B (zh) 一种共享拍摄方法及电子设备
KR20180070297A (ko) 디스플레이장치 및 그 제어방법
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
CN106462518A (zh) 用户终端及其控制方法
US11487413B2 (en) Mobile device and control method for mobile device
US10983656B2 (en) Image processing system and image processing method for playback of content
EP3961362A1 (en) Mobile device and mobile device control method
CN107924272A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant