KR102340934B1 - 배경 화면을 디스플레이하는 방법 및 장치 - Google Patents

배경 화면을 디스플레이하는 방법 및 장치 Download PDF

Info

Publication number
KR102340934B1
KR102340934B1 KR1020210081449A KR20210081449A KR102340934B1 KR 102340934 B1 KR102340934 B1 KR 102340934B1 KR 1020210081449 A KR1020210081449 A KR 1020210081449A KR 20210081449 A KR20210081449 A KR 20210081449A KR 102340934 B1 KR102340934 B1 KR 102340934B1
Authority
KR
South Korea
Prior art keywords
processor
light source
area
background screen
region
Prior art date
Application number
KR1020210081449A
Other languages
English (en)
Other versions
KR20210084373A (ko
Inventor
이희세
이기창
이형욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210081449A priority Critical patent/KR102340934B1/ko
Publication of KR20210084373A publication Critical patent/KR20210084373A/ko
Application granted granted Critical
Publication of KR102340934B1 publication Critical patent/KR102340934B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

배경 화면을 디스플레이하는 장치 및 방법이 제공된다. 일 실시예에 따르면, 배경 화면의 영상 정보에 기초하여 객체의 배치를 변경하고, 객체 주변 영역에 대한 시각 효과를 변경할 수 있다.

Description

배경 화면을 디스플레이하는 방법 및 장치{METHOD AND DEVICE TO DISPLAY BACKGROUND IMAGE}
이하, 배경 화면을 디스플레이하는 방법 및 장치가 제공된다.
최신 전기 기기는 배경 화면을 표시하는 기능을 제공할 수 있다. 예를 들어, 사용자는 선호하는 영상을 선택하여 휴대용 전기 장치의 배경에 표시되는 배경 화면으로서 이용할 수 있다.
배경 화면으로 이용되는 영상은 사용자가 전기 기기에 장착된 카메라를 통해 촬영한 영상이거나, 사용자가 외부로부터 해당 전기 기기에 저장한 영상일 수 있다. 예를 들어, 전기 기기는 기존 사진이나 사용자가 촬영한 사진 등을 활용하여 배경 화면 등을 사용자가 자유롭게 바꿀 수 있는 기능을 제공할 수 있다. 사용자가 촬영한 사진을 활용하는 경우, 대부분의 전기 기기는 특정 사진을 선택하고, 그 사진 내에서 특정 영역을 선택하여 배경 화면으로 지정할 수 있도록 하는 기능을 제공할 수 있다.
또한, 전기 기기는 배경 화면 상에 아이콘, 위젯 등의 객체를 디스플레이할 수 있다. 여기서, 사용자가 촬영한 사진에서 드러나길 원하는 특정 부분이 아이콘이나 위젯에 의해서 가려지는 경우가 발생할 수 있다. 이에 대해, 사용자는 배경 화면에 대해 객체를 임의로 배치할 수 있다.
일 실시예에 따르면 배경 화면을 디스플레이하는 장치는 객체 및 상기 배경 화면을 디스플레이하는 디스플레이; 및 프로세서를 포함하고, 상기 배경 화면에 기초하여 설정된 가상 광원에 의한 시각 효과를 상기 객체의 주변 영역에 반영하여 디스플레이할 수 있다.
상기 프로세서는, 상기 배경 화면의 영상 정보(image information)에 기초하여, 상기 가상 광원을 설정할 수 있다.
상기 프로세서는, 상기 배경 화면에서 상기 가상 광원에 대응하는 위치로부터 상기 가상 광원의 색상을 추출하고, 상기 추출된 색상을 이용하여 상기 시각 효과를 디스플레이할 수 있다.
상기 프로세서는, 상기 객체의 주변 영역에 상기 가상 광원에 의해 형성되는 그림자를 디스플레이할 수 있다.
상기 프로세서는, 상기 가상 광원의 색상 및 상기 가상 광원으로부터 상기 객체에 대한 반사광의 색상 중 적어도 하나에 기초하여 상기 시각 효과의 색상을 결정할 수 있다.
상기 프로세서는, 상기 가상 광원의 위치를, 상기 객체를 포함하는 객체 레이어로부터 미리 정한 거리만큼 이격된 가상 레이어 상으로 지정할 수 있다.
상기 프로세서는, 상기 배경 화면이 복수의 프레임을 포함하는 경우, 상기 복수의 프레임을 연속적으로 재생하면서 프레임마다 상기 객체의 주변 영역에 대한 상기 가상 광원에 의한 시각 효과를 변경할 수 있다.
상기 프로세서는, 상기 객체에 대한 시각 효과는 유지하고, 상기 가상 광원에 기초하여 상기 객체의 주변 영역에 대한 시각 효과를 변경할 수 있다.
일 실시예에 따르면 배경 화면을 디스플레이하는 장치는 디스플레이 및 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이를 통해 적어도 하나의 객체 및 상기 배경 화면을 디스플레이하고, 상기 적어도 하나의 객체 중 제1 영역 내에 위치하는 객체의 위치를 상기 배경 화면 내에서 상기 제1 영역과 구분되는 제2 영역으로 변경하며, 상기 제2 영역에 대해 제2 시각 효과를 반영하여 디스플레이할 수 있다.
상기 프로세서는, 상기 배경 화면의 영상 정보에 기초하여 상기 배경 화면의 일부 영역을 상기 제1 영역으로서 결정할 수 있다.
상기 프로세서는, 상기 배경 화면으로부터 관심 영역(ROI, Region Of Interest)을 인식하고, 상기 인식된 관심 영역을 포함하는 영역을 상기 제1 영역으로서 결정할 수 있다.
상기 프로세서는, 상기 제2 영역에 대한 상기 제2 시각 효과의 정도를 상기 제2 영역에서 상기 제1 영역으로부터의 거리에 기초하여 결정할 수 있다.
상기 프로세서는, 상기 제2 영역에 대한 상기 제2 시각 효과의 정도를 상기 제2 영역 내의 객체 배치에 기초하여 결정할 수 있다.
상기 프로세서는, 상기 제1 영역에 대해 상기 제2 시각 효과와 구분되는 제1 시각 효과를 반영하여 디스플레이할 수 있다.
일 실시예에 따르면 배경 화면을 디스플레이하는 장치는 카메라, 디스플레이 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 통해 연속적으로 수신되는 외부 영상(external image)을 상기 디스플레이를 통해 디스플레이하고, 상기 외부 영상의 수신에 응답하여 상기 외부 영상 상에 오버레이되는 적어도 하나의 객체의 배치를 변경할 수 있다.
상기 프로세서는, 상기 외부 영상의 영상 정보에 기초하여 상기 외부 영상으로부터 제1 영역을 식별하고, 상기 적어도 하나의 객체 중 상기 제1 영역 내에 위치하는 객체의 위치를 상기 제1 영역과 구분되는 제2 영역으로 실시간으로 변경할 수 있다.
상기 프로세서는, 상기 제1 영역에 대한 제1 시각 효과 및 상기 제2 영역에 대한 제2 시각 효과 중 적어도 하나가 반영된 상기 외부 영상을 상기 배경 화면으로서 저장할 수 있다.
상기 프로세서는, 상기 외부 영상으로부터 관심 영역을 포함하는 영역을 상기 제1 영역으로서 결정하고, 상기 외부 영상에서 상기 제1 영역과 구분되는 나머지 영역을 상기 제2 영역으로서 결정할 수 있다.
상기 프로세서는, 상기 외부 영상의 영상 정보에 기초하여, 상기 외부 영상에 대한 가상 광원을 설정하고, 상기 적어도 하나의 객체 각각의 주변 영역에 대해 상기 가상 광원에 의한 광원 효과를 반영하여 디스플레이할 수 있다.
상기 프로세서는, 사용자의 제어 신호에 응답하여 상기 외부 영상을 상기 배경 화면으로서 저장하고, 상기 저장된 외부 영상을 상기 디스플레이를 통해 디스플레이할 수 있다.
도 1은 일 실시예에 따른 배경 화면을 디스플레이하는 장치를 도시한다.
도 2 및 도 3은 일 실시예에 따른 배경 화면을 디스플레이하는 장치의 세부적인 구성을 도시한 블럭도이다.
도 4 내지 도 7은 일 실시예에 따른 배경 화면을 디스플레이하는 방법을 도시한 흐름도이다.
도 8 내지 도 10은 일 실시예에 따라 설정된 가상 광원의 예시를 도시한다.
도 11은 일 실시예에 따라 설정된 가상 광원의 시각 효과의 예시를 도시한다.
도 12는 일 실시예에 따른 배경 화면에 기초하여 객체의 배치를 변경하는 예시를 도시한다.
도 13은 일 실시예에 따른 배경 화면에서 제1 영역 및 제2 영역에 대한 제1 시각 효과 및 제2 시각 효과의 예시를 도시한다.
도 14 및 도 15는 일 실시예에 따른 배경 화면에서 제2 영역에 반영되는 제2 시각 효과의 정도(level)의 예시를 도시한다.
도 16 및 도 17은 일 실시예에 따른 외부 영상의 수신에 응답하여 객체의 배치를 결정하는 과정의 예시를 도시한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 배경 화면을 디스플레이하는 장치를 도시한다.
배경 화면을 디스플레이하는 장치(100)는, 디스플레이(101)를 통해 배경 화면(background image)(110) 및 객체(object)(121, 122, 123, 124)를 디스플레이할 수 있다.
이하, 본 명세서에서 배경 화면(110)은 배경으로 디스플레이되도록 지정되는 영상으로서, 예를 들면 배경 화면(110)은 정지 영상(still image), 동영상(movie), 및 3D 영상(3D image) 등을 포함할 수 있다. 정지 영상은 단일 프레임으로 구성된 영상으로서, 사진 등을 포함할 수 있다. 동영상은 복수의 프레임으로 구성된 영상으로서, 프로세서에 의해 재생될 수 있다. 3D 영상은 사용자에게 입체적인 영상을 제공하기 위한 좌영상 및 우영상을 포함할 수 있고, 이 경우 디스플레이(101)가 좌영상을 좌안에 우영상을 우안에 제공할 수 있다.
여기서, 배경 화면(110)은 사용자에 의해 임의로 지정된 영상일 수 있다. 또한, 배경 화면(110)은 디폴트(default)로 설정된 영상일 수 있다. 또한, 배경 화면은 잠금 화면 등으로 제공될 수도 있다.
이하, 본 명세서에서 객체(121, 122, 123, 124)는 배경 화면과 구분되는 엘레먼트(element)로서, 배경 화면 상에 오버레이(overlay)될 수 있다. 예를 들어, 객체(121, 122, 123, 124)는 어플리케이션을 실행하기 위한 아이콘(121, 122, 123), 검색창 위젯(124) 등을 포함할 수 있다. 예를 들어, 도 1에 도시된 제1 아이콘(121)은 전화 어플리케이션, 제2 아이콘(122)은 연락처 어플리케이션, 제3 아이콘(123)은 문자 어플리케이션을 실행하기 위한 아이콘일 수 있다.
여기서, 오버레이는, 배경 화면(110)의 일부 영역을 덮어씌우도록 객체(121, 122, 123, 124)를 디스플레이하는 동작을 나타낼 수 있다. 예를 들어, 객체(121, 122, 123, 124)가 배경 화면(110)을 오버레이하는 동작은, 배경 화면(110)이 디스플레이되는 배경 레이어보다 객체(121, 122, 123, 124)가 디스플레이되는 객체 레이어를 우선적으로 디스플레이하는 동작을 나타낼 수 있다. 오버레이의 구체적인 예시는 하기 도 9 및 도 10에서 상세히 설명한다.
일반적인 전기 기기는 배경 화면을 사용자가 교체할 수 있는 기능을 제공할 수 있다. 예를 들어, 사용자는 직접 사진을 촬영하여 배경 화면을 교체할 수 있고, 저장되어 있는 사진 갤러리에서 배경 화면을 선택하여 교체할 수도 있다. 다만, 사용자는 객체(예를 들어, 아이콘 및 위젯)의 배치 상태를 보지 못하는 환경에서 배경 화면을 선택하게 될 수 있다. 그 결과, 배경 화면에서 사용자가 드러내길 원하는 영역이 객체에 의해서 가려지거나, 객체와 배경 화면이 조화롭지 않게 디스플레이될 수 있다. 사용자는 여러번의 시도를 통해 원하는 배경 화면을 획득할 수 있다.
일 실시예에 따르면, 사용자가 용이하게 배경 화면을 촬영하고 객체의 배치를 변경함으로써, 사용자의 편의성을 향상시킬 수 있다.
도 2 및 도 3은 일 실시예에 따른 배경 화면을 디스플레이하는 장치의 세부적인 구성을 도시한 블럭도이다.
배경 화면을 디스플레이하는 장치(200, 300)는 디스플레이(210, 310) 및 프로세서(220, 320)를 포함할 수 있다.
디스플레이(210, 310)는 적어도 하나의 객체 및 배경 화면을 디스플레이할 수 있다. 예를 들어, 디스플레이(210, 310)는 프로세서(220, 320)에 의해 결정된 배치에 따라 적어도 하나의 객체를 디스플레이할 수 있고, 시각 효과가 적용된 배경 화면을 디스플레이할 수 있다.
이하, 본 명세서에서 시각 효과는 배경 화면에 대해 배경 화면 또는 객체와 연관되어 디스플레이 되는 모든 시각적 변경을 나타낼 수 있다. 예를 들어, 시각 효과는 광원 효과 및 광원 효과에 의한 그림자 등을 포함할 수 있다.
예를 들어, 시각 효과는 배경 화면에 가상 광원이 설정되는 경우, 가상 광원에 의한 광원 효과를 포함할 수 있다. 이하, 본 명세서에서 광원 효과는 배경 화면에서 객체의 주변 영역의 밝기 및 색상 등을 변경하는 효과를 나타낼 수 있다.
또한, 예를 들어, 시각 효과는 배경 화면에 대한 약화 효과 및 강화 효과 등을 포함할 수 있다. 약화 효과는 영상이 덜 부각되도록 하는 영상 처리 효과로서, 예를 들어 영상이 흐릿해지거나 부드러워지도록 영상의 고주파 성분을 제한하는 블러링(blurring) 등을 포함할 수 있다. 강화 효과는 영상이 부각되도록 하는 영상 처리 효과로서, 예를 들어 영상이 선명해지도록 영상의 저주파 성분을 제한하는 샤프닝(sharpening) 등을 포함할 수 있다.
프로세서(220, 320)는 배경 화면에 기초하여 시각 효과를 배경 화면에 반영할 수 있다. 예를 들어, 프로세서(220, 320)는 배경 화면에 기초하여 가상 광원을 설정하고, 가상 광원에 의한 시각 효과를 객체의 주변 영역에 반영하여 디스플레이(210, 310)를 통해 디스플레이할 수 있다. 구체적으로는 하기 도 8 내지 도 10에서 상세히 설명한다.
또한, 프로세서(220, 320)는 사용자의 밝기 제어 신호에 응답하여, 객체에 대한 시각 효과는 유지하면서, 객체의 주변 영역에 대한 시각 효과의 정도를 변경할 수 있다. 예를 들어, 사용자는 그림자가 과도하게 표현되었다고 느낀 경우, 밝기 제어 신호를 통해, 광원 효과의 정도를 변경할 수 있다.
또한, 프로세서(220, 320)는 배경 화면에 기초하여 객체의 배치를 결정할 수 있다. 예를 들어, 프로세서(220, 320)는 관심 영역을 포함하는 제1 영역에 위치한 객체를 제1 영역과 구분되는 제2 영역으로 이동시킬 수 있다. 구체적으로는 하기 도 12 및 도 13에서 상세히 설명한다.
또한, 배경 화면을 디스플레이하는 장치(300)는 카메라(330)를 더 포함할 수 있다.
카메라(330)는 배경 화면을 디스플레이하는 장치(300)의 외부 공간에 대한 외부 영상(external image)을 수신할 수 있다. 카메라(330)는 사용자의 제어에 응답하여 수신된 외부 영상을 사진 또는 동영상으로 저장할 수 있다. 카메라(330)에 의해 수신된 외부 영상에 대한 객체의 배치는 하기 도 16 및 도 17에서 상세히 설명한다.
배경 화면을 디스플레이하는 장치(200, 300)는 예를 들어, 카메라가 부착된 휴대용 전기 기기로서, 스마트폰, 태블릿PC 등을 포함할 수 있다.
일 실시예에 따르면, 배경 화면을 디스플레이하는 장치(200, 300)는 배경 화면의 객체 배치 상황이 오버레이된 영상을 사용자에게 직접 제공함으로써, 사용자가 직관적으로 객체가 관심 영역을 가리지 않도록 배경 화면을 촬영하게 할 수 있다. 또한, 사용자가 촬영하는 과정에서 자동으로 사용자가 원하는 구도로 객체의 배치를 변경할 수 있다.
또한, 배경 화면을 디스플레이하는 장치(200, 300)는 배경 화면 내에 존재하는 관심 영역 등을 기반으로 객체를 자동 배치하여, 사용자가 원하는 배경 화면과 객체가 시각적인 조화를 이루도록 배경 화면을 생성하여 디스플레이할 수 있다.
도 4 내지 도 7은 일 실시예에 따른 배경 화면을 디스플레이하는 방법을 도시한 흐름도이다.
도 4는 객체의 배치를 결정하고 시각 효과가 적용된 배경 화면을 디스플레이하는 방법을 도시한 흐름도이다.
우선, 단계(410)에서는 프로세서가 배경 화면 상에 오버레이되는 객체의 배치를 결정할 수 있다. 예를 들어, 프로세서는 배경 화면의 영상 정보(image information)에 기초하여 객체의 배치를 결정할 수 있다. 객체의 배치를 변경하는 과정은 하기 도 12 및 도 13에서 상세히 설명한다.
이하, 본 명세서에서 영상 정보는 영상과 연관된 밝기 정보, 색상 정보 등을 포함할 수 있다. 밝기 정보는 영상의 밝기와 연관된 정보로서, 영상 내의 밝기 분포(brightness distribution), 영상 내 임의의 위치의 밝기 값(brightness value) 등을 포함할 수 있다. 색상 정보는 영상의 색상과 연관된 정보로서, 영상 내의 색상 분포, 영상 내 임의의 위치의 색상 값 등을 포함할 수 있다.
그리고 단계(420)에서는 프로세서가 배경 화면에 대해 시각 효과를 적용할 수 있다. 예를 들어, 프로세서는 배경 화면 및 객체 중 적어도 하나에 기초한 시각 효과를 배경 화면에 대해 반영하고, 디스플레이를 통해 시각 효과가 반영된 배경 화면을 디스플레이 하도록 제어할 수 있다.
도 5는 일 실시예에 따른 가상 광원에 의한 시각 효과를 적용하는 방법을 도시한 흐름도이다.
예를 들어, 배경 화면을 디스플레이하는 장치는 배경 화면의 영상 정보를 기반으로 객체에 대해 시각 효과를 적용함으로써, 배경 화면과 객체 간에 이질감이 없는 배경 화면을 생성할 수 있다.
우선, 단계(521)에서는 프로세서는 배경 화면에 기초하여 가상 광원을 설정할 수 있다. 예를 들어, 프로세서는 배경 화면의 영상 정보에 기초하여, 가상 광원을 설정할 수 있다. 여기서, 프로세서는 가상 광원의 위치, 색상, 광 세기(light intensity) 등을 결정할 수 있다. 구체적으로는 하기 도 8 내지 도 11에서 상세히 설명한다.
다만, 이로 한정하는 것은 아니고, 사용자가 배경 화면의 임의의 영역을 지정하면, 프로세서는 사용자의 지정에 응답하여 지정된 영역에 가상 광원을 설정할 수 있다. 예를 들어, 사용자는 임의의 영역을 터치 동작을 통해 선택하거나, 임의의 영역을 폐곡선 형태로 그리는 동작을 통해 선택할 수 있다.
그리고 단계(522)에서는 프로세서는 객체의 주변 영역에 가상 광원에 의한 시각 효과를 반영할 수 있다. 예를 들어, 프로세서는 객체의 주변 영역에 대한 시각 효과로서, 가상 광원에 의해 형성되는 그림자를 디스플레이할 수 있다. 여기서, 프로세서는 가상 광원의 색상 및 가상 광원으로부터 객체에 대한 반사광의 색상에 기초하여 그림자의 색상을 결정할 수 있다.
이하, 본 명세서에서 반사광은 직접광(예를 들어, 가상 광원)으로부터 투사된 빛이 객체로부터 반사된 빛을 나타낼 수 있다. 예를 들어, 반사광의 색상은 객체 자체의 색상이 반영될 수 있다.
일 실시예에 따르면, 프로세서는 객체에 대한 시각 효과는 유지하고, 가상 광원에 기초하여 객체의 주변 영역에 대한 시각 효과를 변경할 수 있다.
도 6은 일 실시예에 따라 객체의 배치를 결정하고, 배경 화면에 시각 효과를 반영하는 방법을 도시한 흐름도이다.
우선, 단계(611)에서 프로세서는 디스플레이를 통해 객체 및 배경 화면을 디스플레이할 수 있다. 예를 들어, 프로세서는 객체를 배경 화면 상에 오버레이하여 디스플레이 할 수 있다.
그리고 단계(612)에서 프로세서는 제1 영역에 위치하는 객체를 제2 영역으로 이동시킬 수 있다. 예를 들어, 프로세서는 적어도 하나의 객체 중 제1 영역 내에 위치하는 객체의 위치를 배경 화면 내에서 제1 영역과 구분되는 제2 영역으로 변경할 수 있다.
여기서, 프로세서는 배경 화면의 영상 정보에 기초하여 배경 화면에서 제1 영역 및 제2 영역을 결정할 수 있다. 제1 영역 및 제2 영역은 하기 도 12 및 도 13에서 상세히 설명한다.
이어서 단계(620)에서 프로세서는 제2 영역에 대해 제2 시각 효과를 반영하여 디스플레이할 수 있다. 예를 들어, 프로세서는 제2 시각 효과로서, 약화 효과를 제2 영역에 반영할 수 있다. 제2 시각 효과가 반영된 제2 영역은 하기 도 14 및 도 15에서 상세히 설명한다. 다만, 제2 시각 효과를 약화 효과로 한정하는 것은 아니고, 다른 시각 효과도 적용될 수 있다.
도 7은 일 실시예에 따라 외부 영상의 수신에 기초하여 객체의 배치를 결정하는 방법을 도시한 흐름도이다.
우선, 단계(711)에서 프로세서는 디스플레이를 통해 연속적으로 수신되는 외부 영상을 디스플레이할 수 있다. 예를 들어, 프로세서는 카메라를 통해 외부 영상을 수신할 수 있다. 또한, 카메라의 대상이 되는 외부 공간이 변화하면, 프로세서는 외부 공간의 변화에 응답하여 디스플레이되는 외부 영상을 변경할 수 있다.
그리고 단계(712)에서 프로세서는 외부 영상의 수신에 응답하여 객체의 배치를 변경할 수 있다. 예를 들어, 프로세서는 외부 영상의 영상 정보에 기초하여 외부 영상으로부터 제1 영역을 식별하고, 적어도 하나의 객체 중 제1 영역 내에 위치하는 객체의 위치를 제1 영역과 구분되는 제2 영역으로 실시간으로 변경시킬 수 있다.
이어서 단계(713)에서 프로세서는 외부 영상을 계속해서 수신 중인지 판단할 수 있다. 외부 영상을 계속 수신하는 것으로 판단하면, 프로세서는 단계(712)를 반복할 수 있다. 여기서, 프로세서는 외부 영상의 수신이 중지될 때까지, 실시간으로 수신되는 외부 영상에 기초하여 객체의 배치를 변경할 수 있다. 구체적으로는 하기 도 16 및 도 17에서 상세히 설명한다.
예를 들어, 프로세서는 사용자의 제어 신호에 응답하여 외부 영상의 수신을 중지할 수 있다. 여기서, 제어 신호는 외부 영상의 수신을 제어하는 신호로서, 카메라를 통해 외부 공간에 대응하는 외부 영상을 촬영하는 명령 및 촬영된 외부 영상을 저장하는 명령 등을 포함할 수 있다. 프로세서는 촬영된 외부 영상을 배경 화면으로서 저장할 수 있다.
일 실시예에 따르면, 사용자가 외부 공간의 일부를 촬영하기 위해 카메라를 조작하는 동안, 프로세서가 외부 공간의 일부에 대응하는 외부 영상에 따라 실시간으로 객체의 배치를 결정할 수 있다. 여기서, 프로세서는, 사용자의 제어 신호에 응답하여 외부 영상을 배경 화면으로서 저장하고, 저장된 외부 영상을 디스플레이를 통해 디스플레이할 수 있다.
더 나아가, 프로세서는 객체의 배치가 결정된 후, 외부 영상의 영상 정보에 기초하여, 외부 영상에 대한 가상 광원을 설정하고, 적어도 하나의 객체 각각의 주변 영역에 대해 가상 광원에 의한 광원 효과를 반영하여 디스플레이할 수 있다.
상술한 도 4 내지 도 7은 예시적인 실시 예로서, 도 4 내지 도 7은 각각 독립적으로 수행될 수도 있고, 각 실시예들의 적어도 둘 이상이 결합되어 수행될 수도 있다.
도 8 내지 도 10은 일 실시예에 따라 설정된 가상 광원의 예시를 도시한다.
도 8은 배경 화면에 설정된 가상 광원의 위치(830)의 예시를 도시한다.
배경 화면을 디스플레이하는 장치(800)는 디스플레이(801)를 통해 객체 및 배경 화면을 디스플레이할 수 있다. 여기서, 배경 화면을 디스플레이하는 장치(800)의 프로세서는 배경 화면의 영상 정보에 기초하여 가상 광원을 설정할 수 있다.
프로세서는 배경 화면의 밝기 정보에 기초하여 가상 광원의 위치를 결정할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 프로세서는 배경 화면 중 가장 밝은 화소(예를 들어, 밝기 값이 최대인 화소)가 위치하는 영역을 제1 영역으로 결정할 수 있다. 여기서, 프로세서는 가상 광원을 제1 영역의 일부 영역에 위치시키거나, 제1 영역 내에 복수의 가상 광원을 설정하거나, 제1 영역 전체를 가상 광원으로 설정할 수 있다.
프로세서는 배경 화면에서 가상 광원에 대응하는 위치로부터 가상 광원의 색상을 추출하고, 추출된 색상을 이용하여 시각 효과를 디스플레이할 수 있다. 예를 들어, 프로세서는 배경 화면의 제1 영역의 색상 정보에 기초하여 가상 광원의 색상을 추출할 수 있다. 프로세서는 제1 영역의 색상 정보의 통계값(예를 들어, 제1 영역 내에 위치한 화소들의 색상값들의 평균값, 중간값 등)에 기초하여 가상 광원의 색상을 결정할 수 있다.
프로세서는 배경 화면에서 가상 광원에 대응하는 위치로부터 가상 광원의 광 세기를 결정할 수 있다. 예를 들어, 프로세서는 배경 화면의 제1 영역의 밝기 정보에 기초하여 가상 광원의 광 세기를 결정할 수 있다. 프로세서는 제1 영역의 밝기 정보의 통계값(예를 들어, 제1 영역 내에 위치한 화소들의 밝기값들의 평균값, 중간값 등)에 기초하여 가상 광원의 광 세기를 결정할 수 있다.
일 실시예에 따르면, 프로세서는 배경 화면이 복수의 프레임을 포함하는 경우, 복수의 프레임을 연속적으로 재생하면서 프레임마다 객체의 주변 영역에 대한 가상 광원에 의한 시각 효과를 변경할 수 있다.
도 9는 배경 레이어에 가상 광원이 설정된 예시를 도시한다.
배경 레이어(910)는 프로세서가 배경 화면을 디스플레이하는 레이어를 나타낼 수 있다. 여기서, 프로세서는 상술한 도 8과 유사하게 배경 화면 상에 가상 광원(911)을 설정할 수 있다. 예를 들어, 도 9에 도시된 가상 광원(911)의 위치는 도 8에 도시된 가상 광원의 위치(830)에 대응할 수 있다.
객체 레이어(920)는 프로세서가 객체(941)를 디스플레이하는 레이어를 나타낼 수 있다. 도 9에 도시된 바와 같이, 객체 레이어(920)는 배경 레이어(910)의 전면에 위치할 수 있다. 예를 들어, 배경 레이어(910)는 객체 레이어(920)로부터 미리 정한 거리만큼 이격되도록 설정될 수 있다.
일 실시예에 따르면, 프로세서는 배경 레이어(910)에 설정된 가상 광원(911)에 의한 시각 효과를 객체 레이어(920)의 객체(941)의 주변 영역에 반영할 수 있다. 예를 들어, 객체(941)의 주변 영역에 가상 광원(911)의 광원 효과에 의해 형성되는 그림자(942)가 디스플레이될 수 있다. 여기서, 그림자(942)의 면적, 색상, 밝기 등은 가상 광원(911)과 객체(941) 간의 거리, 가상 광원(911)의 색상, 가상 광원(911)의 광 세기 등에 의해 결정될 수 있다.
도 10은 가상 레이어에 가상 광원이 설정된 예시를 도시한다.
가상 레이어(1030)는 프로세서가 가상 광원(1012)의 위치를 지정하기 위해 설정하는 레이어를 나타낼 수 있다. 여기서, 가상 레이어(1030)는 객체 레이어(1020)로부터 미리 정한 거리만큼 이격되도록 설정될 수 있다. 예를 들어, 가상 레이어(1030), 객체 레이어(1020) 및 배경 레이어(1010) 간의 거리는 등간격으로 설정될 수 있으나, 이로 한정하는 것은 아니고 서로 다른 간격으로 설정될 수도 있다.
프로세서는 가상 레이어(1030) 상의 가상 광원(1012)의 위치가 배경 레이어(1010) 상의 제1 영역(1011)(예를 들어, 배경 화면 내에서 밝기값이 가장 높은 영역)에 대응하도록, 가상 광원(1012)을 설정할 수 있다. 또한, 프로세서는 배경 레이어(1010) 상의 제1 영역(1011)을 상술한 도 8과 유사하게 결정할 수 있다.
일 실시예에 따르면, 프로세서는 가상 레이어(1030) 상에 설정된 가상 광원(1012)에 의한 시각 효과를 객체 레이어(1020)의 객체(1041)의 주변 영역에 반영할 수 있다. 예를 들어, 객체(1041)의 주변 영역에 가상 광원(1012)의 광원 효과에 의해 형성되는 그림자(1042)가 디스플레이될 수 있다. 여기서, 프로세서는 상술한 도 9와는 반대 방향으로 형성된 그림자(1042)를 디스플레이할 수 있다.
또한, 프로세서는 가상 레이어(1030) 및 가상 레이어(1030) 상에 설정된 가상 광원(1012) 자체는 디스플레이하지 않고, 가상 광원(1012)에 의한 시각 효과만 디스플레이하도록 디스플레이를 제어할 수 있다.
도 11은 일 실시예에 따라 설정된 가상 광원의 시각 효과의 예시를 도시한다.
일 실시예에 따르면, 가상 광원에 의한 시각 효과는, 가상 광원으로부터 객체(1120)에 대해 투사된 빛에 의한 그림자(1121)를 포함할 수 있다. 여기서, 그림자(1121)의 면적, 색상, 밝기 등은 가상 광원과 객체(1120) 간의 거리, 가상 광원의 색상, 가상 광원의 광 세기 등에 의해 결정될 수 있다. 예를 들어, 프로세서는 배경 화면 중 가장 밝은 영역에 가상 광원을 지정할 수 있다.
또한, 배경 화면을 디스플레이하는 장치(1100)의 프로세서는 배경 화면의 밝기 정보(예를 들어, 밝고 어두운 정도)에 따라 배경 화면에서 밝은 영역은 그림자(1121)를 진하게 또는 그림자(1121)의 영역을 넓게 디스플레이할 수 있고, 어두운 영역은 그림자(1121)를 약하게 또는 그림자(1121)의 영역을 좁게 디스플레이할 수 있다.
여기서, 프로세서는 그림자(1121)의 색상을 가상 광원의 색상 및 반사광의 색상에 기초하여 결정할 수 있다. 여기서, 반사광의 색상은 가상 광원으로부터 투사된 후 객체(1120)에 반사된 빛의 색상을 나타낼 수 있다. 예를 들어, 그림자(1121)의 색상은 가상 광원의 색상 및 반사광의 색상이 혼합된 색상일 수 있다.
또한, 프로세서는 배경 화면에서 객체 주변 영역(1110)의 색상을 기반으로 그림자(1121)의 색상을 추출하여 간접 광원에 의한 광원 효과를 디스플레이할 수 있다. 예를 들어, 프로세서는 객체 주변 영역(1110)의 색상에 대응하는 명도 그래프(1123)에 기초하여 그림자(1121)의 그라데이션을 나타낼 수 있다.
도 12는 일 실시예에 따른 배경 화면에 기초하여 객체의 배치를 변경하는 예시를 도시한다.
배경 화면을 디스플레이하는 장치(1200)는 기본적으로 상술한 도 1에 도시된 바와 같은 배치로 객체를 디스플레이할 수 있다. 여기서, 배경 화면에 대해 제1 영역(1211)이 결정되면, 프로세서는 디스플레이(1201) 상에서 객체의 배치를 변경할 수 있다.
여기서, 프로세서는 배경 화면의 영상 정보에 기초하여 배경 화면의 일부 영역을 제1 영역(1211)으로서 결정할 수 있다. 다만, 도 12에서 제1 영역(1211) 및 제2 영역(1212)는 각각 하나만 도시되었으나, 이로 한정하는 것은 아니고, 제1 영역(1211) 및 제2 영역(1212)은 각각 복수의 영역으로서 설정될 수도 있다.
프로세서는 배경 화면으로부터 관심 영역(ROI, Region Of Interest)(1219)을 인식하고, 인식된 관심 영역(1219)을 포함하는 영역을 제1 영역(1211)으로서 결정할 수 있다. 프로세서는 배경 화면 중 제1 영역(1211)과 구분되는 나머지 영역을 제2 영역(1212)으로서 결정할 수 있다.
여기서, 관심 영역(1219)은 배경 화면 중 가려지지 않기를 사용자가 원하는 영역으로서, 예를 들면 인물 신체, 인물 얼굴, 특정 사물 등이 나타나는 영역을 포함할 수 있다. 예를 들어, 관심 영역(1219)이 인물 얼굴을 포함하는 경우, 프로세서는 얼굴 인식을 통해 관심 영역(1219)을 인식할 수 있다.
또한, 프로세서는 배경 화면으로부터 색상 정보 및 밝기 정보 등으로부터 제1 영역(1211)을 결정할 수 있다. 예를 들어, 색상 정보에 기초하여 제1 영역(1211)이 결정되는 경우, 프로세서는 배경 화면에서 특정 범위의 색상값을 많이 포함하는 영역을 제1 영역(1211)으로 결정할 수 있다. 또한, 밝기 정보에 기초하여 제1 영역(1211)이 결정되는 경우, 프로세서는 배경 화면에서 특정 범위의 밝기값을 많이 포함하는 영역을 제1 영역(1211)으로 결정할 수 있다.
다만, 제1 영역(1211)이 항상 자동으로 설정되는 것으로 한정하는 것은 아니고, 사용자에 의해 임의로 지정될 수도 있다. 예를 들어, 사용자는 제1 영역(1211)을 터치 동작을 통해 선택하거나, 배경 화면의 특정 영역을 폐곡선 형태로 그리는 동작을 통해 선택할 수 있다. 또한, 프로세서가 제1 영역(1211)을 선택한 후, 사용자가 수동으로 제1 영역(1211)을 수정 및 보완할 수도 있다.
일 실시예에 따르면, 프로세서는 제1 영역(1211) 내에 위치하는 객체의 위치를 배경 화면 내에서 제1 영역(1211)과 구분되는 제2 영역(1212)으로 변경할 수 있다. 예를 들어, 도 1에 도시된 위젯 객체(124)가 제1 영역(1211) 내에 위치하지 않도록, 프로세서는 도 12에 도시된 위치로 위젯 객체(1201)의 배치를 변경할 수 있다. 결과적으로 위젯 객체(1211)는 관심 영역(1219)을 가리지 않도록, 도 1에 도시된 위젯 객체(124)에 비해 위쪽으로 이동될 수 있다.
다만, 객체의 배치가 항상 자동으로 결정되는 것으로 한정하는 것은 아니고, 사용자에 의해 임의로 결정될 수도 있다. 또한, 프로세서가 객체의 배치를 자동으로 결정한 이후, 자동 배치 결과를 사용자에게 제공하여 사용자가 수정할 수 있도록 할 수 있다. 또한, 사용자의 선택에 따라 자동으로 객체를 재배치할 수도 있다.
도 13은 일 실시예에 따른 배경 화면에서 제1 영역 및 제2 영역에 대한 제1 시각 효과 및 제2 시각 효과의 예시를 도시한다.
배경 화면을 디스플레이하는 장치(1300)에서, 도 13에 도시된 관심 영역(1319), 제1 영역(1311) 및 제2 영역(1312)은 도 12에서 상술한 바와 같이 결정될 수 있다.
프로세서는 제1 영역(1311)에 대해 제1 시각 효과를 적용할 수 있고, 제2 영역(1312)에 대해서는 제2 시각 효과를 적용할 수 있다. 여기서, 제1 시각 효과 및 제2 시각 효과는 서로 상이한 시각적 변경을 나타낼 수 있다. 예를 들어, 프로세서는 제1 영역에 대해 제2 시각 효과와 구분되는 제1 시각 효과를 반영하여 디스플레이할 수 있다.
제1 시각 효과는 제1 영역(1311)에 대응하는 배경 화면을 강조하는 효과일 수 있다. 예를 들어, 관심 영역(1319)(예를 들어, 얼굴이 포함된 영역)이 강조되도록, 프로세서는 관심 영역(1319)을 포함하는 제1 영역(1311)에 대해 샤프닝을 수행할 수 있다.
제2 시각 효과는 제2 영역(1312)에 대응하는 배경 화면을 약화하는 효과일 수 있다. 예를 들어, 제2 영역(1312) 내의 객체들이 보다 부각되도록, 프로세서는 제2 영역(1312)에 대해 블러링을 수행할 수 있다. 여기서, 제2 시각 효과의 구체적인 적용은 하기 도 14 및 도 15에서 상세히 설명한다.
도 14 및 도 15는 일 실시예에 따른 배경 화면에서 제2 영역에 반영되는 제2 시각 효과의 정도(level)의 예시를 도시한다.
도 14에서 프로세서는, 제2 영역에 대한 제2 시각 효과의 정도를 제2 영역 내의 객체 배치에 기초하여 결정할 수 있다.
배경 화면을 디스플레이하는 장치(1400)는 배경 화면의 관심 영역(1419)(예를 들어, 인물 얼굴 및 애완동물의 얼굴 등)에 기초하여 제1 영역(1410) 및 제2 영역(1420)을 결정할 수 있고, 모든 객체들(1441, 1442)이 제2 영역(1420)에 위치하도록 객체들(1441, 1442)의 배치를 결정할 수 있다.
프로세서는 제2 영역(1420) 내에서도 객체 배치에 따라 제2 시각 효과의 정도를 달리 반영할 수 있다. 예를 들어, 프로세서는 도 14에 도시된 바와 같이 객체(1442)가 밀집된 영역(1421)에 대해서는 제2 시각 효과의 정도를 크게 적용할 수 있다. 프로세서는 객체(1442)가 밀집된 영역(1421)에 대해 약화 효과(예를 들어, 블러링)의 정도를 크게 적용함으로서, 사용자의 객체(1442)에 대한 가시성(visibility)을 증진시킬 수 있다.
도 15에서 프로세서는 제2 영역에 대한 제2 시각 효과의 정도를 제2 영역에서 제1 영역으로부터의 거리에 기초하여 결정할 수 있다.
배경 화면을 디스플레이하는 장치(1500)는 배경 화면의 영상 정보에 기초하여 제1 영역(1510) 및 제2 영역(1521, 1522, 1523)을 결정할 수 있다. 프로세서는 제2 영역(1521, 1522, 1523) 내에서도 제1 영역(1510)으로부터의 거리에 따라 제2 시각 효과의 정도를 달리 적용할 수 있다. 예를 들어, 프로세서는 도 15에 도시된 바와 같이, 제2 영역 중 제1 영역(1510)과 가까운 영역(1521)에 대해서는 낮은 정도의 제2 시각 효과, 제1 영역(1510)과 중간 거리인 영역(1522)에 대해서는 중간 정도의 제2 시각 효과, 제1 영역(1510)과 먼 영역(1523)에 대해서는 높은 정도의 제2 시각 효과를 적용할 수 있다.
다만, 도 15에서는 제2 시각 효과가 반영되는 정도가 불연속적으로 도시되었으나, 이로 한정하는 것은 아니고, 프로세서는 제2 시각 효과의 정도가 제1 영역(1510)으로부터의 거리에 따라 연속적으로 변화하도록 결정할 수 있다.
도 16 및 도 17은 일 실시예에 따른 외부 영상의 수신에 응답하여 객체의 배치를 결정하는 과정의 예시를 도시한다.
배경 화면을 디스플레이하는 장치(1600, 1700)는 외부 영상을 연속적으로 수신하는 동안, 실시간으로 객체(1640, 1740)의 배치를 변경할 수 있다. 여기서, 배경 화면을 디스플레이하는 장치(1600, 1700)는 외부 영상을 연속적으로 수신하는 동안, 외부 영상에 대해 객체(1640, 1740)를 오버레이하여 디스플레이할 수 있다.
우선, 프로세서는, 외부 영상으로부터 관심 영역(1619, 1719)을 포함하는 영역을 제1 영역으로서 결정하고, 외부 영상에서 제1 영역과 구분되는 나머지 영역을 제2 영역으로서 결정할 수 있다.
외부 영상이 연속적으로 수신되는 동안, 프로세서는 외부 영상으로부터 실시간으로 제1 영역을 인식하여, 제1 영역에 위치하는 객체(1640, 1740)를 제2 영역으로 위치시킬 수 있다.
예를 들어, 사용자가 카메라를 통해 외부 공간(1609, 1709)을 촬영하는 동안, 외부 영상이 디스플레이될 수 있다. 배경 화면을 디스플레이하는 장치(1600, 1700)는 사용자의 조작에 의해, 인물이 디스플레이되는 위치가 달라질 수 있고, 도 16에서는 인물이 위쪽에 디스플레이되며 도 17에서는 인물이 아래쪽에 디스플레이될 수 있다.
이러한 외부 영상의 수신에 응답하여 도 16에서는 객체(1640)가 도 16의 관심 영역(1619)를 가리지 않도록 아래쪽에 배치되고, 도 17에서는 객체(1740)가 도 17의 관심 영역(1719)를 가리지 않도록 위쪽에 배치될 수 있다.
프로세서는 사용자의 제어 신호에 응답하여, 상술한 객체의 배치와 함께 외부 영상을 배경 화면으로서 저장할 수 있다. 여기서, 프로세서는 제1 영역에 대한 제1 시각 효과 및 제2 영역에 대한 제2 시각 효과 중 적어도 하나가 반영된 외부 영상을 배경 화면으로서 저장할 수 있다.
사용자가 오버레이된 객체를 보면서 배경 화면 및 객체의 배치를 결정할 수 있으므로, 배경 화면을 디스플레이하는 장치(1600, 1700)는 객체에 의해 사용자가 드러내길 원하는 부분이 가려지는 것을 방지하면서 최적의 구도로 배경화면을 저장하고 디스플레이할 수 있다.
다만, 상술한 실시예들에서 배경 화면에 대한 시각 효과의 적용 및 객체의 배치 변경은 항상 자동으로 수행되는 것으로 한정하는 것은 아니고, 사용자의 선택에 따라 임의로 수행되거나 수행되지 않을 수 있다. 예를 들어, 사용자는 아무 처리 없이 촬영된 외부 영상을 배경 화면으로 저장할 수도 있다. 또한, 사용자가 임의의 영역을 관심 영역으로 지정하면, 배경 화면을 디스플레이하는 장치가 자동으로 관심 영역이 가려지지 않도록 객체의 배치를 변경할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 배경 화면을 디스플레이하는 장치
210: 디스플레이
220: 프로세서

Claims (17)

  1. 배경 화면을 디스플레이하는 장치에 있어서,
    객체 및 상기 배경 화면을 디스플레이하는 디스플레이; 및
    상기 배경 화면에 기초하여 설정된 가상 광원에 대응하는 위치로부터 상기 가상 광원의 색상을 추출하고, 시각 효과로써 상기 객체의 주변 영역에 상기 가상 광원에 의해 형성되는 상기 객체의 그림자를 상기 추출된 색상으로 디스플레이하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 배경 화면에서 가장 밝은 픽셀이 있는 영역을 결정하고, 상기 가장 밝은 픽셀이 있는 영역 중에서 상기 객체를 포함하는 객체 레이어로부터 미리 정한 거리만큼 이격된 가상 레이어 상의 위치를 상기 가상 광원의 위치로 지정하는
    배경 화면을 디스플레이하는 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 배경 화면의 영상 정보(image information)에 기초하여, 상기 가상 광원의 위치 이외의, 상기 가상 광원의 색상 및 상기 가상 광원의 광 세기의 설정을 더 포함하는,
    배경 화면을 디스플레이하는 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 광원의 색상 및 상기 가상 광원으로부터 상기 객체에 대한 반사광의 색상 중 적어도 하나에 기초하여 상기 시각 효과의 색상을 결정하는,
    배경 화면을 디스플레이하는 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 배경 화면이 복수의 프레임을 포함하는 경우, 상기 복수의 프레임을 연속적으로 재생하면서 프레임마다 상기 객체의 주변 영역에 대한 상기 가상 광원에 의한 시각 효과를 변경하는,
    배경 화면을 디스플레이하는 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 객체 영역에 나타나는 시각 효과는 유지하고, 상기 가상 광원에 기초하여 상기 객체의 주변 영역에 대한 시각 효과를 변경하는,
    배경 화면을 디스플레이하는 장치.
  6. 배경 화면을 디스플레이하는 장치에 있어서,
    디스플레이 및 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이를 통해 적어도 하나의 객체 및 상기 배경 화면을 디스플레이하고,
    상기 배경 화면에서 가장 밝은 픽셀이 있는 영역을 결정하고, 상기 가장 밝은 픽셀이 있는 영역 중에서 상기 객체를 포함하는 객체 레이어로부터 미리 정한 거리만큼 이격된 가상 레이어 상의 위치를 가상 광원의 위치로 지정하고,
    상기 적어도 하나의 객체 중 제1 영역 내에 위치하는 객체의 위치를 상기 배경 화면 내에서 상기 제1 영역과 구분되는 제2 영역으로 변경하며,
    상기 제2 영역에 대해 제2 시각 효과를 반영하여 디스플레이하고,
    상기 배경 화면에 기초하여 설정된 가상 광원에 대응하는 위치로부터 상기 가상 광원의 색상을 추출하고, 상기 객체의 주변 영역에 상기 가상 광원에 의해 형성되는 상기 객체의 그림자를 상기 추출된 색상으로 디스플레이하는,
    배경 화면을 디스플레이하는 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 배경 화면의 영상 정보에 기초하여 상기 배경 화면의 일부 영역을 상기 제1 영역으로서 결정하는,
    배경 화면을 디스플레이하는 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 배경 화면으로부터 관심 영역(ROI, Region Of Interest)을 인식하고,
    상기 인식된 관심 영역을 포함하는 영역을 상기 제1 영역으로서 결정하는,
    배경 화면을 디스플레이하는 장치.
  9. 제6항에 있어서,
    상기 프로세서는,
    상기 제2 영역에 대한 상기 제2 시각 효과의 정도를 상기 제2 영역에서 상기 제1 영역으로부터의 거리에 기초하여 결정하는,
    배경 화면을 디스플레이하는 장치.
  10. 제6항에 있어서,
    상기 프로세서는,
    상기 제2 영역에 대한 상기 제2 시각 효과의 정도를 상기 제2 영역 내의 객체 배치에 기초하여 결정하는,
    배경 화면을 디스플레이하는 장치.
  11. 제6항에 있어서,
    상기 프로세서는,
    상기 제1 영역에 대해 상기 제2 시각 효과와 구분되는 제1 시각 효과를 반영하여 디스플레이하는,
    배경 화면을 디스플레이하는 장치.
  12. 배경 화면을 디스플레이하는 장치에 있어서,
    카메라, 디스플레이 및 프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라를 통해 연속적으로 수신되는 외부 영상(external image)을 상기 디스플레이를 통해 디스플레이하고,
    상기 외부 영상의 수신에 응답하여 상기 외부 영상 상에 오버레이되는 적어도 하나의 객체의 배치를 변경하고,
    상기 외부 영상에서 가장 밝은 픽셀이 있는 영역을 결정하고, 상기 가장 밝은 픽셀이 있는 영역 중에서 상기 객체를 포함하는 객체 레이어로부터 미리 정한 거리만큼 이격된 가상 레이어 상의 위치를 가상 광원의 위치로 지정하고,
    상기 외부 영상에 기초하여 설정된 상기 가상 광원에 대응하는 위치로부터 상기 가상 광원의 색상을 추출하고, 상기 객체의 주변 영역에 상기 가상 광원에 의해 형성되는 상기 객체의 그림자를 상기 추출된 색상으로 디스플레이하는,
    배경 화면을 디스플레이하는 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 외부 영상의 영상 정보에 기초하여 상기 외부 영상으로부터 제1 영역을 식별하고,
    상기 적어도 하나의 객체 중 상기 제1 영역 내에 위치하는 객체의 위치를 상기 제1 영역과 구분되는 제2 영역으로 실시간으로 변경하는,
    배경 화면을 디스플레이하는 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 영역에 대한 제1 시각 효과 및 상기 제2 영역에 대한 제2 시각 효과 중 적어도 하나가 반영된 상기 외부 영상을 상기 배경 화면으로서 저장하는,
    배경 화면을 디스플레이하는 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 외부 영상으로부터 관심 영역을 포함하는 영역을 상기 제1 영역으로서 결정하고, 상기 외부 영상에서 상기 제1 영역과 구분되는 나머지 영역을 상기 제2 영역으로서 결정하는,
    배경 화면을 디스플레이하는 장치.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 외부 영상의 영상 정보에 기초하여, 상기 외부 영상에 대한 상기 가상 광원의 위치, 상기 가상 광원의 색상 및 상기 가상 광원의 광 세기를 설정하고,
    상기 적어도 하나의 객체 각각의 주변 영역에 대해 상기 가상 광원에 의한 광원 효과를 반영하여 디스플레이하는,
    배경 화면을 디스플레이하는 장치.
  17. 제12항에 있어서,
    상기 프로세서는,
    사용자의 제어 신호에 응답하여 상기 외부 영상을 상기 배경 화면으로서 저장하고,
    상기 저장된 외부 영상을 상기 디스플레이를 통해 디스플레이하는,
    배경 화면을 디스플레이하는 장치.
KR1020210081449A 2014-08-18 2021-06-23 배경 화면을 디스플레이하는 방법 및 장치 KR102340934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210081449A KR102340934B1 (ko) 2014-08-18 2021-06-23 배경 화면을 디스플레이하는 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140107087A KR20160021607A (ko) 2014-08-18 2014-08-18 배경 화면을 디스플레이하는 방법 및 장치
KR1020210081449A KR102340934B1 (ko) 2014-08-18 2021-06-23 배경 화면을 디스플레이하는 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140107087A Division KR20160021607A (ko) 2014-08-18 2014-08-18 배경 화면을 디스플레이하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210084373A KR20210084373A (ko) 2021-07-07
KR102340934B1 true KR102340934B1 (ko) 2021-12-17

Family

ID=55302550

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140107087A KR20160021607A (ko) 2014-08-18 2014-08-18 배경 화면을 디스플레이하는 방법 및 장치
KR1020210081449A KR102340934B1 (ko) 2014-08-18 2021-06-23 배경 화면을 디스플레이하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140107087A KR20160021607A (ko) 2014-08-18 2014-08-18 배경 화면을 디스플레이하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10181210B2 (ko)
KR (2) KR20160021607A (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
KR20170000196A (ko) * 2015-06-23 2017-01-02 삼성전자주식회사 객체의 속성 기반의 상태 변화 효과를 출력하기 위한 방법 및 그 전자 장치
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
KR20180018017A (ko) 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR101856171B1 (ko) * 2017-02-15 2018-07-13 주식회사 오비투유 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램
US10950206B2 (en) * 2017-04-13 2021-03-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for displaying contents thereof
KR102559202B1 (ko) * 2018-03-27 2023-07-25 삼성전자주식회사 3d 렌더링 방법 및 장치
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11132838B2 (en) * 2018-11-06 2021-09-28 Lucasfilm Entertainment Company Ltd. LLC Immersive content production system
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
KR102057713B1 (ko) * 2019-05-21 2019-12-19 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
US10916051B2 (en) * 2019-07-08 2021-02-09 Google Llc Video lighting using depth and virtual lights
KR20220017242A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 피사체와 배경에 효과를 적용하여 이미지를 생성하는 전자 장치 및 그 방법
US11570384B2 (en) * 2020-09-03 2023-01-31 Samsung Electronics Co., Ltd. Image sensor employing varied intra-frame analog binning
KR20220073136A (ko) * 2020-11-26 2022-06-03 삼성전자주식회사 배경 화면을 설정하기 위한 전자 장치 및 그의 동작 방법
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
KR102604448B1 (ko) * 2023-08-28 2023-11-20 우수연 타로 서비스를 제공하기 위한 무인 장치 및 이를 이용한 타로 서비스 제공 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090017870A1 (en) 2007-07-12 2009-01-15 Lg Electronics Inc. Mobile terminal and method for displaying location information therein
US20110007086A1 (en) 2009-07-13 2011-01-13 Samsung Electronics Co., Ltd. Method and apparatus for virtual object based image processing
JP2011198150A (ja) 2010-03-19 2011-10-06 Fujifilm Corp ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US20130147826A1 (en) * 2011-12-12 2013-06-13 Mathew Lamb Display of shadows via see-through display
US20150077591A1 (en) 2013-09-13 2015-03-19 Sony Corporation Information processing device and information processing method
US20150145773A1 (en) 2013-11-26 2015-05-28 Adobe Systems Incorporated Behind-display user interface
US20150294649A1 (en) 2012-10-25 2015-10-15 Kyocera Corporation Display control apparatus, display control program and display control method
US20160125633A1 (en) 2013-05-13 2016-05-05 Nokia Technologies Oy Method, apparatus and computer program product to represent motion in composite images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638499A (en) * 1994-05-27 1997-06-10 O'connor; Michael Image composition method and apparatus for developing, storing and reproducing image data using absorption, reflection and transmission properties of images to be combined
EP2241988B1 (en) * 2009-04-14 2018-07-25 Dassault Systèmes Method, program and product edition system for visualizing objects displayed on a computer screen
KR20100124397A (ko) 2009-05-19 2010-11-29 서동완 휴대폰의 바탕화면 자동 변경 방법
KR20110107545A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
KR101823479B1 (ko) 2012-01-03 2018-01-30 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR101868352B1 (ko) 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20140021413A (ko) 2012-08-10 2014-02-20 인포뱅크 주식회사 휴대용 단말기에서의 바탕화면 아이콘 제어 방법 및 장치
KR20140021406A (ko) 2012-08-10 2014-02-20 인포뱅크 주식회사 휴대용 단말기에서의 바탕화면 아이콘 제어 방법 및 장치
KR101479471B1 (ko) * 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR20140057916A (ko) * 2012-11-05 2014-05-14 삼성전자주식회사 영상 처리 장치 및 방법
US9367203B1 (en) * 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090017870A1 (en) 2007-07-12 2009-01-15 Lg Electronics Inc. Mobile terminal and method for displaying location information therein
US20110007086A1 (en) 2009-07-13 2011-01-13 Samsung Electronics Co., Ltd. Method and apparatus for virtual object based image processing
JP2011198150A (ja) 2010-03-19 2011-10-06 Fujifilm Corp ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US20130147826A1 (en) * 2011-12-12 2013-06-13 Mathew Lamb Display of shadows via see-through display
US20150294649A1 (en) 2012-10-25 2015-10-15 Kyocera Corporation Display control apparatus, display control program and display control method
US20160125633A1 (en) 2013-05-13 2016-05-05 Nokia Technologies Oy Method, apparatus and computer program product to represent motion in composite images
US20150077591A1 (en) 2013-09-13 2015-03-19 Sony Corporation Information processing device and information processing method
US20150145773A1 (en) 2013-11-26 2015-05-28 Adobe Systems Incorporated Behind-display user interface

Also Published As

Publication number Publication date
US10181210B2 (en) 2019-01-15
KR20210084373A (ko) 2021-07-07
US20160048988A1 (en) 2016-02-18
KR20160021607A (ko) 2016-02-26

Similar Documents

Publication Publication Date Title
KR102340934B1 (ko) 배경 화면을 디스플레이하는 방법 및 장치
US9552655B2 (en) Image processing via color replacement
US10186087B2 (en) Occluding augmented reality objects
US9906772B2 (en) Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
CN104375797B (zh) 一种信息处理方法及电子设备
JP2017533602A (ja) 電子デバイスのカメラ間の切り替え
CN110933296A (zh) 用于提供内容感知照片滤镜的装置和方法
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
KR20200043432A (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
KR102170749B1 (ko) 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
KR102228919B1 (ko) 이미지에 동적 효과를 적용하는 방법 및 장치
CN110312075A (zh) 设备成像方法、装置、存储介质及电子设备
AU2015258346A1 (en) Method and system of transitioning between images
EP3371803B1 (en) Control methods, computer-readable media, and controllers
AU2015271981A1 (en) Method, system and apparatus for modifying a perceptual attribute for at least a part of an image
EP3211600B1 (en) Adaptive depth-guided non-photorealistic rendering method, corresponding computer program product, computer-readable carrier medium and device
CN106560864A (zh) 用于显示照明的方法和装置
KR20170062932A (ko) 영상 사용자 인터페이스 제공 방법 및 장치
US10497103B2 (en) Information processing apparatus, information processing system, information processing method, and recording medium
KR20150094483A (ko) 3차원 가상 공간을 표시하는 전자 장치 및 그 제어 방법
CN111176452B (zh) 确定显示区域的方法和装置、计算机系统和可读存储介质
Smirnov Hand Tracking for Mobile Virtual Reality
JP2022548390A (ja) Ｖｒ環境及びａｒ環境における手によるユーザインタラクションのためのデバイス及び方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant