KR102206060B1 - 전자 장치의 효과 디스플레이 방법 및 그 전자 장치 - Google Patents

전자 장치의 효과 디스플레이 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102206060B1
KR102206060B1 KR1020130140489A KR20130140489A KR102206060B1 KR 102206060 B1 KR102206060 B1 KR 102206060B1 KR 1020130140489 A KR1020130140489 A KR 1020130140489A KR 20130140489 A KR20130140489 A KR 20130140489A KR 102206060 B1 KR102206060 B1 KR 102206060B1
Authority
KR
South Korea
Prior art keywords
effect
association
database
objects
electronic device
Prior art date
Application number
KR1020130140489A
Other languages
English (en)
Other versions
KR20150057307A (ko
Inventor
윤필주
강두석
김건수
염동현
최보근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130140489A priority Critical patent/KR102206060B1/ko
Priority to US14/547,454 priority patent/US9947137B2/en
Publication of KR20150057307A publication Critical patent/KR20150057307A/ko
Application granted granted Critical
Publication of KR102206060B1 publication Critical patent/KR102206060B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

본 발명은 전자 장치의 효과 디스플레이 방법 및 그 전자 장치에 관한 것으로, 전자 장치의 동작 방법에 있어서, 이미지 내에서 추출된 복수의 오브젝트들 간의 연관성을 획득하는 과정; 및 상기 연관성에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나에 효과를 부가하여 디스플레이 하는 과정을 포함하는 것을 특징으로 한다. 또한, 본 발명은 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

전자 장치의 효과 디스플레이 방법 및 그 전자 장치{EFFECT DISPLAY METHOD OF ELECTRONIC APPARATUS AND ELECTRONIC APPPARATUS THEREOF}
본 발명은, 전자 장치의 효과 디스플레이 방법 및 그 전자 장치에 관한 것이다.
일반적으로 다양한 효과를 오브젝트(Object)에 부가하여 디스플레이 하는 효과 디스플레이(Effect Display) 기술에는, 가상 현실(VR: Virtual Reality)과 증강 현실(AR: Augmented Reality) 등이 사용될 수 있다.
상기 가상 현실(VR)은, 특수한 안경과 장갑을 사용하여 인간의 시각, 청각 등의 감각을 통하여 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사하게 체험하는 유저 인터페이스(User Interface) 기술의 하나로서, 현실이 아닌 가상 세계이다.
반면, 상기 증강 현실(AR)은, 사용자가 눈으로 보는 현실 세계에 가상 물체를 중첩하여 보여주는 기술로서, 실시간으로 부가 정보를 갖는 가상 세계를 현실 세계에 합쳐 하나의 영상으로 보여주므로, 혼합 현실(MR: Mixed Reality)이라고도 한다.
즉, 상기 가상 현실(VR)은, 사용자가 가상 환경에 몰입하여 실제 환경을 볼 수 없는 반면, 상기 증강 현실(AR)은, 실제 환경과 가상의 오브젝트(Object)가 혼합되어, 사용자가 실제 환경을 볼 수 있기 때문에, 상기 가상 현실 보다 더 나은 현실감과 부가 정보를 제공할 수 있다.
상기 가상 현실(VR) 또는 증강 현실(AR) 등과 같은 효과 디스플레이 기술을, 스마트 폰(Smart Phone) 또는 태블릿(Tablet) PC 등과 같은 전자 장치에 적용하여, 사용자가 원하는 다양한 효과를 보다 효율적으로 제공할 수 있도록 하기 위한 해결 방안 마련이 요구되고 있다.
본 발명의 다양한 실시 예는, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치에서, 이미지 또는 동영상 등으로부터 추출된 복수의 오브젝트(Object)들 간의 연관성(Correlation)에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나를 목표(Target) 오브젝트로 선택한 후, 상기 목표 오브젝트에 다양한 효과(Effect)를 부가하여 디스플레이 할 수 있도록 하기 위한 전자 장치의 효과 디스플레이 방법과 그 전자 장치를 제공한다.
본 발명의 다양한 실시 예는, 전자 장치의 동작 방법에 있어서, 이미지 내에서 추출된 복수의 오브젝트들 간의 연관성을 획득하는 과정; 및 상기 연관성에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나에 효과를 부가하여 디스플레이 하는 과정을 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시 예는, 전자 장치에 있어서, 이미지를 디스플레이 하기 위한 디스플레이 모듈; 및 이미지 내에서 복수의 오브젝트들을 추출하여 연관성을 획득한 후, 상기 연관성에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나에 효과를 부가하여 디스플레이 시키기 위한 프로세서를 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시 예에 따르면, 이미지 또는 동영상으로부터 추출된 복수의 오브젝트들 간의 연관성에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나를, 목표 오브젝트(Target Object)로 선택할 수 있게 된다.
또한, 상기 연관성에 기반하여, 상기 목표 오브젝트에 적합한 효과(Effect)를 부가하여, 증강 현실(AR) 등으로 디스플레이 할 수 있게 되므로, 스마트 폰 또는 태블릿 PC 등과 같은 전자 장치의 사용자가 원하는 다양한 효과를 제공할 수 있게 된다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 블록 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 하드웨어의 블록 도면이다.
도 3는 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈의 블록 도면이다.
도 4는 본 발명의 다양한 실시 예에 따른 오브젝트 데이터베이스의 구성을 도시한 도면이다.
도 5는 본 발명의 다양한 실시 예에 따른 연관성 데이터베이스의 구성을 도시한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 연관성 데이터베이스의 구성을 도시한 도면이다.
도 7은 본 발명의 다양한 실시 예에 따른 효과 데이터베이스의 구성을 도시한 도면이다.
도 8은 본 발명의 다양한 실시 예에 따른 연관성 및 효과 데이터베이스의 구성을 도시한 도면이다.
도 9는 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법에 대한 동작 흐름 도면이다.
도 10은 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법에 대한 일부 상세 동작 흐름 도면이다.
도 11는 본 발명의 다양한 실시 예에 따라 이미지 내의 제1 오브젝트를 추출하는 과정을 도시한 도면이다.
도 12은 본 발명의 다양한 실시 예에 따라 이미지 내의 제2 오브젝트를 추출하는 과정을 도시한 도면이다.
도 13은 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법에 대한 일부 상세 동작 흐름 도면이다.
도 14는 본 발명의 다양한 실시 예에 따라 복수의 오브젝트 들간의 연관성을 획득하는 과정을 도시한 도면이다.
도 15는 본 발명의 다양한 실시 예에 따라 복수의 효과들이 디스플레이 되는 도면이다.
도 16는 본 발명의 다양한 실시 예에 따라 앱(APP) 사이트에 접속되는 과정을 도시한 도면이다.
도 17은 본 발명의 다양한 실시 예에 따라 매칭 알고리즘이 적용되는 과정을 도시한 도면이다.
도 18은 본 발명의 다양한 실시 예에 따라 효과가 편집되어 오브젝트에 중첩되는 과정을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있다.
따라서, 본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(Smart Phone), 태블릿 PC(Tablet Personal Computer), 이동전화기(Mobile Phone), 화상전화기, 전자북 리더기(E-Book Reader), 데스크탑 PC(Desktop Personal Computer), 랩탑 PC(Laptop Personal Computer), 넷북 컴퓨터(Netbook Computer), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(Appcessory), 카메라(Camera), 웨어러블 장치(Wearable Device), 전자 시계(Electronic Clock), 손목 시계(Wrist Watch), 스마트 가전(Smart White Appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(Digital Video Disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자 등), 각종 의료기기(예: MRA(Magnetic Resonance Angiography), MRI(Magnetic Resonance Imaging), CT(Computed Tomography), 촬영기, 초음파기 등), 네비게이션(Navigation) 장치, GPS 수신기(Global Positioning System Receiver), EDR(Event Data Recorder), FDR(Flight Data Recorder), 셋톱 박스(Set-Top Box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(Infotainment) 장치, 선박용 전자 장비(Electronic Equipment for Ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(Avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(Camcorder), 게임 콘솔(Game Consoles), HMD(Head-Mounted Display), 평판표시장치(Flat Panel Display Device), 전자 앨범, 통신 기능을 포함한 가구(Furniture) 또는 건물/구조물의 일부, 전자 보드(Electronic Board), 전자 사인 입력장치(Electronic Signature Receiving Device) 또는 프로젝터(Projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은, 본 발명의 일 실시 예에 따른 전자 장치의 블록 도면이다. 도 1을 참조하면, 전자장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 그리고 통신 모듈(160)을 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예: 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: Application Programming Interface, 133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다.
상기 커널(131)은 상기 미들웨어(132), API(133) 또는 애플리케이션(134)에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 (다수의) 애플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, (다수의) 애플리케이션들(134) 들 중 적어도 하나의 애플리케이션에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
상기 API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
상기 사용자 입력 모듈(140)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력 받아 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전달할 수 있고, 상기 디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
상기 통신 모듈(160)은 다른 전자 장치(102)와 전자 장치(100) 간의 통신을 연결할 수 있고, 상기 통신 모듈(160)은 소정의 근거리 통신 프로토콜(예: Wifi(Wireless Fidelity), BT(Bluetooth), NFC(Near Field Communication) 또는 소정의 네트워크 통신(162)(예: Internet, LAN(Local Area Network), WAN(Wire Area Network), Telecommunication Network, Cellular Network, Satellite Network 또는 POTS(Plain Old Telephone Service) 등)을 지원할 수 있다.
상기 전자 장치(102, 104) 각각은 전자 장치(100)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.
도 2는, 본 발명의 일 실시 예에 따른 하드웨어의 블록 도면이다. 상기 하드웨어(200)는, 예를 들면, 도 1에 도시된 전자 장치(100)일 수 있다. 도 2를 참조하면, 상기 하드웨어(200)는 하나 이상의 프로세서(210), SIM(Subscriber Identification Module) 카드(214), 메모리(220), 통신 모듈(230), 센서 모듈(240), 사용자 입력 모듈(250), 디스플레이 모듈(260), 인터페이스(270), 오디오 코덱(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298)를 포함할 수 있다.
상기 프로세서(210) (예: 프로세서 120)는, 하나 이상의 애플리케이션 프로세서(AP: Application Processor, 211) 또는 하나 이상의 커뮤니케이션 프로세서(CP: Communication Processor, 213)를 포함할 수 있다.
상기 프로세서(210)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 1에서는 상기 AP(211) 및 CP(213)가 상기 프로세서(210) 내에 포함된 것으로 도시되었으나, 상기 AP(211)와 CP(213)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 일 실시 예에서 상기 AP(211) 및 CP(213)는 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP(211)는 운용체제 또는 응용 프로그램을 구동하여 상기 AP(211)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(211)는, 예를 들면, SoC(System on Chip)로 구현될 수 있다. 일 실시 예에 따르면, 상기 프로세서(210)는, GPU(Graphic Processing Unit, 미도시)를 더 포함할 수 있다.
상기 CP(213)는 상기 하드웨어(200)를 포함하는 전자 장치(예: 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP(213)는, 예를 들면, SoC로 구현될 수 있다.
일 실시 예에 따르면, 상기 CP(213)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP(213)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP(213)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP(213)는 통신 모듈(230)의 데이터 송수신을 제어할 수 있다. 도 2에서는, 상기 CP(213), 전력관리 모듈(295) 또는 메모리(220) 등의 구성요소들이 상기 AP(211)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, 상기 AP(211)가 전술한 구성요소들의 적어도 일부(예: CP(213))를 포함하도록 구현될 수 있다.
일 실시 예에 따르면, 상기 AP(211) 또는 CP(213)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(211) 또는 CP(213)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드(214)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(214)는 고유한 식별 정보(예: ICCID(Integrated Circuit Card Identifier)) 또는 가입자 정보(예: IMSI(International Mobile Subscriber Identity))를 포함할 수 있다.
상기 메모리(220)는 내장 메모리(222) 또는 외장 메모리(224)를 포함할 수 있다. 상기 메모리(220)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 상기 내장 메모리(222)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 내장 메모리(222)는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 상기 외장 메모리(224)는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 또는 memory stick 등을 더 포함할 수 있다.
상기 통신 모듈(230)은 무선 통신 모듈(231) 또는 RF 모듈(234)을 포함할 수 있다. 상기 통신 모듈(230)은, 예를 들면, 도 1에 도시된 통신 모듈(160)일 수 있다. 상기 무선 통신 모듈(231)은, 예를 들면, WiFi(233), BT(BlueTooth, 235), GPS(237) 또는 NFC(Near Field Communication, 239)를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈(231)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다.
추가적으로 또는 대체적으로, 상기 무선 통신 모듈(231)은 하드웨어(200)를 네트워크(예: Internet, LAN(Local Area Network), WAN(Wire Area Network), Telecommunication Network, Cellular Network, Satellite Network 또는 POTS(Plain Old Telephone Service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈(234)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 상기 RF 모듈(234)은, 도시되지는 않았으나, 예를 들면, 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터(Frequency Filter) 또는 LNA(Low Noise Amplifier) 등을 포함할 수 있다.
또한, 상기 RF 모듈(234)은 무선통신에서 자유공간 상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), RGB(Red, Green, Blue) 센서(240H), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(Ultra Violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(240)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.
추가적으로/대체적으로, 상기 센서 모듈(240)은, 예를 들면, 후각 센서(E-Nose Sensor, 미도시), EMG 센서(Electromyography Sensor, 미도시), EEG 센서(Electroencephalogram Sensor, 미도시), ECG 센서(Electrocardiogram Sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 사용자 입력 모듈(250)은 터치 패널(Touch Panel, 252), (디지털) 펜 센서(Pen Sensor, 254), 키(Key, 256) 또는 초음파 입력 장치(258)를 포함할 수 있다. 상기 사용자 입력 모듈(250)은, 예를 들면, 도 1에 도시된 사용자 입력 모듈(140)일 수 있다. 상기 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다.
또한, 상기 터치 패널(252)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널(252)은 택타일 레이어(Tactile Layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(Sheet)를 이용하여 구현될 수 있다. 상기 키(256)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다.
상기 초음파 입력 장치(258)는 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 상기 하드웨어(200)는 통신 모듈(230)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 포함할 수 있다. 상기 디스플레이 모듈(260)은, 예를 들면, 도 1에 도시된 디스플레이 모듈(150)일 수 있다. 상기 패널(262)은, 예를 들면, LCD(Liquid-Crystal Display) 또는 AM-OLED(Active-Matrix Organic Light-Emitting Diode) 등일 수 있다. 상기 패널(262)은, 예를 들면, 유연하게(Flexible), 투명하게(Transparent) 또는 착용할 수 있게(Wearable) 구현될 수 있다.
상기 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 일 실시 예에 따르면, 상기 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 인터페이스(270)는, 예를 들면, HDMI(High-Definition Multimedia Interface, 272), USB(Universal Serial Bus, 274), 프로젝터(276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(270)는, 예를 들면, SD(Secure Digital)/MMC(Multi-Media Card)(미도시) 또는 IrDA(Infrared Data Association, 미도시)를 포함할 수 있다.
상기 오디오 코덱(280)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
상기 카메라 모듈(291)은 화상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(Image Signal Processor, 미도시) 또는 플래쉬 LED(Flash LED, 미도시)를 포함할 수 있다.
상기 전력관리 모듈(295)은 하드웨어(200)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈(295)은, 예를 들면, PMIC(Power Management Integrated Circuit), 충전 IC(Charger Integrated Circuit) 또는 배터리 게이지(Battery Fuel Gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다.
일 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(296)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(Rechargeable Battery)일 수 있다.
인디케이터(297)는 하드웨어(200) 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. MCU (299)은, 센서 모듈(240)을 제어할 수 있다.
도시되지는 않았으나, 상기 하드웨어(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(Digital Multimedia Broadcasting), DVB(Digital Video Broadcasting) 또는 미디어 플로우(Media Flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 다양한 실시 예에 따른 하드웨어의 전술한 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
또한, 본 발명의 다양한 실시 예에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(Entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 3는, 본 발명의 일 실시 예에 따른 프로그래밍 모듈의 블록 도면이다. 프로그래밍 모듈(300)은, 도 1에 도시된 전자 장치(100)(예: 메모리(130))에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 프로그래밍 모듈(300)은 하드웨어(예: 하드웨어(200))에 구현되어 전자 장치(예: 전자 장치(100))에 관련된 자원을 제어하는 운용체제(OS: Operation System) 또는 운용체제 상에서 구동되는 다양한 애플리케이션(예: 애플리케이션(370))을 포함할 수 있다.
예를 들면, 상기 운용체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3를 참조하면, 상기 프로그래밍 모듈(300)은 커널(310), 미들웨어 (330), API(Application Programming Interface, 360) 또는 애플리케이션(370)을 포함할 수 있다.
상기 커널(310)(예: 커널(131))은 시스템 리소스 매니저(311) 또는 디바이스 드라이버(312)를 포함할 수 있다. 상기 시스템 리소스 매니저(311)는, 예를 들면, 프로세스관리부(313), 메모리관리부(315) 또는 파일시스템 관리부(317) 등을 포함할 수 있다.
상기 시스템 리소스 매니저(311)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버(312)는, 예를 들면, 디스플레이 드라이버(314), 카메라 드라이버(316), 블루투스 드라이버(318), 공유 메모리 드라이버(320), USB 드라이버(322), 키패드 드라이버(324), WiFi 드라이버(326) 또는 오디오 드라이버(328)를 포함할 수 있다.
또한, 일 실시 예에 따르면, 상기 디바이스 드라이버(312)는 IPC(Inter-Process Communication, 미도시) 드라이버를 포함할 수 있다.
상기 미들웨어(330)는 애플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어(330)는 애플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 기능을 제공할 수 있다.
예를 들면, 도 3에 도시된 바와 같이, 상기 미들웨어(330)(예: 미들웨어(132))는 런타임 라이브러리(335), 어플리케이션 매니저(Application Manager, 341), 윈도우 매니저(Window Manager, 342), 멀티미디어 매니저(Multimedia Manager, 343), 리소스 매니저(Resource Manager, 344), 파워 매니저(Power Manager, 345), 데이터베이스 매니저(Database Manager, 346), 패키지 매니저(347), 연결 매니저(Connectivity Manager, 348), 통지 매니저(Notification Manager, 349), 위치 매니저(Location Manager, 350), 그래픽 매니저(Graphic Manager, 351) 또는 보안 매니저(Security Manager, 352) 중 적어도 하나를 포함할 수 있다.
상기 런타임 라이브러리(335)는, 예를 들면, 애플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 일 실시 예에 따르면, 런타임 라이브러리(335)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
상기 애플리케이션 매니저(341)는, 예를 들면, 애플리케이션(370) 중 적어도 하나의 애플리케이션의 생명주기(Life Cycle)를 관리할 수 있다. 상기 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다.
상기 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(Codec)을 이용하여 미디어 파일의 인코딩(Encoding) 또는 디코딩(Decoding)을 수행할 수 있다. 리소스 매니저(344)는 상기 애플리케이션(370) 중 적어도 어느 하나의 애플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
상기 파워 매니저(345)는 바이오스(BIOS: Basic Input/Output System) 등과 함께 동작하여 배터리(Battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(346)는 애플리케이션(370) 중 적어도 하나의 애플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다.
상기 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 애플리케이션의 설치 또는 업 데이트를 관리할 수 있다. 연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(Event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다.
상기 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(예: 전자 장치(100))가 전화 기능을 구비한 경우에는, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(Telephony Manager, 미도시)를 더 포함할 수 있다.
상기 미들웨어(330)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어(330)는 차별화된 기능을 제공하기 위해 운용체제의 종류별로 특화된 모듈을 제공할 수 있다.
또한, 상기 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 발명의 다양한 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
상기 API(360)(예: API(133))는 API 프로그래밍 함수들의 집합으로, 운용체제에 따라 다른 구성으로 제공될 수 있다. 안드로이드 또는 IOS의 경우, 예를 들어, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들어, 두 개 이상의 API 셋을 제공할 수 있다.
상기 애플리케이션(370)(예: 상기 애플리케이션(134))은, 예를 들면, 프리로드 어플리케이션(Preloaded Application) 또는 제 삼자 어플리케이션(Third Party Application)을 포함할 수 있다.
상기 프로그래밍 모듈(300)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(Computer-Readable Storage Media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(260)가 될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는, 예를 들면, 프로세서(210)에 의해 구현(Implement) (예: 실행)될 수 있다.
상기 프로그래밍 모듈(300)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(Sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 프로그래밍 모듈(예: 프로그래밍 모듈(300))의 구성요소들의 명칭은 운용체제의 종류에 따라서 달라질 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명의 다양한 실시 예에 대한 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법 및 그 전자 장치에 대해 상세히 설명한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 도 3에 도시된 구성 요소들을 포함하여 구성될 수 있다. 상기 전자 장치의 프로세서(210)는, 상기 디스플레이 모듈(260)과 어플리케이션 프로세서(211) 등을 동작 제어하여, 상기 디스플레이 모듈(260)에 디스플레이 되는 사진 등과 같은 다양한 유형의 이미지를 캡처(Capture)할 수 있다.
상기 디스플레이 모듈(260)에 디스플레이 되는 동영상의 스틸(Still) 이미지를 캡처할 수 있으며, 상기와 같이 캡처된 하나의 이미지 내에서 복수의 오브젝트(Object)들을 추출하거나, 또는 서로 다른 복수의 이미지 내에서 복수의 오브젝트들을 개별적으로 추출할 수도 있다.
예를 들어, 현재 디스플레이 되는 이미지 내에서, 제1 오브젝트를 추출하고, 이후 디스플레이 되는 이미지 내에서 제2 오브젝트를 추출할 수 있다.
상기 추출된 복수의 오브젝트들 간의 연관성(Correlation)을 획득한 후, 상기 연관성에 기반하여, 텍스트, 이미지, 동영상, 오디오, 그리고 액션 링커(Action Linker) 등과 같은 다양한 효과(Effect)를 적용할 목표(Target) 오브젝트를 선택할 수 있다.
상기 프로세서(210)는, 상기 목표 오브젝트에, 상기 효과를 증강 현실(AR) 또는 가상 현실(VR) 등으로 다양하게 디스플레이 할 수 있다.
도 4는, 본 발명의 다양한 실시 예에 따른 오브젝트 데이터베이스의 구성을 도시한 도면이다. 예를 들어, 도 4에 도시한 바와 같이, 상기 오브젝트 데이터베이스(Object Database)에는, 이미지 스캔(Image Scan) 동작 등을 통해 추출될 수 있는 각 오브젝트들에 대한 특징(Feature) 정보와, 상기 특징 정보에 대응되는 고유의 오브젝트 아이디(Object ID)가 연계된 상태로 저장될 수 있다.
상기 특징 정보에는, 각각의 오브젝트들을 식별을 위한 고유의 휘도(Y), 컬러(Color), 에지(Edge), 패턴(Pattern), 그리고 형상(Shape) 중 어느 하나 이상의 정보들이 포함될 수 있다.
상기 프로세서(210)는, 상기 캡처된 이미지 내에서 추출된 임의의 한 오브젝트에 대한 휘도, 컬러, 에지, 패턴, 그리고 형상 정보 등을, 상기 오브젝트 데이터베이스와 비교하여, 해당 오브젝트를 식별하게 된다. 예를 들어, 상기 임의의 한 오브젝트가 널리 알려진 로고(Logo)이면, 패턴 매칭(Pattern Matching)을 통해 해당 오브젝트를 용이하게 식별할 수 있다.
상기 오브젝트 데이터베이스는, 예를 들어, 도 1에 도시한 상기 전자 장치의 메모리(130)에 저장되거나, 도 1에 도시한 서버(164) 내에 저장될 수 있다. 상기 서버(164) 내에 저장되는 경우, 상기 프로세서(210)는, 상기 통신 모듈(230)을 통해 서버(164)와 통신하여, 상기 오브젝트 데이터베이스를 검색할 수 있다.
상기 오브젝트 데이터베이스는, 사전에 실시된 실험 결과 값들에 의해 구성될 수 있으며, 예를 들어, 뉴럴(Neural) 네트워크 기술을 통해 계속적으로 업데이트되는 트레이닝(Training) 데이터베이스로 운영될 수도 있다.
참고로, 상기 뉴럴 네트워크 기술은, 인간의 뇌의 기능을 적극적으로 모방하려는 생각에 기초를 두고 있다. 즉, 무언가를 보고, 그것이 무엇인가를 인식하여, 필요에 따라 행동을 취하는 인간에게는 아주 간단하고 당연한 사고 방식을 컴퓨터에 학습시키려는 기술이다.
도 5는, 본 발명의 다양한 실시 예에 따른 연관성 데이터베이스의 구성을 도시한 도면이다. 예를 들어, 도 5에 도시한 바와 같이, 상기 연관성(Correlation) 데이터베이스에는, 복수의 오브젝트들과, 상기 복수의 오브젝트들의 조합에 대응되는 고유의 연관성 아이디(Correlation ID)가 연계된 상태로 저장될 수 있다.
상기 복수의 오브젝트들은, 상부 카테고리(예: Category 1)의 오브젝트와, 적어도 하나 이상의 하부 카테고리(예: Category 2, 3)의 오브젝트가 계층적으로 연계된 구조로 저장될 수 있다.
상기 연관성 데이터베이스는, 상기 프로세서(210)가, 상기 추출된 복수의 오브젝트들 간의 연관성을 획득하는 데 사용될 수 있으며, 상기 연관성 데이터베이스는, 예를 들어, 도 1에 도시한 상기 전자 장치의 메모리(130)에 저장되거나, 도 1에 도시한 서버(164) 내에 저장될 수 있다.
상기 서버(164) 내에 저장되는 경우, 상기 프로세서(210)는, 상기 통신 모듈(230)을 통해 서버(164)와 통신하여, 상기 연관성 데이터베이스를 검색할 수 있다.
상기 서버(164)는, 상기 전자 장치의 프로세서(210)로부터 복수의 오브젝트들에 대한 정보를 수신 받은 후, 상기 연관성 데이터베이스를 검색하여, 상기 복수의 오브젝트들 간의 연관성을, 상기 전자 장치의 프로세서(210)로 전송할 수도 있다.
즉, 상기 서버(164) 내에 연관성 데이터베이스가 저장 및 운용되는 경우, 상기 복수의 오브젝트들 간의 연관성을 검색하는 동작은, 상기 프로세서(210)의 요청에 따라, 상기 서버(164)가 대신 수행할 수도 있다.
상기 연관성 데이터베이스는, 도 5에 도시한 바와 같이, 복수의 오브젝트들이 상부 카테고리와 하부 카테고리로 연계된 계층적 구조로 저장되거나, 또는 도 6에 도시한 바와 같이, 복수의 오브젝트들이 비계층적으로 단순히 조합된 나열 상태로 저장될 수도 있다.
다만, 도 6에 도시한 바와 같이, 복수의 오브젝트들이 비계층적 구조로 저장된 경우에는, 복수의 오브젝트들 간의 연관성을 검색하는 속도가 저하될 수 있으므로, 도 5에 도시한 바와 같이, 계층적 구조로 저장된 연관성 데이터베이스를 구성하는 것이 바람직하다.
도 7은, 본 발명의 다양한 실시 예에 따른 효과 데이터베이스의 구성을 도시한 도면이다. 예를 들어, 도 7에 도시한 바와 같이, 상기 효과(Effect) 데이터베이스에는, 고유의 연관성 아이디(Correlation ID)를 기준으로 하여, 목표(Target) 오브젝트와, 상기 목표 오브젝트에 적용할 효과(Effect) 정보가 연계된 상태로 저장될 수 있다.
상기 목표 오브젝트는, 상기 연관성 아이디에 연계된 복수의 오브젝트들 중 적어도 어느 하나로서, 예를 들어, 효과를 적용할 오브젝트의 개수가 2 개 이상이면, 상기 목표 오브젝트의 개수가 2 개 이상이 될 수도 있다.
상기 효과 정보는, 상기 목표 오브젝트에 적용할 텍스트(Text), 이미지(Image), 동영상(Video), 오디오(Audio), 그리고 액션 링커(Action Linker) 중 적어도 어느 하나 이상을 포함한다.
상기 액션 링커는, 예를 들어, 웹 어플리케이션(Web Application)을 실행하거나, 또는 관련이 있는 어플리케이션을 다운로드 받을 수 있는 앱 스토어(App Store) 또는 유알엘(URL)로의 접속 정보이거나, 전화 번호 등이 사용될 수 있으며, 터치(Touch) 또는 클릭(Click)과 같은 사용자 입력을 요구하는 아이콘(Icon) 또는 메뉴(Menu) 등으로 다양하게 디스플레이 될 수 있다.
상기 효과 데이터베이스는, 상기 프로세서(210)가, 상기 획득한 연관성을 기반으로, 목표 오브젝트를 선택하고, 상기 목표 오브젝트에 적용할 효과를 선택하는 데 사용될 수 있으며, 상기 효과 데이터베이스는, 도 1에 도시한 상기 전자 장치의 메모리(130)에 저장되거나, 도 1에 도시한 서버(164) 내에 저장될 수 있다.
예를 들어, 상기 서버(164) 내에 저장되는 경우, 상기 프로세서(210)는, 상기 통신 모듈(230)을 통해 서버(164)와 통신하여, 상기 효과 데이터베이스를 검색할 수 있다. 더 나아가, 상기 서버(164)에서, 상기 전자 장치의 프로세서(210)에서 획득한 연관성 아이디를 수신 받아, 상기 효과 데이터베이스를 검색한 후, 상기 연관성 아이디에 대응되는 목표 오브젝트와 상기 목표 오브젝트에 적용할 효과를, 상기 전자 장치의 프로세서(210)로 전송할 수도 있다.
상기 효과 데이터베이스는, 예를 들어, 도 8에 도시한 바와 같이, 상기 연관성 데이터베이스와 함께 하나로 통합된 연관성 및 효과 데이터베이스로 저장될 수 있다. 즉, 상기 연관성 아이디를 공통의 기준으로 하여, 연관성 데이터베이스와 효과 데이터베이스가 하나로 통합 관리될 수 있다.
도 9는, 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법에 대한 동작 흐름 도면이다, 예를 들어, 도 9에 도시한 바와 같이, 상기 전자 장치의 프로세서(210)는, 상기 디스플레이 모듈(260)과 어플리케이션 프로세서(211) 등을 동작 제어하여, 상기 디스플레이 모듈에 디스플레이 되는 이미지를 캡처(Capture)한다(S10).
상기 프로세서(210)은, 상기 캡처된 이미지를 스캔하여(S11), 상기 캡처된 이미지 내에 포함된 적어도 하나 이상의 오브젝트에 대한 휘도(Y), 컬러(Color), 에지(Edge), 패턴(Pattern), 그리고 형상(Shape) 등의 다양한 특징 정보를 검출한다.
상기 프로세서(210)는, 상기 검출된 특징 정보를 오브젝트 데이터베이스(Object DB) 내의 특징 정보와 비교하여, 상기 검출된 특징 정보에 대응되는 고유의 오브젝트 아이디들을 검색하는 복수의 오브젝트 추출 동작을 수행한다(S12).
상기 프로세서(210)는, 상기 오브젝트 아이디들을 연관성 데이터베이스 내의 오브젝트 아이디들과 비교하여, 복수의 오브젝트들 간의 연관성을 획득한 후(S13), 상기 연관성을 기반으로, 효과 데이터베이스를 검색하여, 목표 오브젝트를 선택하고(S14), 상기 목표 오브젝트에 적용할 효과 정보를 선택한다(S15).
상기 프로세서(210)는, 상기 효과 정보에 따라 텍스트, 이미지, 동영상, 오디오, 그리고 액션 링커 등의 다양한 효과를, 상기 목표 오브젝트에 부가하여 디스플레이 하며(S16), 이후 사용자가 요청하는 동작을 수행한다(S17).
이에 따라, 스마트 폰 또는 태블릿 PC 등과 같은 전자 장치의 사용자가 원하는 다양한 효과를 보다 간편하고 효율적으로 제공할 수 있게 된다. 이하에서는 본 발명의 다양한 실시 예에 대해 보다 상세히 설명한다.
도 10은, 본 발명의 다양한 실시 예에 따른 전자 장치의 효과 디스플레이 방법에 대한 일부 상세 동작 흐름 도면이다. 도 10에 도시한 바와 같이, 상기 프로세서(210)는, 상기 디스플레이 모듈(2601)과 어플리케이션 프로세서(211) 등을 동작 제어하여, 사진 등과 같은 스틸 이미지, 또는 영화 등과 같은 동영상을 재생시킬 수 있다(S100).
상기 프로세서(210)는, 상기와 같은 재생 동작을 수행하던 도중, 사용자로부터 효과 디스플레이 동작이 요청되면(S101), 상기 디스플레이 모듈(260)을 통해 현재 디스플레이 된 이미지를 캡처한다(S102).
예를 들어, 상기 디스플레이 모듈(260)에, 영화 등과 같은 동영상이 디스플레이 되면, 현재 디스플레이 되는 동영상의 기저 영상(Intra Picture)를 스틸(Still) 이미지로 캡처한다.
상기 프로세서(210)는, 상기 이미지 내에 포함된 오브젝트의 특징 정보를 검출하는 이미지 스캔(Image Scan) 동작을 수행한다(S110). 상기 이미지 스캔 동작에는, 여러 가지의 다양한 기술이 사용될 수 있다.
예를 들어, 도 11에 도시한 바와 같이, 상기 프로세서(210)는, 제1 윈도우(Window 1)를 이용한 이미지 스캔 동작을 수행하여, 상기 이미지 내에 포함된 제1 오브젝트(Object 1)에 대한 휘도, 컬러, 에지, 패턴, 그리고 형상 등의 다양한 특징 정보를 검출한다.
이후, 상기 프로세서(210)는, 도 12에 도시한 바와 같이, 제2 윈도우(Window 2)를 이용한 이미지 스캔 동작을 수행하여, 상기 이미지 내의 제2 오브젝트(Object 2)에 대한 휘도, 컬러, 에지, 패턴, 그리고 형상 등의 다양한 특징 정보를 검출한다.
상기 제1 윈도우와 제2 윈도우는, 사용자의 선택 또는 윈도우 제어 알고리즘에 따라, 사이즈(Size)가 변경될 수 있으며, 이미지 스캔을 위해 이용되는 윈도우의 개수는, 2 개 이상일 수 있다. 상기 제1 오브젝트와 제2 오브젝트는, 사용자가 터치하는 위치에 상응하여 수동으로 지정되거나, 또는 이미지 전체를 스캔하는 과정에서 자동으로 지정될 수 있다.
상기 제1 오브젝트와 제2 오브젝트는, 하나의 이미지 내에 포함되거나, 서로 다른 복수의 이미지 내에 개별적으로 포함될 수 있다. 상기 프로세서(210)는, 상기와 같이 복수의 오브젝트들에 대한 특징 정보가 검출되면(S120), 상기 검출된 특징 정보를, 오브젝트 데이터베이스 내의 특징 정보와 비교한다(S121).
상기 프로세서(210)는, 상기 검출된 특징 정보와 일치하는 오브젝트 데이터베이스 내의 특징 정보를 검색한 후, 상기 검색된 특징 정보에 연계된 고유의 오브젝트 아이디(Object ID)를 검색하여, 상기 복수의 오브젝트들을 인식한다(S122).
상기 프로세서(210)는, 상기 검색된 오브젝트 아이디와 연관성 데이터베이스를 비교하게 된다(S130). 예를 들어, 도 5에 도시한 바와 같이, 상부 카테고리의 오브젝트와, 하부 카테고리의 오브젝트를 계층적으로 비교 검색하여, 복수의 오브젝트 들간의 연관성을 획득한다(S131). 상기 복수의 오브젝트들 간의 연관성은, 도 1에 도시한 서버(160)와의 인터페이스를 통해 획득될 수도 있다.
상기 프로세서(210)는, 도 13에 도시한 바와 같이, 상기 획득된 연관성과 효과 데이터베이스를 비교하여(S140), 목표 오브젝트를 선택한다(S150). 예를 들어, 도 14에 도시한 바와 같이, 로고(Logo)에 해당하는 제1 오브젝트(Object 1)와 컵(Cup)에 해당하는 제2 오브젝트(Object 2) 중, 상기 컵에 해당하는 제2 오브젝트(Object 2)를 목표 오브젝트로 선택할 수 있다.
상기 목표 오브젝트는, 상기 복수의 오브젝트들 중 적어도 어느 하나의 오브젝트로서, 만일 효과를 적용할 오브젝트가 2 개 이상이면, 상기 목표 오브젝트가, 2 개 이상으로 저장될 수도 있다.
상기 프로세서(201)는, 상기 효과 데이터베이스 내에서, 상기 목표 오브젝트에 연계된 효과 정보를 선택하고(S150), 상기 효과 정보의 종류를 확인한다(S151). 상기 효과 정보는, 상기 목표 오브젝트에 적용할 이미지, 동영상, 오디오, 그리고 액션 링커(Action Linker) 중 적어도 어느 하나 이상일 수 있다.
상기 프로세서(210)는, 상기 목표 오브젝트의 디스플레이 상태를 확인한 후(S160), 상기 목표 오브젝트에 부가적으로 디스플레이 될 효과를 편집하게 된다(S161). 예를 들어, 도 15에 도시한 바와 같이, 상기 컵(Cup)에 해당하는 제2 오브젝트에는, 제1 효과(Effect 1)로서, 커피가 흘러 내리는 주전자의 스틸(Still) 이미지가 부가되어 디스플레이 될 수 있다.
다른 예로서, 상기 컵(Cup)에 해당하는 제2 오브젝트에는, 제1 효과(Effect 1)로서, 커피가 계속 흘러 내리는 주전자의 동영상이 증강 현실(AR)로 부가되어 디스플레이 될 수 있으며, 더 나아가, 제2 효과(Effect 2)로서, 액션 링커(Action Linker)가 사용자의 클릭을 요구하는 클릭(Click) 버튼 또는 아이콘(Icon) 등으로 다양하게 디스플레이 될 수 있다(S162).
상기 프로세서(210)는, 이후 사용자가, 상기 액션 링커를 클릭하는 경우(S170), 액션 링커에서 지시하는 해당 앱(APP) 사이트 또는 웹(WEB) 사이트 등으로 접속한다(S171), 예를 들어, 도 16에 도시한 바와 같이, 상기 액션 링커에서 지시하는 유알엘(URL)을 이용하여, 특정 앱 사이트에 접속한 후, 홈 페이지 화면 등을 디스플레이 하고, 이후 사용자가 요청하는 동작을 수행할 수 있다(S172).
도 17은, 본 발명의 다양한 실시 예에 따라 매칭 알고리즘이 적용되는 과정을 도시한 도면이다. 도 4를 참조로 전술한 바와 같이, 상기 오브젝트 데이터베이스(Object DB)에는, 각 오브젝트들에 대한 특징 정보로서, 휘도, 컬러, 에지, 패턴, 그리고 형상 등의 다양한 정보들이 저장될 수 있다.
예를 들어, 상기 패턴 정보와 형상 정보 등에 의해 오브젝트의 특징을 비교하여 검색하는 매칭(Matching) 알고리즘의 경우, 해당 오브젝트의 위치와 기울기 등에 따라, 상기 오브젝트 데이터베이스 내에 저장되는 기준의 패턴 정보와 형상 정보 등이 달라져야 한다.
상기 프로세서(210)에서는, 도 17에 도시한 바와 같이, 해당 오브젝트의 위치와 기울기 등에 기반하여, 상기 오브젝트 데이터베이스 내에 저장되는 기준의 패턴 정보와 형상 정보 등을 자동으로 변경해면서 비교하는 히스토그램(Histogram)의 매칭 알고리즘을 사용하여 오브젝트의 특징 정보를 보다 정확하게 검색할 수 있다.
도 18은, 본 발명의 다양한 실시 예에 따라 효과가 편집되어 오브젝트에 중첩되는 과정을 도시한 도면이다. 예를 들어, 도 18에 도시한 바와 같이, 상기 히스토그램의 매칭 알고리즘에 의해 분석된 오브젝트(Object)의 기울기가, 영(Zero)이 아닌 일정 값의 기울기를 갖는 경우, 상기 프로세서(210)에서는, 상기 오브젝트에 부가될 효과(Effect)를, 상기 일정 값의 기울기에 일치하도록 편집 및 변환한 후, 상기 오브젝트에 중첩하여 디스플레이 할 수 있다.
이에 따라, 이미지 내에서 검출된 오브젝트의 특징 정보와, 오브젝트 데이터베이스에 저장된 특징 정보를 보다 정확하게 비교할 수 있게 되며, 또한 목표 오브젝트에 부가될 효과를, 상기 목표 오브젝트의 디스플레이 상태에 적합하게 부가하여 디스플레이 할 수 있게 된다.
본 발명의 청구항 또는 명세서에 기재된 다양한 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(Implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(Device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(Configured for execution).
하나 이상의 프로그램은, 전자 장치로 하여금 본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(Instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (Random Access Memory), 플래시(Flash) 메모리를 포함하는 불휘발성(Non-Volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(Magnetic Disc Storage Device), 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), DVD(Digital Video Disk) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(Magnetic Cassette)에 저장될 수 있다.
또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(Access)할 수 있는 부착 가능한(Attachable) 저장 장치(Storage Device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 발명의 다양한 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 발명의 다양한 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 발명의 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 발명이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 102: 전자 장치
104: 전자 장치 110: 버스
120: 프로세서 130: 메모리
131: 커널 132: 미들웨어
133: 애플리케이션 프로그래밍 인터페이스
140: 사용자 입력모듈 150: 디스플레이 모듈
160: 통신 모듈 162: 네트워크
164: 서버 200: 전자 장치
210: 프로세서 211: 애플리케이션 프로세서
213: 커뮤니케이션 프로세서 214: SIM 카드
220: 메모리 222: 내장 메모리
224: 외장 메모리 230: 통신 모듈
231: 무선 통신 모듈 234: RF 모듈
233: WiFi 235: BT
237: GPS 239: NFC
240: 센서 모듈 240A: 제스처 센서
240B: 자이로 센서 240C: 기압 센서
240D: 마그네틱 센서 240E: 가속도 센서
240F: 그립 센서 240G: 근접 센서
240H: RGB 센서 240I: 생체 센서
240J: 온/습도 센서 240K: 조도 센서
240M: UV 센서 250: 사용자 입력모듈
252: 터치 패널 254: 펜 센서
256: 키 258: 울트라 소닉
260: 디스플레이 모듈 262: 패널
264: 홀로그램 270: 인터페이스
272: HDMI 274: USB
276: 프로젝터 278: D-SUB
280: 오디오 코덱 282: 스피커
284: 리시버 286: 이어폰
288: 마이크 291: 카메라 모듈
295: 전력 관리 모듈 296: 배터리
297: 인디케이터 298: 모터
300: 전자 장치 310: 커널
311: 시스템 리소스 매니저 312: 디바이스 드라이버
330: 미들웨어 341: 애플리케이션 매니저
342: 윈도우 매니저 343: 멀티미디어 매니저
344: 리소스 매니저 345: 파워 매니저
346: 데이터베이스 매니저 347: 패키지 매니저
348: 연결 매니저 349: 통지 매니저
350: 위치 매니저 351: 그래픽 매니저
352: 보안 매니저 355: 런타임 라이브러리
360: API 370: 애플리케이션
371: 홈 372: 다이얼러
373:SMS/MMS 374: IM
375: 브라우저 376: 카메라
377: 알람 378: 컨텐트
379: 음성 다이얼 380: 이메일
381: 달력 382: 미디어 플레이어
383: 앨범 384: 시계

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    이미지 내에 존재하는 복수의 오브젝트들을 추출하는 동작;
    연관성 데이터 베이스에 기반하여, 상기 추출한 복수의 오브젝트들 간의 연관성을 획득하여 연관성 아이디를 식별하는 동작;
    효과 데이터 베이스 및 상기 연관성 아이디에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나를 목표(target) 오브젝트로 선택하는 동작;
    상기 목표 오브젝트를 선택하는 것에 대응하여, 상기 효과 데이터 베이스 및 상기 연관성 아이디를 기반으로, 효과를 결정하는 동작; 및
    상기 선택한 목표 오브젝트에 상기 결정된 효과를 부가하는 동작을 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 복수의 오브젝트들은, 하나의 이미지에서 추출되거나, 서로 다른 복수의 이미지에서 개별적으로 추출되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 획득하는 과정은, 상기 전자 장치의 메모리 내에 저장된 상기 연관성 데이터 베이스 및 네트워크를 통해 연결된 서버 내의 상기 연관성 데이터 베이스 중 적어도 하나를 기반으로, 상기 복수의 오브젝트들 간의 연관성을 획득하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 연관성 데이터 베이스는, 상부 카테고리의 오브젝트, 적어도 하나 이상의 하부 카테고리의 오브젝트 및 상기 복수의 오브젝트들 간의 연관성 아이디를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 효과 데이터 베이스는, 상기 연관성과 연계된 목표 오브젝트와, 상기 목표 오브젝트에 적용할 효과를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    오브젝트 데이터 베이스를 더 포함하고,
    상기 오브젝트 데이터 베이스는, 상기 복수의 오브젝트들의 특징을 포함하고,
    상기 특징은, 휘도, 컬러, 에지, 패턴, 그리고 형상 중 어느 하나 이상을 포함하는 것을 특징으로 하는 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 효과는, 텍스트, 이미지, 동영상, 오디오, 그리고 액션 링커(Action Linker) 중 어느 하나 이상을 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 효과는, 상기 목표 오브젝트에 부가되어 증강 현실(AR)과 가상 현실(VR) 중 어느 하나 이상으로 디스플레이 되는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 효과는, 상기 목표 오브젝트의 사이즈, 기울기, 그리고 각도 중 어느 하나 이상에 상응하는 상태로 부가되어 디스플레이 되는 것을 특징으로 하는 방법.
  11. 전자 장치에 있어서,
    디스플레이 모듈; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이 모듈을 통해 이미지를 출력하고,
    상기 출력한 이미지 내에 존재하는 복수의 오브젝트들을 추출하고,
    연관성 데이터 베이스에 기반하여, 상기 추출한 복수의 오브젝트들 간의 연관성을 획득하여 연관성 아이디를 식별하고,
    효과 데이터 베이스 및 상기 연관성 아이디에 기반하여, 상기 복수의 오브젝트들 중 적어도 어느 하나를 목표(target) 오브젝트로 선택하고,
    상기 목표 오브젝트를 선택하는 것에 대응하여, 상기 효과 데이터 베이스 및 상기 연관성 아이디를 기반으로 효과를 결정하고,
    상기 선택한 목표 오브젝트에 상기 결정된 효과를 부가하도록 설정된 전자 장치.
  12. 제11항에 있어서,
    상기 복수의 오브젝트들은, 하나의 이미지에서 추출되거나, 서로 다른 복수의 이미지에서 개별적으로 추출되는 것을 특징으로 하는 전자 장치.
  13. 제11항에 있어서,
    상기 프로세서는, 상기 전자 장치의 메모리 내에 저장된 상기 연관성 데이터 베이스 및 네트워크를 통해 연결된 서버 내의 상기 연관성 데이터 베이스 중 적어도 하나를 기반으로, 상기 복수의 오브젝트들 간의 연관성을 획득하는 것을 특징으로 하는 전자 장치.
  14. 제13항에 있어서,
    상기 연관성 데이터 베이스는, 상부 카테고리의 오브젝트, 적어도 하나 이상의 하부 카테고리의 오브젝트 및 상기 복수의 오브젝트들 간의 연관성 아이디를 포함하는 것을 특징으로 하는 전자 장치.
  15. 제11항에 있어서,
    상기 효과 데이터 베이스는, 상기 연관성과 연계된 목표 오브젝트와, 상기 목표 오브젝트에 적용할 효과를 포함하는 것을 특징으로 하는 전자 장치.
  16. 제11항에 있어서,
    오브젝트 데이터 베이스를 더 포함하고,
    상기 오브젝트 데이터 베이스는, 상기 복수의 오브젝트들의 특징을 포함하되,
    상기 특징은, 휘도, 컬러, 에지, 패턴, 그리고 형상 중 어느 하나 이상을 포함하는 것을 특징으로 하는 전자 장치.
  17. 삭제
  18. 제11항에 있어서,
    상기 효과는, 이미지, 동영상, 오디오, 그리고 액션 링커(Action Linker) 중 어느 하나 이상을 포함하는 것을 특징으로 하는 전자 장치.
  19. 제11항에 있어서,
    상기 효과는, 상기 목표 오브젝트의 사이즈, 기울기, 그리고 각도 중 어느 하나 이상에 상응하는 상태의 증강 현실(AR) 또는 가상 현실(VR) 증 어느 하나 이상으로 디스플레이 되는 것을 특징으로 하는 전자 장치.
  20. 제1항의 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체.
KR1020130140489A 2013-11-19 2013-11-19 전자 장치의 효과 디스플레이 방법 및 그 전자 장치 KR102206060B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130140489A KR102206060B1 (ko) 2013-11-19 2013-11-19 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US14/547,454 US9947137B2 (en) 2013-11-19 2014-11-19 Method for effect display of electronic device, and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130140489A KR102206060B1 (ko) 2013-11-19 2013-11-19 전자 장치의 효과 디스플레이 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150057307A KR20150057307A (ko) 2015-05-28
KR102206060B1 true KR102206060B1 (ko) 2021-01-21

Family

ID=53172848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140489A KR102206060B1 (ko) 2013-11-19 2013-11-19 전자 장치의 효과 디스플레이 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US9947137B2 (ko)
KR (1) KR102206060B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037077B2 (en) * 2016-06-21 2018-07-31 Disney Enterprises, Inc. Systems and methods of generating augmented reality experiences
US10388072B2 (en) * 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
US11210826B2 (en) 2018-02-02 2021-12-28 Disney Enterprises, Inc. Systems and methods to provide artificial intelligence experiences
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
DK180684B1 (en) * 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
CN111124579B (zh) * 2019-12-24 2023-12-19 北京金山安全软件有限公司 一种特效渲染方法、装置、电子设备及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905296A (en) 1986-07-22 1990-02-27 Schlumberger Systems & Services, Inc. System for shape recognition
US5588048A (en) * 1992-07-31 1996-12-24 800 Adept, Inc. Geographically mapped telephone routing method and system
US6665677B1 (en) * 1999-10-01 2003-12-16 Infoglide Corporation System and method for transforming a relational database to a hierarchical database
US20030174147A1 (en) * 2001-08-13 2003-09-18 David Jaffe Device, system and method for simulating a physical system
US7774815B1 (en) * 2002-09-30 2010-08-10 Arris Group, Inc. Context-sensitive interactive television ticker
KR20060021001A (ko) 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
US9403087B2 (en) * 2008-06-09 2016-08-02 Disney Enterprises, Inc. System and method of providing access to virtual spaces that are associated with physical analogues in the real world
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
KR101129192B1 (ko) * 2010-05-11 2012-03-26 한국항공대학교산학협력단 이동 통신 시스템 및 방송시스템에서 모바일 아이피 텔레비젼 서비스 제공 장치 및 방법
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
JP5735128B2 (ja) 2010-12-02 2015-06-17 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実システム
KR101216222B1 (ko) * 2011-01-14 2012-12-28 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
KR101176743B1 (ko) 2011-02-23 2012-08-23 숭실대학교산학협력단 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
KR101170490B1 (ko) 2011-06-13 2012-08-01 주식회사 맥스트 마커리스 환경에서 증강 현실 오브젝트 인식 장치 및 방법
US9275148B1 (en) * 2011-09-23 2016-03-01 Shauki Elassaad System and method for augmented browsing and knowledge discovery
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
KR101861590B1 (ko) * 2011-10-26 2018-05-29 삼성전자주식회사 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US9310882B2 (en) * 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
US20130317912A1 (en) * 2012-05-09 2013-11-28 William Bittner Advertising in Augmented Reality Based on Social Networking
US10540674B2 (en) * 2012-05-11 2020-01-21 Group One Thousand One, Llc Systems and methods for administration of financial products
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices
US20140047334A1 (en) * 2012-08-09 2014-02-13 Sap Ag Computer application learning solution
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9256962B2 (en) * 2013-01-23 2016-02-09 Orca Health Inc. Personalizing medical conditions with augmented reality
JP2014191688A (ja) * 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット

Also Published As

Publication number Publication date
KR20150057307A (ko) 2015-05-28
US9947137B2 (en) 2018-04-17
US20150138234A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
KR102360453B1 (ko) 카메라 설정 방법 및 장치
KR102187255B1 (ko) 전자 장치의 디스플레이 방법 및 그 전자 장치
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
US9602286B2 (en) Electronic device and method for extracting encrypted message
KR102327779B1 (ko) 이미지 처리 방법 및 장치
US20150324070A1 (en) Apparatus and method for providing user interface
EP3101578B1 (en) Electronic device for performing personal authentication and method thereof
KR102220447B1 (ko) 입력 처리 방법 및 그 전자 장치
US10999501B2 (en) Electronic device and method for controlling display of panorama image
US9668114B2 (en) Method for outputting notification information and electronic device thereof
KR102140290B1 (ko) 입력 처리 방법 및 그 전자 장치
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
US10216404B2 (en) Method of securing image data and electronic device adapted to the same
KR102193704B1 (ko) 전자 장치의 락 스크린 디스플레이 방법 및 그 전자 장치
KR20150073354A (ko) 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치
US20190251394A1 (en) Method and apparatus for continuously displaying images on basis of similarity of images
US20170094219A1 (en) Method and electronic device for providing video of a specified playback time
EP3021250A1 (en) Electronic device and method for suggesting response manual in occurrence of denial
KR20150086976A (ko) 객체 표시 제어 방법 및 그 전자 장치
EP3131031A1 (en) Content security processing method and electronic device supporting the same
US10114542B2 (en) Method for controlling function and electronic device thereof
KR20160068514A (ko) 터치 입력을 제어하는 전자 장치 및 방법
KR102216656B1 (ko) 이미지 처리 방법 및 그 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right