KR102173106B1 - 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법 - Google Patents

증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR102173106B1
KR102173106B1 KR1020130049621A KR20130049621A KR102173106B1 KR 102173106 B1 KR102173106 B1 KR 102173106B1 KR 1020130049621 A KR1020130049621 A KR 1020130049621A KR 20130049621 A KR20130049621 A KR 20130049621A KR 102173106 B1 KR102173106 B1 KR 102173106B1
Authority
KR
South Korea
Prior art keywords
subject
image
module
electronic system
augmentation
Prior art date
Application number
KR1020130049621A
Other languages
English (en)
Other versions
KR20130124897A (ko
Inventor
제프 빈
윤 우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201380024211.2A priority Critical patent/CN104303130B/zh
Priority to PCT/KR2013/003940 priority patent/WO2013168954A1/en
Priority to IN2455MUN2014 priority patent/IN2014MN02455A/en
Priority to EP13166840.2A priority patent/EP2662803B1/en
Priority to US14/043,802 priority patent/US9082987B2/en
Publication of KR20130124897A publication Critical patent/KR20130124897A/ko
Application granted granted Critical
Publication of KR102173106B1 publication Critical patent/KR102173106B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K85/00—Organic materials used in the body or electrodes of devices covered by this subclass
    • H10K85/60—Organic compounds having low molecular weight
    • H10K85/631—Amine compounds having at least two aryl rest on at least one amine-nitrogen atom, e.g. triphenylamine
    • H10K85/633—Amine compounds having at least two aryl rest on at least one amine-nitrogen atom, e.g. triphenylamine comprising polycyclic condensed aromatic hydrocarbons as substituents on the nitrogen atom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/11—OLEDs or polymer light-emitting diodes [PLED] characterised by the electroluminescent [EL] layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/14—Carrier transporting layers
    • H10K50/15—Hole transporting layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/14—Carrier transporting layers
    • H10K50/16—Electron transporting layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/17—Carrier injection layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/17—Carrier injection layers
    • H10K50/171—Electron injection layers
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K85/00—Organic materials used in the body or electrodes of devices covered by this subclass
    • H10K85/40—Organosilicon compounds, e.g. TIPS pentacene
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K85/00—Organic materials used in the body or electrodes of devices covered by this subclass
    • H10K85/60—Organic compounds having low molecular weight
    • H10K85/631—Amine compounds having at least two aryl rest on at least one amine-nitrogen atom, e.g. triphenylamine
    • H10K85/636—Amine compounds having at least two aryl rest on at least one amine-nitrogen atom, e.g. triphenylamine comprising heteroaromatic hydrocarbons as substituents on the nitrogen atom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

피사체를 검출하기 위해 영상을 스캔하는 단계와, 영상 안의 피사체를 움직이기 위한 잠재적 조정을 검출하는 단계 및 추천되는 잠재적 조정을 추천하고 디바이스 상에 디스플레이하기 위한 증강사항을 선택하는 단계를 포함하는 전자 시스템 동작 방법이 제공된다.

Description

증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법{Electronic System With Augmented Reality Mechanism and Method of Operation Thereof}
본 발명은 전자 시스템에 관한 것으로서, 보다 상세하게는, 증강현실을 제공하는 전자 시스템에 관한 것이다.
개인용 휴대제품 및 산업용 전자 제품, 특히 전자 시스템, 휴대 전화기, 디지털 카메라, 디지털 캠코더, PDA(Portable Digital Assistant) 및 상기 기기가 조합된 기기와 같은 클라이언트 디바이스들은 보다 향상된 수준의 디스플레이 기능을 제공하고 있다. 현존 기술에 대한 연구 개발은 다양한 방향으로 진행될 수 있다.
새로운 디스플레이 기술을 이용하기 위한 다양한 해결수단들이 있다. 전자 시스템은 차량, 노트북, 핸드헬드 디바이스 및 다른 휴대형 제품들과 함께 이용될 수 있다. 오늘날, 이러한 시스템들은 경쟁이 심한 시장 내에서 유용한 정보, 사용자 서비스 또는 제품들을 적절하게 디스플레이할 필요가 있다.
따라서, 사용자에게 유용한 도움말, 정보, 설명서 등을 디스플레이할 수 있는 전자 시스템이 필요하다. 지속적인 상업적 경쟁력 증가의 측면에서, 소비자의 기대 수준의 증가와 시장에서 제품의 차별점을 드러낼 기회가 줄어듦에 따라서, 이러한 문제들에 대한 해결 방법을 찾는 것이 점점 더 중요해지고 있다. 추가적으로, 비용의 감소, 효율성과 성능의 증가, 및 경쟁력 확보의 필요성은 이러한 문제점들에 대한 해결 방법을 찾는 것이 점점 더 시급해지도록 한다. 이러한 문제점들에 대한 해결 방안을 오랜 기간 동안 찾았으나, 종래에는 해결 방법이 제시되지 못하였다. 따라서, 이러한 문제들에 대한 해결책은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에 의해 제시되지 못하였다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 전자 시스템 동작 방법은, 피사체를 검출하기 위해 영상을 스캔하는 단계와, 영상 안의 피사체를 움직이기 위한 잠재적 조정을 검출하는 단계 및 잠재적 조정을 추천하고 디바이스 상에 디스플레이하기 위한 증강사항을 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 잠재적 조정을 검출하는 단계는, 피사체의 배치 변경, 조명 변경 또는 크기 변경에 대한 플래그(flag)를 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 전자 시스템 동작 방법은, 증강사항을 선택하기 위해 조준 조정, 위치 조정, 음영 조정, 줌 조정, 또는 그 조합을 선택하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 증강사항을 선택하는 단계는 화살표, 심볼, 정보를 제공하는 선, 텍스트, 컴퍼스 지점, 눈금 또는 그 조합을 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 증강사항을 선택하는 단계는 잠재적 증강을 상관관계 테이블 내의 증강사항과 매칭하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 전자 시스템 동작 방법은, 피사체를 검출하기 위해 영상을 스캔하는 단계와, 영상에 대한 사진 모드를 선택하는 단계와, 영상 내의 피사체를 움직이기 위한 잠재적 조정을 검출하는 단계 및 추천되는 잠재적 조정을 추천하고 디바이스 상에 디스플레이하기 위한 증강사항을 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 영상을 스캔하는 단계는 피사체를 검출하기 위해 줌 아웃된(zoomed out) 영상 및 줌 인된(zoomed in) 영상을 스캔하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 전자 시스템 동작 방법은, 증강사항을 선택하기 위한 파노라마 설정, 일반 설정, 또는 사용설명 설정을 검출하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 영상을 스캔하는 단계는 얼굴 특징, 신체 특징, 무생물 특징 또는 그 조합을 검출하기 위해 영상을 스캔하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 잠재적 조정을 검출하는 단계는 영상을 배치 가이드라인, 조명 가이드라인, 또는 그 조합과 비교하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자 시스템은 영상을 스캔하고 피사체를 검출하기 위한 피사체 식별 모듈과, 피사체 식별 모듈과 연결되고, 잠재적 조정을 검출하고 영상 내의 피사체를 움직이기 위한 잠재적 조정 모듈 및 잠재적 조정 모듈과 연결되고, 증강사항을 선택하고 증강사항을 디바이스 상에 디스플레이하기 위한 잠재적 조정을 추천하기 위한 증강사항 선택 모듈을 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 잠재적 조정 모듈은 피사체의 변경, 조명 변경 또는 크기 변경에 대한 플래그(flag)를 설정하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 전자 시스템은, 잠재적 조정 모듈과 연결되고, 상기 증강사항을 선택하기 위해 조준 조정, 위치 조정, 음영 조정, 줌 조정, 또는 그 조합을 선택하는 변경 모듈을 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 증강사항 선택 모듈은 화살표, 심볼, 정보를 제공하는 선, 텍스트, 컴퍼스 지점, 눈금 또는 그 조합을 선택할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 증강사항 선택 모듈은 잠재적 증강을 상관관계 테이블 내의 증강사항과 매칭할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 전자 시스템은, 피사체 식별 모듈과 연결되고, 영상에 대한 사진 모드를 선택하는 모드 선택 모듈을 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 피사체 식별 모듈은 피사체를 검출하기 위해 줌 아웃된(zoomed out) 영상 및 줌 인된(zoomed in) 영상을 스캔할 수 있다
또한, 본 발명의 또 다른 일 실시예에 따르면, 증강사항 선택 모듈은 증강사항을 선택하기 위한 파노라마 설정, 일반 설정, 또는 사용설명 설정을 검출할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 피사체 식별 모듈은 얼굴 특징, 신체 특징, 무생물 특징 또는 그 조합을 검출하기 위해 영상을 스캔할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 잠재적 조정 모듈은 영상을 배치 가이드라인, 조명 가이드라인, 또는 그 조합과 비교할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 시스템의 기능적 블록도이다.
도 2는 조준 증강사항(aiming augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다.
도 3은 역광 증강사항(backlight augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다.
도 4는 파노라마 시점 증강사항(starting panorama augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다.
도 5는 파노라마 종점 증강사항(ending panorama augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자 시스템을 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따라 전자 시스템을 제어하는 프로세스를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 피사체 식별 모듈을 제어하는 프로세스를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 영상 최적화 모듈을 제어하는 프로세스를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라 증강사항 선택 모듈을 제어하는 프로세스를 나타낸 도면이다.
도 11은 본 발명의 다른 일 실시예에 따른 전자 시스템이 동작하는 프로세스를 나타낸 순서도이다.
도 12는 본 발명의 일 실시예에 따른 전자 시스템을 간단히 도시한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 어떤 부분이 다른 부분과 통신할 수 있는 상태인 경우를 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면은 본 발명의 실시예를 설명하기 위하여 개략적으로 도시될 수 있으며, 몇몇 치수는 보다 명확한 표현을 위해 과장될 수 있다. 이와 유사하게, 도면의 상당 부분은 임의로 표현될 수 있다.
본 명세서에서 사용되는 “모듈”이라는 용어는 용어가 사용된 문맥에 따라서 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드 코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 전자 시스템의 기능적 블록도이다. 전자 시스템(100)은 클라이언트 또는 서버와 같은 제 1 디바이스(102), 클라이언트 또는 서버와 같은 제 2 디바이스(106)를 포함할 수 있고, 제 1 디바이스(102) 및 제 2 디바이스(106)은 유선 또는 무선 네트워크인 통신 경로(104)를 통해 연결될 수 있다.
예를 들어, 제 1 디바이스(102)는 다양한 종류의 디바이스로 구성될 수 있고 영상을 획득할 수 있는 휴대 전화기, PDA(Personal Digital Assistant), 노트북 컴퓨터, 다른 여러 기능을 가진 모바일 통신 또는 엔터테인먼트 디바이스일 수 있다. 또한, 제 1 디바이스(102)는 텔레비전 또는 데스크탑 컴퓨터 모니터와 같은 디지털 디스플레이를 가진 가전제품과 같은 고정 디바이스일 수 있다. 제 1 디바이스(102)는 단독 디바이스(standalone device) 또는 탈 것, 예를 들어 자동차, 트럭, 버스 또는 기차와 결합된 디바이스일 수 있다. 제 1 디바이스(102)는 제 2 디바이스(106)와 통신하기 위해 통신 경로(104)와 결합할 수 있다. 결합은 물리적 연결으로 정의될 수 있다.
설명을 위하여, 제 1 디바이스(102)가 다른 형태의 컴퓨팅 디바이스가 될 수 있다 하더라도, 전자 시스템(100)의 제 1 디바이스(102)가 모바일 컴퓨팅 디바이스인 것으로 설명한다. 예를 들어, 제 1 디바이스(102)는 서버팜(server farm) 또는 데스크탑 컴퓨터와 같이 모바일 컴퓨팅 디바이스가 아닐 수 있다.
제 2 디바이스(106)는 다양한 집중화 또는 분산화된 컴퓨팅 디바이스일 수 있다. 예를 들어, 제 2 디바이스(106)는 컴퓨터, 그리드 컴퓨팅 자원(grid-computing resources), 가상 컴퓨터 자원(virtualized computer resource), 클라우드 컴퓨팅 자원(cloud computing resource), 라우터, 스위치, P2P 분산 컴퓨팅 디바이스(peer-to-peer distributed computing devices), 또는 그 조합일 수 있다.
제 2 디바이스(106)는 단일 공간에 집중화되거나, 다른 공간에 분산되거나, 원거리 네트워크 내에 내장될 수 있다. 제 2 디바이스(106)는 제 1 디바이스(102)와 통신하기 위해 통신 경로(104)에 결합하기 위한 수단을 가질 수 있다. 제 2 디바이스(106)는 제 1 디바이스(102)로 표현된 클라이언트 형태의 디바이스일 수 있다.
다른 예로, 제 1 디바이스(102)는 본체(mainframe), 서버, 클러스터 서버, 랙 마운트된 서버(rack mounted server), 또는 블레이드 서버(blade server)와 같은 특수화된 기기일 수 있다. 다른 예로, 제 2 디바이스(106)는 휴대용 컴퓨팅 디바이스, 신-클라이언트(thin client), 노트북, 넷북, 스마트폰, PDA(Personal digital assistant), 또는 휴대전화기와 같은 특수화된 기기일 수 있다.
설명을 위하여, 전자 시스템(100)은 제 2 디바이스(106)를 모바일이 아닌 컴퓨팅 디바이스(non-mobile device)로 설명될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제 2 디바이스(106)는 노트북 컴퓨터, 다른 클라이언트 디바이스, 또는 다른 형태의 클라이언트 디바이스일 수도 있다. 제 2 디바이스(106)는 독립형 디바이스(standalone device) 또는 탈 것에 결합된 디바이스일 수 있다.
또한, 전자 시스템(100)은 제 1 디바이스(102), 제 2 디바이스(106) 및 통신 경로(104) 간에 다른 구획이 있을수 있다 하더라도, 전자 시스템은 통신 경로(104)의 단말(end point)로서의 제 2 디바이스(106) 및 제 1 디바이스(102)로 나타내어질 수 있다. 예를 들어, 제 1 디바이스(102), 제 2 디바이스(106), 및 그 조합은 통신 경로(104)의 일부분, 제 1 디바이스(102), 제 2 디바이스(106), 또는 그 조합에 의해 제공되는 분산 컴퓨팅에서의 클라우드 컴퓨팅의 일부일 수 있다.
통신 경로(104)는 다양한 형태의 네트워크일 수 있다. 예를 들어, 통신 경로(104)는 무선 통신, 유선 통신, 광통신, 초음파통신 또는 그 조합을 포함할 수 있다. 위성 통신, 이동 통신, 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association standard), 와이파이(Wireless Fidelity), WiMAX(worldwide interoperability for microwave access)가 통신 경로(104)에 포함될 수 있는 무선 통신의 예가 될 수 있다. 이더넷, DSL(Digital Subscriber Line), FTTH(Fiber To The Home), 및 POTS(Plain Old Telephone Service)가 통신 경로(104)에 포함될 수 있는 유선 통신의 예가 될 수 있다.
또한, 통신 경로(104)는 많은 수의 네트워크 토폴로지 및 거리에 걸쳐 형성될 수 있다. 예를 들어, 통신 경로(104)는 직결 접속(direct connection), PAN(Personal Area Network), LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), 및 그 조합을 포함할 수 있다.
도 2는 조준 증강사항(aiming augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다. 제 1 디바이스(102)는 디스플레이(202)를 포함할 수 있다. 디스플레이(202)는 피사체(204)를 영상으로 표시할 수 있다.
피사체(204)는 사진이나 동영상 내의 사람, 건물, 동물, 산, 또는 몇몇의 조합과 같은 엔티티들(entities)일 수 있다. 제 1 디바이스(102)는 디스플레이(202) 내의 피사체가 움직이는 경우를 위해 잠재적 조정(206)이 필요할 수 있다. 잠재적 조정(206)은 피사체(204)를 디스플레이(202) 내로 이동하도록 하기 위한 움직임을 의미한다. 상기 움직임은 제 1 디바이스(102)의 위치를 변경하거나, 제 1 디바이스(102)의 하나 이상의 축에 대해 제 1 디바이스(102)를 회전(pivot)하거나, 제 1 디바이스(102)의 초점 거리를 수정하는 것을 포함할 수 있다.
피사체(204)가 디스플레이(202) 상에 표시되기에 적절하지 못한 크기인 경우, 잠재적 조정(206)은 크기 변경(208)일 수 있다. 피사체(204)가 크롭(crop)되거나 아래에 자세히 설명된 것과 같이 중심으로 모아진 것과 같이 피사체(204)에 대해 프레임이 적절하지 못하게 설정된 경우, 잠재적 조정(206)은 배치 변경(composition change)(201)일 수 있다.
제 1 디바이스(102)는 디스플레이(202)에 감지된 피사체의 잠재적 조정(206)을 추천하기 위한 증강사항(augmentation)(212)을 제공한다. 증강사항(212)은 사용자(214)가 피사체(204)에 대한 잠재적 조정(206)을 할 수 있도록 시각적인 표시를 추가하는 것을 의미한다.
증강사항(212)은 화살표(218), 텍스트(220), 또는 정보를 제공하는 선(222)과 같은 그래픽 오버레이(graphical overlay)일 수 있다. 증강사항(212)은 피사체(204)에 대한 잠재적 조정(206)들을 추천하기 위해 조합되어 사용될 수 있다. 예를 들어, 화살표(218)는 피사체(204)에 대한 잠재적 조정으로 추천된 배치 변경(210)을 지시하기 위하여 텍스트(220)와 결합될 수 있다.
다른 예로, 정보를 제공하는 선(222)은 피사체(204)를 둘러싸고 디스플레이(202) 내의 피사체(204)에 대한 배치 변경(210)을 위해 디스플레이 상의 영상(226)의 경계(224)를 나타낼 수 있다. 정보를 제공하는 선(222)은 피사체(204)에 대하여 정적으로 위치할 수 있다.
또한, 증강사항(212)은 디스플레이(202) 내의 피사체(202)의 크기 변경(208)을 추천할 수 있다. 예를 들어, 증강사항(212)은 디스플레이(202) 내의 피사체(204)의 크기 변경을 위해 사용자(214)가 “줌 아웃(ZOOM OUT)”을 할 것을 지시하는 텍스트(220)일 수 있다. 증강사항(212)은 디스플레이(202) 내에 제 1 디바이스(102)에 의해 캡쳐된 피사체(204)를 움직이기 위한 잠재적 조정(206)을 추천함으로써, 사용자(214)가 사진 또는 동영상을 적절하게 배치하도록 돕거나 지시할 수 있다.
도 3은 역광 증강사항(backlight augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다. 제 1 디바이스(102)는 피사체(204)와 증강사항(212)를 표시하는 디스플레이(202)를 포함할 수 있다.
제 1 디바이스(102)는 디스플레이(202) 내의 피사체(204)를 이동하기 위한 잠재적 조정(206)을 추천하기 위한 증강사항(212)을 디스플레이할 수 있다. 잠재적 조정(206)은 글레어(glare), 렌즈-플래시(lens-flash), 또는 역광 조명(backlighting) 등으로 인해 피사체가 명확하지 않은 경우 조명 변경(302)을 위해 피사체(204)를 움직이는 것을 포함할 수 있다. 또한, 피사체(204)가 크롭(crop)되거나 아래에 자세히 설명된 것과 같이 중심으로 모아진 것과 같이 피사체(204)에 대해 프레임이 적절하지 못하게 설정된 경우, 잠재적 조정(206)은 배치 변경(composition change)(201)일 수 있다.
증강사항(212)은 화살표(218), 텍스트(220), 정보를 제공하는 선(222), 또는 심볼(symbol)(304)과 같은 그래픽 오버레이(Graphic Overlay)일 수 있다. 예를 들어, 증강사항(212)은 화살표(218)와 “역광입니다. 이 방향으로 움직여보세요”라는 텍스트(220)를 디스플레이함으로써 조명 변경(302)를 추천할 수 잇다.
다른 예로, 제 1 디바이스(102)는 조명 변경(302)을 추천하기 위해 상기 화살표(218) 및 텍스트(220)와 심볼(304)의 조합을 더 표시할 수 있다. 심볼(304)은 램프, 태양, 반사광과 같은 광원을 표현하는 것일 수 있다. 그리고 심볼(304)은 피사체(204)를 어둡게 하는 셰이딩(shading)이나 해칭(hatching)과 같은 피사체(204)에 대한 상징적 효과를 포함할 수 있다. 화살표(218), 텍스트(220) 및 심볼(304)의 조합에 의해 사용자(214)에게 피사체(204)에 적절하게 조명을 가하기 위해 어떻게 조명 변경(302)을 해야 할 지 알릴 수 있다.
다른 예로, 증강사항(212)은 화살표(218)와 “이렇게 조정하세요”라는 텍스트를 디스플레이함으로써 피사체(204)에 대한 배치 변경(210)을 추천할 수 있다. 제 1 디바이스(102)는 피사체(204)에 대한 배치 변경(210)을 추천하기 위해 화살표(218) 및 텍스트(220)와 심볼(304)의 조합을 더 표시할 수 있다. 심볼(304)은 능선, 수평선, 담장과 같은 수평 경계선(306)을 표시하는 것일 수 있다. 수평 경계선(306)은 주로 디스플레이(202)의 일부분을 가로지르는 피사체(204) 중 하나로 정의될 수 있다.
예를 들어, 수평 경계선(306)으로 표현되는 심볼(304)은 화살표(218)와 조합되어 주로 세 번째 수평선(308)으로 선호되는 수평 경계선(306)에 대한 배치 변경(210)을 추천할 수 있다.
정보를 제공하는 선(222)은 또한 피사체(204)의 중심선(310)을 지시하기 위해 사용될 수 있고, 불스아이 신드롬(bulls-eye syndrome)을 피하기 위해 피사체(204)가 중심에서 약간 벗어나 세 번째 수직 선(312)에 위치하도록 하는 피사체(204)에 대한 배치 변경(210)을 제한하는 화살표(218)를 포함할 수 있다. 화살표(218), 텍스트(220), 및 심볼(304)의 조합에 의해 사용자에게 제 1 디바이스(102)의 디스플레이(202) 내에 피사체(204)에 대한 배치 변경(210)을 어떻게 수행하여 적절하게 프레임을 설정할 수 있는지 알려 줄 수 있다.
증강사항(212)은 제 1 디바이스(102)에 의해 캡쳐된 디스플레이(202) 상의 피사체(204)에 대한 잠재적 조정(206)을 추천함으로써, 사용자에게 사진 또는 동영상 내의 적절한 배치를 돕거나 지시할 수 있다. 증강사항(212)는 추가적으로 사용자에게 제 1 디바이스(102)에 의해 캡쳐된 디스플레이(202) 상의 피사체(204)에 대한 잠재적 조정(206)을 추천함으로써, 사용자에게 적절한 조명에 대해 지시하거나 적절한 조명을 설정하는데 도움을 줄 수 있다.
도 4는 파노라마 시점 증강사항(starting panorama augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다. 제 1 디바이스(102)는 피사체(204)를 표시하는 디스플레이(202)를 포함한다. 피사체(204)는 파노라마 뷰(panoramic view)(402)의 일부분인 디스플레이(202) 내의 캡쳐된 건물, 풍경 또는 사람들일 수 있다.
증강사항(212)은 컴퍼스 지점(compass point)(404), 눈금(hatch mark)(406), 및 텍스트(220)와 같은 그래픽 오버레이일 수 있고, 피사체(204)가 디스플레이(202)에 온전히 표시되지 않았으므로 잠재적 조정(206)을 표시할 수 있다. 예를 들어, 디스플레이(202)에 표시된 눈금(406), 컴퍼스 지점(404), 피사체(204)가 디스플레이(202) 상에서 이동하는데 반해, 디스플레이(202)에 표시된 증강사항(212)은 디스플레이 상(202)에서 고정된 텍스트(202)를 포함할 수 있다. 텍스트(202)는 피사체에 대한 파노라마 캡쳐(panoramic capture)를 성공적으로 완료하기 위해 업데이트된 지시사항뿐만 아니라 파노라마 스윕(panoramic sweep)을 통한 진행을 지시할 수 있다.
눈금(406) 및 컴퍼스 지점(404)는, 예를 들어, 디스플레이(202) 내에서 피사체(204)의 정밀한 움직임을 지시하고 제 1 디바이스(102)의 적절하거나 적절하지 못한 움직임에 대해 사용자(214)에게 피드백을 제공하기 위해 피사체(204)에 대해 상대적으로 고정될 수 있다. 증강사항(212)은 파노라마 사진을 구성하기 위한 잠재적 조정(206)을 적절히 구현하기 위해 사용자를 돕거나 사용자에게 지시를 할 수 있다.
도 5는 파노라마 종점 증강사항(ending panorama augmentation)을 표시하는 제 1 디바이스를 나타낸 도면이다. 제 1 디바이스(102)는 피사체(204) 및 증강사항(212)을 표시하는 디스플레이(202)를 가진다. 증강사항(212)은 컴퍼스 지점(compass point)(404), 눈금(406), 및 제 1 디바이스(102)와 함께 피사체(204)를 360도 만큼 패닝(panning)하면서 촬영한 패닝 샷(panning shot)의 “종료”를 지시하는 텍스트를 포함할 수 있다. 패닝 샷이란 카메라가 패닝하면서 피사체를 포착한 장면을 의미한다. 패닝이란 카메라가 삼각대 등에 고정되어 있는 상태에서 카메라를 수평 이동하는 것을 의미한다.
도 6은 본 발명의 일 실시예에 따른 전자 시스템을 도시한 블록도이다. 전자 시스템(100)은 제 1 디바이스(102), 통신 경로(104), 및 제 2 디바이스(106)을 포함할 수 있다. 제 1 디바이스(102)는 제 2 디바이스(106)로 통신 경로(104)를 거쳐 제 1 디바이스 송신(608) 내에 포함된 정보를 전송할 수 있다. 제 2 디바이스(106)는 제 1 디바이스(102)로 통신 경로(104)를 거쳐 제 2 디바이스 전송(610)에 포함된 정보를 전송할 수 잇다.
본 명세서에서 도시된 전자 시스템(100)은 제 1 디바이스(102)를 클라이언트 디바이스로 나타내었다. 다만, 본 발명이 이에 한정되는 것은 아니며, 제 1 디바이스(102)는 다른 형태의 디바이스일 수 있다. 예를 들어, 제 1 디바이스(102)는 서버일 수 있다.
본 명세서에서 도시된 전자 시스템(100)은 제 2 디바이스(102)를 서버로 나타내었다. 다만, 본 발명이 이에 한정되는 것은 아니며, 제 1 디바이스(102)는 다른 형태의 디바이스일 수 있다. 예를 들어, 제 1 디바이스(102)는 클라이언트 디바이스일 수 있다.
이하에서는, 본 발명을 간단히 설명하기 위하여, 제 1 디바이스(102)를 클라이언트 디바이스로서 설명하고, 제 2 디바이스(106)를 서버로 설명한다. 본 발명은 이러한 디바이스 형태에 제한되는 것은 아니다. 이러한 형태는 본 발명의 일 실시예 중 하나이다.
제 1 디바이스(102)는 제 1 제어부(612), 제 1 저장부(614), 제 1 통신부(616), 제 1 사용자 인터페이스(618), 위치부(620) 및 센서부(622)를 포함할 수 있다. 제 1 제어부(612)는 제 1 제어 인터페이스(624)를 포함할 수 있다. 제 1 제어부(612)는 지능화된 전자 시스템(100)을 제공하기 위해 제 1 소프트웨어(628)를 실행할 수 있다. 제 1 제어부(612)는 다양한 방법으로 구현될 수 있다. 예를 들어, 제 1 제어부(612)는 프로세서, 임베디드 프로세서, 마이크로 프로세서, 하드웨어 제어 논리회로, 하드웨어 유한 상태 기계(Finite State Machine; FSM), 디지털 신호 프로세서(Digital Signal Processor; DSP), 및 그 조합일 수 있다. 제 1 제어 인터페이스(624)는 제 1 제어부(612)와 제 1 디바이스(102)의 다른 유닛들 간의 통신을 위해 사용될 수 있다. 또한, 제 1 제어 인터페이스(624)는 제 1 디바이스(102)의 외부 유닛과 통신을 수행하기 위해 이용될 수도 있다.
제 1 제어 인터페이스(624)는 다른 유닛 또는 다른 외부 자원으로부터 정보를 수신할 수 있다. 또는 제 1 제어 인터페이스(624)는 다른 유닛 또는 다른 외부 자원으로 정보를 전송할 수 있다. 외부 자원 및 외부 목적 디바이스(external destination)는 제 1 디바이스(102)와 물리적으로 분리된 자원 또는 목적 디바이스를 지칭할 수 있다.
제 1 제어 인터페이스(624)는 다양한 방법으로 구현되고 제 1 제어 인터페이스(624)에 연결된 다른 유닛이나 외부 유닛들에 따라서 다르게 구현될 수 있다. 예를 들어, 제 1 제어 인터페이스(624)는 압력 센서, 관성 센서, 미세기계전자 시스템(MEMS), 광 회로, 도파관(waveguide), 무선 회로, 유선 회로 또는 그 조합을 통해 구현될 수 있다.
위치부(620)는, 예를 들어, 제 1 디바이스의 위치 정보, 현재 진로, 현재 속도를 생성할 수 있다. 위치부(620)는 다양한 방법으로 구현될 수 있다. 예를 들어, 위치부(620)는 GPS(Global Positioning System)의 적어도 일부분, 관성 항법 장치(Inertial Navigation System), Cellular-tower Location System, Pressure Location System 또는 그 조합을 통해 구현될 수 있다.
위치부(620)는 위치 인터페이스(634)를 포함할 수 있다. 위치 인터페이스(634)는 위치부(620)와 제 1 디바이스(102) 내의 다른 유닛들 간의 통신을 위해 이용될 수 있다. 또한, 위치 인터페이스(634)는 제 1 디바이스(102)가 외부와 통신을 하기 위해 이용될 수 있다.
위치 인터페이스(634)는 다른 유닛 또는 자른 외부 자원으로부터 정보를 수신할 수 있다. 또는 위치 인터페이스(634)는 다른 유닛 또는 다른 외부 자원으로 정보를 전송할 수 있다. 외부 자원 및 외부 목적 디바이스(external destination)는 제 1 디바이스(102)와 물리적으로 분리된 자원 또는 목적 디바이스로 언급될 수 있다.
위치 인터페이스(634)는 위치 인터페이스(634)와 연결된 다른 유닛 또는 외부 유닛에 따라 다르게 구현될 수 있다. 위치 인터페이스(634)는 제 1 제어 인터페이스(624)와 유사한 기술에 의해 구현될 수 있다.
센서부(622)는 제 1 디바이스(102)의 주변 환경에 대한 정보를 생성할 수 있다. 센서부(622)는 가속도계(636), 컴퍼스(638), 시각 센서(visual sensor)(640), 또는 임의의 조합을 포함할 수 있다. 센서부(622)는, 예를 들어 비틀림, 가속도, 진동 또는 방향 등을 포함하는 움직임 정보를 생성할 수 있다.
제 1 저장부(614)는 제 1 소프트웨어(628)를 저장할 수 있다. 제 1 저장부(614)는 또한 광고, 네비게이션 라우팅 입력정보, POI(Point Of Interest) 정보 또는 그 조합과 같은 관련 정보를 저장할 수 있다.
제 1 저장부(614)는 휘발성 메모리, 비휘발성 메모리, 내장 메모리, 외장 메모리 또는 그 조합일 수 있다. 예를 들어, 제 1 저장부(614)는 비휘발성 RAM(NVRAM), 플래시 메모리, 디스크 저장 장치와 같은 비휘발성 메모리이거나 정적 램(SRAM)과 같은 휘발성 메모리일 수 있다.
제 1 저장부(614)는 제 1 저장 인터페이스(626)을 포함할 수 있다. 제 1 저장 인터페이스(626)는 제 1 저장부(614)와 제 1 디바이스(102) 내의 다른 유닛들 간의 통신을 위해 이용될 수 있다. 또한 제 1 저장 인터페이스(626)는 제 1 디바이스(102)가 외부와 통신을 하기 위해 이용될 수 있다.
제 1 저장 인터페이스(626)는 다른 유닛 또는 외부 자원으로부터 정보를 수신하거나, 전송할 수 있다. 외부 자원 또는 외부 목적 디바이스는 제 1 디바이스(102)와 물리적으로 분리된 자원 또는 목적 디바이스로 언급될 수 있다.
제 1 저장 인터페이스(626)는 제 1 저장부(614)와 연결된 다른 유닛들이나 외부 유닛들에 따라 다르게 구현될 수 있다. 제 1 저장 인터페이스(626)는 제 1 제어 인터페이스(624)와 유사한 기술을 통해 구현될 수 있다.
제 1 통신부(616)는 제 1 디바이스(102)가 외부 통신이 가능하도록 한다. 예를 들어, 제 1 통신부(616)는 제 1 디바이스(102)가 제 2 디바이스(106), 주변기기나 데스크탑 컴퓨터와 같은 부가 장치, 및 통신 경로(104)와 통신할 수 있도록 할 수 있다.
또한, 제 1 통신부(616)는 제 1 디바이스(102)가 통신 경로(104)의 일부로 기능하기 위해 통신 허브(hub)로 기능할 수 있으며, 통신 경로(104)의 단말로 한정되지 않는다. 제 1 통신부(616)는 통신 경로(104)와의 상호작용을 위해 마이크로 컴퓨터 또는 안테나와 같은 능동 컴포넌트(active component)와 수동 컴포넌트(passive component)를 포함할 수 있다.
제 1 통신부(616)는 제 1 통신 인터페이스(630)를 포함할 수 있다. 제 1 통신 인터페이스(630)는 제 1 통신부(616)와 제 1 디바이스(102) 내의 다른 유닛들과 통신하기 위해 이용될 수 있다. 또한, 제 1 통신 인터페이스(630)는 다른 유닛들과 정보를 송수신할 수 있다.
제 1 통신 인터페이스(630)는 제 1 통신부(616)와 연결된 다른 유닛들에 따라서 다르게 구현될 수 있다. 제 1 통신 인터페이스(630)는 제 1 제어 인터페이스(624)와 유사한 기술을 통해 구현될 수 있다.
제 1 사용자 인터페이스(618)는 도 2의 사용자(214)가 제 1 디바이스(102)와 상호작용 할 수 있도록 한다. 제 1 사용자 인터페이스(618)는 데이터와 통신 입력을 전달하기 위해 입력 장치 및 출력 장치를 포함할 수 있다. 제 1 사용자 인터페이스(618)의 입력 장치의 예로 키패드, 터치패드, 소프트키, 누름 스위치(depressible switch), 키보드, 마이크 또는 그 조합을 포함할 수 있다.
제 1 사용자 인터페이스(618)는 제 1 디스플레이 인터페이스(632)를 포함할 수 있다. 제 1 디스플레이 인터페이스(632)는 디스플레이, 프로젝터, 비디오 스크린, 스피커 또는 그 조합을 포함할 수 있다.
제 1 제어부(612)는 전자 시스템(100)에 의해 생성된 디스플레이 정보를 디스플레이하도록 제 1 디스플레이 인터페이스(632)를 동작시킬 수 있다. 또한, 제 1 제어부(612)는 위치부(620)로부터 수신된 위치 정보를 포함하여 전자 시스템(100)의 다른 기능들을 위하여 제 1 소프트웨어(628)를 실행할 수 있다. 제 1 제어부(612)는 제 1 통신부(616)를 경유하여 통신 경로(104)와 상호작용하기 위하애 제 1 소프트웨어(628)를 더 실행할 수 있다.
제 2 디바이스(106)는 제 1 디바이스(102)와 함께 여러 가지 디바이스의 실시 예에 있어서 최적화된 본 발명의 실시예를 구현할 수 있다. 제 2 디바이스(106)는 제 1 디바이스(102)에 비해 보다 높은 프로세싱 성능을 제공할 수 있다. 제 2 디바이스(106)는 제 2 제어부(644), 제 2 통신부(646), 및 제 2 사용자 인터페이스(648)를 포함할 수 있다.
제 2 사용자 인터페이스(648)는 사용자(214)가 제 2 디바이스(106)와 상호작용 할 수 있도록 한다. 제 2 사용자 인터페이스(648)는 입력 장치 및 출력 장치를 포함할 수 있다. 제 2 사용자 인터페이스(648)의 입력 장치의 예는 키패드, 터치패드, 소프트키, 누름 스위치(depressible switch), 키보드, 마이크 또는 그 조합을 포함할 수 있다. 제 2 사용자 인터페이스(648)의 출력 장치의 예는 제 2 디스플레이 인터페이스(650)를 포함할 수 있다. 제 2 디스플레이 인터페이스(650)는 디스플레이, 프로젝터, 비디오 스크린, 스피커 또는 그 조합을 포함할 수 있다.
제 2 제어부(644)는 지능화된 전자 시스템(100)을 제공하기 위해 제 2 소프트웨어(652)를 실행할 수 있다. 제 2 소프트웨어(652)는 제 1 소프트웨어(628)와 결합되어 동작할 수 있다. 제 2 제어부(644)는 제 1 제어부(612)에 비해 보다 높은 성능을 제공할 수 있다.
제 2 제어부(644)는 정보를 디스플레이하기 위해 제 2 사용자 인터페이스(648)를 동작시킬 수 있다. 또한, 제 2 제어부(644)는 통신 경로(104) 상에서 제 1 디바이스(102)와 통신하기 위한 제 2 통신부(646)의 동작을 포함하여 전자 시스템(100)의 다른 기능을 위해 제 2 소프트웨어(652)를 실행할 수 있다.
제 2 제어부(644)는 다양한 방법으로 구현될 수 있다. 예를 들어, 제 2 제어부(644)는 프로세서, 임베디드 프로세서, 마이크로 프로세서, 하드웨어 제어 논리회로, 하드웨어 유한 상태 기계(Finite State Machine; FSM), 디지털 신호 프로세서(Digital Signal Processor; DSP), 및 그 조합일 수 있다.
제 2 제어부(644)는 제 2 제어 인터페이스(654)를 포함할 수 있다. 제 2 제어 인터페이스(654)는 제 2 제어부(644)와 제 2 디바이스(106) 내의 다른 유닛들 간의 통신을 위해 사용될 수 있다. 또한, 제 2 제어 인터페이스(654)는 제 2 디바이스(106)의 외부 유닛과 통신을 수행하기 위해 이용될 수도 있다.
제 2 제어 인터페이스(654)는 여러 가지 방법으로 구현될 수 있으며, 제 2 제어 인터페이스(654)와 연결된 다른 유닛들이나 외부 유닛들에 따른 다른 구현 방법이 포함될 수 있다. 예를 들어, 제 2 제어 인터페이스(654)는 압력 센서, 관성 센서, 미세기계전자 시스템(MEMS), 광 회로, 도파관(waveguide), 무선 회로, 유선 회로 또는 그 조합을 통해 구현될 수 있다.
제 2 저장부(656)는 제 2 소프트웨어(652)를 저장할 수 있다. 또한, 제 2 저장부(656)는 광고, 네비게이션 라우팅 입력정보, POI 정보 또는 그 조합과 같은 관련 정보를 저장할 수 있다. 제 2 저장부(656)는 제 1 저장부(614)에 추가적인 저장용량을 보충하기 위한 저장 공간을 제공할 수 있다.
설명의 편의를 위하여 제 2 저장부(656)는 단일 구성으로 도시되었으나, 제 2 저장부는 분산된 저장 장치일 수 있다. 또한, 전자 시스템(100)은 단일 구조의 저장 시스템을 가지는 제 2 저장부(656)를 가지는 것으로 나타나 있으나, 전자 시스템(100)은 다른 설정의 제 2 저장부(656)를 가질 수 있는 것으로 해석되어야 한다. 예를 들어, 제 2 저장부(656)는 캐시, 주 메모리, 순환 미디어, 또는 오프라인 저장장치의 다른 수준을 포함하는 메모리 계층 시스템을 형성하는 다른 저장 기술을 통해 형성될 수 있다.
제 2 저장부(656)는 휘발성 메모리, 비휘발성 메모리, 내장 메모리, 외장 메모리 또는 그 조합일 수 있다. 예를 들어, 제 2 저장부(656)는 비휘발성 RAM(NVRAM), 플래시 메모리, 디스크 저장 장치와 같은 비휘발성 메모리이거나 정적 램(SRAM)과 같은 휘발성 메모리일 수 있다.
제 2 저장부(656)는 제 2 저장 인터페이스(658)를 포함할 수 있다. 제 2 저장 인터페이스(658)는 위치부(620) 및 제 2 디바이스(106)의 다른 유닛들 간의 통신을 위해 이용될 수 있다. 제 2 저장 인터페이스(658)는 제 2 디바이스(106)가 외부와 통신을 수행하기 위해 이용될 수 있다.
제 2 저장 인터페이스(658)는 다른 유닛들 또는 외부 자원으로부터 정보를 수신하거나, 또는 다른 유닛들 또는 외부 목적지에 정보를 전송할 수 있다. 외부 자원 또는 외부 목적지는 제 2 디바이스(106)와 물리적으로 떨어져 있는 자원 또는 목적지를 나타낸다.
제 2 저장 인터페이스(658)는 제 2 저장부(656)와 연결된 다른 유닛들 또는 외부 유닛들에 따라 다르게 구현될 수 있다. 제 2 저장 인터페이스(658)는 제 2 제어 인터페이스(654)와 유사한 기술을 통해 구현될 수 있다.
제 2 통신부(646)는 제 2 디바이스(106)가 외부 통신을 수행할 수 있도록 한다. 예를 들어, 제 2 통신부(646)는 통신 경로(104) 상에서 제 1 디바이스(102)와 통신을 수행할 수 있도록 한다.
제 2 통신부(646)는 제 2 통신 인터페이스(66)를 포함할 수 있다. 제 2 통신 인터페이스(660)는 제 2 통신부(646)와 제 2 디바이스(106)의 다른 유닛들 간에 통신을 수행하기 위해 이용될 수 있다. 제 2 통신 인터페이스(660)는 다른 유닛들과 정보를 송수신할 수 있다.
제 2 통신 인터페이스(660)는 제 2 통신부(646)와 연결된 다른 유닛들에 따라서 다르게 구현될 수 있다. 제 2 통신부(660)는 제 2 제어 인터페이스(654)와 유사한 기술을 통해 구현될 수 있다.
제 1 통신부(616)는 제 1 디바이스 전송(608)에서 제 2 디바이스(106)로 정보를 전송하기 위해 통신 경로(104)와 결합될 수 있다. 제 2 디바이스(106)는 통신 경로(104)의 제 1 디바이스 전송(608)으로부터 제 2 통신부(646)로 정보를 수신할 수 있다.
제 2 통신부(646)는 제 2 디바이스 전송(610)에서 제 1 디바이스(102)로 정보를 전송하기 위해 통신 경로(104)와 결합될 수 있다. 제 1 디바이스(102)는 통신 경로(104)의 제 2 디바이스 전송(610)으로부터 제 1 통신부(616)로 정보를 수신할 수 있다. 전자 시스템(100)은 제 1 제어부(612), 제 2 제어부(644) 또는 그 조합에 의해 실행될 수 있다.
도면으로 나타내기 위하여 제 1 디바이스(102) 및 제 2 디바이스(106)의 구성부가 도 6에서와 같이 구분되어 도시되었으나, 이와 다르게 구분되어질 수 있다. 예를 들어, 제 2 소프트웨어(652)가 그 전부 또는 일부로 다르게 구분되거나, 제 2 제어부(644) 및 제 2 통신부(646)가 그 기능을 수행할 수 있다. 추가적으로, 제 1 디바이스(102) 및 제 2 디바이스(106)에는 도 6에 도시되지 않은 다른 추가적인 구성부가 더 포함될 수 있다.
제 1 디바이스(102)에 내의 구성부들은 서로 독립적으로 동작할 수 있다. 제 1 디바이스(102)는 제 2 디바이스(106) 및 통신 경로(104)와 독립적으로 동작할 수 있다.
제 2 디바이스(106) 내의 구성부들은 다른 구성부들과 독립적으로 동작할 수 있다. 제 2 디바이스(106)는 제 1 디바이스(102) 및 통신 경로(104)와 독립적으로 동작할 수 있다.
전자 시스템(100)은 제 1 디바이스(102) 및 제 2 디바이스(106)의 동작으로 설명된다. 제 1 디바이스(102) 및 제 2 디바이스(106)는 전자 시스템(100) 내의 각 모듈들 및 기능들을 동작시킬 수 있는 것으로 이해될 수 있다. 예를 들어, 제 2 디바이스(106)가 위치부(620)를 동작시킬 수 있다 하더라도 제 1 디바이스(102)가 위치부(620)를 동작하기 위해 기술될 수 있다.
도 7은 본 발명의 일 실시예에 따라 전자 시스템을 제어하는 프로세스를 나타낸 도면이다. 전자 시스템(100)은 피사체 식별 모듈(704) 및 영상 최적화 모듈(706)과 결합된 카메라 입력 모듈(706)을 포함할 수 있다. 카메라 입력 모듈(702)은 도 1의 제 1 디바이스(102)의 도 2의 영상(226)을 출력할 수 있다.
피사체 식별 모듈(704)은 도 2의 피사체(204)를 검출하기 위해 카메라 입력 모듈(702)로부터 영상(226)을 스캔할 수 있다. 영상 최적화 모듈(706)은 피사체 식별 모듈(704)로부터 피사체(702)를 획득하고, 카메라 입력 모듈(702)로부터 영상(226)을 획득할 수 있다. 영상 최적화 모듈(706)은 최적화 설정 모듈(708) 및 외부 최적화 모듈(710)을 포함할 수 있다.
최적화 설정 모듈(708)은 도시된 바와 같이 영상(226) 및 객체(204)를 위한 사진 모드(712)를 선택할 수 있다. 사진 모드(712)는 사진 노출 파라미터로 정의될 수 있다. 외부 최적화 모듈(710)은 도 2의 배치 변경(210), 도 3의 조명 변경(302) 및 도 2의 크기 변경(208)을 포함하는 도 2의 잠재적 조정(206)을 검색하거나 검출할 수 있다.
영상 최적화 모듈(706)의 외부 최적화 모듈(710)은 외적 변경사항(714)을 생성할 수 있다. 증강사항 선택 모듈(716)은 도 2의 사용자(214)가 잠재적 조정(206)을 구현하도록 도 2의 증강사항(212)을 선택하기 외적 변경사항(714)을 이용할 수 있다. 외적 변경사항(714)의 선택 및 증강사항(212)은 아래에서 설명한다.
영상 최적화 모듈(706)의 외부 최적화 모듈(710)은 증강사항 선택 모듈(716)과 결합될 수 있다. 증강사항 선택 모듈(716)은 디스플레이 증강 모듈(718)과 결합될 수 있다.
디스플레이 증강 모듈(718)은 피사체(204)를 보다 잘 촬영하거나 조명을 보다 올바르게 이용할 수 있도록 사용자가 제 1 디바이스(102)를 조정하기 위해 도 2의 디스플레이(202) 상에 증강사항(212)을 표시할 수 있다. 증강사항 선택 모듈(716)은 변경사항 검출 모듈(720)과 결합될 수 있다.
변경사항 검출 모듈(720)은 제 1 디바이스(102)의 영상(226)이 변경되는지 여부를 결정하기 위해 설정된 시간 간격으로 카메라 입력 모듈(702)의 출력을 감시할 수 있다. 변경사항 검출 모듈(720)은 피사체(204) 또는 영상(226)이 다시 처리되어야 할 필요가 있는 때에 피사체 식별 모듈(704)과 결합될 수 있다.
카메라 입력 모듈(702)은 도 6의 제 1 디바이스 전송(608)을 출력할 수 있다. 또는 카메라 입력 모듈(702)은 도 6의 가속도계(636), 컴퍼스(638), 및 시각 센서(640)를 포함하는 도 6의 센서부(622)로부터 정보를 출력할 수 있다. 카메라 입력 모듈(702)은 도 6의 위치 인터페이스(634)를 통해 도 6의 위치부(620)로부터 정보를 출력할 수 있다.
피사체 식별 모듈(704)은 제 1 디바이스(102)의 제 1 사용자 인터페이스(618) 상의 피사체(204)를 식별할 수 있다. 피사체 식별 모듈(704)은 도 6의 제 1 제어부(612), 또는 제 1 디바이스(102)에 결합된 도 6의 제 2 제어부(644) 상에서 동작할 수 있다.
영상 최적화 모듈(706)은 제 1 디바이스(102)에 대해 사진 모드(712)를 결정하기 위해 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 외부 최적화 모듈(710)은 제 1 디바이스(102)에 대해 외적 변경(714)를 결정하기 위해 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다.
증강사항 선택 모듈(716)은 제 1 디바이스(102) 상에 디스플레이될 증강사항(212)을 선택하기 위해 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 증강사항(212)은 도 6의 제 1 저장부(614) 또는 도 1의 제 2 디바이스(106)의 도 6의 제 2 저장부(656)에 저장될 수 있다.
피사체 식별 모듈(704), 영상 최적화 모듈(706), 최적화 설정 모듈(708), 외부 최적화 모듈(710) 또는 증강사항 선택 모듈(716)이 제 2 디바이스(106) 상에서 동작할 때, 도 1의 통신 경로(104)는 제 2 디바이스(106)를 제 1 디바이스(102)와 연결하고 도 6의 제 2 디바이스 전송(610)을 전송할 수 있다. 피사체 식별 모듈(704), 영상 최적화 모듈(706), 및 증강사항 선택 모듈(716)은 제 1 제어부(612) 상에서 제 1 저장부(614)의 도 6의 제 1 소프트웨어(628)로서 동작할 수 있다. 또는 이를 대체하여 피사체 식별 모듈(704), 영상 최적화 모듈(706), 및 증강사항 선택 모듈(716)은 제 2 제어부(644) 상에서 제 2 저장부(656)에 저장된 도 6의 제 2 소프트웨어(652)로서 동작하거나 제 1 제어부(612) 상에서 동작할 수 있다.
디스플레이 증강 모듈(718)은 제 1 디바이스(102)의 디스플레이(202) 상에 증강사항(212)을 디스플레이 하기 위해 제 1 제어부(612) 상에서 동작할 수 있다. 변경사항 검출 모듈(720)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작하고 제 1 디바이스(102)로부터 카메라 입력 모듈(702)을 감시할 수 있다.
각 모듈들은 하드웨어로 구현될 수 있다. 예를 들어, 모듈들은 제 1 제어부(612), 제 2 제어부(644) 또는 그 조합 내에서 하드웨어적 구현방식으로서 구현될 수 있다. 모듈들은 또한 제 1 제어부(612) 또는 제 2 제어부(644) 외부의 제 1 디바이스(102), 제 2 디바이스(106) 또는 그 조합에 의해 하드웨어로서 구현될 수 있다.
도 8은 본 발명의 일 실시예에 따라 피사체 식별 모듈의 제어 흐름도를 나타낸 도면이다. 피사체 식별 모듈(704)은 도 7의 카메라 입력 모듈(702)의 출력을 포함할 수 있다. 피사체 식별 모듈(704)은 피사체(204)를 식별하는 기능을 수행할 수 있다. 피사체(204)는 특징 스캔 모듈(802)에서 카메라 입력 모듈(702)로부터 도 2의 영상(226)을 스캔함으로써 식별될 수 있다.
특징 스캔 모듈(808)은 식별 가능한 특징들(806)에 대한 일반화된 모델(804)에 기초하여 영상(226)을 스캔 할 수 있다. 특징 스캔 모듈(802)은 일반화된 모델(804)에 따라 영상(226)을 스캔하여 얼굴 특징(808), 신체 특징(810) 및 무생물 특징(812)을 검색할 수 있다.
얼굴 특징(808)은 눈(814), 코(816), 귀(818), 및 입(820)을 포함할 수 있다. 도 1의 제 1 디바이스(102)의 영상(226)이 눈(814), 코(816), 귀(818), 또는 입(820)을 포함하면, 얼굴(822)이 검출될 수 있다.
신체 특징(810)은 팔(824), 목(826), 머리(828), 또는 몸통(830)을 포함할 수 있다. 제 1 디바이스(102)의 영상(226)이 팔(824), 목(826), 머리(828), 또는 몸통(830)을 포함하면, 신체(832)가 검출될 수 있다.
무생물 특징(812)은 물(834), 식물(836), 산(838) 탈 것(842), 및 건물(844)을 포함할 수 있다. 제 1 디바이스(102)의 영상(226)이 물(834), 식물(836), 산(838) 탈 것(842), 및 건물(844)을 포함하면, 무생물 객체(846)가 검출될 수 있다. 여기서, 무생물 특징(812)은 사람이 아니거나 동물에 해당하는 객체의 특징인 것으로 정의한다.
특징 스캔 모듈(802)은 도 2의 디스플레이(202)에 표시된 제 1 디바이스(102)의 영상(226)을 스캔할 수 있다. 또한, 피사체 식별 모듈(704)은 제 1 디바이스(102)로부터 줌 아웃된(zoomed out) 영상(848)을 획득하고, 줌 아웃된 영상(848)을 특징 스캔 모듈(802)에 입력할 수 있다. 특징 스캔 모듈(802)은 줌 아웃된 영상(848) 내의 식별 가능한 특징들(806)을 검출하기 위해 줌 아웃된 영상(848)을 스캔할 수 있다. 특징 스캔 모듈(802)은 일반화된 모델(804)에 기초하여 줌 아웃된 영상(848)을 스캔하여 식별 가능한 특징들(806)을 검색할 수 있다.
또한, 피사체 식별 모듈(704)은 제 1 디바이스(102)로부터 줌 인(zoomed in)된 영상(850)을 획득하고 특징 스캔 모듈(802)로 줌 인된 영상(850)을 입력할 수 있다. 특징 스캔 모듈(802)은 줌 인된 영상(850)에서 식별 가능한 특징들(806)을 검출하기 위해 줌 인된 영상(850)을 스캔할 수 있다. 특징 스캔 모듈(802)는 일반화된 모델(804)에 기초하여 줌 인된 영상(850)을 스캔하여 식별 가능한 특징(806)을 검색할 수 있다.
줌 인된(zoomed in) 영상(850) 및 줌 아웃된(zoomed out)된 영상(848)은 디스플레이(202) 상에 줌 인된(zoomed in) 영상(850) 및 줌 아웃된(zoomed out)된 영상(848)을 보여주는 도 2의 사용자(214) 없이 특징 스캔 모듈(802)에 의해 스캔될 수 있다. 특징 스캔 모듈(802)은 디스플레이(202) 내에 피사체(204)를 출력할 수 있다. 피사체(204)는 영상(226)에서 검출된 얼굴(822), 신체(832), 및 무생물 객체(846)를 포함할 수 있다.
영상(226), 줌 인된 영상(848), 줌 아웃된 영상(850) 내의 식별 가능한 특징(806)을 일반화된 모델(804)에 기초하여 검색함으로써, 피사체(204)를 촬영하도록 도 2에 나타난 통합된 잠재적 조정(206)으로 사용자를 보조할 수 있다. 특징 스캔 모듈(802)은 제 1 디바이스(102)에서 도 6의 시각 센서(640)로부터 영상(226)을 스캔하기 위해 도 6의 제 1 제어부(612) 상에서 동작할 수 있다. 시각 센서(640)는 제 1 제어부(612) 상에서 동작하는 피사체 식별 모듈(704)로 줌 인된 영상(850) 및 줌 아웃된 영상(848)을 입력할 수 있다.
또한, 특징 스캔 모듈(802)은 제 1 디바이스(102) 내의 시각 센서(640)로부터 영상(226)을 스캔하기 위해 도 6의 제 2 제어부(644) 상에서 동작할 수 있고, 도 1의 통신 경로(104)를 통해 제 1 디바이스(102)와 통신을 수행할 수 있다. 영상(226) 내에서 검출된 얼굴(822), 신체(832), 및 무생물 객체(846)는 피사체(204)로서 도 6의 제 1 저장부(614) 또는 제 2 저장부(656)에 저장될 수 있다.
일반화된 모델(804)은 제 1 저장부(614) 또는 제 2 저장부(656)에 저장되고 통신 경로(104) 상으로 전송될 수 있다. 일반화된 모델(804)은 제 1 제어부(612) 또는 제 2 제어부(644)상에서 얼굴(822), 신체(832), 및 무생물 객체(846)를 결정하기 위해 영상(226)에서 검출된 얼굴 특징(808), 신체 특징(810), 또는 무생물 특징(812)과 비교될 수 있다.
도 9는 본 발명의 일 실시예에 따라 영상 최적화 모듈을 제어하는 프로세스를 나타낸 도면이다. 영상 최적화 모듈(706)은 도 7의 카메라 입력 모듈(702) 및 피사체 식별 모듈(704)와 연결될 수 있다. 영상 최적화 모듈(706)은 도 1의 제 1 디바이스(102)로부터 카메라 입력 모듈(702)로부터 입력된 영상 입력(902), 조명 입력(904), 및 움직임 입력(906)을 획득할 수 있다.
영상 최적화 모듈(706)의 최적화 설정 모듈(708)은 모드 분석 모듈(908) 및 모드 선택 모듈(910)을 포함할 수 있다. 모드 분석 모듈(908)은 도 2의 피사체(204) 및 영상(226)을 영역 문턱값(912)와 비교할 수 있다.
영역 문턱값(912)은 디스플레이(202)의 크기와 관련하여 도 2의 디스플레이(202)에 표시된 피사체의 크기에 따라서 트리거(trigger)가 될 수 있다. 예를 들어, 한 피사체(204)가 영역 문턱값(912)보다 낮은 때에, 디스플레이(202)의 크기에 비해 피사체가 지나치게 작은 것일 수 있다. 모드 분석 모듈(908)은 모드 선택 모듈(910)의 사용에 대해 영역 문턱값(912) 이하의 피사체(204)를 제한할 수 있다.
또한, 모드 분석 모듈(908)은 움직임 문턱값(914)을 가질 수 있다. 움직임 문턱값(914)은 피사체(204) 또는 디스플레(202)와 관련하여 디스플레이(202)에 표시된 피사체(204)의 움직임에 따라서 트리거(trigger)가 될 수 있다. 움직임 문턱값(914)를 넘어서는 피사체(204)는 모드 선택 모듈(910)에서 움직임에 따른 영상 노출 파라미터를 결정하도록 할 수 있다.
모드 선택 모듈(910)은 피사체(204)에 기초하여 사진 모드(712)를 결정할 수 있다. 피사체(204)가 하나 이상의 사람을 포함하는 경우, 모드 선택 모듈(910)은 사진 모드(712)로서 인물 모드(928)를 선택할 수 있다. 인물 모드(928)는 피사체(204)에 기초하여 사진 모드(712)를 미세하게 조정하기 위해 다시 세분화될 수 있다.
피사체(204)에 영역 문턱값(912)를 넘어서는 도 8의 얼굴(822) 하나가 포함되는 때에, 모드 선택 모듈(910)은 사진 모드(712)로서 인물 모드(928) 중 초상화 모드(930)를 선택할 수 있다. 영상(226)의 피사체(204)에 셋 이상의 얼굴(822)가 포함되는 경우, 모드 선택 모듈(910)은 사진 모드(712)로서 인물 모드(928) 중 그룹 모드(932)를 선택할 수 있다. 모드 분석 모듈(908)이 움직임 문턱값(914)을 넘어서는 피사체(204)를 검출하고, 피사체(204)에 도 8의 신체(832)가 포함되는 경우, 모드 선택 모듈(910)은 사진 모드(712)로서 인물 모드(928) 중 스포츠 모드(934)를 선택할 수 있다.
피사체(204)가 도 9의 무생물 객체(846)를 포함하는 경우, 모드 선택 모듈(910)은 사진 모드(712)로서 풍경 모드(936)를 선택할 수 있다. 풍경 모드(936)는 영상 특성(916)를 나타내는 대비(contrast)(926), 밝기 영역(918), 및 색온도(920)에 기초하여 선택되는 눈 모드(938), 해변가 모드(940), 및 나뭇잎 모드(942)로 세분화될 수 있다.
또한, 사진 모드(712)는 대비(contrast)(926), 밝기 영역(918), 및 색온도(920)에 기초하여 선택되는 특수 조명 모드(944)일 수 있다. 예를 들어, 밝기 영역(918)이 실내 조명을 나타내는 경우, 제 1 디바이스(102)의 영상(226)을 위한 사진 모드(712)로서 특수 조명 모드(944)가 사용될 수 있다.
사진 모드(712)는 인물 모드(928), 풍경 모드(926), 및 특수 조명 모드(944)를 포함할 수 있다. 인물 모드(928), 풍경 모드(936), 및 특수 조명 모드(944)?z 영상(226) 및 피사체(204)에 대한 최적 내부 설정(946)을 제공하기 위해 조합되거나 개별적으로 이용될 수 있다.
외부 최적화 모듈(710)은 입력으로서 영상(226)과 최적 내부 설정(946) 및 피사체(204)를 획득할 수 있다. 외부 최적화 모듈(710)은 잠재적 조정 모듈(948)을 포함할 수 있다.
잠재적 조정 모듈(948)은 입력으로서 최적 내부 설청(946) 하에서 도 8의 식별 가능한 특징(806)을 가지는 피사체(204)가 포함된 영상(226)을 획득할 수 있다. 피사체(204)의 식별 가능한 특징이 배치 가이드라인(950)에 따르지 않는 경우, 잠재적 조정 모듈(948)은 추천되는 피사체(204)의 배치 변경(210) 또는 크기 변경(208)을 표시할 수 있다. 피사체(204)의 식별 가능한 특징(806)이 조명 가이드라인(952)예 따르지 않는 경우, 잠재적 조정 모듈(948)은 추천되는 피사체(204)의 조명 변경(302)를 표시할 수 있다.
잠재적 조정 모듈(948)은 변경 모듈(954)로 배치 변경(210), 조명 변경(302), 및 크기 변경(208)을 출력할 수 있다. 변경 모듈(954)은 잠재적 조정 모듈(948)의 출력 및 디스플레이(202)의 영상(226)에 기초하여 외적 변경사항(714)을 출력할 수 있다.
변경 모듈(954)은 도 2의 증강사항(212)을 선택하기 위한 외적 변경사항(714)을 선택하기 위해 도 2의 잠재적 조정(206)을 외적 변경사항(714)에 매핑(mapping)할 수 있다. 외적 변경사항(714)은 조준 조정(956), 위치 조정(958), 음영 조정(960), 또는 줌 조정(zoom adjustment)(962)을 포함할 수 있다.
잠재적 조정(206)이 피사체(204)의 배치 변경(210)을 나타내는 경우, 변경 모듈(954)은 피사체(204)를 디스플레이(202) 내로 이동하기 위해 추천되는 배치 변경(210)을 제 1 디바이스(102)를 하나 이상의 축으로 회전시키도록 신호하기 위한 조준 조정(956)에 매핑할 수 있다. 잠재적 조정(206)이 피사체(204)의 조명 변경(302)을 나타내는 경우, 변경 모듈(954)은 추천되는 제 1 디바이스(102)의 위치 변경을 지시하기 위해 조명 변경(302)을 위치 조정(958)에 매핑할 수 있다. 잠재적 조정(206)이 피사체(204)의 조명 변경(302)을 나타내는 경우, 변경 모듈(954)은 피사체(204)에 대한 조명 변경(302)을 제 1 디바이스(102)에 영향을 미치는 광원을 차단하도록 지시하기 위한 음영 조정(960)에 매핑할 수 있다.
잠재적 조정(206)이 피사체(204)의 크기 변경(208)을 나타내는 경우, 변경 모듈(954)은 크기 조정(208)을 피사체(204)의 크기를 디스플레이(202) 내에 표시되도록 변경하기 위해 제 1 디바이스(102)의 초점 거리를 변경하도록 지시하는 줌 조정(962)에 매핑할 수 있다. 변경 모듈(954)은 조준 조정(956), 위치 조정(958), 음영 조정(960), 및 줌 조정(962)과 그 조합으로서 외부 변경사항(714)을 출력할 수 있다.
변경 모듈(954)은 디스플레이(202)에 표시된 피사체(204)에 대한 배치 변경(210) 또는 크기 변경(208)의 양을 지시하는 외부 변경사항(714)의 거리 벡터(964)를 출력할 수 있다. 거리 벡터(964)는 영상(226)의 피사체(204)가 배치 가이드라인(950)을 따르기 위해 피사체(204)의 배치 변경(210) 또는 크기 변경(208)으로 요구되는 정도로 산출될 수 있다.
변경 모듈(954)은 디스플레이(202) 상의 피사체(204)에 대한 조명 변경(302)을 위해 요구되는 외부 변경사항(714)의 조명 벡터(966)를 출력할 수 있다. 조명 벡터(966)는 영상(226)의 피사체(204)가 조명 가이드라인(952)을 따르기 위해 피사체(204)의 조명 변경(302)으로 요구되는 정도로 산출될 수 있다. 조명 벡터(966)는 루멘(lumen) 또는 칸델라(cd)로 측정될 수 있다.
영상 최적화 모듈(706)은 도 6의 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 피사체 식별 모듈(704)은 도 6의 제 1 제어 인터페이스(624)를 통해 영상 최적화 모듈(706)과 연결되거나 피사체 식별 모듈(704)이 제 1 제어부(612) 상에서 동작할 때 제 1 제어부(612)와 내부적으로 연결될 수 있다.
움직임 입력(906)은 도 6의 가속도계(636) 또는 컴퍼스(638)에 의해 생성될 수 있다. 영상 입력(902) 및 조명 입력(904)은 도 6의 시각 센서로부터 생성될 수 있다. 카메라 입력 모듈(702)은 제 1 제어 인터페이스(624)를 통해 영상 최적화 모듈(706)과 연결될 수 있다.
영상 최적화 모듈(706)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있는 모드 분석 모듈(908)과 모드 선택 모듈(910)을 포함할 수 있다. 또한, 이를 대체하여, 영상 최적화 모듈(706)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 모드 분석 모듈(908) 및 모드 선택 모듈(910)의 동작으로 나누어지고, 도 1의 통신 경로(104)와 연결될 수 있다.
영역 문턱값(912) 및 움직임 문턱값(914)은 도 6의 제1 저장부(614) 또는 제 2 저장부(656)에 저장될 수 있고, 제 1 제어부(612) 또는 제 2 제어부(644)에서 활용될 수 있다. 영상 특성(916)은 시각 센서(640)로부터 생성된 영상 입력(902)일 수 있다.
외부 최적화 모듈(710)은 제 1 제어부(612) 또는 제 2 제어부(644)에 의해 구현될 수 있다. 잠재적 조정 모듈(948) 및 변경 모듈(954)은 제 1 제어부(612) 및 제 2 제어부(644)에서 함께 처리되거나, 서로 독립적으로 동작할 수 있다.
외부 변경사항(714)은 제 1 저장부(614) 또는 제 2 저장부(656)에 저장될 수 있다. 배치 가이드라인(950) 및 조명 가이드라인(952)은 제 1 저장부(614) 또는 제 2 저장부(656)에 저장될 수 있으며, 제 1 저장 인터페이스(626) 또는 제 2 저장 인터페이스(658)를 통해 활용될 수 있다. 최적 내부 설정(946)은 제 1 저장부(614) 또는 제 2 저장부(656)에 저장될 수 있으며, 제 1 저장 인터페이스(626) 또는 제 2 저장 인터페이스(658)를 통해 활용될 수 있다.
거리 벡터(964) 및 조명 벡터(966)는 제 1 제어부(612) 또는 제 2 제어부(644)에 의해 산출될 수 있다. 조명 벡터(966) 및 거리 벡터(964)는 제 1 저장부(614) 또는 제 2 저장부(644)에 저장될 수 있다.
도 10은 본 발명의 일 실시예에 따라 증강사항 선택 모듈(716)을 제어하는 프로세스를 나타낸 도면이다. 증강사항 선택 모듈(716)은 도 7의 외부 최적화 모듈(710)으로부터의 입력을 포함하는 도 7의 영상 최적화 모듈(706)으로부터의 입력을 획득할 수 있다.
도 7의 외적 변경사항(714), 도 2의 잠재적 조정(206), 도 9의 조명 벡터(966) 및 도 9의 거리 벡터(964)를 포함하는 외부 최적화 모듈(710)의 출력은 증강사항 선택 모듈(716)의 입력이 될 수 있다. 증강사항 선택 모듈(716)은 화살표(219), 심볼(204), 정보를 제공하는 선(222), 눈금(406), 컴퍼스 지점(404) 등을 포함하는 증강사항(212)을 영상 최적화 모듈(706)로부터 받은 입력에 기초하여 선택하고 출력할 수 있다.
증강사항 선택 모듈(716)은 상관관계 테이블(correlation table)(1002) 내에서 외적 변경사항(714)과 증강사항(212)을 매칭(matching)함으로써 증강사항(212)을 선택할 수 있다. 상관관계 테이블(1002)은 외적 변경사항(714)과 그에 상관관계가 있는 증강사항에 대한 목록을 포함할 수 있다. 예를 들어, 상관관계 테이블(1002)은 도 9의 조준 조정(956)과 그에 매칭된 화살표(218) 및 텍스트(220)를 포함할 수 있다.
다른 예로, 상관관계 테이블(1002)은 도 9의 위치 조정(958)과 그에 매칭된 화살표(218), 심볼(304), 및 텍스트(220)를 포함할 수 있다. 화살표(218)이 선택된 경우, 증강사항 선택 모듈(716)은 조명 벡터(966) 및 거리 벡터(964)의 선형적 관계에 기초하여 화살표(218)의 길이가 어느 정도 되는지와, 화살표가 향하는 방향(218)을 산출할 수 있다.
본 발명의 일부 실시예에 따르면, 상관관계 테이블(1002) 내에서 외적 변경사항(714)과의 상관관계뿐만 아니라, 잠재적 조정(206)과의 상관관계에 의해 증강사항(212)을 선택할 수 있다. 예를 들어, 외적 변경사항(714)이 위치 조정(958)에 상응할 때, 상관관계 테이블(1002) 내에서 심볼(304)이 선택될 수 있다. 보다 상세하게는, 잠재적 조정(206)이 도 3의 조명 변경(302)을 포함하는 경우, 영상이 역광에 의해 비정상적으로 나타나는 것을 정정하기 위해, 상관관계 테이블(1002)은 태양, 달 또는 등불과 같은 심볼(304)을 상관관계 테이블(1002)에 포함된 역광 광원(backlight source)의 표시와 상관관계를 가지도록 할 수 있다.
증강사항 선택 모듈(716)은 증강사항 설정(1004)에 기초하여 상관관계 테이블(1002)에 의해 선택된 증강사항(212)을 보다 정제할 수 있다. 본 발명의 일 실시예에 따르면, 증강사항 설정(1004)은 일반 설정(1006), 사용설명 설정(1008), 파노라마 설정(1010) 및 꺼짐 설정(1012)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용설명 설정(1008)은 상관관계 테이블(1002) 내에서 상관관계가 있는 텍스트(220)의 양을 증가시키고 도 2 의 디스플레이(202)에 디스플레이할 수 있다. 예를 들어, 사용설명 설정(1008)이 활성화된 경우, 증강사항 선택 모듈(716)은 증강사항(212)이 왜 디스플레이되었는지 도 2의 사용자(214)에게 지시하는 텍스트(220)가 디스플레이되도록 할 수 있다.
파노라마 설정(1010)은 잠재적 조정(206) 및 외적 변경 사항(714)이 눈금(406) 및 컴퍼스 지점(404)과 상관관계를 가지는 상관관계 테이블(1002) 내에서의 특수한 상관관계를 나타낸다. 기본 방향 또는 패닝(panning) 명령과 연관되어 파노라마 설정(1010)이 활성화된 경우, 텍스트(220)는 상관관계 테이블(1002) 내에서 다르게 상관관계가 맺어질 수 있다. 꺼짐 설정(1012)이 활성화된 경우, 상관관계 테이블(1002)은 증강사항(212)이 상관관계를 가지지 않도록 하거나 증강사항(212)이 디스플레이(202)에 디스플레이 되기 위해 선택되지 않도록 할 수 있다.
증강사항 선택 모듈(716)은 도 7의 디스플레이 증강 모듈(718)과 연결될 수 있다. 디스플레이 증강 모듈(718)은 도 1의 제 1 디바이스(102)의 디스플레이(202) 상에 증강사항(212)을 디스플레이할 수 있다. 디스플레이 증강 모듈(718)은 도 8의 특징 스캔 모듈(802)에 의해 검출된 도 8의 얼굴 특징(808)이 가려지지 않도록 하기 위해 디스플레이(202)의 중심으로부터 증강사항(212)이 오프셋(offset)을 가지도록 할 수 있다. 즉, 증강사항(212)이 디스플레이(202)의 중심으로부터 일정 거리 이동하여 디스플레이되도록 할 수 있다.
디스플레이 증강 모듈(718)은 도 7의 변경사항 검출 모듈(720)과 연결될 수 있다. 변경사항 검출 모듈(720)은 제 1 디바이스(102)의 디스플레이(202) 상에서 도 2의 영상(226)이 변경되는지 여부를 감지하기 위해 카메라 입력 모듈(702)을 감시할 수 있다. 변경사항 검출 모듈(720)은 기 설정된 주기마다 카메라 입력 모듈(702)을 감시할 수 있다.
변경사항 검출 모듈(720)은 도 7의 피사체 식별 모듈(704)과 연결될 수 있다. 변경사항 검출 모듈(720)은 변경사항 검출 모듈(720)이 카메라 입력 모듈(702)로부터 제 1 디바이스(102)의 영상(226) 내에서 변경된 사항을 감지한 경우 피사체 식별 모듈(704)의 특징 스캔 모듈(802)에게 요청을 전송할 수 있다.
외적 변경사항(714) 및 잠재적 조정(206)과 연관된 증강사항(212)을 선택하여 증강사항 선택 모듈(716)의 상관관계 테이블(1002) 내에서 화살표(218), 심볼(304), 정보를 제공하는 선(222), 텍스트(220), 눈금(406) 및 컴퍼스 지점(404)을 선택함에 따라, 배치, 조명, 위치, 설정에 관한 사진 촬영에 대한 기본 원칙을 사용자(214)에게 알려 주는 증강사항(212)을 선택할 수 있다. 영상 최적화 모듈(706)은 제 1 디바이스(102)의 제 1 제어부(612) 상에서 동작할 수 있다. 또한, 영상 최적화 모듈(706)은 제 2 제어부(644) 상에서 동작할 수 있다. 영상 최적화 모듈(706)이 제 2 제어부(644) 상에서 동작할 때, 영상 최적화 모듈(706)은 도 1의 통신 경로(104)를 통해 제 1 디바이스(102)와 연결될 수 있다.
증강사항 선택 모듈(716)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 증강사항 선택 모듈(716)은 도 6의 제 1 제어 인터페이스(624) 또는 제 2 제어 인터페이스(656)를 통해 영상 최적화 모듈(706)과 연결될 수 있다. 증강사항 선택 모듈(716)의 상관관계 테이블(1002)은 제 1 저장부(614) 또는 제 2 저장부(656)에 존재할 수 있다.
상관관계 테이블(1002)은 제 1 저장부(614) 또는 제 2 저장부(656)에 저장된 증강사항(212)을 포함할 수 있다. 증강사항(212)은 제 1 디바이스(102) 상에 디스플레이하기 위해 제 1 저장부(614) 또는 제 2 저장부(656) 내의 상관관계 테이블(1002)로부터 제 1 저장 인터페이스(626) 또는 제 2 저장 인터페이스(658)를 통해 전송될 수 있다.
증강사항 설정(1004)은 도 6의 사용자 인터페이스(618)로부터 사용자(214)에 의해 선택될 수 있다. 제 1 사용자 인터페이스(618)는 제 1 제어 인터페이스(624)로 제 1 제어부(612)와 연결될 수 있다. 또한, 통신 경로(104)를 통해 제 2 제어 인터페이스(654)로 제 2 제어부(644)와 연결될 수 있다.
디스플레이 증강 모듈(718)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 디스플레이 증강 모듈(718)은 디스플레이(202) 상에 증강사항(212)을 디스플레이하기 위해 제 1 디바이스(102)의 디스플레이와 연결될 수 있다.
변경사항 검출 모듈(720)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다. 변경사항 검출 모듈(720)은 도 6의 센서부(622)의 가속도계(636), 컴퍼스(638), 시각 센서(640)를 감시할 수 있다.
변경사항 검출 모듈(720)은 피사체 식별 모듈(704)과 연결될 수 있다. 피사체 식별 모듈(704)은 제 1 제어부(612) 또는 제 2 제어부(644) 상에서 동작할 수 있다.
사용자(214)가 증강사항의 지시를 따르는 경우, 사용자(214)에 의해 제 1 디바이스(102)의 조준, 위치, 또는 음영의 변경이 물리적으로 전달된다. 사용자가 증강사항(212)을 따르면, 사용자(214)는 현실에서 제 1 디바이스(102)의 위치를 물리적으로 변경하여 제 1 디바이스(120)와 상호작용 할 수 있다. 사용자(214)에 의한 상호작용은 제 1 디바이스(102)에 의해 획득되고 증강사항(212)에 포함되는 새로운 추가 정보를 생성하여 사용자(214)에게 추가적인 지시사항을 전달하고 제 1 디바이스(102)의 위치를 수정할 수 있다.
도 11은 본 발명의 다른 일 실시예에 따른 전자 시스템이 동작하는 프로세스(1100)를 나타낸 순서도이다. 본 발명의 일 실시예에 따른 프로세스(1100)는 피사체를 검출하기 위해 영상을 스캔하는 단계(1102); 영상 안의 피사체를 움직이기 위한 잠재적 조정을 검출하는 단계(1104); 및 추천되는 잠재적 조정을 추천하고 디바이스 상에 증강사항을 디스플레이하기 위해 증강사항을 선택하는 단계(1106)를 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따른 전자 시스템(100)을 간단히 도시한 블록도이다. 본 발명의 일 실시예에 따른 전자 시스템(100)은 영상(226)을 스캔하고 피사체(202)를 검출하기 위한 피사체 식별 모듈(704)과, 피사체 식별 모듈과 연결(704)되고, 잠재적 조정(206)을 검출하고 영상(226) 내의 피사체(202)를 움직이기 위한 잠재적 조정 모듈(948), 및 잠재적 조정 모듈(948)과 연결되고, 증강사항(212)을 선택하고 증강사항(212)을 디바이스 상에 디스플레이하기 위한 잠재적 조정(206)을 추천하기 위한 증강사항 선택 모듈을 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (21)

  1. 전자 시스템의 동작 방법에 있어서,
    피사체를 검출하기 위해 영상을 스캔하는 단계;
    디스플레이의 크기와 관련하여 상기 피사체의 크기를 영역 문턱값과 비교함으로써 상기 영상을 분석하는 단계;
    상기 피사체가 상기 영역 문턱값을 넘어설 때, 상기 피사체에 기초하여 상기 영상에 대한 사진 모드를 선택하는 단계;
    상기 영상 안의 피사체를 움직이기 위한 잠재적 조정을 검출하는 단계; 및
    잠재적 조정을 추천하고 디바이스 상에 디스플레이하기 위한 증강사항을 선택하는 단계를 포함하는 전자 시스템 동작 방법.
  2. 제 1 항에 있어서,
    상기 잠재적 조정을 검출하는 단계는,
    피사체의 배치 변경, 조명 변경 또는 크기 변경에 대한 플래그(flag)를 설정하는 단계를 포함하는 전자 시스템 동작 방법.
  3. 제 1 항에 있어서,
    상기 전자 시스템 동작 방법은,
    증강사항을 선택하기 위해 조준 조정, 위치 조정, 음영 조정, 줌 조정, 또는 그 조합을 선택하는 단계를 더 포함하는 전자 시스템 동작 방법.
  4. 제 1 항에 있어서,
    상기 증강사항을 선택하는 단계는,
    화살표, 심볼, 정보를 제공하는 선, 텍스트, 컴퍼스 지점, 눈금 또는 그 조합을 선택하는 단계를 포함하는 전자 시스템 동작 방법.
  5. 제 1 항에 있어서,
    상기 증강사항을 선택하는 단계는,
    상기 잠재적 조정을 상관관계 테이블 내의 증강사항과 매칭하는 단계를 포함하는 전자 시스템 동작 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 영상을 스캔하는 단계는,
    피사체를 검출하기 위해 줌 아웃된(zoomed out) 영상 및 줌 인된(zoomed in) 영상을 스캔하는 단계를 포함하는 전자 시스템 동작 방법.
  8. 제 1 항에 있어서,
    상기 전자 시스템 동작 방법은,
    증강사항을 선택하기 위한 파노라마 설정, 일반 설정, 또는 사용설명 설정을 검출하는 단계를 포함하는 전자 시스템 동작 방법.
  9. 제 1 항에 있어서,
    상기 영상을 스캔하는 단계는,
    얼굴 특징, 신체 특징, 무생물 특징 또는 그 조합을 검출하기 위해 영상을 스캔하는 단계를 포함하는 전자 시스템 동작 방법.
  10. 제 1 항에 있어서,
    상기 잠재적 조정을 검출하는 단계는,
    영상을 배치 가이드라인, 조명 가이드라인, 또는 그 조합과 비교하는 단계를 포함하는 전자 시스템 동작 방법.
  11. 전자 시스템에 있어서,
    영상을 스캔하고 피사체를 검출하기 위한 피사체 식별 모듈;
    상기 피사체 식별 모듈과 연결되고, 디스플레이의 크기와 관련하여 상기 피사체의 크기를 영역 문턱값과 비교함으로써 상기 영상을 분석하고, 상기 피사체가 상기 영역 문턱값을 넘어설 때 상기 피사체에 기초하여 상기 영상에 대한 사진 모드를 선택하기 위한 최적화 설정 모듈;
    상기 피사체 식별 모듈과 연결되고, 잠재적 조정을 검출하고 상기 영상 내의 피사체를 움직이기 위한 잠재적 조정 모듈; 및
    상기 잠재적 조정 모듈과 연결되고, 증강사항을 선택하고 상기 증강사항을 디바이스 상에 디스플레이하기 위한 잠재적 조정을 추천하기 위한 증강사항 선택 모듈을 포함하는 전자 시스템.
  12. 제 11 항에 있어서,
    상기 잠재적 조정 모듈은,
    피사체의 변경, 조명 변경 또는 크기 변경에 대한 플래그(flag)를 설정하는 것을 특징으로 하는 전자 시스템.
  13. 제 11 항에 있어서,
    상기 전자 시스템은,
    상기 잠재적 조정 모듈과 연결되고, 상기 증강사항을 선택하기 위해 조준 조정, 위치 조정, 음영 조정, 줌 조정, 또는 그 조합을 선택하는 변경 모듈을 더 포함하는 전자 시스템.
  14. 제 11 항에 있어서,
    상기 증강사항 선택 모듈은,
    화살표, 심볼, 정보를 제공하는 선, 텍스트, 컴퍼스 지점, 눈금 또는 그 조합을 선택하는 것을 특징으로 하는 전자 시스템.
  15. 제 11 항에 있어서,
    상기 증강사항 선택 모듈은,
    상기 잠재적 조정을 상관관계 테이블 내의 증강사항과 매칭하는 것을 특징으로 하는 전자 시스템.
  16. 삭제
  17. 제 11 항에 있어서,
    상기 피사체 식별 모듈은,
    피사체를 검출하기 위해 줌 아웃된(zoomed out) 영상 및 줌 인된(zoomed in) 영상을 스캔하는 것을 특징으로 하는 전자 시스템.
  18. 제 11 항에 있어서,
    상기 증강사항 선택 모듈은,
    증강사항을 선택하기 위한 파노라마 설정, 일반 설정, 또는 사용설명 설정을 검출하는 것을 특징으로 하는 전자 시스템.
  19. 제 11 항에 있어서,
    상기 피사체 식별 모듈은,
    얼굴 특징, 신체 특징, 무생물 특징 또는 그 조합을 검출하기 위해 영상을 스캔하는 것을 특징으로 하는 전자 시스템.
  20. 제 11 항에 있어서,
    상기 잠재적 조정 모듈은,
    영상을 배치 가이드라인, 조명 가이드라인, 또는 그 조합과 비교하는 것을 특징으로 하는 전자 시스템.
  21. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130049621A 2012-05-07 2013-05-02 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법 KR102173106B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201380024211.2A CN104303130B (zh) 2012-05-07 2013-05-07 具有增强现实机制的电子系统及其操作方法
PCT/KR2013/003940 WO2013168954A1 (en) 2012-05-07 2013-05-07 Electronic system with augmented reality mechanism and method of operation thereof
IN2455MUN2014 IN2014MN02455A (ko) 2012-05-07 2013-05-07
EP13166840.2A EP2662803B1 (en) 2012-05-07 2013-05-07 Electronic system with augmented reality mechanism and method of operation thereof
US14/043,802 US9082987B2 (en) 2012-05-07 2013-10-01 Benzofluorene-based compounds and organic light-emitting diode including the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261643848P 2012-05-07 2012-05-07
US61/643,848 2012-05-07
US13/659,170 US9385324B2 (en) 2012-05-07 2012-10-24 Electronic system with augmented reality mechanism and method of operation thereof
US13/659,170 2012-10-24

Publications (2)

Publication Number Publication Date
KR20130124897A KR20130124897A (ko) 2013-11-15
KR102173106B1 true KR102173106B1 (ko) 2020-11-02

Family

ID=49512196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049621A KR102173106B1 (ko) 2012-05-07 2013-05-02 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법

Country Status (4)

Country Link
US (2) US9385324B2 (ko)
KR (1) KR102173106B1 (ko)
CN (1) CN104303130B (ko)
IN (1) IN2014MN02455A (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533317B (zh) * 2013-10-11 2016-06-22 中影数字巨幕（北京）有限公司 数字电影放映系统及方法
WO2015098251A1 (ja) * 2013-12-24 2015-07-02 ソニー株式会社 情報処理装置、記録媒体および情報処理方法
US9667860B2 (en) * 2014-02-13 2017-05-30 Google Inc. Photo composition and position guidance in a camera or augmented reality system
JP6157718B2 (ja) 2014-02-28 2017-07-05 出光興産株式会社 化合物、有機エレクトロルミネッセンス素子用材料、有機エレクトロルミネッセンス素子及び電子機器
US10027884B2 (en) * 2014-03-05 2018-07-17 Disney Enterprises, Inc. Method for capturing photographs and videos on a handheld client device without continually observing the device's screen
JP2015195439A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10182187B2 (en) * 2014-06-16 2019-01-15 Playvuu, Inc. Composing real-time processed video content with a mobile device
DE102015101767A1 (de) * 2015-02-06 2016-08-11 Technische Universität Dresden Blaue Fluoreszenzemitter
US10367147B2 (en) 2015-05-27 2019-07-30 Samsung Display Co., Ltd. Organic light-emitting device
US10312449B2 (en) 2015-05-27 2019-06-04 Samsung Display Co., Ltd. Organic light-emitting device
US9826145B2 (en) * 2015-07-31 2017-11-21 Sony Corporation Method and system to assist a user to capture an image or video
US20170078585A1 (en) * 2015-09-14 2017-03-16 Melinda Wells Process and system in which the user can enhance their selfie photos before they are taken
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
CN106204423B (zh) * 2016-06-28 2019-09-27 Oppo广东移动通信有限公司 一种基于增强现实的图片调整方法、装置及终端
US11119585B2 (en) 2016-10-13 2021-09-14 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
KR20180054957A (ko) * 2016-11-14 2018-05-25 삼성디스플레이 주식회사 발광 소자
KR102438201B1 (ko) 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
CN108191744A (zh) * 2017-12-05 2018-06-22 李现伟 苯并芴类有机电致发光材料、发光器件及显示器
US20220085295A1 (en) * 2019-02-28 2022-03-17 Lg Chem, Ltd. Novel Compound and Organic Light Emitting Device Comprising the Same
CN110620877B (zh) * 2019-10-12 2021-03-26 Oppo广东移动通信有限公司 位置信息生成方法、装置、终端及计算机可读存储介质
KR20210120599A (ko) * 2020-03-27 2021-10-07 라인플러스 주식회사 아바타 서비스 제공 방법 및 시스템

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266985A (en) 1990-07-16 1993-11-30 Nikon Corporation Camera with optimum composition determinator
US6278461B1 (en) 1993-09-10 2001-08-21 Geovector Corporation Augmented reality vision systems which derive image information from other vision systems
US7038715B1 (en) * 1999-01-19 2006-05-02 Texas Instruments Incorporated Digital still camera with high-quality portrait mode
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP3833486B2 (ja) * 2000-04-19 2006-10-11 富士写真フイルム株式会社 撮像装置
US6765569B2 (en) 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
JP4696407B2 (ja) * 2001-06-20 2011-06-08 株式会社ニコン 商品推奨システムおよび商品推奨方法
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
AU2002336660B2 (en) * 2001-10-24 2009-06-25 Google Llc User definable image reference points
EP1365569B1 (en) * 2002-05-21 2008-01-02 FUJIFILM Corporation Advice device, print-out, and recording medium in which is stored a program
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7756322B2 (en) * 2003-08-18 2010-07-13 Honda Motor Co., Ltd. Picture taking mobile robot
US7349020B2 (en) * 2003-10-27 2008-03-25 Hewlett-Packard Development Company, L.P. System and method for displaying an image composition template
US20050134719A1 (en) * 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
US7542050B2 (en) * 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
US20050270381A1 (en) * 2004-06-04 2005-12-08 James Owens System and method for improving image capture ability
US7460782B2 (en) 2004-06-08 2008-12-02 Canon Kabushiki Kaisha Picture composition guide
JP4848134B2 (ja) 2005-04-18 2011-12-28 出光興産株式会社 芳香族アミン誘導体及びそれを用いた有機エレクトロルミネッセンス素子
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8933889B2 (en) 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
US7982747B1 (en) * 2005-12-19 2011-07-19 Adobe Systems Incorporated Displaying generated changes to an image file
JP5164327B2 (ja) 2005-12-26 2013-03-21 カシオ計算機株式会社 撮影装置及びプログラム
US7751652B2 (en) * 2006-09-18 2010-07-06 Adobe Systems Incorporated Digital image drop zones and transformation interaction
JP5233228B2 (ja) 2006-10-05 2013-07-10 Ｊｎｃ株式会社 ベンゾフルオレン化合物、該化合物を用いた発光層用材料及び有機電界発光素子
GB2448221B (en) * 2007-04-02 2012-02-01 Samsung Electronics Co Ltd Method and apparatus for providing composition information in digital image processing device
JP4402710B2 (ja) * 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
US7805066B2 (en) * 2007-12-24 2010-09-28 Microsoft Corporation System for guided photography based on image capturing device rendered user recommendations according to embodiments
WO2009110360A1 (ja) * 2008-03-05 2009-09-11 出光興産株式会社 高分子化合物及びそれを用いた有機エレクトロルミネッセンス素子
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
KR20100001272A (ko) * 2008-06-26 2010-01-06 삼성디지털이미징 주식회사 셀프 촬영 안내 기능을 구비한 디지털 영상 처리 장치 및그 동작 방법
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5200780B2 (ja) * 2008-09-08 2013-06-05 ソニー株式会社 撮影装置および方法、並びにプログラム
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법
KR20100070979A (ko) 2008-12-18 2010-06-28 동우 화인켐 주식회사 비대칭 구조의 유기전기발광소자용 아릴아민유도체, 그 제조방법, 이를 포함하는 유기전기발광소자용 유기박막재료 및 이를 이용한 유기 전기발광소자
CN101764932A (zh) * 2008-12-23 2010-06-30 华晶科技股份有限公司 图像检索装置、图像检索系统及其拍摄方法
KR20100075101A (ko) 2008-12-24 2010-07-02 동우 화인켐 주식회사 유기전기발광소자용 비대칭 구조를 갖는 파이렌 유도체, 그제조방법, 이를 포함하는 유기전기발광소자용 유기박막재료 및 이를 이용한 유기전기발광소자
JP5257157B2 (ja) * 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5287465B2 (ja) * 2009-04-21 2013-09-11 ソニー株式会社 撮像装置、撮影設定方法及びそのプログラム
JP5385032B2 (ja) 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
JP5359762B2 (ja) 2009-10-15 2013-12-04 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
KR101216006B1 (ko) 2009-10-16 2012-12-27 에스에프씨 주식회사 방향족 화합물 및 이를 이용한 유기전계발광소자
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
KR101083408B1 (ko) * 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
WO2011112940A1 (en) 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
JP5824827B2 (ja) 2010-03-23 2015-12-02 Jnc株式会社 ベンゾフルオレン化合物、該化合物を用いた発光層用材料および有機電界発光素子
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
US9143699B2 (en) * 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
AU2010257231B2 (en) * 2010-12-15 2014-03-06 Canon Kabushiki Kaisha Collaborative image capture
WO2012092246A2 (en) * 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US20120236173A1 (en) * 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
KR102008134B1 (ko) * 2011-05-30 2019-08-09 롬엔드하스전자재료코리아유한회사 신규한 유기 전자재료용 화합물 및 이를 포함하는 유기 전계 발광 소자
JP5973705B2 (ja) * 2011-06-16 2016-08-23 ユー・ディー・シー アイルランド リミテッド 有機電界発光素子、有機電界発光素子用の発光材料、並びに該素子を用いた発光装置、表示装置及び照明装置
CN102244736B (zh) * 2011-07-08 2013-11-13 翔德电子科技(深圳)有限公司 定焦相机的焦距定位方法
JP2013070342A (ja) * 2011-09-26 2013-04-18 Sony Corp 画像処理装置、画像処理方法およびプログラム
KR20130074299A (ko) * 2011-12-26 2013-07-04 삼성전자주식회사 화질 조절 방법 및 이를 적용한 영상 촬영 장치
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
KR102065586B1 (ko) * 2013-01-30 2020-01-14 삼성디스플레이 주식회사 유기금속 착체 및 이를 포함한 유기 발광 소자
KR102037375B1 (ko) * 2013-02-13 2019-10-29 삼성디스플레이 주식회사 유기금속 착체 및 이를 포함한 유기 발광 소자

Also Published As

Publication number Publication date
US9385324B2 (en) 2016-07-05
US20140326961A1 (en) 2014-11-06
CN104303130A (zh) 2015-01-21
KR20130124897A (ko) 2013-11-15
IN2014MN02455A (ko) 2015-07-10
US9082987B2 (en) 2015-07-14
US20130293579A1 (en) 2013-11-07
CN104303130B (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
KR102173106B1 (ko) 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법
US11025814B2 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
KR102385024B1 (ko) 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법
US9819870B2 (en) Photographing method and electronic device
US9477085B2 (en) Head-mounted display and method of controlling the same
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
CN104350736B (zh) 附近位置信息的增强现实布置
US8830142B1 (en) Head-mounted display and method of controlling the same
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US9742995B2 (en) Receiver-controlled panoramic view video share
US20140300779A1 (en) Methods and apparatuses for providing guide information for a camera
US20150084840A1 (en) Head-mounted display and method of controlling the same
EP3687157A1 (en) Method for capturing images and electronic device
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US11720996B2 (en) Camera-based transparent display
US20210168279A1 (en) Document image correction method and apparatus
US20150172550A1 (en) Display tiling for enhanced view modes
KR20220085834A (ko) 전자 기기 및 포커싱 방법
EP3510440B1 (en) Electronic device and operation method thereof
US20220345621A1 (en) Scene lock mode for capturing camera images
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
JP2015149603A (ja) 画像表示システム、画像表示装置及び画像表示方法
US20150169568A1 (en) Method and apparatus for enabling digital memory walls
EP2662803B1 (en) Electronic system with augmented reality mechanism and method of operation thereof
CN116055871B (zh) 视频处理方法及其相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant