KR102124601B1 - 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법 - Google Patents

피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102124601B1
KR102124601B1 KR1020130071361A KR20130071361A KR102124601B1 KR 102124601 B1 KR102124601 B1 KR 102124601B1 KR 1020130071361 A KR1020130071361 A KR 1020130071361A KR 20130071361 A KR20130071361 A KR 20130071361A KR 102124601 B1 KR102124601 B1 KR 102124601B1
Authority
KR
South Korea
Prior art keywords
information
subject
electronic device
subjects
relative distance
Prior art date
Application number
KR1020130071361A
Other languages
English (en)
Other versions
KR20140148023A (ko
Inventor
김문수
정진홍
강화영
윤영권
김태호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130071361A priority Critical patent/KR102124601B1/ko
Priority to US14/311,017 priority patent/US10395132B2/en
Publication of KR20140148023A publication Critical patent/KR20140148023A/ko
Application granted granted Critical
Publication of KR102124601B1 publication Critical patent/KR102124601B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 전자 장치의 동작 방법에 있어서, 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출하는 동작; 및 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이하는 동작을 그 구성상의 특징으로 하는 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법에 관한 것이다.

Description

피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법{APPARATAS AND METHOD FOR DISPLAYING AN INFORMATION OF EXTRACTING A SUBJECT DISTANCE IN AN ELECTRONIC DEVICE}
본 개시는 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법에 관한 것이다.
전자 장치에 구비된 카메라 모듈의 기능이 발전하면서, 카메라 모듈에서 높은 이미지의 화소 및 다양한 편집 기능 등을 제공하고 있어 사용자의 편의성을 향상시켜 주고 있다.
그러나, 상술한 편집 기능 중 PIP(Picture In Picture) 방식을 수행하기 위한 종래의 전자 장치에서는 복수의 피사체의 이미지 중 메인 피사체의 이미지를 검출하기 위하여 렌즈의 AF(Auto Focus)를 지속적으로 수행하여야 하기 때문에 전류 소모량이 증가하는 문제점이 있었다. 또한, 종래의 전자 장치에서는 복수의 피사체의 이미지 중 메인 피사체를 검출할 때 초점이 맞는 영역은 일부분이어서, 메인 피사체 이외의 다른 피사체가 삽입하고자 하는 컨텐츠에 의하여 가려지는 문제점이 있었다.
따라서, 전자 장치의 다양한 편집 기능 중 PIP 방식을 수행하기 위하여 복수의 피사체 중 메인 피사체의 이미지를 정확하게 검출한 후, 삽입하고자 하는 컨텐츠에 다른 피사체의 이미지가 가려지지 않도록 하는 장치 및 방법의 제안이 시급한 실정이다.
본 개시의 다양한 실시예는 상면 위상 차 센서에 입사된 복수의 피사체 각각의 깊이 정보를 추출하여, 상대적인 깊이 정보가 가장 먼 피사체에 적어도 하나의 정보를 디스플레이하기 때문에 메인 피사체의 이미지가 가려지지 않아 사용자의 편의성을 향상시켜 줄 수 있는 장치 및 방법을 제안하고자 한다.
본 개시의 다양한 실시예는 피사체의 에지 분포 정보, 컬러 분포 정보, 명암 분포 정보 및 텍스트 분포 정보와 같은 피사체 분석 정보를 이용하여, 분석된 정보량이 적은 피사체에 적어도 하나의 정보를 디스플레이하기 때문에 메인 피사체 및 서브 피사체의 이미지가 가려지지 않아 사용자의 다양한 욕구를 충족시켜 줄 수 있는 장치 및 방법을 제안하고자 한다.
본 개시의 실시예들에 따르면, 전자 장치의 동작 방법에 있어서, 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출하는 동작; 및 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이하는 동작을 그 구성상의 특징으로 한다.
바람직하게는, 상기 센서는, 상면 위상 차 센서일 수 있다.
바람직하게는, 상기 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출하는 과정은, 상기 센서에 구비된 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 상기 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출할 수 있다.
바람직하게는, 상기 피사체 분석 정보는, 상기 적어도 둘 이상의 피사체의 에지 분포 정보, 컬러 분포 정보, 명암 분포 정보 및 텍스트 분포 정보 중 적어도 하나의 정보일 수 있다.
바람직하게는, 상기 텍스트 분포 정보는, 상기 적어도 둘 이상의 피사체에 분포된 텍스트를 광학 문자 인식 기능을 이용하여 획득한 정보일 수 있다.
바람직하게는, 상기 적어도 하나의 정보는, 적어도 하나의 컨텐츠가 포함된 정보일 수 있다.
바람직하게는, 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이하는 동작은, 상기 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 상기 적어도 하나의 정보를 디스플레이하는 동작을 포함할 수 있다.
바람직하게는, 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 상기 적어도 하나의 정보를 디스플레이하는 동작은, 상기 피사체 분석 정보를 이용하여 분석된 정보량이 적은 부분에 상기 적어도 하나의 정보를 디스플레이하는 동작을 포함할 수 있다.
바람직하게는, 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이하는 동작은, 상기 추출된 상대적인 거리 정보 및 상기 피사체 분석 정보를 이용하여 적어도 둘 이상의 피사체를 상기 상대적인 값에 따라 분류하는 동작; 상기 상대적인 값에 따라 분류된 적어도 둘 이상의 피사체 중 상기 상대적인 값이 가장 작은 피사체를 검출하는 동작; 및 상기 검출된 상대적인 값이 가장 작은 피사체의 특정 영역에 상기 적어도 하나의 정보를 디스플레이하는 동작을 포함할 수 있다.
바람직하게는, 상기 특정 영역은, 다른 피사체의 영역과 중복되지 않도록 상기 상대적인 값이 가장 작은 피사체 내의 영역일 수 있다.
본 개시의 실시예들에 따르면, 전자 장치에 있어서, 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출하는 프로세서 모듈; 및 상기 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이하는 터치 스크린을 그 구성상의 특징으로 한다.
바람직하게는, 상기 센서는, 상면 위상 차 센서일 수 있다.
바람직하게는, 상기 프로세서 모듈은, 상기 센서에 구비된 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 상기 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출할 수 있다.
바람직하게는, 상기 피사체 분석 정보는, 상기 적어도 둘 이상의 피사체의 에지 분포 정보, 컬러 분포 정보, 명암 분포 정보 및 텍스트 분포 정보 중 적어도 하나의 정보일 수 있다.
바람직하게는, 상기 텍스트 분포 정보는, 상기 적어도 둘 이상의 피사체에 분포된 텍스트를 광학 문자 인식 기능을 이용하여 획득한 정보일 수 있다.
바람직하게는, 상기 적어도 하나의 정보는, 적어도 하나의 컨텐츠가 포함된 정보일 수 있다.
바람직하게는, 상기 터치 스크린은, 상기 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 상기 적어도 하나의 정보를 디스플레이할 수 있다.
바람직하게는, 상기 터치 스크린은, 상기 피사체 분석 정보를 이용하여 분석된 정보량이 적은 부분에 상기 적어도 하나의 정보를 디스플레이할 수 있다.
바람직하게는, 상기 프로세서 모듈은, 상기 추출된 상대적인 거리 정보 및 상기 피사체 분석 정보를 이용하여 적어도 둘 이상의 피사체를 상기 상대적인 값에 따라 분류하며, 상기 상대적인 값에 따라 분류된 적어도 둘 이상의 피사체 중 상기 상대적인 값이 가장 작은 피사체를 검출하고, 상기 터치 스크린은, 상기 검출된 상대적인 값이 가장 작은 피사체의 특정 영역에 상기 적어도 하나의 정보를 디스플레이할 수 있다.
바람직하게는, 상기 특정 영역은, 다른 피사체의 영역과 중복되지 않도록 상기 상대적인 값이 가장 작은 피사체 내의 영역일 수 있다.
본 개시의 다양한 실시예는 상대적인 깊이 정보가 가장 먼 피사체에 적어도 하나의 정보를 디스플레이하기 때문에 메인 피사체의 이미지가 가려지지 않아 사용자의 편의성을 향상시켜 줄 수 있다.
도 1은 본 개시의 일 실시예에 따른 위상 차 초점 검출 픽셀을 설명하기 위한 도면.
도 2는 본 개시에 따른 전자 장치에서 복수의 피사체의 상대적인 거리 정보를 추출하는 일 실시예를 도시한 도면.
도 3은 본 개시에 따른 전자 장치에서 추출된 피사체의 상대적인 거리 정보를 이용하여, 컨텐츠가 포함된 정보를 이미지에 삽입하는 일 실시예를 도시한 도면.
도 4는 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 에지 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면.
도 5는 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 명암 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면.
도 6은 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 텍스트 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 피사체의 거리를 추출하여 정보를 표시하는 전자 장치의 방법의 흐름도.
도 8은 본 개시에 따른 전자 장치의 동작 순서를 도시한 순서도.
도 9는 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
도 1은 본 개시의 일 실시예에 따른 위상 차 초점 검출 픽셀을 설명하기 위한 도면이다. 먼저, 본 개시에 따른 전자 장치에서는 상면 위상 차 센서를 구비할 수 있다. 여기서, 상면 위상 차 센서는 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출하는 센서로 정의될 수 있다. 보다 구체적으로, 전자 장치에는 구비된 상면 위상 차 센서를 이용하여, 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출할 수 있다. 예를 들면, 전자 장치에서 3개의 피사체를 감지한 경우, 전자 장치는 전자 장치에 구비된 상면 위상 차 센서를 이용하여 감지된 3개의 피사체 중 전자 장치로부터 떨어진 상대적인 거리에 따라 가장 가까운 피사체, 가장 먼 피사체 및 중간의 위치에 있는 피사체를 검출할 수 있다.
본 개시에 따른 전자 장치에서는 복수의 위상 차 초점 검출 픽셀을 이용하여, 감지된 피사체들 중 전자 장치로부터 떨어진 피사체의 상대적인 거리 정보를 추출할 수 있다. 보다 구체적으로, 전자 장치에 구비된 위상 차 초점 검출 픽셀 중 한 쌍의 위상 차 초점 검출 픽셀은 서로 인접한 위치에 배치될 수 있다.
예를 들면, 도 1에 도시된 바와 같이, 검은색으로 표시된 제1 위상 차 초점 검출 픽셀은 또 하나의 위상 차 초점 검출 픽셀인 제2 위상 차 초점 검출 픽셀과 인접한 위치에 배치될 수 있다. 보다 구체적으로, 한 쌍의 위상 차 초점 검출 픽셀 중 제1 위상 차 초점 검출 픽셀에 배치된 차광막은 제2 위상 차 초점 검출 픽셀에 대해서는 겹치지 않는 위치에 배치될 수 있다. 즉, 제1 위상 차 초점 검출 픽셀이 마이크로 렌즈의 출사동 일측으로 통과하는 빛을 검출하는 것이라면, 제2 위상 차 초점 검출 픽셀은 마이크로 렌즈의 출사동 타측으로 통과하는 빛을 검출할 수 있다.
따라서, 상술한 방법으로, 전자 장치는 복수의 쌍으로 구성된 위상 차 초점 검출 픽셀을 이용하여, 전자 장치로부터 위치하고 있는 복수의 피사체의 상대적인 거리 정보를 정확히 추출할 수 있다. 즉, 전자 장치는 상면 위상 차 센서를 이용하여, 현재 초점이 맞은 피사체를 기준으로 다른 피사체가 상대적으로 앞쪽에 또는 뒤쪽에 있는지 여부에 따라 상대적인 거리 정보를 추출할 수 있다.
도 2는 본 개시에 따른 전자 장치에서 복수의 피사체의 상대적인 거리 정보를 추출하는 일 실시예를 도시한 도면이다. 이하, 도 2의(a)에 도시된 바와 같이, 전자 장치에서 카메라 애플리케이션을 실행하여, 전자 장치의 렌즈 앞쪽에 위치하고 있는 복수의 피사체(201 내지 204)를 촬영하고자 하는 경우를 가정해 보자. 또한, 전자 장치는 촬영된 복수의 피사체(201 내지 204)를 이용하여, 상대적인 거리가 가장 먼 피사체에 임의의 컨텐츠가 포함된 정보를 디스플레이하고자 하는 경우를 가정해 보자.
먼저, 상술한 가정에서, 전자 장치는 전자 장치에 구비된 상면 위상 차 센서를 이용하여, 복수의 피사체(201 내지 204)의 상대적인 거리 정보를 추출할 수 있다. 보다 구체적으로, 전자 장치는 상면 위상 차 센서에서 감지한 픽셀 분포도를 이용하여, 전자 장치로부터 복수의 피사체(201 내지 204)의 상대적인 거리 정보를 추출할 수 있다.
상술한 예에서, 전자 장치는 전자 장치로부터 가장 가까운 위치에 있는 피사체(201)를 기준으로, 기준 피사체(201) 바로 뒤쪽에 위치한 피사체(202), 그 다음 위치에 있는 피사체(203) 및 가장 먼 위치에 있는 피사체(204)에 대한 거리 정보를 추출할 수 있다. 즉, 전자 장치는 상대적인 거리 정보가 가장 가까운 피사체(201)부터 상대적인 거리 정보가 가장 먼 피사체(204)까지의 상대적인 거리 정보를 추출할 수 있다.
즉, 도 2의(b)에 도시된 바와 같이, 전자 장치는 촬영된 이미지에 포함된 피사체(201 내지 204) 중 전자 장치로부터 가장 가까운 위치에 있는 피사체(201)를 메인 피사체로 인식할 수 있고, 나머지 피사체(202 내지 204)들을 서브 피사체로 인식할 수 있다.
따라서, 본 개시에 따른 전자 장치에서는 전자 장치로부터 상대적인 거리가 가까운 피사체(201)뿐 아니라, 상대적인 거리가 먼 피사체(202 내지 204)들을 인식하여, 모든 피사체(201 내지 204)가 가려지지 않도록 임의의 컨텐츠가 포함된 정보를 삽입하여 디스플레이할 수 있다.
도 3은 본 개시에 따른 전자 장치에서 추출된 피사체의 상대적인 거리 정보를 이용하여, 컨텐츠가 포함된 정보를 이미지에 삽입하는 일 실시예를 도시한 도면이다. 이하, 전자 장치에서 카메라 애플리케이션을 실행한 후, 복수의 피사체(301 내지 306)의 상대적인 거리 정보를 추출함과 동시에 복수의 피사체(301 내지 306)가 포함된 이미지를 촬영하였다고 가정해 보자. 또한, 전자 장치에서 복수의 피사체(301 내지 306)의 상대적인 거리 정보를 추출한 결과, 사람의 이미지가 감지된 피사체(301)가 전자 장치로부터 가장 가까운 위치에 있는 피사체이며, 배경이 되는 나무의 피사체(306)가 가장 먼 위치에 있는 피사체로 인식되었다고 가정해 보자.
상술한 가정에서, 전자 장치는 메인 피사체(301)뿐 아니라, 서브 피사체(302 내지 306)가 가려지지 않도록, 임의의 컨텐츠가 포함된 정보를 촬영된 이미지에 삽입하여 디스플레이할 수 있다. 보다 구체적으로, 전자 장치는 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 적어도 하나의 정보를 디스플레이할 수 있다. 바람직하게는, 전자 장치에서 인식된 상대적인 거리 정보 중 상대적인 거리가 가장 먼 피사체(306)가 가려지지 않도록 임의의 컨텐츠가 포함된 정보를 촬영된 이미지에 삽입하여 디스플레이할 수 있다.
여기서, 컨텐츠가 포함된 정보란 이미지에 포함되어 있는 피사체를 설명하기 위한 동영상, 텍스트, 이미지, 인물 정보 및 풍경 정보 등의 정보일 수 있다. 또한, 피사체 자체를 설명하기 위한 정보가 아닐지라도 메모 등을 삽입하기 위한 동영상, 텍스트, 이미지, 인물 정보 및 풍경 정보 등의 정보일 수도 있다. 즉, 컨텐츠가 포함된 정보란 PIP(Picture In Picture) 방식에서 사용되는 컨텐츠일 수 있다.
예를 들면, 도 3에 도시된 바와 같이, 전자 장치는 전자 장치로부터 상대적인 거리가 가장 가까운 위치에 있는 피사체(301)의 인물 정보를 표시하기 위하여, 전자 장치는 상대적인 거리가 가장 먼 위치에 있는 피사체(306)까지 가려지지 않도록, 텍스트 형식의 컨텐츠(307)를 촬영된 이미지에 삽입하여 디스플레이할 수 있다. 즉, 전자 장치는 상대적인 거리가 가장 가까운 피사체(301)의 이름이 "A"라는 텍스트 형식의 정보를 모든 피사체(301 내지 206)가 가려지지 않도록, 저장된 이미지에 포함하여 디스플레이할 수 있다.
도 4는 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 에지 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면이다. 이하, 도 4의(a)에 도시된 바와 같이, 전자 장치에서 전자 장치에 저장된 이미지에 사람의 얼굴이 포함된 이미지를 삽입하고자 하는 경우를 가정해 보자. 또한, 전자 장치는 피사체 분석 정보와는 별도로 상면 위상 차 센서를 이용하여, 피사체들의 상대적인 거리 정보를 추출하였다고 가정해 보자. 즉, 본 실시예에 따른 전자 장치에서는 상면 위상 차 센서를 이용하여 피사체들의 상대적인 거리 정보를 추출함과는 별도로 보다 정확한 정보를 추출하기 위하여, 추가로 피사체 분석 정보를 파악하는 일 실시예를 나타낸 것이다.
먼저, 전자 장치는 저장된 이미지에 피사체 분석 정보로 사람의 얼굴이 포함된 이미지를 삽입하기 위하여, 피사체인 펭귄의 에지(edge) 분포 정보를 추출할 수 있다. 예를 들면, 도 4의(b)에 도시된 바와 같이, 전자 장치는 저장된 이미지인 펭귄의 경계선만을 다른 정보와 별개로 표시하여, 피사체인 펭귄의 에지 분포 정보를 추출할 수 있다.
즉, 도 4의(b)에 도시된 바와 같이, 전자 장치는 펭귄들과 배경 피사체의 상대적인 거리 정보를 추출함과 동시에 보다 정확한 정보를 추출하기 위하여, 피사체의 에지 분포 정보를 추출할 수 있다.
이후, 전자 장치는 추출된 피사체의 상대적인 거리 정보와 함께 추출된 피사체의 에지 분포 정보를 이용하여, 임의의 컨텐츠가 포함된 정보를 저장된 이미지에 삽입하여 디스플레이할 수 있다. 보다 구체적으로, 전자 장치는 추출된 피사체의 상대적인 거리가 가장 먼 피사체와 추출된 에지 분포 정보량이 가장 적은 위치에 사람의 이미지 정보를 삽입하여 디스플레이할 수 있다.
예를 들면, 도 4의(b)에 도시된 바와 같이, 전자 장치는 피사체의 거리가 가장 먼 배경 피사체 영역인 좌측 위쪽 또는 우측 위쪽 영역에 추출된 에지 분포 정보량까지 함께 고려하여, 사람의 이미지인 컨텐츠를 삽입하여 디스플레이할 수 있다. 즉, 전자 장치는 에지 분포 정보량이 가장 적은 배경 피사체 영역인 좌측 위쪽 또는 우측 위쪽 영역에 삽입하고자 하는 정보를 디스플레이할 수 있다.
도 5는 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 명암 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면이다. 이하, 도 5의(a)에 도시된 바와 같이, 전자 장치에서 전자 장치에 저장된 이미지에 사람의 얼굴이 포함된 이미지를 삽입하고자 하는 경우를 가정해 보자. 또한, 전자 장치는 피사체 분석 정보와는 별도로 상면 위상 차 센서를 이용하여, 피사체들의 상대적인 거리 정보를 추출하였다고 가정해 보자. 즉, 본 실시예에 따른 전자 장치에서는 상면 위상 차 센서를 이용하여 피사체들의 상대적인 거리 정보를 추출함과는 별도로 보다 정확한 정보를 추출하기 위하여, 추가로 피사체 분석 정보를 파악하는 일 실시예를 나타낸 것이다.
먼저, 전자 장치는 저장된 이미지에 피사체 분석 정보로 사람의 얼굴이 포함된 이미지를 삽입하기 위하여, 피사체인 펭귄의 명암 분포 정보를 추출할 수 있다. 예를 들면, 도 5의(b)에 도시된 바와 같이, 전자 장치는 저장된 이미지인 펭귄의 명암만을 다른 정보와 별개로 표시하여, 피사체인 펭귄의 명암 분포 정보를 추출할 수 있다.
즉, 도 5의(b)에 도시된 바와 같이, 전자 장치는 펭귄들과 배경 피사체의 상대적인 거리 정보를 추출함과 동시에 보다 정확한 정보를 추출하기 위하여, 피사체의 명암 분포 정보를 추출할 수 있다.
이후, 전자 장치는 추출된 피사체의 상대적인 거리 정보와 함께 추출된 피사체의 명암 분포 정보를 이용하여, 임의의 컨텐츠가 포함된 정보를 저장된 이미지에 삽입하여 디스플레이할 수 있다. 보다 구체적으로, 전자 장치는 추출된 피사체의 상대적인 거리가 가장 먼 피사체와 추출된 명암 분포 정보량이 가장 적은 위치에 사람의 이미지 정보를 삽입하여 디스플레이할 수 있다.
예를 들면, 도 5의(b)에 도시된 바와 같이, 전자 장치는 피사체의 거리가 가장 먼 배경 피사체 영역인 좌측 위쪽 또는 우측 위쪽 영역에 추출된 명암 분포 정보량까지 함께 고려하여, 사람의 이미지인 컨텐츠를 삽입하여 디스플레이할 수 있다. 즉, 전자 장치는 명암 분포 정보량이 가장 적은 배경 피사체 영역인 좌측 위쪽 또는 우측 위쪽 영역에 삽입하고자 하는 정보를 디스플레이할 수 있다.
도 6은 본 개시에 따른 전자 장치에서 피사체 분석 정보 중 텍스트 분포 정보를 이용하여 컨텐츠가 포함된 정보를 디스플레이하는 일 실시예를 도시한 도면이다. 이하, 전자 장치에서 복수의 피사체(601 내지 605)의 상대적인 거리 정보를 추출함과 별도로 보다 정확한 정보를 추출하기 위하여, 추가로 피사체 분석 정보 중 텍스트 분포 정보를 추출하고자 하는 경우를 가정해 보자. 또한, 전자 장치에서 복수의 피사체(601 내지 605)의 상대적인 거리 정보를 추출한 결과, 사람의 이미지의 피사체(601)가 전자 장치로부터 가장 가까운 위치에 있는 피사체이며, 배경이 되는 나무의 피사체(604)가 가장 먼 위치에 있는 피사체로 인식되었다고 가정해 보자. 또한, 전자 장치에 저장된 피사체 중 "A 공원"이라는 문자가 포함되어 있다고 가정해 보자.
상술한 가정에서, 전자 장치는 전자 장치로부터 위치하고 있는 피사체의 상대적인 거리를 추출함과 동시에 이미지에 포함되어 있는 텍스트 분포 정보를 추출할 수 있다. 보다 구체적으로, 전자 장치는 저장된 이미지에 분포된 텍스트를 광학 문자 인식 기능(Optical Character Recognition)을 이용하여 텍스트 분포 정보를 추출할 수 있다. 즉, 전자 장치는 광학 문자 인식 기능을 이용하여 이미지의 중앙 위쪽에 "A 공원"이라는 텍스트가 분포되어 있다는 것을 확인할 수 있다.
이후, 전자 장치는 추출된 상대적인 거리가 가장 먼 배경 피사체 중 텍스트 분포 정보량이 가장 적은 위치에 임의의 정보를 함께 디스플레이할 수 있다. 예를들면, 도 6에 도시된 바와 같이, 전자 장치는 복수의 피사체(601 내지 604) 및 텍스트가 포함된 피사체(605)와 겹치지 않도록, 가장 가까운 위치에 있는 피사체(601)의 인물 정보를 나타내는 정보(606)를 삽입하여 디스플레이할 수 있다.
도 7은 본 발명의 일 실시예에 따른 피사체의 거리를 추출하여 정보를 표시하는 전자 장치의 방법의 흐름도이다. 먼저, 도 7의(a)에 도시된 바와 같이, 전자 장치는 센서에서 감지된 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출할 수 있다(701). 보다 구체적으로, 전자 장치는 복수의 쌍으로 구성된 위상 차 초점 검출 픽셀을 이용하여, 전자 장치로부터 위치하고 있는 복수의 피사체의 상대적인 거리 정보를 정확히 추출할 수 있다. 즉, 전자 장치는 상면 위상 차 센서를 이용하여, 현재 초점이 맞은 피사체를 기준으로 다른 피사체가 상대적으로 앞쪽에 또는 뒤쪽에 있는지 여부에 따라 상대적인 거리 정보를 추출할 수 있다.
이후, 전자 장치는 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이할 수 있다(702). 보다 구체적으로, 전자 장치는 추출된 상대적인 거리 정보 및 피사체 분석 정보를 이용하여 적어도 둘 이상의 피사체를 상대적인 값에 따라 분류한 후, 상대적인 값에 따라 분류된 적어도 둘 이상의 피사체 중 상대적인 값이 가장 작은 피사체를 검출하여, 검출된 상대적인 값이 가장 작은 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이할 수 있다.
도 8은 본 개시에 따른 전자 장치의 동작 순서를 도시한 순서도이다. 먼저, 도 8에 도시된 바와 같이, 전자 장치는 센서에서 감지된 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출할 수 있다(801). 보다 구체적으로, 전자 장치는 복수의 쌍으로 구성된 위상 차 초점 검출 픽셀을 이용하여, 전자 장치로부터 위치하고 있는 복수의 피사체의 상대적인 거리 정보를 정확히 추출할 수 있다. 즉, 전자 장치는 상면 위상 차 센서를 이용하여, 현재 초점이 맞은 피사체를 기준으로 다른 피사체가 상대적으로 앞쪽에 또는 뒤쪽에 있는지 여부에 따라 상대적인 거리 정보를 추출할 수 있다.
이후, 전자 장치는 추출된 상대적인 거리 정보 및 피사체 분석 정보를 이용하여 적어도 둘 이상의 피사체를 상대적인 값에 따라 분류할 수 있다(802). 보다 구체적으로, 전자 장치는 추출된 상대적인 거리 정보에 따라 상대적인 거리가 가장 가까운 위치에 있는 피사체로부터 가장 먼 위치에 있는 피사체를 분류할 수 있고, 추출된 피사체 분석 정보에 따라 피사체의 분석 정보량이 가장 많은 피사체로부터 가장 적은 피사체를 순서대로 분류할 수 있다.
이후, 전자 장치는 상대적인 값에 따라 분류된 적어도 둘 이상의 피사체 중 상대적인 값이 가장 작은 피사체를 검출할 수 있다(803). 보다 구체적으로, 전자 장치는 저장된 이미지에 임의의 컨텐츠가 포함된 정보를 삽입하여 디스플레이하기 위해서, 상대적인 거리 정보 및 피사체의 분석 정보량이 가장 적은 피사체를 검출할 수 있다.
이후, 전자 장치는 검출된 상대적인 값이 가장 작은 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이할 수 있다(804). 따라서, 본 개시에 따른 전자 장치에서는 전자 장치로부터 상대적인 거리가 가까운 피사체뿐 아니라, 상대적인 거리가 먼 피사체들을 인식하여, 바람직하게는 모든 피사체가 가려지지 않도록 임의의 컨텐츠가 포함된 정보를 삽입하여 디스플레이할 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다. 이러한 전자 장치(900)는, 휴대용 전자 장치(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 휴대용 전자 장치일 수도 있다.
이러한 전자 장치(900)는 메모리(910), 프로세서 모듈(processor module)(920), 제1 무선통신 서브시스템(930), 제2 무선통신 서브시스템(931), 외부 포트(960), 오디오 서브시스템(950), 스피커(951), 마이크로폰(952), 입출력(IO, Input Output) 시스템(970), 터치스크린(980) 및 기타 입력 또는 제어 장치(990)를 포함한다. 메모리(910)와 외부 포트(960)는 다수 개 사용될 수 있다.
프로세서 모듈(920)은, 메모리 인터페이스(921), 하나 이상의 프로세서 (922) 및 주변장치 인터페이스(peripheral interface)(923)를 포함할 수 있다. 경우에 따라서는, 프로세서 모듈(920) 전체를 프로세서로 칭하기도 한다. 본 발명에서 프로세서 모듈(920)은, 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출할 수 있다. 또한, 프로세서 모듈(920)은, 센서에 구비된 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출할 수 있다. 또한, 프로세서 모듈(920)은, 추출된 상대적인 거리 정보 및 피사체 분석 정보를 이용하여 적어도 둘 이상의 피사체를 상대적인 값에 따라 분류하며, 상대적인 값에 따라 분류된 적어도 둘 이상의 피사체 중 상대적인 값이 가장 작은 피사체를 검출할 수 있다.
프로세서 모듈(920)은 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치(900)를 위한 여러 기능을 수행하며, 또한 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행한다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(922)는 메모리(910)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 한다. 즉, 프로세서(922)는 메모리(910)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예의 방법을 수행한다.
프로세서(922)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성할 수도 있다. 또한, 서로 다른 기능을 수행하는 여러 개의 프로세서로 구성될 수도 있다. 주변 장치 인터페이스(923)는 전자 장치(900)의 입출력 서브시스템(970) 및 여러 가지 주변 장치를 프로세서(922) 및 메모리(910)(메모리 인터페이스를 통하여)에 연결시킨다.
전자 장치(900)의 다양한 구성요소들은 하나 이상의 통신 버스(참조번호 미기재) 또는 스트림 선(참조번호 미기재)에 의해 결합될(coupled) 수 있다.
외부 포트(960)는, 휴대용 전자 장치(미도시)를 다른 전자 장치로 직접 연결되거나 네트워크(예컨대, 인터넷, 인트라넷, 무선 LAN 등)를 통하여 다른 전자 장치로 간접적으로 연결하는 데 사용된다. 외부 포트(960)는, 예를 들면, 이들에 한정되지는 않지만, USB(Universal serial Bus) 포트 또는 FIREWIRE 포트 등을 말한다.
움직임 센서(991) 및 제1 광 센서(992)는 주변장치 인터페이스(923)에 결합되어 여러 가지 기능을 가능하게 할 수 있다. 예를 들어, 움직임 센서(991) 및 광 센서(992)가 주변장치 인터페이스(923)에 결합되어 각각 전자 장치의 움직임 감지 및 외부로부터의 빛 감지를 가능하게 할 수 있다. 이외에도, 위치측정 시스템, 온도센서 또는 생체 센서 등과 같은 기타 센서들이 주변장치 인터페이스(923)에 연결되어 관련 기능들을 수행할 수 있다.
카메라 서브시스템(993)은 사진 및 비디오 클립 레코딩과 같은 카메라 기능을 수행할 수 있다.
광 센서(992)는 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 디바이스를 사용할 수 있다.
하나 이상의 무선 통신 서브시스템(930, 931)을 통해 통신 기능이 수행된다. 무선 통신 서브시스템(930, 931)은 무선 주파수(radio frequency) 수신기 및 송수신기 및/또는 광(예컨대, 적외선) 수신기 및 송수신기를 포함할 수 있다. 제1 통신 서브시스템(930)과 제2 통신 서브 시스템(931)은 전자 장치(900)가 통신하는 통신 네트워크에 따라 구분할 수 있다. 예를 들어, 통신 네트워크는, 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WiMax 네트워크 또는/및 Bluetooth네트워크 등을 통해 동작하도록 설계되는 통신 서브시스템을 포함할 수 있다. 제1 무선 통신 서브시스템(930)과 제2 무선 통신 서브시스템(931)은 합하여 하나의 무선 통신 서브시스템으로 구성할 수도 있다.
오디오 서브시스템(950)이 스피커(951) 및 마이크로폰(952)에 결합되어 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력과 출력을 담당할 수 있다. 즉, 오디오 서브시스템(950)은 스피커(speaker)(951) 및 마이크로폰(952)을 통해 사용자와 소통한다(communicate). 오디오 서브시스템(950)은 프로세서 모듈(920)의 주변장치 인터페이스(923)를 통하여 데이터 스트림을 수신하고, 수신한 데이터 스트림을 전기 스트림으로 변환한다. 변환된 전기 스트림(electric signal)는 스피커(951)로 전달된다. 스피커(951)는 전기 스트림을 사람이 들을 수 있는 음파(sound wave)로 변환하여 출력한다. 마이크로폰 (952)은, 사람이나 기타 다른 소리원(sound source)들로부터 전달된 음파를 전기 스트림으로 변환한다. 오디오 서브시스템(950)은 마이크로폰(952)으로부터 변환된 전기 스트림을 수신한다. 오디오 서브시스템(950)은 수신한 전기스트림을 오디오 데이터 스트림으로 변환하며, 변환된 오디오 데이터 스트림을 주변 인터페이스 (923)로 전송한다. 오디오 서브시스템(950)은 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)을 포함할 수 있다.
입출력(I/O, Input/Output) 서브시스템(970)은 터치 스크린 제어기(971) 및/또는 기타 입력 제어기(972)를 포함할 수 있다. 터치스크린 제어기(971)는 터치 스크린(980)에 결합될 수 있다. 터치 스크린(980) 및 터치 스크린 제어기(971)는, 이하에 한정되지는 않지만, 터치 스크린(980)과의 하나 이상의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 임의의 멀티 터치 감지 기술을 이용하여 접촉 및 움직임 또는 이들의 중단을 검출할 수 있다. 기타 입력 제어기(972)는 기타 입력/제어 장치들(990)에 결합될 수 있다. 기타 입력/제어 장치들(990)에 하나 이상의 버튼, 로커(rocker) 스위치, 섬 휠(thumb-wheel), 다이얼(dial), 스틱(stick), 및/또는 스타일러스와 같은 포인터 장치 등 일수 있다.
터치스크린(980)은 전자 장치(900)와 사용자 사이에 입력/출력 인터페이스를 제공한다. 즉, 터치스크린(980)은 사용자의 터치 입력을 전자 장치(900)에 전달한다. 또한 전자 장치(900)로부터의 출력을 사용자에게 보여주는 매개체이다. 즉, 터치스크린 (980)은 사용자에게 시각적인 출력을 보여준다. 이러한 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타난다.
터치스크린(980)은 여러 가지 디스플레이가 사용될 수 있다. 예를 들면, 이에 한정하지는 않지만, LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)를 사용할 수 있다. 본 발명의 터치 스크린(980)은, 추출된 상대적인 거리 정보 및 피사체 분석 정보가 반영된 상대적인 값이 작은 피사체에 적어도 하나의 정보를 디스플레이할 수 있다. 또한, 터치 스크린(980)은, 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 적어도 하나의 정보를 디스플레이할 수 있다. 또한, 터치 스크린(980)은, 피사체 분석 정보를 이용하여 분석된 정보량이 적은 부분에 적어도 하나의 정보를 디스플레이할 수 있다. 또한, 터치 스크린(980)은, 검출된 상대적인 값이 가장 작은 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이할 수 있다.
메모리(910)는 메모리 인터페이스(921)에 결합될 수 있다. 메모리(910)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다.
메모리(910)는 소프트웨어를 저장한다. 소프트웨어 구성요소는 운영 체제(operating system) 모듈(911), 통신 모듈(912), 그래픽 모듈(913), 사용자 인터페이스 모듈(914) 및 MPEG 모듈(915), 카메라 모듈(916), 하나 이상의 애플리케이션 모듈(917) 등을 포함한다. 또한, 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다. 운영 체제 소프트웨어(911)[예를 들어, WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제]는 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 이러한 운영 체제 소프트웨어는 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행한다.
통신 모듈(912)은, 무선통신 서브시스템(930, 931)이나 외부 포트(960)를 통해 컴퓨터, 서버 및/또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다.
그래픽 모듈(913)은 터치스크린(980) 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함한다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용된다.
사용자 인터페이스 모듈(914)은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함한다.
코덱(CODEC) 모듈(915)은 비디오 파일의 인코딩 및 디코딩 관련한 소프트웨어 구성요소를 포함할 수 있다. 코덱 모듈은 MPEG 모듈 및/또는 H204 모듈과 같은 비디오 스트림 모듈을 포함할 수 있다. 또한, 코덱 모듈은 AAA, AMR, WMA 등 여러 가지 오디오 파일용 코덱 모듈을 포함할 수 있다. 또한, 코덱 모듈(915)은 본 발명의 실시 방법에 대응하는 명령어 세트를 포함한다.
카메라 모듈(916)은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함한다.
애플리케이션 모듈(917)은 브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위짓(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함한다.
또한, 위에서 언급한, 그리고 이하에서 언급할, 본 발명에 따른 전자 장치(900)의 다양한 기능들은 하나 이상의 스트림 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
201: 피사체 202: 피사체
203: 피사체 204: 피사체
301: 피사체 302: 피사체
303: 피사체 304: 피사체
305: 피사체 306: 피사체
307: 텍스트 형식의 컨텐츠 601: 피사체
602: 피사체 603: 피사체
604: 피사체 605: 텍스트가 포함된 피사체
900: 전자장치 910: 메모리
911: 운영체제 모듈 912: 통신모듈
913: 그래픽 모듈 914: 사용자 인터페이스 모듈
915: CODEC 모듈 916: 카메라 모듈
917: 애플리케이션 920: 프로세서 모듈
921: 메모리 인터페이스 922: 프로세서
923: 주변 장치 인터페이스 930: 제1 무선 통신 서브시스템
931: 제2 무선 통신 서브시스템 950: 오디오 서브 시스템
951: 스피커 952: 마이크로폰
960: 외부 포트 970: 입출력 시스템
971: 터치 스크린 제어기 972: 기타 입력 제어기
980: 터치 스크린 990: 기타 입력/제어 장치들
991: 움직임 센서 992: 제1 광 센서
993: 카메라 서브 시스템

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치에 설치된 카메라 어플리케이션을 실행하는 동작;
    상기 카메라 어플리케이션이 실행되는 동안, 상기 전자 장치의 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체 각각에 대한 상대적인 거리 정보를 추출하는 동작;
    상기 카메라 어플리케이션에 획득된, 상기 적어도 두 개의 피사체를 포함하는 이미지를 출력하는 동작;
    상기 이미지에 포함된 각각의 피사체에 대한 상대적인 거리 정보 및 상기 이미지에 포함된 각각의 피사체에 대한 피사체 분석 정보에 기초하여, 상기 이미지에 포함된 각각의 피사체에 대한 상대적인 값을 결정하는 동작;
    상기 상대적인 값에 기초하여, 가장 작은 상대적인 값과 관련된 하나의 객체를 선택하는 동작; 및,
    상기 선택된 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이하는 동작을 포함하며,
    상기 상대적인 거리 정보는, 상기 적어도 둘 이상의 피사체 각각과 상기 전자 장치 사이의 거리 정보를 의미하고,
    상기 피사체 분석 정보는, 상기 각각의 피사체의 에지(edge) 분포 정보, 컬러(color) 분포 정보, 명암 분포 정보 및 텍스트 분포 정보 중 적어도 하나의 정보를 포함하는 방법.
  2. 제1항에 있어서,
    상기 센서는,
    상면 위상 차 센서인 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체의 상대적인 거리 정보를 추출하는 동작은,
    상기 센서에 구비된 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 상기 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 정보를 디스플레이하는 동작은,
    PIP(Picture In Picture) 방식을 이용하여 상기 정보를 디스플레이하는 동작을 포함하는 방법.
  5. 제1항에 있어서,
    상기 텍스트 분포 정보는,
    상기 적어도 둘 이상의 피사체에 분포된 텍스트를 광학 문자 인식 기능(Optical Character Recognition)을 이용하여 획득한 정보인 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 정보는,
    적어도 하나의 컨텐츠가 포함된 정보인 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이하는 동작은,
    상기 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 상기 적어도 하나의 정보를 디스플레이하는 동작을 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 피사체의 특정 영역에 상기 적어도 하나의 정보를 디스플레이하는 동작은,
    상기 피사체 분석 정보를 이용하여 분석된 정보량이 적은 부분에 상기 적어도 하나의 정보를 디스플레이하는 동작을 포함하는 것을 특징으로 하는 방법.
  9. 제6항에 있어서,
    상기 적어도 하나의 컨텐츠는,
    동영상, 텍스트 또는 이미지 중 적어도 하나를 포함하는 방법.
  10. 제1항에 있어서,
    상기 특정 영역은,
    다른 피사체의 영역과 중복되지 않도록 상기 상대적인 값이 가장 작은 피사체 내의 영역인 것을 특징으로 하는 방법.
  11. 전자 장치에 있어서,
    센서; 및
    프로세서를 포함하며,
    상기 프로세서는,
    상기 전자 장치에 설치된 카메라 어플리케이션을 실행하고,
    상기 카메라 어플리케이션이 실행되는 동안, 상기 센서에서 감지한 픽셀 분포도를 이용하여 적어도 둘 이상의 피사체 각각에 대한 상대적인 거리 정보를 추출하고,
    상기 카메라 어플리케이션에 획득된, 상기 적어도 두 개의 피사체를 포함하는 이미지를 출력하고,
    상기 이미지에 포함된 각각의 피사체에 대한 상대적인 거리 정보 및 상기 이미지에 포함된 각각의 피사체에 대한 피사체 분석 정보에 기초하여, 상기 이미지에 포함된 각각의 피사체에 대한 상대적인 값을 결정하고,
    상기 상대적인 값에 기초하여, 가장 작은 상대적인 값과 관련된 하나의 객체를 선택하고,
    상기 선택된 피사체의 특정 영역에 적어도 하나의 정보를 디스플레이하도록 구성되며,
    상기 상대적인 거리 정보는, 상기 적어도 둘 이상의 피사체 각각과 상기 전자 장치 사이의 거리 정보를 의미하고,
    상기 피사체 분석 정보는, 상기 각각의 피사체의 에지(edge) 분포 정보, 컬러(color) 분포 정보, 명암 분포 정보 및 텍스트 분포 정보 중 적어도 하나의 정보를 포함하는 장치.
  12. 제11항에 있어서,
    상기 센서는,
    상면 위상 차 센서인 것을 특징으로 하는 장치.
  13. 제11항에 있어서,
    상기 프로세서 모듈은,
    상기 센서에 구비된 적어도 한 쌍의 위상 차 초점 검출 픽셀에서 감지한 픽셀 분포도를 이용하여 상기 적어도 둘 이상의 피사체 중 각각의 피사체의 상대적인 거리 정보를 추출하는 것을 특징으로 하는 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    PIP(Picture In Picture) 방식을 이용하여 상기 정보를 디스플레이하도록 구성된 장치.
  15. 제11항에 있어서,
    상기 텍스트 분포 정보는,
    상기 적어도 둘 이상의 피사체에 분포된 텍스트를 광학 문자 인식 기능을 이용하여 획득한 정보인 것을 특징으로 하는 장치.
  16. 제11항에 있어서,
    상기 적어도 하나의 정보는,
    적어도 하나의 컨텐츠가 포함된 정보인 것을 특징으로 하는 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 추출된 상대적인 거리 정보를 이용하여 상대적인 거리가 먼 피사체에 상기 적어도 하나의 정보를 디스플레이하도록 구성된 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 피사체 분석 정보를 이용하여 분석된 정보량이 적은 부분에 상기 적어도 하나의 정보를 디스플레이하도록 구성된 장치.
  19. 제16항에 있어서,
    상기 적어도 하나의 컨텐츠는,
    동영상, 텍스트 또는 이미지 중 적어도 하나를 포함하는 장치.
  20. 제11항에 있어서,
    상기 특정 영역은,
    다른 피사체의 영역과 중복되지 않도록 상기 상대적인 값이 가장 작은 피사체 내의 영역인 것을 특징으로 하는 장치.
KR1020130071361A 2013-06-21 2013-06-21 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법 KR102124601B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130071361A KR102124601B1 (ko) 2013-06-21 2013-06-21 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법
US14/311,017 US10395132B2 (en) 2013-06-21 2014-06-20 Electronic device for extracting distance of object and displaying information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130071361A KR102124601B1 (ko) 2013-06-21 2013-06-21 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140148023A KR20140148023A (ko) 2014-12-31
KR102124601B1 true KR102124601B1 (ko) 2020-06-19

Family

ID=52110966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130071361A KR102124601B1 (ko) 2013-06-21 2013-06-21 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법

Country Status (2)

Country Link
US (1) US10395132B2 (ko)
KR (1) KR102124601B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043869A1 (en) * 2007-12-21 2011-02-24 Nec Corporation Information processing system, its method and program
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP2012109901A (ja) * 2010-11-19 2012-06-07 Elmo Co Ltd 資料提示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815158A (en) * 1995-12-29 1998-09-29 Lucent Technologies Method and apparatus for viewing large ensembles of three-dimensional objects on a computer screen
US7031553B2 (en) * 2000-09-22 2006-04-18 Sri International Method and apparatus for recognizing text in an image sequence of scene imagery
JP4042710B2 (ja) * 2004-02-25 2008-02-06 カシオ計算機株式会社 オートフォーカス装置及びそのプログラム
US8233077B2 (en) 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
KR20120079189A (ko) 2011-01-04 2012-07-12 삼성전자주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP5589857B2 (ja) * 2011-01-11 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
FR2982418B1 (fr) * 2011-11-04 2014-05-30 E2V Semiconductors Capteur d'image a defilement et sommation numerique multiphase

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043869A1 (en) * 2007-12-21 2011-02-24 Nec Corporation Information processing system, its method and program
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP2012109901A (ja) * 2010-11-19 2012-06-07 Elmo Co Ltd 資料提示装置

Also Published As

Publication number Publication date
KR20140148023A (ko) 2014-12-31
US20140376779A1 (en) 2014-12-25
US10395132B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
KR102157327B1 (ko) 이미지 형식의 객체를 텍스트 형식으로 변환하는 전자 장치 및 방법
US11158057B2 (en) Device, method, and graphical user interface for processing document
KR102076771B1 (ko) 다수의 이미지 동시 포착
KR20140045741A (ko) 가상 폴더를 생성하여 저장된 애플리케이션들을 관리할 수 있는 전자 장치 및 방법
EP2811731B1 (en) Electronic device for editing dual image and method thereof
KR102234400B1 (ko) 컨텐츠의 순서 또는 위치를 변경하는 전자 장치 및 방법
EP2677501A2 (en) Apparatus and method for changing images in electronic device
US9430806B2 (en) Electronic device and method of operating the same
KR102187236B1 (ko) 프리뷰 방법 및 이를 구현하는 전자 장치
JP6239783B2 (ja) 情報選択方法及び装置
KR20130115694A (ko) 사용자 데이터를 입력 및 관리할 수 있는 전자 장치 및 방법
KR20140025940A (ko) 터치 시간에 따라 컨텐츠의 페이지 수를 이동시키는 전자 장치 및 방법
KR102192157B1 (ko) 검색 장소에 대한 관련 정보를 제공하는 전자 장치 및 방법
US9633273B2 (en) Method for processing image and electronic device thereof
KR102031284B1 (ko) 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
KR20130107844A (ko) 전자 장치에서 자동 초점 기능을 제어하기 위한 장치 및 방법
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
EP3068128A1 (en) Information processing device, information processing method, and information processing system
KR20150004623A (ko) 컨텐츠를 통합 검색할 수 있는 전자 장치 및 방법
KR102124601B1 (ko) 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법
KR20140084816A (ko) 공간적 움직임을 반영하여 피사체의 초점을 맞추는 전자 장치 및 방법
KR20140147461A (ko) 고유의 컨텐츠를 삽입하는 전자 장치 및 방법
KR20190063803A (ko) 오브젝트 이미지 합성 방법 및 장치
US20150062365A1 (en) Method for capturing image and electronic device thereof
US20160267175A1 (en) Electronic apparatus and method of extracting highlight section of sound source

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right