KR102374022B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102374022B1
KR102374022B1 KR1020150136990A KR20150136990A KR102374022B1 KR 102374022 B1 KR102374022 B1 KR 102374022B1 KR 1020150136990 A KR1020150136990 A KR 1020150136990A KR 20150136990 A KR20150136990 A KR 20150136990A KR 102374022 B1 KR102374022 B1 KR 102374022B1
Authority
KR
South Korea
Prior art keywords
image
resolution
region
interest
controller
Prior art date
Application number
KR1020150136990A
Other languages
English (en)
Other versions
KR20160037115A (ko
Inventor
디브야 파티다르
가야뜨리 라마누잠
파니쉬 하나갈 스리니바사 라오
벤카트 라마나 페디가리
아누라그 미트하랄 제인
빈디간 하리프라산나 파완 프라사드
로카 수드하르산 레디
스리바트사 드와라카 브하미디파티
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/866,049 priority Critical patent/US10229478B2/en
Priority to PCT/KR2015/010259 priority patent/WO2016048108A1/en
Publication of KR20160037115A publication Critical patent/KR20160037115A/ko
Application granted granted Critical
Publication of KR102374022B1 publication Critical patent/KR102374022B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

기재된 실시예는 영상을 확대하여 표시할 때 표시된 영상의 품질을 향상시킬 수 있는 영상 처리 장치 및 방법에 관한 것으로서, 제1영상을 준비하는 단계, 상기 제1영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하는 단계, 및 복원 데이터를 생성하는 단계를 포함하고, 상기 복원 데이터를 이용하여 복원된 제2영상은 상기 관심영역에 대응하고, 상기 제2영상의 해상도는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높은 영상 처리 방법이 제공될 수 있다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD OF PROCESSING IMAGES}
기재된 실시예는 영상을 확대하여 표시할 때 표시된 영상의 품질을 향상시킬 수 있는 영상 처리 장치 및 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말기가 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 개인용 휴대 단말기가 널리 보급되고 있다. 또한, 소형 카메라 기술 및 디스플레이 기술의 발전에 따라 대부분의 스마트폰에는 카메라 모듈 및 디스플레이가 포함되어 있다. 대부분의 디지털 카메라에도 카메라 모듈 및 디스플레이가 포함되어 있다.
사용자는 스마트폰 또는 디지털 카메라와 같이 카메라 모듈 및 디스플레이를 포함하는 전자장치를 이용하여 영상을 촬영할 수 있다. 사용자는 전자장치에 포함된 디스플레이를 이용하여 상기 촬영된 영상을 확인할 수 있다. 사용자는 영상을 보다 자세히 살펴보기 위하여 영상의 확대에 대응하는 터치입력을 전자장치에 입력할 수 있다. 상기 터치입력에 대한 응답으로, 전자장치는 영상의 일부를 확대하여 표시할 수 있다.
영상의 원본 해상도를 초과하여 영상을 확대한 경우, 표시된 영상의 품질은 낮을 수 있다. 예를 들어, 영상의 원본 해상도가 1600만 화소이고 디스플레이의 해상도가 200만 화소인 경우, 표시되는 영상의 품질의 저하 없이 상기 디스플레이 상에 표시할 수 있는 최대 확대 배율은 sqrt(16/2) = 2.828(배)일 수 있다. 2.828배를 초과하여 영상을 확대한 경우 영상의 품질은 업스케일링으로 인하여 열화(deterioration)될 수 있다.
기재된 실시예에 따르면 영상을 확대하여 표시할 때 표시된 영상의 품질을 향상시킬 수 있는 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 실시예에 따르면 영상의 품질을 향상시키기 위해 필요로 하는 추가적인 저장공간의 크기를 감소시킬 수 있는 영상 처리 장치 및 방법이 제공될 수 있다.
실시예에 따른 영상 처리 방법은, 제1영상을 준비하는 단계, 상기 제1영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하는 단계, 및 복원 데이터를 생성하는 단계를 포함하고, 상기 복원 데이터를 이용하여 복원된 제2영상은 상기 관심영역에 대응하고, 상기 제2영상의 해상도는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다.
또한, 상기 제1영상은 대상에 대해 촬영된 영상이고, 상기 복원 데이터를 생성하는 단계는, 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성하는 단계, 및 상기 제1영상 및 상기 복원 데이터를 저장하는 단계를 포함할 수 있다.
또한, 상기 제1영상은 대상으로부터 반사된 빛을 이용하여 생성된 미리보기(preview) 영상이고, 상기 제1영상을 준비하는 단계는, 상기 미리보기 영상을 디스플레이에 표시하는 단계를 포함하고, 상기 복원 데이터를 생성하는 단계는, 상기 대상에 대한 제3영상을 촬영하는 단계, 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성하는 단계, 및 상기 제3영상 및 상기 복원 데이터를 저장하는 단계를 포함할 수 있다.
또한, 상기 복원 데이터를 생성하는 단계는, 상기 대상에 대한 복수의 영상을 촬영하는 단계, 및 상기 복수의 영상 중에서 적어도 일부를 이용하여 상기 관심영역에 대한 슈퍼레졸루션(super resolution) 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 복원 데이터를 생성하는 단계는, 상기 제3영상 내에서 상기 관심영역에 대응하는 부분 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 비교 데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 복원 데이터를 생성하는 단계는, 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 크고 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 작거나 같은 해상도 중에서 적어도 하나 이상을 선택하는 단계, 상기 선택된 각각의 해상도로 상기 제3영상 내에서 상기 관심영역에 대응하는 부분을 업스케일링하거나 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 다운스케일링함으로써 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 서로 동일하게 만드는 단계, 및 상기 제3영상 내에서 상기 관심영역에 대응하는 부분과 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 서로 비교함으로써 상기 선택된 각각의 해상도에 대한 비교 데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 적어도 하나 이상의 관심영역을 지정하는 단계는, 상기 미리보기 영상을 복수의 영역으로 분할하는 단계, 상기 각각의 영역 내에 관심대상(OOI, Object Of Interest)이 포함되어 있는지 여부를 판정하는 단계, 및 상기 판정 결과에 따라 상기 복수의 영역 중에서 적어도 하나 이상을 상기 관심영역으로 지정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 관심영역을 지정하는 단계는, 상기 미리보기 영상을 분석함으로써 상기 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계, 및 상기 검출된 영역을 상기 관심영역으로 지정하는 단계를 포함할 수 있다.
또한, 상기 관심대상의 위치를 검출하는 단계는, 상기 미리보기 영상 내에서 고주파요소(high frequency component)의 위치를 검출하는 단계, 상기 미리보기 영상에 대해 안면인식(face recognition)을 수행함으로써 안면의 위치를 검출하는 단계, 상기 미리보기 영상에 대해 광학문자판독(OCR, optical character recognition)을 수행함으로써 텍스트의 위치를 검출하는 단계, 및 상기 미리보기 영상 내에서 초점의 위치를 검출하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 관심영역을 지정하는 단계는, 사용자로부터 드래그 입력을 수신하는 단계, 상기 미리보기 영상 내에서 상기 드래그 입력에 대응하는 제1영역을 검출하는 단계, 사용자로부터 탭 입력을 수신하는 단계, 상기 미리보기 영상 내에서 상기 탭 입력에 대응하는 위치를 검출하는 단계, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 제2영역을 검출하는 단계, 및 상기 제1영역 및 상기 제2영역을 상기 관심영역으로 지정하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 관심영역을 지정하는 단계는, 상기 미리보기 영상을 분석함으로써 상기 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계, 상기 미리보기 영상 상에 상기 검출된 영역을 표시하는 단계, 사용자로부터 탭 입력을 수신하는 단계, 상기 검출된 영역 중에서 상기 탭 입력에 대응하는 영역을 선택하거나 선택해제하는 단계, 사용자로부터 드래그 입력을 수신하는 단계, 상기 미리보기 영상 내에서 상기 드래그 입력에 대응하는 제3영역을 검출하는 단계, 및 상기 선택된 영역 및 상기 제3영역을 상기 관심영역으로 지정하는 단계를 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 저장된 제3영상 및 상기 제3영상 내에서 상기 관심영역에 대응하는 부분을 표시하는 단계, 사용자로부터 입력을 수신하는 단계, 상기 수신된 입력을 이용하여 상기 디스플레이의 해상도를 기준으로 한 확대 배율을 결정하는 단계, 상기 확대 배율 및 상기 복원 데이터를 이용하여 상기 제3영상의 확대 영상을 생성하는 단계, 및 상기 확대 영상을 표시하는 단계를 더 포함할 수 있다.
또한, 상기 확대 영상을 생성하는 단계는, 상기 확대 배율이 1보다 크고 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 작은 경우 상기 제3영상 내에서 상기 디스플레이에 표시될 부분을 다운스케일링함으로써 상기 확대 영상을 생성하는 단계, 및 상기 확대 배율이 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근과 서로 동일한 경우 상기 제3영상 내에서 상기 디스플레이에 표시될 부분을 잘라냄(crop)으로써 상기 확대 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 확대 영상을 생성하는 단계는, 상기 확대 배율이 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 크고, 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 작거나 같은 경우 상기 제3영상 내에서 상기 디스플레이에 표시될 부분을 업스케일링함으로써 부분 영상을 생성하는 단계, 및 상기 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 부분 영상에 대응하는 부분을 상기 부분 영상과 합성함으로써 상기 확대 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 확대 영상을 생성하는 단계는, 상기 확대 배율이 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 크고, 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 작은 경우 상기 제3영상 내의 상기 디스플레이에 표시될 부분 중에서 상기 관심영역에 대응하는 일부를 업스케일링하여 제1부분영상을 생성하는 단계, 상기 제3영상 내의 상기 디스플레이에 표시될 부분 중에서 상기 관심영역에 대응하지 않는 다른 일부를 업스케일링하여 제2부분영상을 생성하는 단계, 상기 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 제1부분영상에 대응하는 부분을 상기 제1부분영상과 합성함으로써 슈퍼레졸루션 부분 영상을 생성하는 단계, 및 상기 슈퍼레졸루션 부분 영상 및 상기 제2부분영상을 결합함으로써 상기 확대 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 확대 영상을 생성하는 단계는, 상기 확대 배율이 상기 제3영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 큰 경우 상기 제3영상 내에서 상기 디스플레이에 표시될 부분을 업스케일링함으로써 부분 영상을 생성하는 단계, 및 상기 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 부분 영상에 대응하는 부분을 상기 부분 영상과 합성하는 단계, 및 상기 합성된 영상을 업스케일링함으로써 상기 확대 영상을 생성하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법은, 저장된 영상 및 상기 영상 내에서 관심영역에 대응하는 부분을 표시하는 단계, 사용자로부터 입력을 수신하는 단계, 상기 수신된 입력을 이용하여 확대 배율을 결정하는 단계, 상기 영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 이용하여 상기 확대 배율에 대응하는 확대 영상을 생성하는 단계, 및 상기 확대 영상을 표시하는 단계를 포함하고, 상기 확대 영상은 상기 관심영역에 대응하고, 상기 확대 영상의 해상도는 상기 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다.
실시예에 따른 영상 처리 장치는, 대상으로부터 반사된 빛을 수신하는 수광부, 및 상기 수신된 빛을 이용하여 제1영상을 준비하고, 상기 제1영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하고, 복원 데이터를 생성하는 제어부를 포함하고, 상기 복원 데이터를 이용하여 복원된 제2영상은 상기 관심영역에 대응하고, 상기 제2영상의 해상도는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다.
또한, 상기 영상 처리 장치는, 저장부를 더 포함하고, 상기 제1영상은 상기 대상에 대해 촬영된 영상이고, 상기 제어부는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성하고, 상기 저장부는 상기 제1영상 및 상기 복원 데이터를 저장할 수 있다.
또한, 상기 영상 처리 장치는, 상기 수신된 빛을 이용하여 미리보기(preview) 영상을 생성하는 영상신호처리부, 상기 미리보기 영상을 표시하는 표시부, 및 저장부를 더 포함하고, 상기 제1영상은 상기 미리보기(preview) 영상이고, 상기 제어부는 상기 수광부 및 상기 영상신호처리부를 제어함으로써 상기 대상에 대한 제3영상을 촬영하고, 상기 제어부는 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성하고, 상기 저장부는 상기 제3영상 및 상기 복원 데이터를 저장할 수 있다.
또한, 상기 복원 데이터는 상기 관심영역에 대한 슈퍼레졸루션 영상일 수 있다.
또한, 상기 복원 데이터는 상기 제3영상 내에서 상기 관심영역에 대응하는 부분 및 상기 제3영상에 대응하는 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 비교 데이터일 수 있다.
또한, 상기 제어부는 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 크고 상기 제3영상에 대응하는 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 작거나 같은 해상도 중에서 적어도 하나 이상을 선택하고, 상기 제어부는 상기 선택된 각각의 해상도로 상기 제3영상 내에서 상기 관심영역에 대응하는 부분을 업스케일링하거나 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 다운스케일링함으로써 상기 제3영상 내에서 상기 관심영역에 대응하는 부분의 해상도 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 서로 동일하게 만들고, 상기 제어부는 상기 제3영상 내에서 상기 관심영역에 대응하는 부분과 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 서로 비교함으로써 상기 선택된 각각의 해상도에 대한 상기 복원 데이터를 생성할 수 있다.
또한, 상기 제어부는 상기 미리보기 영상을 복수의 영역으로 분할하고, 상기 제어부는 상기 각각의 영역 내에 관심대상(OOI, Object Of Interest)이 포함되어 있는지 여부를 판정하고, 상기 제어부는 상기 판정 결과에 따라 상기 복수의 영역 중에서 적어도 하나 이상을 상기 관심영역으로 지정할 수 있다.
또한, 상기 제어부는 상기 미리보기 영상을 분석함으로써 상기 미리보기 영상 내에서 관심대상의 위치를 검출하고, 상기 제어부는 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하고, 상기 제어부는 상기 검출된 영역을 상기 관심영역으로 지정할 수 있다.
또한, 상기 영상 처리 장치는, 드래그 입력을 수신하는 입력부를 더 포함하고, 상기 제어부는 상기 미리보기 영상 내에서 상기 드래그 입력에 대응하는 제1영역을 검출하고, 상기 입력부는 탭 입력을 더 수신하고, 상기 제어부는 상기 미리보기 영상 내에서 상기 탭 입력에 대응하는 위치를 검출하고, 상기 제어부는 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 제2영역을 검출하고, 상기 제어부는 상기 제1영역 및 상기 제2영역을 상기 관심영역으로 지정할 수 있다.
또한, 상기 영상 처리 장치는, 입력을 수신하는 입력부를 더 포함하고, 상기 제어부는 상기 수신된 입력을 이용하여 상기 표시부의 해상도를 기준으로 한 확대 배율을 결정하고, 상기 제어부는 상기 확대 배율 및 상기 복원 데이터를 이용하여 상기 제3영상의 확대 영상을 생성하고, 상기 표시부는 상기 생성된 확대 영상을 표시할 수 있다.
또 다른 실시예에 따른 영상 처리 방법은, 제1영상을 준비하는 단계, 상기 제1영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하는 단계, 상기 제1영상을 이용하여 상기 관심영역에 대응하는 복원 데이터를 생성하는 단계, 상기 제1영상을 압축하여 압축 영상을 생성하는 단계; 및 상기 압축 영상 및 상기 복원 데이터를 저장하는 단계를 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 복원 데이터를 이용하여 상기 압축 영상 내에서 상기 관심영역에 대응하는 부분을 복원함으로써 복원 영상을 생성하는 단계, 및 상기 복원 영상을 표시하는 단계를 더 포함하고, 상기 복원 영상은 상기 관심영역에 대응하고, 상기 복원 영상의 해상도는 상기 압축 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다.
기재된 실시예에 따르면 영상이 확대되어 표시될 때 표시된 영상의 품질이 향상될 수 있다.
또한, 실시예에 따르면 영상의 품질을 향상시키기 위해 필요로 하는 추가적인 저장공간의 크기가 감소될 수 있다.
도 1은 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 3은 실시예에 따라 영상 처리 장치에 표시된 미리보기 영상이다.
도 4는 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 5는 실시예에 따라 복수의 영역으로 분할된 미리보기 영상이다.
도 6은 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 7은 실시예에 따라 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 8은 다른 실시예에 따른 미리보기 영상이다.
도 9는 도 8에 도시된 미리보기 영상 내에서 고주파요소의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
도 10은 또 다른 실시예에 따른 미리보기 영상이다.
도 11은 도 10에 도시된 미리보기 영상 내에서 안면의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
도 12는 또 다른 실시예에 따른 미리보기 영상이다.
도 13은 도 12에 도시된 미리보기 영상 내에서 텍스트의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
도 14는 또 다른 실시예에 따른 미리보기 영상이다.
도 15는 도 14에 도시된 미리보기 영상 내에서 초점의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
도 16은 또 다른 실시예에 따라 미리보기 영상 내에서 관심대상에 대응하는 영역을 검출한 결과를 나타내는 화면이다.
도 17은 또 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 18은 또 다른 실시예에 따른 미리보기 영상이다.
도 19는 도 18에 도시된 미리보기 영상 내에서 사용자의 입력에 대한 응답으로 관심영역을 지정한 결과를 나타내는 화면이다.
도 20은 또 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 21은 도 18에 도시된 미리보기 영상 상에 관심대상에 대응하는 영역을 표시한 결과를 나타내는 화면이다.
도 22는 실시예에 따라 제1영상 및 복원 데이터를 저장하는 단계를 설명하기 위한 참고도이다.
도 23은 실시예에 따라 복원 데이터를 이용하여 확대 영상을 생성하고 표시하는 방법이 수행되는 과정을 나타내는 순서도이다.
도 24는 영상 처리 장치에 표시된 갤러리 화면 내의 하나의 썸네일에 대해 사용자로부터 터치 입력이 수신된 경우를 나타내는 화면이다.
도 25는 영상 처리 장치에 표시된 영상에 대해 사용자로부터 핀치 아웃(pinch out) 입력이 수신된 경우를 나타내는 화면이다.
도 26은 영상 처리 장치에 표시된 영상에 대해 사용자로부터 드래그(drag) 입력이 수신된 경우를 나타내는 화면이다.
도 27은 실시예에 따라 복원 데이터를 이용하여 확대 배율에 대응하는 확대 영상을 생성하는 단계를 설명하기 위한 참고도이다.
도 28은 실시예에 따라 확대 영상을 표시한 결과를 나타내는 화면이다.
도 29는 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 참고도이다.
도 30은 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 다른 참고도이다.
도 31은 다른 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 참고도이다.
도 32는 다른 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명하기 위한 다른 참고도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 32을 참조하여 실시예에 따른 영상 처리 장치(100) 및 영상 처리 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 영상 처리 장치(100)는 예를 들어, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 이동 단말기, 디지털 카메라, 또는 휴대용 전자기기 등일 수 있다. 도 1을 참조하면, 영상 처리 장치(100)는 수광부(110), 영상신호처리부(120), 제어부(130), 표시부(140), 입력부(150), 및 저장부(160)를 포함할 수 있다.
수광부(110)는 대상으로부터 반사되는 빛을 수신할 수 있다. 수광부(110)는 대상을 촬영할 수 있다. 수광부(110)는 대상의 모습을 영상으로서 촬영할 수 있다. 수광부(110)는 사진, 동영상, 정지 영상(still images), 연속 영상(burst images), 또는 비디오(videos) 등을 촬영할 수 있다. 수광부(110)는 카메라 센서, 카메라 모듈, 렌즈, 또는 광학 소자를 포함할 수 있다. 수광부(110)는 예를 들어, CCD 센서 또는 CMOS 센서를 포함할 수 있다.
수광부(110)는 상기 수신된 빛을 이용하여 원시 영상(raw image)을 생성할 수 있다. 원시 영상은 예를 들어, 베이어 포맷(Bayer format)으로 구성될 수 있다.
영상신호처리부(120)는 상기 원시 영상을 처리할 수 있다. 영상신호처리부(120)는 베이어 포멧으로 구성된 원시 영상을 처리함으로써 RGB 영상을 생성할 수 있다. 영상신호처리부(120)는 상기 원시 영상을 처리함으로써 미리보기(preview) 영상을 생성할 수 있다. 영상신호처리부(120)는 영상 신호 프로세서(image signal processor)를 포함할 수 있다.
제어부(130)는 영상 처리 장치(100)에 포함된 각각의 구성요소 및 영상 처리 장치(100)의 동작을 제어할 수 있다. 제어부(130)는 연산을 수행할 수 있다. 제어부(130)는 영상을 처리할 수 있다. 제어부(130)는 영상의 후처리(post processing)를 수행할 수 있다. 제어부(130)는 영상을 분석할 수 있다. 제어부(130)는 사용자로부터의 입력에 대한 응답으로, 영상 처리 장치(100)의 동작을 제어하거나 영상을 제어할 수 있다. 제어부(130)는 상기 미리보기 영상을 처리함으로써 데이터를 생성할 수 있다.
제어부(130)는 애플리케이션을 실행할 수 있다. 제어부(130)는 카메라 애플리케이션 또는 갤러리 애플리케이션을 실행할 수 있다. 제어부(130)는 카메라 애플리케이션을 통해 수광부(110), 영상신호처리부(120), 및 표시부(140)를 제어할 수 있다. 제어부(130)는 카메라 애플리케이션을 통해 수광부(110)가 대상을 촬영하도록 할 수 있다. 제어부(130)는 카메라 애플리케이션을 통해 표시부(140)가 촬영된 영상을 표시하도록 할 수 있다.
제어부(130)는 갤러리 애플리케이션을 통해 저장부(160) 및 표시부(140)를 제어할 수 있다. 제어부(130)는 갤러리 애플리케이션을 통해 저장부(160)에 저장된 영상을 표시부(140)가 표시하도록 할 수 있다.
제어부(130)는 영상 처리 장치(100)에 포함된 각각의 구성요소와 연결될 수 있다. 제어부(130)는 예를 들어, 중앙처리장치(Central Processing Unit, CPU) 또는 마이크로프로세서(microprocessor)를 포함할 수 있다.
표시부(140)는 상기 영상신호처리부(120)에 의해 처리된 원시 영상을 표시할 수 있다. 표시부(140)는 상기 미리보기 영상을 표시할 수 있다. 표시부(140)는 상기 제어부(130)에 의해 처리된 영상을 표시할 수 있다. 표시부(140)는 화면을 표시할 수 있다. 표시부(140)는 사용자 인터페이스를 표시할 수 있다. 표시부(140)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
표시부(140)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 또한, 표시부(140)는, 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 표시부(140)와 입력부(150)는, 터치스크린과 같이 일체로 구성될 수도 있고, 별개로 구성될 수도 있다.
입력부(150)는 외부로부터 입력을 수신할 수 있다. 입력부(150)는 영상 처리 장치(100)의 사용자로부터 입력을 수신할 수 있다. 입력부(150)는 예를 들어, 버튼, 터치스크린, 트랙볼, 카메라, 키보드, 마우스, 또는 지문 인식 장치 등일 수 있다.
입력부(150)는 터치스크린일 수 있다. 입력부(150)는 사용자로부터 터치 입력을 수신할 수 있다. 사용자는 터치 입력으로서 탭(tap) 입력, 드래그(drag) 입력, 스와이프(swipe) 입력, 슬라이드(slide) 입력, 플릭(flick) 입력, 핀치 인(pinch in) 입력, 핀치 아웃(pinch out) 입력, 또는 프레스 앤 홀드(press-and-hold) 입력 등을 입력할 수 있다.
저장부(160)는 상기 수광부(110)에 의해 생성된 원시 영상, 상기 영상신호처리부(120)에 의해 생성된 영상, 또는 상기 미리보기 영상 등을 저장할 수 있다. 또한, 저장부(160)는 상기 제어부(130)에 의해 처리된 영상, 또는 상기 제어부(130)에 의해 생성된 데이터 등을 저장할 수 있다.
저장부(160)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 저장부(160)는 예를 들어, 플래시(flash) 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 등일 수 있다. 저장부(160)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
도 2는 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 2를 참조하면, 실시예에 따른 영상 처리 방법에서는, 먼저, 대상으로부터 반사된 빛을 수신하는 단계(S100)가 수행될 수 있다. 예를 들어, 제어부(130)는 카메라 애플리케이션을 실행할 수 있다. 제어부(130)는 카메라 애플리케이션을 통해 수광부(110)를 제어할 수 있다. 수광부(110)는 대상으로부터 반사된 빛을 수신할 수 있다. 수광부(110)는 상기 수신된 빛을 이용하여 원시 영상을 생성할 수 있다.
다음으로, 상기 수신된 빛을 이용하여 미리보기(preview) 영상을 표시하는 단계(S200)가 수행될 수 있다. 영상신호처리부(120)는 상기 수신된 빛을 이용하여 생성된 원시 영상을 처리함으로써 미리보기 영상을 생성할 수 있다. 미리보기 영상은 대상의 모습을 실시간으로 나타낼 수 있다. 표시부(140)는 생성된 미리보기 영상을 표시할 수 있다.
도 3은 실시예에 따라 영상 처리 장치(100)에 표시된 미리보기 영상이다. 도 3을 참조하면, 미리보기 영상은 한 채의 건물의 영상 및 두 명의 사람의 영상을 포함할 수 있다.
다시 도 2를 참조하면, 다음으로, 상기 미리보기 영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하는 단계(S300)가 수행될 수 있다. 제어부(130)는 미리보기 영상을 분석함으로써 적어도 하나 이상의 관심영역을 자동으로 지정할 수 있다. 또한, 제어부(130)는 사용자로부터의 입력에 대한 응답으로, 적어도 하나 이상의 관심영역을 지정할 수 있다. 또한, 제어부(130)는 미리보기 영상의 분석 결과가 표시부(140)에 표시된 이후에 사용자로부터 입력된 터치 입력에 대한 응답으로, 적어도 하나 이상의 관심영역을 지정할 수 있다.
다시 말해서, 제어부(130)는 자동으로, 수동으로, 또는 하이브리드 방식으로 적어도 하나 이상의 관심영역을 표시할 수 있다. 적어도 하나 이상의 관심영역을 자동으로 지정하는 방법에 대하여는 도 6을 참조하여 후술하기로 한다. 또한, 적어도 하나 이상의 관심영역을 수동으로 지정하는 방법에 대하여는 도 17을 참조하여 후술하기로 한다. 또한, 적어도 하나 이상의 관심영역을 하이브리드 방식으로 지정하는 방법에 대하여는 도 20을 참조하여 후술하기로 한다.
관심영역은 상기 미리보기 영상 내의 적어도 일부에 대응할 수 있다. 이후에 영상이 촬영되고 상기 촬영된 영상에 대해 영상 처리가 수행될 때, 상기 영상의 전체 부분에 대해 영상 처리가 수행되는 대신에 상기 영역 내에서 상기 관심영역에 대응하는 부분에 대하여만 영상 처리가 수행될 수 있다. 이로써 영상 처리에 소요되는 시간을 단축시킬 수 있다. 또한, 영상 처리에 필요한 메모리의 크기를 줄일 수 있다. 또한, 영상 처리의 결과를 저장하는 데에 필요한 저장공간의 크기를 줄일 수 있다.
하나의 영상 내에는 적어도 하나 이상의 관심영역이 포함될 수 있다. 관심영역은 하나의 폐곡선에 의해 특정되는 하나의 영역일 수 있다.
도 4는 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계(S300)가 수행되는 과정을 나타내는 순서도이다. 도 4를 참조하면, 먼저, 상기 미리보기 영상을 복수의 영역으로 분할하는 단계(S310)가 수행될 수 있다. 제어부(130)는 미리보기 영상을 복수의 영역으로 분할할 수 있다. 제어부(130)는 미리보기 영상을 2개 이상의 영역으로 분할할 수 있다. 제어부(130)는 미리보기 영상을 모두 균등한 크기의 복수의 영역으로 분할할 수 있다. 제어부(130)는 미리보기 영상을 균등하지 않은 크기의 복수의 영역으로 분할할 수 있다.
도 5는 실시예에 따라 복수의 영역으로 분할된 미리보기 영상이다. 제어부(130)는 도 5에 도시된 바와 같이, 도 3에 도시된 미리보기 영상을 9개의 영역으로 균등하게 분할할 수 있다. 도 5에 도시된 영역 중에서 2번째 행 및 2번째 열에 배치된 영역은 한 채의 건물의 영상을 포함할 수 있다. 도 5에 도시된 영역 중에서 2번째 행 및 3번째 열에 배치된 영역은 두 명의 사람의 영상을 포함할 수 있다.
다시 도 4를 참조하면, 다음으로, 상기 각각의 영역 내에 관심대상(OOI, Object Of Interest)이 포함되어 있는지 여부를 판정하는 단계(S311)가 수행될 수 있다. 제어부(130)는 분할된 각각의 영역을 분석할 수 있다. 제어부(130)는 각각의 영역 내에 관심대상이 포함되어 있는지 여부를 판정할 수 있다.
관심대상은 미리 정의된 종류의 대상일 수 있다. 예를 들어, 건물, 사람, 동물, 식물, 상품, 또는 자연 현상 등의 종류가 미리 정의될 수 있다. 제어부(130)는 상기 미리 정의된 종류에 속하는 대상이 분할된 각각의 영역에 포함되어 있는지 여부를 판정할 수 있다.
도 5를 참조하면, 분할된 9개의 영역 중에서, 제어부(130)는 2개의 영역 내에 관심대상이 포함되어 있다고 판정할 수 있다. 제어부(130)는 2번째 행 및 2번째 열에 배치된 영역 내에 관심대상이 포함되어 있다고 판정할 수 있다. 또한, 제어부(130)는 2번째 행 및 3번째 열에 배치된 영역 내에 관심대상이 포함되어 있다고 판정할 수 있다. 제어부(130)는 나머지 7개의 영역 내에는 관심대상이 포함되어 있지 않다고 판정할 수 있다.
다시 도 4를 참조하면, 다음으로, 상기 판정 결과에 따라 상기 복수의 영역 중에서 적어도 하나 이상을 상기 관심영역으로 지정하는 단계(S312)가 수행될 수 있다. 제어부(130)는 관심대상이 포함되어 있다고 판정된 영역을 관심영역으로 지정할 수 있다. 도 5를 참조하면, 제어부(130)는 2번째 행 및 2번째 열에 배치된 영역을 관심영역으로 지정할 수 있다. 또한, 제어부(130)는 2번째 행 및 3번째 열에 배치된 영역을 관심영역으로 지정할 수 있다. 제어부(130)는 나머지 7개의 영역은 관심영역으로 지정하지 않을 수 있다.
도 6은 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계(S300)가 수행되는 과정을 나타내는 순서도이다. 도 6을 참조하면, 먼저, 상기 미리보기 영상을 분석함으로써 상기 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계(S320)가 수행될 수 있다. 제어부(130)는 미리보기 영상을 분석할 수 있다. 제어부(130)는 미리보기 영상 내에서 관심대상의 위치를 검출할 수 있다.
제어부(130)는 관심대상의 위치를 검출하는 방법으로서, 상기 미리보기 영상 내에서 고주파요소(high frequency component)의 위치를 검출하거나, 상기 미리보기 영상에 대해 안면인식(face recognition)을 수행함으로써 안면의 위치를 검출할 수 있다. 또한, 제어부(130)는 관심대상의 위치를 검출하는 방법으로서, 상기 미리보기 영상에 대해 광학문자판독(OCR, optical character recognition)을 수행함으로써 텍스트의 위치를 검출하거나, 상기 미리보기 영상 내에서 초점의 위치를 검출할 수 있다.
제어부(130)는 관심대상의 위치를 검출하기 위하여, 상기 열거된 방법 모두를 이용할 수 있다. 또한, 제어부(130)는 상기 열거된 방법 중에서 일부만을 이용할 수도 있다. 사용자의 선호사항(preferences)에 따라 관심대상의 위치를 검출하는 방법이 달라질 수 있다. 관심대상의 위치를 검출하는 방법에 관련된 사용자의 선호사항은 저장부(160)에 미리 저장될 수 있다. 다시 말해서, 제어부(130)가 어떠한 방법을 이용하여 관심대상의 위치를 검출할지에 대하여는 저장부(160)에 미리 정의될 수 있다.
도 7은 실시예에 따라 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계(S320)가 수행되는 과정을 나타내는 순서도이다. 도 7을 참조하면, 먼저, 상기 미리보기 영상 내에서 고주파요소(high frequency component)의 위치를 검출하는 단계(S321)가 수행될 수 있다. 제어부(130)는 미리보기 영상 내에 고주파요소가 포함되어 있는지 여부를 판정할 수 있다. 만약 미리보기 영상 내에 고주파요소가 포함되어 있다고 판정된 경우, 제어부(130)는 상기 미리보기 영상 내에서 고주파요소의 위치를 검출할 수 있다.
도 8은 다른 실시예에 따른 미리보기 영상이다. 도 8을 참조하면, 미리보기 영상의 중앙 부분에 고주파요소로서 조형물의 영상이 포함되어 있다. 또한, 미리보기 영상 내에서 상기 조형물의 영상을 제외한 나머지 부분은 저주파요소일 수 있다. 제어부(130)는 도 8에 도시된 미리보기 영상 내에 고주파 요소가 포함되어 있다고 판정할 수 있다. 또한, 제어부(130)는 미리보기 영상 내에서 상기 조형물의 위치를 검출할 수 있다. 도 9는 도 8에 도시된 미리보기 영상 내에서 고주파요소의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
다시 도 7을 참조하면, 다음으로, 상기 미리보기 영상에 대해 안면인식(face recognition)을 수행함으로써 안면의 위치를 검출하는 단계(S322)가 수행될 수 있다. 제어부(130)는 미리보기 영상에 대해 안면인식을 수행함으로써 미리보기 영상 내에 안면이 포함되어 있는지 여부를 판정할 수 있다. 만약 미리보기 영상 내에 안면이 포함되어 있다고 판정된 경우, 제어부(130)는 상기 미리보기 영상 내에서 안면의 위치를 검출할 수 있다.
도 10은 또 다른 실시예에 따른 미리보기 영상이다. 도 10을 참조하면, 미리보기 영상에는 3명의 사람의 얼굴의 영상이 포함되어 있다. 도 10을 참조하면, 중앙에 배치된 안면에 의하여 가장 오른쪽에 배치된 안면의 일부가 가려져 있다. 제어부(130)는 도 10에 도시된 미리보기 영상 내에 안면이 포함되어 있다고 판정할 수 있다. 또한, 제어부(130)는 미리보기 영상 내에서 상기 안면의 위치를 검출할 수 있다. 도 10을 참조하면, 제어부(130)는 가장 왼쪽에 배치된 안면의 위치 및 중앙에 배치된 안면의 위치를 검출할 수 있다. 제어부(130)는 일부가 가려진 가장 오른쪽에 배치된 안면에 대하여는 안면 인식을 실패할 수 있다. 따라서, 제어부(130)는 가장 오른쪽에 배치된 안면에 대하여는 위치를 검출하지 않을 수 있다. 도 11은 도 10에 도시된 미리보기 영상 내에서 안면의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
다시 도 7을 참조하면, 다음으로, 상기 미리보기 영상에 대해 광학문자판독(OCR, optical character recognition)을 수행함으로써 텍스트의 위치를 검출하는 단계(S323)가 수행될 수 있다. 제어부(130)는 미리보기 영상에 대해 광학문자판독을 수행함으로써 미리보기 영상 내에 텍스트가 포함되어 있는지 여부를 판정할 수 있다. 만약 미리보기 영상 내에 텍스트가 포함되어 있다고 판정된 경우, 제어부(130)는 상기 미리보기 영상 내에서 텍스트의 위치를 검출할 수 있다.
도 12는 또 다른 실시예에 따른 미리보기 영상이다. 도 12를 참조하면, 미리보기 영상에는 자동차의 영상 및 차대번호의 영상이 포함되어 있다. 제어부(130)는 도 12에 도시된 미리보기 영상 내에 텍스트가 포함되어 있다고 판정할 수 있다. 또한, 제어부(130)는 미리보기 영상 내에서 상기 텍스트의 위치를 검출할 수 있다. 도 12를 참조하면, 제어부(130)는 차대번호의 영상의 위치를 검출할 수 있다. 도 13은 도 12에 도시된 미리보기 영상 내에서 텍스트의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
다시 도 7을 참조하면, 다음으로, 상기 미리보기 영상 내에서 초점의 위치를 검출하는 단계(S324)가 수행될 수 있다. 제어부(130)는 미리보기 영상 내에서 초점의 위치를 검출할 수 있다.
도 14는 또 다른 실시예에 따른 미리보기 영상이다. 도 14를 참조하면, 미리보기 영상에는 새의 영상 및 나뭇잎의 영상이 포함되어 있다. 미리보기 영상 내에서 초점은 새에게 맞추어져 있다. 따라서, 미리보기 영상 내에서 새의 영상은 선명하고, 나뭇잎의 영상은 흐릿할 수 있다. 제어부(130)는 도 14에 도시된 미리보기 영상 내에서 초점의 위치를 검출할 수 있다. 도 14를 참조하면, 제어부(130)는 새의 영상의 위치를 검출할 수 있다. 도 15는 도 14에 도시된 미리보기 영상 내에서 초점의 위치를 검출하고 영상 세그멘테이션을 수행한 결과를 나타내는 화면이다.
다시 도 6을 참조하면, 다음으로, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계(S328)가 수행될 수 있다. 제어부(130)는 검출된 관심대상의 위치를 이용하여 영상 세그멘테이션을 수행할 수 있다. 영상 세그멘테이션이 수행된 결과로서, 상기 관심대상에 대응하는 영역이 검출될 수 있다. 도 9, 도 11, 도 13, 및 도 15는 미리보기 영상 내에서 관심대상에 대응하는 영역이 검출된 결과를 나타내는 화면이다.
또 다른 실시예에 따르면, 하나의 미리보기 영상에 대하여, 관심대상의 위치를 검출하는 방법으로서 상기 열거된 방법 중에서 복수의 방법이 동시에 이용될 수 있다. 예를 들어, 하나의 미리보기 영상 내에 고주파요소로서 아이스크림의 영상, 사람의 얼굴의 영상, 및 상기 사람이 착용하고 있는 옷에 적힌 텍스트의 영상 모두가 포함되어 있는 경우를 가정하기로 한다. 제어부(130)는 상기 아이스크림의 영상, 상기 사람의 얼굴의 영상, 및 상기 텍스트의 영상 모두를 관심대상으로서 검출할 수 있다. 도 16은 또 다른 실시예에 따라 미리보기 영상 내에서 관심대상에 대응하는 영역을 검출한 결과를 나타내는 화면이다.
다시 도 6을 참조하면, 다음으로, 상기 검출된 영역을 상기 관심영역으로 지정하는 단계(S329)가 수행될 수 있다. 제어부(130)는 상기 관심대상에 대응하는 영역을 관심영역으로 지정할 수 있다.
도 17은 또 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계(S300)가 수행되는 과정을 나타내는 순서도이다. 도 17을 참조하면, 먼저, 사용자로부터 드래그 입력을 수신하는 단계(S330)가 수행될 수 있다.
사용자는 자신이 원하는 관심영역을 직접 지정할 수 있다. 사용자는 드래그 입력을 통해 자신이 원하는 관심영역의 경계선을 지정할 수 있다. 입력부(150)는 사용자로부터 드래그 입력을 수신할 수 있다.
도 18은 또 다른 실시예에 따른 미리보기 영상이다. 도 18을 참조하면, 미리보기 영상 내에는 두 마리의 새의 영상, 세 송이의 꽃의 영상, 및 나뭇잎의 영상이 포함되어 있다. 사용자는 두 마리의 새의 영상의 외곽선을 따라 드래그 입력을 입력할 수 있다.
다시 도 17을 참조하면, 다음으로, 상기 미리보기 영상 내에서 상기 드래그 입력에 대응하는 제1영역을 검출하는 단계(S331)가 수행될 수 있다. 제어부(130)는 상기 드래그 입력에 대한 응답으로, 상기 드래그 입력에 대응하는 영역을 검출할 수 있다. 제어부(130)는 상기 드래그 입력을 기초로 하여 폐곡선을 생성할 수 있다. 제어부(130)는 상기 폐곡선에 의해 특정된 영역을 상기 드래그 입력에 대응하는 영역으로 지정할 수 있다.
도 19는 도 18에 도시된 미리보기 영상 내에서 사용자의 입력에 대한 응답으로 관심영역을 지정한 결과를 나타내는 화면이다. 도 19를 참조하면, 제어부(130)는 두 마리의 새의 영상의 외곽선에 의해 특정된 영역을 상기 드래그 입력에 대응하는 영역으로 지정할 수 있다.
다시 도 17을 참조하면, 다음으로, 사용자로부터 탭 입력을 수신하는 단계(S332)가 수행될 수 있다. 사용자는 자신이 원하는 관심대상의 위치를 직접 지정할 수 있다. 사용자는 탭 입력을 통해 자신이 원하는 관심대상의 위치를 지정할 수 있다. 입력부(150)는 사용자로부터 탭 입력을 수신할 수 있다. 예를 들어, 도 18을 참조하면, 사용자는 미리보기 영상 내에서 오른쪽 상부에 배치된 꽃 및 왼쪽 하부에 배치된 꽃을 관심대상으로 지정하기를 원할 수 있다. 사용자는 오른쪽 상부에 배치된 꽃의 영상 및 왼쪽 하부에 배치된 꽃의 영상에 대하여 각각 탭 입력을 입력할 수 있다.
다시 도 17을 참조하면, 다음으로, 상기 미리보기 영상 내에서 상기 탭 입력에 대응하는 위치를 검출하는 단계(S333)가 수행될 수 있다. 제어부(130)는 상기 탭 입력에 대한 응답으로, 상기 탭 입력에 대응하는 위치를 검출할 수 있다. 도 18을 참조하면, 제어부(130)는 오른쪽 상부에 배치된 꽃의 영상의 위치 및 왼쪽 하부에 배치된 꽃의 영상의 위치를 검출할 수 있다.
다시 도 17을 참조하면, 다음으로, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 제2영역을 검출하는 단계(S334)가 수행될 수 있다. 제어부(130)는 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행할 수 있다. 영상 세그멘테이션이 수행된 결과로서, 상기 검출된 위치로부터 확장된 영역이 검출될 수 있다. 도 19를 참조하면, 제어부(130)는 오른쪽 상부에 배치된 꽃의 영상의 위치를 이용하여 영상 세그멘테이션을 수행함으로써, 상기 꽃에 대응하는 영역을 검출할 수 있다. 또한, 제어부(130)는 왼쪽 하부에 배치된 꽃의 영상의 위치를 이용하여 영상 세그멘테이션을 수행함으로써, 상기 꽃에 대응하는 영역을 검출할 수 있다.
다시 도 17을 참조하면, 다음으로, 상기 제1영역 및 상기 제2영역을 상기 관심영역으로 지정하는 단계(S335)가 수행될 수 있다. 제어부(130)는 사용자의 드래그 입력에 대한 응답으로 검출한 제1영역 및 사용자의 탭 입력에 대한 응답으로 검출한 제2영역을 관심영역으로 지정할 수 있다.
도 20은 또 다른 실시예에 따라 미리보기 영상 내에서 관심영역을 지정하는 단계(S300)가 수행되는 과정을 나타내는 순서도이다. 도 20을 참조하면, 먼저, 상기 미리보기 영상을 분석함으로써 상기 미리보기 영상 내에서 관심대상의 위치를 검출하는 단계(S340)가 수행될 수 있다.
제어부(130)는 미리보기 영상을 분석할 수 있다. 제어부(130)는 미리보기 영상 내에서 관심대상의 위치를 검출할 수 있다. 제어부(130)는 관심대상의 위치를 검출하는 방법으로서, 상기 미리보기 영상 내에서 고주파요소(high frequency component)의 위치를 검출하거나, 상기 미리보기 영상에 대해 안면인식(face recognition)을 수행함으로써 안면의 위치를 검출할 수 있다. 또한, 제어부(130)는 관심대상의 위치를 검출하는 방법으로서, 상기 미리보기 영상에 대해 광학문자판독(OCR, optical character recognition)을 수행함으로써 텍스트의 위치를 검출하거나, 상기 미리보기 영상 내에서 초점의 위치를 검출할 수 있다.
예를 들어, 도 18을 참조하면, 제어부(130)는 미리보기 영상의 중앙에 배치된 새의 영상, 오른쪽 상부에 배치된 꽃의 영상, 및 왼쪽 상부에 배치된 꽃의 영상을 관심대상으로서 검출할 수 있다. 제어부(130)는 왼쪽 하부에 배치된 꽃의 영상 및 오른쪽 하부에 배치된 나뭇잎의 영상은 관심대상으로서 검출하지 않을 수 있다.
다시 도 20을 참조하면, 다음으로, 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계(S341)가 수행될 수 있다. 제어부(130)는 검출된 관심대상의 위치를 이용하여 영상 세그멘테이션을 수행할 수 있다. 영상 세그멘테이션이 수행된 결과로서, 상기 관심대상에 대응하는 영역이 검출될 수 있다.
다음으로, 상기 미리보기 영상 상에 상기 검출된 영역을 표시하는 단계(S342)가 수행될 수 있다. 표시부(140)는 상기 미리보기 영상 상에 상기 검출된 영역을 표시할 수 있다. 도 21은 도 18에 도시된 미리보기 영상 상에 관심대상에 대응하는 영역을 표시한 결과를 나타내는 화면이다. 도 21을 참조하면, 표시부(140)는 새의 영상에 대응하는 영역을 미리보기 영상 상에 표시할 수 있다. 또한, 표시부(140)는 오른쪽 상부의 꽃의 영상에 대응하는 영역을 미리보기 영상 상에 표시할 수 있다. 또한, 표시부(140)는 왼쪽 상부의 꽃의 영상에 대응하는 영역을 미리보기 영상 상에 표시할 수 있다.
다시 도 20을 참조하면, 다음으로, 사용자로부터 탭 입력을 수신하는 단계(S343)가 수행될 수 있다. 사용자는 표시부(140)에 표시된 영역을 확인한 후에, 상기 표시된 영역 중에서 적어도 일부의 영역을 관심영역으로 지정하길 원할 수 있다. 다른 실시예에 따르면, 사용자는 표시된 영역 중에서 어느 영역도 관심영역으로 지정하길 원하지 않을 수 있다. 사용자는 상기 표시된 영역 중에서 관심영역으로 지정하길 원하는 영역에 대하여 탭 입력을 입력할 수 있다.
예를 들어, 도 21을 참조하면, 사용자는 표시된 영역 중에서 오른쪽 상부의 꽃의 영상에 대응하는 영역을 관심영역으로 지정하길 원할 수 있다. 사용자는 오른쪽 상부의 꽃의 영상에 대응하는 영역 내의 지점에 대해 탭 입력을 입력할 수 있다.
또한, 사용자는 마음을 바꾸어 이미 탭 입력을 입력한 영역을 관심영역으로 지정하길 원하지 않을 수 있다. 사용자는 이미 탭 입력을 입력한 영역에 대하여 다시 탭 입력을 입력할 수 있다.
또한, 사용자는 표시부(140)에 표시된 영역을 제외한 나머지 영역 내에 배치된 대상 중에서 적어도 일부에 대응하는 영역을 추가적으로 관심영역으로 지정하길 원할 수 있다. 사용자는 추가적으로 관심영역으로 지정하길 원하는 영역에 대응하는 대상에 대해 탭 입력을 입력할 수 있다.
예를 들어, 도 21을 참조하면, 사용자는 표시된 영역을 제외한 나머지 영역 내에 배치된 대상 중에서 왼쪽 하부의 꽃의 영상에 대응하는 영역을 추가적으로 관심영역으로 지정하길 원할 수 있다. 사용자는 왼쪽 하부의 꽃에 대해 탭 입력을 입력할 수 있다.
다시 도 20을 참조하면, 다음으로, 상기 검출된 영역 중에서 상기 탭 입력에 대응하는 영역을 선택하거나 선택해제하는 단계(S344)가 수행될 수 있다. 제어부(130)는 상기 탭 입력에 대한 응답으로, 상기 검출된 영역 중에서 상기 탭 입력에 대응하는 영역을 선택하거나 선택해제할 수 있다. 도 21을 참조하면, 제어부(130)는 오른쪽 상부의 꽃에 대한 탭 입력에 대한 응답으로, 상기 검출된 영역 중에서 상기 오른쪽 상부의 꽃에 대응하는 영역을 선택할 수 있다. 또한, 제어부(130)는 왼쪽 하부의 꽃에 대한 탭 입력에 대한 응답으로, 상기 왼쪽 하부의 꽃에 대응하는 영역을 추가적으로 선택할 수 있다.
만약 왼쪽 상부의 꽃에 대한 탭 입력이 추가적으로 수신된 경우, 제어부(130)는 상기 왼쪽 상부의 꽃에 대응하는 영역을 추가적으로 선택할 수 있다. 만약 오른쪽 상부의 꽃에 대한 탭 입력이 다시 한 번 수신된 경우, 제어부(130)는 상기 오른쪽 상부의 꽃에 대응하는 영역을 선택해제할 수 있다.
다시 도 20을 참조하면, 다음으로, 사용자로부터 드래그 입력을 수신하는 단계(S345)가 수행될 수 있다. 사용자는 드래그 입력을 입력함으로써 자신이 원하는 관심영역의 경계선을 입력할 수 있다. 입력부(150)는 사용자로부터 드래그 입력을 수신할 수 있다. 예를 들어, 도 21을 참조하면, 사용자는 두 마리의 새의 영상의 외곽선을 따라 드래그 입력을 입력할 수 있다.
다시 도 20을 참조하면, 다음으로, 상기 미리보기 영상 내에서 상기 드래그 입력에 대응하는 제3영역을 검출하는 단계(S346)가 수행될 수 있다. 제어부(130)는 상기 드래그 입력에 대한 응답으로, 상기 드래그 입력에 대응하는 영역을 검출할 수 있다. 제어부(130)는 상기 드래그 입력을 기초로 하여 폐곡선을 생성할 수 있다. 제어부(130)는 상기 폐곡선에 의해 특정된 영역을 상기 드래그 입력에 대응하는 영역으로 지정할 수 있다. 도 21을 참조하면, 제어부(130)는 두 마리의 새의 영상의 외곽선에 의해 특정된 영역을 상기 드래그 입력에 대응하는 영역으로 지정할 수 있다.
다시 도 20을 참조하면, 다음으로, 상기 선택된 영역 및 상기 제3영역을 상기 관심영역으로 지정하는 단계(S347)가 수행될 수 있다. 제어부(130)는 상기 탭 입력에 대한 응답으로 선택된 영역 및 상기 드래그 입력에 대한 응답으로 검출된 상기 제3영역을 관심영역으로 지정할 수 있다.
도 19는 관심영역이 지정된 결과를 나타내는 화면이다. 도 21에 도시된 화면과 비교해보면, 오른쪽 상부에 배치된 꽃에 대한 탭 입력 및 왼쪽 하부에 배치된 꽃에 대한 탭 입력에 대한 응답으로 선택된 영역이 관심영역으로 지정될 수 있다. 또한, 두 마리의 새의 영상의 외곽선을 따라 입력된 드래그 입력에 대한 응답으로 검출된 상기 제3영역이 관심영역으로 지정될 수 있다.
다음으로, 제어부(130)는 상기 대상에 대한 제1영상을 촬영하고, 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성할 수 있다. 다른 실시예에 따르면, 상기의 실시예에서의 순서와 달리, 제어부(130)는 상기 대상에 대한 제1영상을 촬영한 후 상기 제1영상 내에서 적어도 하나 이상의 관심영역을 지정할 수 있다. 제어부(130)는 예를 들어, 도 4에 도시된 방법과 유사한 방법으로 상기 촬영된 제1영상 내에서 관심영역을 지정할 수 있다. 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 생성할 수 있다.
상기 복원 데이터의 해상도는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다. 상기 복원 데이터를 이용하여 복원된 제2영상은 상기 관심영역에 대응하고, 상기 제2영상의 해상도는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다.
예를 들어, 상기 복원 데이터는 상기 관심영역에 대한 슈퍼레졸루션(super resolution) 영상일 수 있다. 슈퍼레졸루션 영상은 보다 낮은 해상도를 갖는 복수의 영상을 이용하여 복원된, 보다 높은 해상도를 갖는 영상일 수 있다. 저해상도를 갖는 복수의 영상들 사이의 상대적인 차이를 이용하여 주파수를 분석함으로써 저해상도 영상들과 고해상도 영상 사이의 관계식이 산출될 수 있다. 상기 산출된 관계식을 이용하여 고해상도 영상이 복원될 수 있다. 슈퍼레졸루션 영상의 해상도는 저해상도 영상의 해상도의 4배일 수 있다. 예를 들어, 원본 영상의 해상도가 1600만 화소인 경우, 상기 원본 영상을 이용하여 복원된 슈퍼레졸루션 영상의 해상도는 6400만 화소일 수 있다.
다른 실시예에 따르면, 상기 복원 데이터는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분 및 상기 제1영상에 대응하는 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 비교 데이터일 수 있다. 제어부(130)는 다음과 같은 과정을 통해 상기 복원 데이터를 생성할 수 있다.
또 다른 실시예에 따르면, 제어부(130)는 제1영상을 촬영하거나, 저장부(160)에 저장된 제1영상을 불러올 수 있다. 제어부(130)는 상기 제1영상 내에서 적어도 하나 이상의 관심영역을 지정할 수 있다. 제어부(130)는 상기 제1영상을 이용하여 상기 관심영역에 대응하는 복원 데이터를 생성할 수 있다. 예를 들어, 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 따로 잘라내고(crop), 상기 잘라낸 부분을 복원 데이터로서 이용할 수 있다. 제어부(130)는 제1영상을 JPEG로 인코딩함으로써 압축 영상을 생성할 수 있다. 상기 제1영상이 압축됨에 따라, 상기 제1영상에 포함되어 있던 영상 정보에 손실이 발생할 수 있다. 또한, 압축 영상의 해상도는 제1영상의 해상도보다 낮을 수 있다.
저장부(160)는 상기 압축 영상 및 상기 복원 데이터를 저장할 수 있다. 제어부(130)는 상기 복원 데이터를 이용하여 상기 압축 영상 내에서 상기 관심영역에 대응하는 부분을 복원함으로써 복원 영상을 생성할 수 있다. 표시부(140)는 상기 복원 영상을 표시할 수 있다. 상기 복원 영상은 상기 관심영역에 대응하고, 상기 복원 영상의 해상도는 상기 압축 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높을 수 있다. 복원 데이터를 이용하여 압축 영상을 복원함으로써, 압축 과정에서 손실되었던 영상 정보가 복원될 수 있다. 또한, 복원 데이터를 이용하여 저해상도의 압축 영상을 제1영상과 동일한 수준의 고해상도의 영상으로 복원할 수 있다.
또 다른 실시예에 따르면, 도 29 내지 도 32에 도시된 바와 같이 영상 처리가 수행될 수 있다.
다시 도 2를 참조하면, 다음으로, 상기 대상에 대한 복수의 영상을 촬영하는 단계(S400)가 수행될 수 있다. 제어부(130)는 수광부(110) 및 영상신호처리부(120)를 제어함으로써 상기 대상에 대한 복수의 영상을 촬영할 수 있다. 제어부(130)는 상기 대상에 대한 연속 영상(burst images)을 촬영할 수 있다. 예를 들어, 제어부(130)는 10장의 연속 영상을 촬영할 수 있다. 상기 미리보기 영상에 포함된 대상 및 상기 촬영된 연속 영상에 포함된 대상은 서로 동일할 수 있다. 촬영된 연속 영상은 저장부(160)에 임시로 저장될 수 있다.
다음으로, 상기 복수의 영상 중에서 적어도 일부를 이용하여 상기 관심영역에 대한 슈퍼레졸루션(super resolution) 영상을 생성하는 단계(S500)가 수행될 수 있다. 제어부(130)는 상기 복수의 영상 중에서 적어도 일부를 이용할 수 있다. 예를 들어, 제어부(130)는 10장의 연속 영상 중에서 5장 이상의 영상을 이용할 수 있다. 제어부(130)는 상기 영상을 이용하여 상기 관심영역에 대한 슈퍼레졸루션 영상을 생성할 수 있다.
제어부(130)는 영상 내의 전체 영역에 대하여 슈퍼레졸루션 영상을 생성하는 대신에, 상기 영상 내에서 상기 관심영역에 대응하는 부분에 대하여만 슈퍼레졸루션 영상을 생성할 수 있다. 제어부(130)는 촬영된 복수의 영상 내에서 상기 관심영역에 대응하는 부분들 사이의 상대적인 차이를 이용하여 주파수를 분석할 수 있다. 제어부(130)는 상기 분석 결과를 이용하여 상기 관심영역에 대한 슈퍼레졸루션 영상을 생성할 수 있다. 생성된 슈퍼레졸루션 영상은 저장부(160)에 임시로 저장될 수 있다.
다음으로, 상기 복수의 영상에 포함된 제1영상 내에서 상기 관심영역에 대응하는 부분 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 복원 데이터를 생성하는 단계(S600)가 수행될 수 있다. 제어부(130)는 상기 복수의 영상 중에서 어느 하나의 영상을 제1영상으로서 선택할 수 있다. 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 추출할 수 있다. 제어부(130)는 상기 제1영상으로부터 추출된 부분 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 복원 데이터를 생성할 수 있다.
다만, 상기 제1영상으로부터 추출된 부분의 해상도는 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도와 서로 다를 수 있다. 따라서, 제어부(130)는 복원 데이터를 생성하기 위하여, 먼저 상기 제1영상으로부터 추출된 부분의 해상도 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 서로 동일하게 만들 수 있다. 제어부(130)는 상기 제1영상으로부터 추출된 부분을 업스케일링하거나 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 다운스케일링할 수 있다. 제어부(130)는 쌍입방 보간법(bicubic interpolation)을 이용하여 업스케일링하거나 다운스케일링할 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분의 해상도보다 크고 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 작거나 같은 해상도 중에서 적어도 하나 이상을 선택할 수 있다. 제어부(130)가 선택하는 해상도의 개수 및 선택된 각각의 해상도는 저장부(160)에 미리 저장될 수 있다.
예를 들어, 제어부(130)는 상기 제1영상으로부터 추출된 부분의 해상도보다 크고 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 작거나 같은 해상도 중에서 n개의 서로 다른 해상도를 선택할 수 있다. n은 5일 수 있다. 상기 선택된 5개의 해상도는 각각 해상도 A, 해상도 B, 해상도 C, 해상도 D, 해상도 E일 수 있다. 해상도 E는 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도와 서로 동일할 수 있다. 따라서, 해상도 E를 제외한 나머지 해상도 A, 해상도 B, 해상도 C, 및 해상도 D는 상기 제1영상으로부터 추출된 부분의 해상도보다 크고 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 작을 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분을 해상도 A로 업스케일링할 수 있다. 또한, 제어부(130)는 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 해상도 A로 다운스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분과 상기 다운스케일링된 부분을 비교함으로써 해상도 A에 대한 복원 데이터를 산출할 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분을 해상도 B로 업스케일링할 수 있다. 또한, 제어부(130)는 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 해상도 B로 다운스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분과 상기 다운스케일링된 부분을 비교함으로써 해상도 B에 대한 복원 데이터를 산출할 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분을 해상도 C로 업스케일링할 수 있다. 또한, 제어부(130)는 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 해상도 C로 다운스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분과 상기 다운스케일링된 부분을 비교함으로써 해상도 C에 대한 복원 데이터를 산출할 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분을 해상도 D로 업스케일링할 수 있다. 또한, 제어부(130)는 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 해상도 D로 다운스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분과 상기 다운스케일링된 부분을 비교함으로써 해상도 D에 대한 복원 데이터를 산출할 수 있다.
제어부(130)는 상기 제1영상으로부터 추출된 부분을 해상도 E로 업스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분과 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분을 비교함으로써 해상도 E에 대한 복원 데이터를 산출할 수 있다. 이로써, n개의 서로 다른 복원 데이터가 산출될 수 있다.
또한, 상기 제1영상 내에는 복수의 관심영역이 포함될 수 있고, 제어부(130)는 각각의 관심영역에 대하여 상기 과정을 반복할 수 있다. 만약 제1영상 내에 3개의 관심영역이 포함된 경우, 3n개의 서로 다른 복원 데이터가 산출될 수 있다.
다음으로, 상기 제1영상 및 상기 복원 데이터를 저장하는 단계(S700)가 수행될 수 있다. 도 22는 실시예에 따라 제1영상 및 복원 데이터를 저장하는 단계를 설명하기 위한 참고도이다. 도 22를 참조하면, 저장부(160)는 상기 제1영상을 영상 파일로 저장할 수 있다. 예를 들어, 저장부(160)는 상기 제1영상을 JPEG 포맷 또는 PNG 포맷의 영상 파일로 저장할 수 있다.
또한, 저장부(160)는 상기 복원 데이터를 저장할 수 있다. 도 22에 도시된 바와 같이, 저장부(160)는 3n개의 서로 다른 복원 데이터를 각각 분리하여 저장할 수 있다. 저장부(160)는 상기 복원 데이터를 애플리케이션의 마커 데이터(marker data)로서 저장할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 복원 데이터를 표준 JPEG 인코딩 알고리즘을 이용하여 압축할 수 있다. 저장부(160)는 상기 압축된 복원 데이터를 애플리케이션의 마커 데이터로서 저장할 수 있다. 또 다른 실시예에 따르면, 저장부(160)는 상기 압축된 복원 데이터를 별도의 영상 파일로 저장할 수 있다. 복원 데이터가 압축된 경우, 복원 데이터를 저장하기 위해 필요로 하는 추가적인 저장공간의 크기가 감소될 수 있다.
도 23은 실시예에 따라 복원 데이터를 이용하여 확대 영상을 생성하고 표시하는 방법이 수행되는 과정을 나타내는 순서도이다. 도 23을 참조하면, 먼저, 저장된 영상 및 상기 영상 내에서 관심영역에 대응하는 부분을 표시하는 단계(S800)가 수행될 수 있다. 표시부(140)는 저장부(160)에 저장된 상기 제1영상 및 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 표시할 수 있다.
표시부(140)가 상기 제1영상 및 상기 관심영역에 대응하는 부분을 표시하기 이전에, 제어부(130)는 갤러리 어플리케이션을 실행할 수 있다. 표시부(140)는 저장부(160)에 저장된 복수의 영상에 대응하는 복수의 썸네일을 포함하는 갤러리 화면을 표시할 수 있다. 입력부(150)는 갤러리 화면 내의 하나의 썸네일에 대해 사용자로부터 터치 입력을 수신할 수 있다. 도 24는 영상 처리 장치(100)에 표시된 갤러리 화면 내의 하나의 썸네일에 대해 사용자로부터 터치 입력이 수신된 경우를 나타내는 화면이다.
상기 수신된 터치 입력에 대한 응답으로, 표시부(140)는 상기 썸네일에 대응하는 영상 및 상기 영상 내에서 상기 관심영역에 대응하는 부분을 표시할 수 있다. 예를 들어, 사용자는 갤러리 화면 내에서 상기 제1영상에 대응하는 썸네일에 대해 터치 입력을 입력할 수 있다. 표시부(140)는 상기 터치 입력에 대한 응답으로, 도 16에 도시된 바와 같이 제1영상 및 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 표시할 수 있다.
다시 도 23을 참조하면, 다음으로, 사용자로부터 입력을 수신하는 단계(S810)가 수행될 수 있다. 사용자는 표시부(140)에 표시된 영상의 확대를 위하여 핀치 아웃(pinch out) 입력을 입력할 수 있다. 도 25는 영상 처리 장치(100)에 표시된 영상에 대해 사용자로부터 핀치 아웃(pinch out) 입력이 수신된 경우를 나타내는 화면이다. 도 25를 참조하면, 사용자는 제1영상에 포함된 안면 부분에 대하여 핀치 아웃 입력을 입력할 수 있다. 입력부(150)는 사용자로부터 상기 핀치 아웃 입력을 수신할 수 있다.
또한, 사용자는 표시부(140)에 표시된 영상의 패닝(panning) 또는 네비게이션(navigation)을 위하여 드래그(drag) 입력을 입력할 수 있다. 도 26은 영상 처리 장치(100)에 표시된 영상에 대해 사용자로부터 드래그(drag) 입력이 수신된 경우를 나타내는 화면이다. 도 26의 (p)를 참조하면, 표시부(140)는 제1영상에 포함된 안면 부분을 이미 확대하여 표시하고 있다. 사용자는 도 26의 (q) 또는 (r)에서와 같이 제1영상 내의 다른 부분이 표시되도록 하기 위하여 드래그 입력을 입력할 수 있다. 입력부(150)는 사용자로부터 상기 드래그 입력을 수신할 수 있다.
다시 도 23을 참조하면, 다음으로, 상기 수신된 입력을 이용하여 확대 배율을 결정하는 단계(S820)가 수행될 수 있다. 제어부(130)는 상기 수신된 핀치 아웃 입력에 대한 응답으로, 확대 배율을 결정할 수 있다. 상기 핀치 아웃 입력을 위해 사용자가 양손가락 사이를 더 많이 벌릴수록, 제어부(130)는 더 높은 확대 배율을 결정할 수 있다. 제어부(130)는 상기 확대 배율로서 1보다 큰 유리수를 결정할 수 있다.
다음으로, 상기 영상 내에서 상기 관심영역에 대응하는 부분 및 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 복원 데이터를 이용하여 상기 확대 배율에 대응하는 확대 영상을 생성하는 단계(S830)가 수행될 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터를 이용하여 상기 확대 배율에 대응하는 확대 영상을 생성할 수 있다.
도 27은 실시예에 따라 복원 데이터를 이용하여 확대 배율에 대응하는 확대 영상을 생성하는 단계를 설명하기 위한 참고도이다. 도 27을 참조하면, 상기 결정된 확대 배율은 다음의 5가지 경우 중에서 어느 하나일 수 있다. 상기 결정된 확대 배율은, 도 27의 (a)의 경우로서, 1보다 크고 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근보다 작을 수 있다. 예를 들어, 제1영상의 해상도는 1600만 화소일 수 있다. 다시 말해서, 수광부(110)에 의해 생성된 원시 영상의 해상도는 1600만 화소일 수 있다. 또한, 표시부(140)의 해상도는 200만 화소일 수 있다. 따라서, 도 27의 (a)의 경우, 상기 확대 배율은 1보다 크고 sqrt(16/2) = 2.828보다 작을 수 있다.
또한, 상기 결정된 확대 배율은, 도 27의 (b)의 경우로서, 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근과 서로 동일할 수 있다. 따라서, 도 27의 (b)의 경우, 상기 확대 배율은 sqrt(16/2) = 2.828일 수 있다.
또한, 상기 결정된 확대 배율은, 도 27의 (c)의 경우로서, 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근보다 크고, 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 작을 수 있다. 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근은 sqrt(16/2) = 2.828일 수 있다. 또한, 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근은 sqrt(4/1) = 2일 수 있다. 따라서, 도 27의 (c)의 경우, 상기 확대 배율은 2.828보다 크고 2.828 * 2 = 5.656보다 작을 수 있다.
또한, 상기 결정된 확대 배율은, 도 27의 (d)의 경우로서, 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값과 서로 동일할 수 있다. 따라서, 도 27의 (d)의 경우, 상기 확대 배율은 5.656일 수 있다.
또한, 상기 결정된 확대 배율은, 도 27의 (e)의 경우로서, 제1영상의 해상도를 표시부(140)의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 클 수 있다. 따라서, 도 27의 (e)의 경우, 상기 확대 배율은 5.656보다 클 수 있다.
상기 결정된 확대 배율에 대응하는 확대 영상의 해상도는 표시부(140)의 해상도에 상기 결정된 확대 배율의 제곱을 곱함으로써 산출될 수 있다. 도 27의 (a)의 경우, 상기 확대 배율에 대응하는 확대 영상의 해상도는 표시부(140)의 해상도보다 크고 제1영상의 해상도보다 작을 수 있다. 제어부(130)는 제1영상을 상기 확대 배율에 대응하는 확대 영상의 해상도로 다운스케일링함으로써 상기 확대 영상을 생성할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 다운스케일링함으로써 확대 영상을 생성할 수 있다. 도 27의 (b)의 경우, 상기 확대 배율에 대응하는 확대 영상의 해상도는 제1영상의 해상도와 서로 동일할 수 있다. 제어부(130)는 제1영상을 상기 확대 영상으로 지정할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 잘라냄(crop)으로써 확대 영상을 생성할 수 있다.
도 27의 (c)의 경우, 상기 확대 배율에 대응하는 확대 영상의 해상도는 제1영상의 해상도보다 크고 제1영상의 해상도에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫을 곱한 값보다 작을 수 있다. 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫은 4이므로, 상기 확대 영상의 해상도는 제1영상의 해상도보다 크고 제1영상의 해상도의 4배보다 작을 수 있다.
또한, 도 27의 (c)의 경우, 확대 영상 내에서 표시부(140)가 표시할 부분은 다음의 3가지 경우 중에서 어느 하나일 수 있다. 도 26의 (p)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응할 수 있다. 또한, 도 26의 (q)의 경우와 같이, 표시부(140)가 표시할 부분의 일부는 관심영역에 대응하고 표시부(140)가 표시할 부분의 다른 일부는 관심영역에 대응하지 않을 수 있다. 또한, 도 26의 (r)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응하지 않을 수 있다.
도 27의 (c) 및 도 26의 (p)의 경우, 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 업스케일링할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분 영상 및 저장부(160)에 저장된 복원 데이터를 이용하여 확대 영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다.
예를 들어, 제어부(130)는 저장된 복원 데이터 중에서 해상도 B에 대한 복원 데이터가 상기 확대 배율에 대응한다고 판정할 수 있다. 제어부(130)는 해상도 B에 대한 복원 데이터 내에서 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다. 복원 데이터는 제1영상으로부터 추출된 부분 및 슈퍼레졸루션 영상 내에서 상기 추출된 부분에 대응하는 부분 사이의 차이를 나타내므로, 상기 합성으로 인하여 상기 업스케일링된 부분 영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다.
도 27의 (c) 및 도 26의 (q)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하는 일부를 업스케일링하여 제1부분영상을 생성할 수 있다. 또한, 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하지 않는 다른 일부를 업스케일링하여 제2부분영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 제1부분영상에 대응하는 부분을 상기 제1부분영상과 합성할 수 있다. 상기 합성으로 인하여 제1부분영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다. 제어부(130)는 생성된 슈퍼레졸루션 부분 영상 및 제2부분영상을 결합함으로써 확대 영상을 생성할 수 있다.
도 27의 (c) 및 도 26의 (r)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링함으로써 확대 영상을 생성할 수 있다.
도 27의 (d)의 경우, 확대 배율에 대응하는 확대 영상의 해상도는 제1영상의 해상도에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫을 곱한 값과 동일할 수 있다. 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫은 4이므로, 상기 확대 영상의 해상도는 제1영상의 해상도의 4배와 동일할 수 있다.
또한, 도 27의 (d)의 경우, 확대 영상 내에서 표시부(140)가 표시할 부분은 다음의 3가지 경우 중에서 어느 하나일 수 있다. 도 26의 (p)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응할 수 있다. 또한, 도 26의 (q)의 경우와 같이, 표시부(140)가 표시할 부분의 일부는 관심영역에 대응하고 표시부(140)가 표시할 부분의 다른 일부는 관심영역에 대응하지 않을 수 있다. 또한, 도 26의 (r)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응하지 않을 수 있다.
도 27의 (d) 및 도 26의 (p)의 경우, 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 업스케일링할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분 영상 및 저장부(160)에 저장된 복원 데이터를 이용하여 확대 영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다.
예를 들어, 제어부(130)는 저장된 복원 데이터 중에서 해상도 E에 대한 복원 데이터가 상기 확대 배율에 대응한다고 판정할 수 있다. 제어부(130)는 해상도 E에 대한 복원 데이터 내에서 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다. 복원 데이터는 제1영상으로부터 추출된 부분 및 슈퍼레졸루션 영상 내에서 상기 추출된 부분에 대응하는 부분 사이의 차이를 나타내므로, 상기 합성으로 인하여 상기 업스케일링된 부분 영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다.
도 27의 (d) 및 도 26의 (q)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하는 일부를 업스케일링하여 제1부분영상을 생성할 수 있다. 또한, 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하지 않는 다른 일부를 업스케일링하여 제2부분영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 제1부분영상에 대응하는 부분을 상기 제1부분영상과 합성할 수 있다. 상기 합성으로 인하여 제1부분영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다. 제어부(130)는 생성된 슈퍼레졸루션 부분 영상 및 제2부분영상을 결합합으로써 확대 영상을 생성할 수 있다.
도 27의 (d) 및 도 26의 (r)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링함으로써 확대 영상을 생성할 수 있다.
도 27의 (e)의 경우, 확대 배율에 대응하는 확대 영상의 해상도는 제1영상의 해상도에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫을 곱한 값보다 클 수 있다. 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫은 4이므로, 상기 확대 영상의 해상도는 제1영상의 해상도의 4배보다 클 수 있다.
또한, 도 27의 (e)의 경우, 확대 영상 내에서 표시부(140)가 표시할 부분은 다음의 3가지 경우 중에서 어느 하나일 수 있다. 도 26의 (p)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응할 수 있다. 또한, 도 26의 (q)의 경우와 같이, 표시부(140)가 표시할 부분의 일부는 관심영역에 대응하고 표시부(140)가 표시할 부분의 다른 일부는 관심영역에 대응하지 않을 수 있다. 또한, 도 26의 (r)의 경우와 같이, 표시부(140)가 표시할 부분의 전부는 관심영역에 대응하지 않을 수 있다.
도 27의 (e) 및 도 26의 (p)의 경우, 제어부(130)는 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 업스케일링할 수 있다. 다른 실시예에 따르면, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 상기 업스케일링된 부분 영상 및 저장부(160)에 저장된 복원 데이터를 이용하여 확대 영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다.
예를 들어, 제어부(130)는 해상도 E에 대한 복원 데이터 내에서 상기 업스케일링된 부분 영상에 대응하는 부분을 상기 업스케일링된 부분 영상과 합성할 수 있다. 복원 데이터는 제1영상으로부터 추출된 부분 및 슈퍼레졸루션 영상 내에서 상기 추출된 부분에 대응하는 부분 사이의 차이를 나타내므로, 상기 합성으로 인하여 상기 업스케일링된 부분 영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다. 제어부(130)는 생성된 슈퍼레졸루션 부분 영상을 쌍입방 보간법으로 업스케일링함으로써 확대 배율에 대응하는 확대 영상을 생성할 수 있다.
도 27의 (e) 및 도 26의 (q)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링할 수 있다. 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하는 일부를 업스케일링하여 제1부분영상을 생성할 수 있다. 또한, 제어부(130)는 표시부(140)가 표시할 부분 중에서 상기 관심영역에 대응하지 않는 다른 일부를 업스케일링하여 제2부분영상을 생성할 수 있다. 제어부(130)는 저장부(160)에 저장된 복원 데이터 중에서 상기 확대 배율 및 제1부분영상에 대응하는 부분을 상기 제1부분영상과 합성할 수 있다. 상기 합성으로 인하여 제1부분영상에 대응하는 슈퍼레졸루션 부분 영상이 생성될 수 있다. 제어부(130)는 생성된 슈퍼레졸루션 부분 영상 및 제2부분영상을 결합할 수 있다. 제어부(130)는 상기 결합된 영상을 쌍입방 보간법으로 업스케일링함으로써 확대 배율에 대응하는 확대 영상을 생성할 수 있다.
도 27의 (e) 및 도 26의 (r)의 경우, 제어부(130)는 상기 제1영상 내에서 표시부(140)가 표시할 부분만을 업스케일링함으로써 확대 영상을 생성할 수 있다.
다시 도 23을 참조하면, 다음으로, 상기 확대 영상을 표시하는 단계(S840)가 수행될 수 있다. 표시부(140)는 제어부(130)에 의해 생성된 확대 영상을 표시할 수 있다. 도 28은 실시예에 따라 확대 영상을 표시한 결과를 나타내는 화면이다.
제1영상의 해상도가 1600만 화소이고 표시부(140)의 해상도가 200만 화소인 경우, 표시되는 영상의 품질의 저하 없이 상기 표시부(140) 상에 표시할 수 있는 최대 확대 배율은 sqrt(16/2) = 2.828(배)일 수 있다. 이상에서 설명된 실시예에 따르면, 제1영상이 2.828배를 초과하여 확대된 경우에는 슈퍼레졸루션 영상 또는 슈퍼레졸루션 영상으로부터 업스케일링된 영상이 표시될 수 있다. 따라서, 영상을 확대하여 표시할 때 표시된 영상의 품질이 향상될 수 있다.
또한, 상기의 실시예에 따르면 영상 내의 관심영역에 대하여만 처리를 수행하므로, 영상 처리에 소요되는 시간을 단축시킬 수 있다. 또한, 영상 처리에 필요한 메모리의 크기를 줄일 수 있다. 또한, 영상 처리의 결과를 저장하는 데에 필요한 저장공간의 크기를 줄일 수 있다.
또한, 상기의 실시예에 따르면 슈퍼레졸루션 영상이 저장되는 대신에, 제1영상 내에서 관심영역에 대응하는 부분 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분 사이의 차이를 나타내는 복원 데이터가 저장될 수 있다. 상기 복원 데이터는 압축되어 저장될 수 있다. 또한, 상기 저장된 복원 데이터를 이용하여 상기 관심영역에 대응하는 슈퍼레졸루션 영상이 복원될 수 있다. 따라서, 영상의 품질을 향상시키기 위해 필요로 하는 추가적인 저장공간의 크기를 감소시킬 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 영상 처리 장치
110: 수광부
120: 영상신호처리부
130: 제어부
140: 표시부
150: 입력부
160: 저장부

Claims (30)

  1. 대상을 포함하는, 제1영상을 준비하는 단계;
    상기 제1영상 내에서 적어도 하나의 관심영역(ROI, Region Of Interest)을 지정하는 단계; 및
    상기 적어도 하나의 관심 영역에 대하여, 상기 제1 영상보다 해상도가 더 높은 제2 영상을 생성하기 위한 복원 데이터를 생성하는 단계를 포함하고,
    상기 복원 데이터를 생성하는 단계는,
    상기 대상에 대하여, 복수 개의 영상을 촬영하는 단계;
    상기 복수 개의 영상에 기초하여, 상기 적어도 하나의 관심영역에 대한 슈퍼레졸루션(super resolution) 영상을 획득하는 단계; 및
    상기 슈퍼 레졸루션 영상의 상기 적어도 하나의 관심영역과 상기 제1 영상의 상기 적어도 하나의 관심 영역 간의 차이를 나타내는, 상기 복원 데이터를 생성하는 단계를 포함하고,
    상기 복원 데이터는, 제1 해상도에 대한 제1 복원 데이터 셋 및 상기 제1 해상도와 다른 제2 해상도에 대한 제2 복원 데이터 셋을 포함하는 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 복원 데이터를 생성하는 단계는,
    상기 제1 영상의 관심 영역 및 상기 슈퍼 레졸루션 영상의 관심 영역을 각각 스케일링함으로써, 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 서로 동일하게 만드는 단계; 및
    상기 동일한 해상도를 가지는, 상기 제1영상의 상기 관심영역과 상기 슈퍼레졸루션 영상의 상기 관심영역 간의 차이를 나타내는 비교 데이터를 생성하는 단계
    를 더 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 적어도 하나 이상의 관심영역을 지정하는 단계는,
    상기 제1 영상을 복수의 영역으로 분할하는 단계;
    상기 각각의 영역 내에 관심대상(OOI, Object Of Interest)이 포함되어 있는지 여부를 판정하는 단계; 및
    상기 판정 결과에 따라 상기 복수의 영역 중에서 적어도 하나 이상을 상기 관심영역으로 지정하는 단계
    를 포함하는 영상 처리 방법.
  8. 제1항에 있어서,
    상기 적어도 하나 이상의 관심영역을 지정하는 단계는,
    상기 제1 영상을 분석함으로써 상기 제1 영상 내에서 관심대상의 위치를 검출하는 단계;
    상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계; 및
    상기 검출된 영역을 상기 관심영역으로 지정하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 관심대상의 위치를 검출하는 단계는,
    상기 제1영상 내에서 고주파요소(high frequency component)의 위치를 검출하는 단계;
    상기 제1영상에 대해 안면인식(face recognition)을 수행함으로써 안면의 위치를 검출하는 단계;
    상기 제1영상에 대해 광학문자판독(OCR, optical character recognition)을 수행함으로써 텍스트의 위치를 검출하는 단계; 및
    상기 제1 영상 내에서 초점의 위치를 검출하는 단계
    를 포함하는 영상 처리 방법.
  10. 제1항에 있어서,
    상기 적어도 하나 이상의 관심영역을 지정하는 단계는,
    사용자로부터 드래그 입력을 수신하는 단계;
    상기 제1영상 내에서 상기 드래그 입력에 대응하는 제1영역을 검출하는 단계;
    사용자로부터 탭 입력을 수신하는 단계;
    상기 제1영상 내에서 상기 탭 입력에 대응하는 위치를 검출하는 단계;
    상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 제2영역을 검출하는 단계; 및
    상기 제1영역 및 상기 제2영역을 상기 관심영역으로 지정하는 단계
    를 포함하는 영상 처리 방법.
  11. 제1항에 있어서,
    상기 적어도 하나 이상의 관심영역을 지정하는 단계는,
    상기 제1영상을 분석함으로써 상기 제1영상 내에서 관심대상의 위치를 검출하는 단계;
    상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하는 단계;
    상기 제1영상 상에 상기 검출된 영역을 표시하는 단계;
    사용자로부터 탭 입력을 수신하는 단계;
    상기 검출된 영역 중에서 상기 탭 입력에 대응하는 영역을 선택하거나 선택해제하는 단계;
    사용자로부터 드래그 입력을 수신하는 단계;
    상기 제1영상 내에서 상기 드래그 입력에 대응하는 제3영역을 검출하는 단계; 및
    상기 선택된 영역 및 상기 제3영역을 상기 관심영역으로 지정하는 단계
    를 포함하는 영상 처리 방법.
  12. 제1항에 있어서,
    상기 제1영상 및 상기 제1영상 내에서 상기 관심영역에 대응하는 부분을 표시하는 단계;
    사용자로부터 입력을 수신하는 단계;
    상기 수신된 입력을 이용하여 상기 제1 영상이 표시될 디스플레이의 해상도를 기준으로 한 확대 배율을 결정하는 단계;
    상기 확대 배율 및 상기 복원 데이터를 이용하여 상기 제1영상의 확대 영상을 생성하는 단계; 및
    상기 확대 영상을 표시하는 단계
    를 더 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 확대 영상을 생성하는 단계는,
    상기 확대 배율이 1보다 크고 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 작은 경우 상기 제1영상 내에서 상기 디스플레이에 표시될 부분을 다운스케일링함으로써 상기 확대 영상을 생성하는 단계; 및
    상기 확대 배율이 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근과 서로 동일한 경우 상기 제1영상 내에서 상기 디스플레이에 표시될 부분을 잘라냄(crop)으로써 상기 확대 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  14. 제12항에 있어서,
    상기 확대 영상을 생성하는 단계는,
    상기 확대 배율이 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 크고, 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 작거나 같은 경우 상기 제1영상 내에서 상기 디스플레이에 표시될 부분을 업스케일링함으로써 부분 영상을 생성하는 단계; 및
    상기 복원 데이터 중에서 상기 확대 배율 및 상기 부분 영상에 대응하는 부분을 상기 부분 영상과 합성함으로써 상기 확대 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  15. 제12항에 있어서,
    상기 확대 영상을 생성하는 단계는,
    상기 확대 배율이 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근보다 크고, 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 작은 경우 상기 제1영상 내의 상기 디스플레이에 표시될 부분 중에서 상기 관심영역에 대응하는 일부를 업스케일링하여 제1부분영상을 생성하는 단계;
    상기 제1영상 내의 상기 디스플레이에 표시될 부분 중에서 상기 관심영역에 대응하지 않는 다른 일부를 업스케일링하여 제2부분영상을 생성하는 단계;
    상기 복원 데이터 중에서 상기 확대 배율 및 상기 제1부분영상에 대응하는 부분을 상기 제1부분영상과 합성함으로써 슈퍼레졸루션 부분 영상을 생성하는 단계; 및
    상기 슈퍼레졸루션 부분 영상 및 상기 제2부분영상을 결합함으로써 상기 확대 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  16. 제12항에 있어서,
    상기 확대 영상을 생성하는 단계는,
    상기 확대 배율이 상기 제1영상의 해상도를 상기 디스플레이의 해상도로 나눈 몫의 제곱근에 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도로 나눈 몫의 제곱근을 곱한 값보다 큰 경우 상기 제1영상 내에서 상기 디스플레이에 표시될 부분을 업스케일링함으로써 부분 영상을 생성하는 단계; 및
    상기 복원 데이터 중에서 상기 확대 배율 및 상기 부분 영상에 대응하는 부분을 상기 부분 영상과 합성하는 단계; 및
    상기 합성된 영상을 업스케일링함으로써 상기 확대 영상을 생성하는 단계를 포함하는 영상 처리 방법.
  17. 제1항의 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  18. 저장된 영상 및 상기 영상 내에서 관심영역에 대응하는 부분을 표시하는 단계;
    사용자로부터 입력을 수신하는 단계;
    상기 수신된 입력을 이용하여 확대 배율을 결정하는 단계;
    상기 영상 내에서 상기 관심영역에 대응하는 부분의 복원 데이터를 이용하여 상기 확대 배율에 대응하는 확대 영상을 생성하는 단계; 및
    상기 확대 영상을 표시하는 단계
    를 포함하고,
    상기 확대 영상은 상기 관심영역에 대응하고, 상기 확대 영상의 해상도는 상기 영상 내에서 상기 관심영역에 대응하는 부분의 해상도보다 더 높고,
    상기 복원 데이터는, 슈퍼 레졸루션 영상에 포함된 상기 관심영역과 상기 영상에 포함된 상기 관심 영역 간의 차이를 나타내는, 비교 데이터를 포함하고,
    상기 복원 데이터는, 제1 해상도에 대한 제1 복원 데이터 셋 및 상기 제1 해상도와 다른 제2 해상도에 대한 제2 복원 데이터 셋을 포함하는 영상 처리 방법.
  19. 대상으로부터 반사된 빛을 수신하는 수광부; 및
    상기 수신된 빛을 이용하여 제1영상을 준비하고, 상기 제1영상 내에서 적어도 하나 이상의 관심영역(ROI, Region Of Interest)을 지정하고, 상기 적어도 하나의 관심 영역에 대하여, 상기 제1 영상보다 해상도가 더 높은 제2 영상을 생성하기 위한 복원 데이터를 생성하는 제어부
    를 포함하고,
    상기 제어부는, 상기 대상에 대하여 촬영된 복수 개의 영상에 기초하여, 상기 적어도 하나의 관심영역에 대한 슈퍼레졸루션(super resolution) 영상을 획득하고,
    상기 슈퍼 레졸루션 영상의 상기 적어도 하나의 관심영역과 상기 제1 영상의 상기 적어도 하나의 관심 영역 간의 차이를 나타내는, 상기 복원 데이터를 생성하고,
    상기 복원 데이터는, 제1 해상도에 대한 제1 복원 데이터 셋 및 상기 제1 해상도와 다른 제2 해상도에 대한 제2 복원 데이터 셋을 포함하는 영상 처리 장치.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 제19항에 있어서,
    상기 제어부는 상기 제1 영상의 관심 영역 및 상기 슈퍼 레졸루션 영상의 관심 영역을 각각 스케일링함으로써, 상기 제1영상 내에서 상기 관심영역에 대응하는 부분의 해상도 및 상기 슈퍼레졸루션 영상 내에서 상기 관심영역에 대응하는 부분의 해상도를 서로 동일하게 만들고, 상기 제어부는 상기 동일한 해상도를 가지는, 상기 제1영상의 상기 관심영역과 상기 슈퍼레졸루션 영상의 상기 관심영역 간의 차이를 나타내는 비교 데이터를 포함하는, 상기 복원 데이터를 생성하는 영상 처리 장치.
  25. 제19항에 있어서,
    상기 제어부는 상기 제1 영상을 복수의 영역으로 분할하고, 상기 제어부는 상기 각각의 영역 내에 관심대상(OOI, Object Of Interest)이 포함되어 있는지 여부를 판정하고, 상기 제어부는 상기 판정 결과에 따라 상기 복수의 영역 중에서 적어도 하나 이상을 상기 관심영역으로 지정하는 영상 처리 장치.
  26. 제19항에 있어서,
    상기 제어부는 상기 제1영상을 분석함으로써 상기 제1영상 내에서 관심대상의 위치를 검출하고, 상기 제어부는 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 상기 관심대상에 대응하는 영역을 검출하고, 상기 제어부는 상기 검출된 영역을 상기 관심영역으로 지정하는 영상 처리 장치.
  27. 제19항에 있어서,
    드래그 입력을 수신하는 입력부
    를 더 포함하고,
    상기 제어부는 상기 제1영상 내에서 상기 드래그 입력에 대응하는 제1영역을 검출하고,
    상기 입력부는 탭 입력을 더 수신하고,
    상기 제어부는 상기 제1영상 내에서 상기 탭 입력에 대응하는 위치를 검출하고, 상기 제어부는 상기 검출된 위치를 이용하여 영상 세그멘테이션을 수행함으로써 제2영역을 검출하고, 상기 제어부는 상기 제1영역 및 상기 제2영역을 상기 관심영역으로 지정하는 영상 처리 장치.
  28. 제19항에 있어서,
    입력을 수신하는 입력부; 및 표시부
    를 더 포함하고,
    상기 제어부는 상기 수신된 입력을 이용하여 상기 표시부의 해상도를 기준으로 한 확대 배율을 결정하고, 상기 제어부는 상기 확대 배율 및 상기 복원 데이터를 이용하여 상기 제1영상의 확대 영상을 생성하고,
    상기 표시부는 상기 생성된 확대 영상을 표시하는 영상 처리 장치.
  29. 삭제
  30. 삭제
KR1020150136990A 2014-09-26 2015-09-25 영상 처리 장치 및 방법 KR102374022B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/866,049 US10229478B2 (en) 2014-09-26 2015-09-25 Image processing apparatus and image processing method
PCT/KR2015/010259 WO2016048108A1 (en) 2014-09-26 2015-09-25 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN4746/CHE/2014 2014-09-26
IN4746CH2014 2014-09-26

Publications (2)

Publication Number Publication Date
KR20160037115A KR20160037115A (ko) 2016-04-05
KR102374022B1 true KR102374022B1 (ko) 2022-03-14

Family

ID=59153361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150136990A KR102374022B1 (ko) 2014-09-26 2015-09-25 영상 처리 장치 및 방법

Country Status (2)

Country Link
EP (1) EP3198557A4 (ko)
KR (1) KR102374022B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550175B1 (ko) 2016-10-21 2023-07-03 삼성전기주식회사 카메라 모듈 및 이를 포함하는 전자 기기
KR102383129B1 (ko) 2017-09-27 2022-04-06 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR102466519B1 (ko) * 2020-10-22 2022-11-11 이종명 복수의 기능들을 지원하는 atm 기기 및 그 동작 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects
JP5202283B2 (ja) * 2008-12-20 2013-06-05 三洋電機株式会社 撮像装置及び電子機器
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
KR101899877B1 (ko) * 2012-04-04 2018-09-19 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20160037115A (ko) 2016-04-05
EP3198557A4 (en) 2017-12-13
EP3198557A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
US10229478B2 (en) Image processing apparatus and image processing method
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
CN108780569B (zh) 用于图像分辨率增强的系统和方法
JP4912117B2 (ja) 追跡機能付き撮像装置
JP4556813B2 (ja) 画像処理装置、及びプログラム
KR20120055632A (ko) 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치
US9473702B2 (en) Controlling image capture and/or controlling image processing
US9373187B2 (en) Method and apparatus for producing a cinemagraph
US20100225785A1 (en) Image processor and recording medium
CN112367459B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
EP2654286A1 (en) Method of providing panoramic image and imaging device thereof
JP2007266667A (ja) カメラ付き携帯機器、その制御方法及びその撮影支援方法
US11688100B1 (en) Systems and methods for multi-sensor image enhancement
KR102374022B1 (ko) 영상 처리 장치 및 방법
US20130208984A1 (en) Content scene determination device
JP6091727B1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017049686A (ja) 画像処理装置
JP2010193154A (ja) 画像処理装置および画像処理方法
US10303988B1 (en) Visual search methods and systems
JP2010097449A (ja) 画像合成装置、及び画像合成方法、画像合成プログラム
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
KR101612437B1 (ko) 촬영 영상 처리 장치 및 방법
RU2792413C1 (ru) Способ обработки изображений и мобильный терминал
JP5713256B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP5487126B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant