KR20170024275A - 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템 - Google Patents

영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템 Download PDF

Info

Publication number
KR20170024275A
KR20170024275A KR1020150119322A KR20150119322A KR20170024275A KR 20170024275 A KR20170024275 A KR 20170024275A KR 1020150119322 A KR1020150119322 A KR 1020150119322A KR 20150119322 A KR20150119322 A KR 20150119322A KR 20170024275 A KR20170024275 A KR 20170024275A
Authority
KR
South Korea
Prior art keywords
image
scaling
scaling value
input
transformed
Prior art date
Application number
KR1020150119322A
Other languages
English (en)
Inventor
유세운
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150119322A priority Critical patent/KR20170024275A/ko
Priority to TW105113853A priority patent/TW201724029A/zh
Priority to US15/150,366 priority patent/US20170061677A1/en
Priority to CN201610725342.9A priority patent/CN106485649A/zh
Publication of KR20170024275A publication Critical patent/KR20170024275A/ko

Links

Images

Classifications

    • G06T3/067—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

영상 처리 장치는 영상 분할기, 스케일러 및 블렌더를 포함한다. 영상 분할기는 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다. 스케일러는 제1 스케일링 값을 기초로 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다. 블렌더는 제1 변환 영상 및 제2 변환 영상을 합성하여 출력 영상을 발생한다.

Description

영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템{IMAGE PROCESSING APPARATUS, METHOD OF PROCESSING IMAGE AND ELECTRONIC SYSTEM INCLUDING THE SAME}
본 발명은 영상 처리에 관한 것으로서, 더욱 상세하게는 3차원 원근감 효과를 생성하는 영상 처리 장치, 상기 영상 처리 장치에 의해 수행되는 영상 처리 방법 및 상기 영상 처리 장치를 포함하는 전자 시스템에 관한 것이다.
영상 촬상 장치가 다양한 종류의 전자 시스템 및 모바일 시스템에 적용되고 있다. 최근에는 영상 정보뿐만 아니라 거리 정보까지 제공할 수 있는 영상 촬상 장치에 대한 연구가 활발하게 진행되고 있다. 상기 영상 촬상 장치에 의해 획득된 상기 영상 정보 및 상기 거리 정보는 다양한 방식으로 처리될 수 있으며, 예를 들어, 영상의 입체감을 표현하기 위한 영상 처리가 수행될 수 있다. 상기 영상의 입체감을 표현하는 다양한 방식들이 연구되고 있다.
본 발명의 일 목적은 상대적으로 적은 연산량 및 비용으로 3차원 원근감 효과를 생성할 수 있는 영상 처리 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 영상 처리 장치에서 수행되는 영상 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 영상 처리 장치를 포함하는 전자 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 장치는 영상 분할기, 스케일러 및 블렌더를 포함한다. 상기 영상 분할기는 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다. 상기 스케일러는 제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다. 상기 블렌더는 상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생한다.
일 실시예에서, 상기 제1 변환 영상은 상기 제1 영상의 크기를 확대한 영상이고, 상기 제2 변환 영상은 상기 제2 영상의 크기를 확대한 영상일 수 있다. 상기 제1 영상의 확대 비율을 나타내는 상기 제1 스케일링 값은 상기 제2 영상의 확대 비율을 나타내는 상기 제2 스케일링 값보다 클 수 있다.
일 실시예에서, 상기 제1 영상은 상기 입력 영상에 포함되는 피사체 영상이고, 상기 제2 영상은 상기 입력 영상에서 상기 피사체 영상을 제외한 배경 영상일 수 있다. 상기 블렌더는 상기 제2 변환 영상 상에 상기 제1 변환 영상을 중첩하여 상기 출력 영상을 발생할 수 있다.
일 실시예에서, 상기 제1 영상은 상기 입력 영상에 포함되는 제1 피사체 영상이고, 상기 제2 영상은 상기 입력 영상에 포함되는 제2 피사체 영상일 수 있다.
일 실시예에서, 상기 영상 분할기는 상기 입력 영상을 분할하여 제3 영상을 더 발생할 수 있다. 상기 스케일러는 상기 제1 스케일링 값, 상기 제2 스케일링 값, 및 상기 제1 및 제2 스케일링 값들과 다른 제3 스케일링 값 중 하나를 기초로 상기 제3 영상의 크기를 변경하여 제3 변환 영상을 더 발생할 수 있다. 상기 블렌더는 상기 제1 내지 제3 변환 영상들을 합성하여 상기 출력 영상을 발생할 수 있다.
일 실시예에서, 상기 스케일러는 제1 스케일링부 및 제2 스케일링부를 포함할 수 있다. 상기 제1 스케일링부는 상기 제1 스케일링 값 및 상기 제1 영상에 상응하는 제1 영상 데이터에 기초하여 상기 제1 변환 영상에 상응하는 제1 변환 영상 데이터를 발생할 수 있다. 상기 제2 스케일링부는 상기 제2 스케일링 값 및 상기 제2 영상에 상응하는 제2 영상 데이터에 기초하여 상기 제2 변환 영상에 상응하는 제2 변환 영상 데이터를 발생할 수 있다.
일 실시예에서, 상기 스케일러는 제1 스케일링부를 포함할 수 있다. 상기 제1 스케일링부는 상기 제1 스케일링 값 및 상기 제1 영상에 상응하는 제1 영상 데이터에 기초하여 상기 제1 변환 영상에 상응하는 제1 변환 영상 데이터를 발생하고, 상기 제2 스케일링 값 및 상기 제2 영상에 상응하는 제2 영상 데이터에 기초하여 상기 제2 변환 영상에 상응하는 제2 변환 영상 데이터를 발생할 수 있다.
일 실시예에서, 상기 스케일러는 저장부를 더 포함할 수 있다. 상기 저장부는 상기 제1 변환 영상 데이터 및 상기 제2 변환 영상 데이터를 저장할 수 있다.
일 실시예에서, 상기 영상 분할기는 컬러 분할부 및 클러스터부를 포함할 수 있다. 상기 컬러 분할부는 상기 입력 영상에 대한 상기 컬러 정보를 기초로 컬러 분할을 수행하여 복수의 컬러 데이터들을 발생할 수 있다. 상기 클러스터부는 상기 복수의 컬러 데이터들 및 상기 입력 영상에 대한 상기 깊이 정보에 기초하여, 상기 제1 영상에 상응하는 제1 영상 데이터 및 상기 제2 영상에 상응하는 제2 영상 데이터를 발생할 수 있다.
일 실시예에서, 상기 클러스터부는 상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정할 수 있다.
일 실시예에서, 상기 영상 처리 장치는 스케일링 값 발생기를 더 포함할 수 있다. 상기 스케일링 값 발생기는 상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정할 수 있다.
일 실시예에서, 상기 스케일링 값 발생기는 사용자 입력 신호에 더 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정할 수 있다.
일 실시예에서, 상기 영상 처리 장치는 영상 촬상 모듈을 더 포함할 수 있다. 상기 영상 촬상 모듈은 상기 입력 영상에 대한 상기 컬러 정보 및 상기 깊이 정보를 획득할 수 있다.
일 실시예에서, 상기 영상 처리 장치는 영상 촬상 모듈 및 깊이 측정 모듈을 더 포함할 수 있다. 상기 영상 촬상 모듈은 상기 입력 영상에 대한 상기 컬러 정보를 획득할 수 있다. 상기 깊이 측정 모듈은 상기 입력 영상에 대한 상기 깊이 정보를 획득할 수 있다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다. 제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생한다. 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다. 상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생한다.
일 실시예에서, 상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 더 설정할 수 있다.
일 실시예에서, 상기 입력 영상을 분할하여 제3 영상을 더 발생하고, 상기 제1 스케일링 값, 상기 제2 스케일링 값 및 상기 제1 및 제2 스케일링 값들과 다른 제3 스케일링 값 중 하나를 기초로 상기 제3 영상의 크기를 변경하여 제3 변환 영상을 더 발생할 수 있다. 상기 출력 영상은 상기 제1 내지 제3 변환 영상들을 합성하여 발생될 수 있다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 전자 시스템은 프로세서 및 상기 프로세서에 의해 제어되는 영상 처리 장치를 포함한다. 상기 영상 처리 장치는 영상 분할기, 스케일러 및 블렌더를 포함한다. 상기 영상 분할기는 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다. 상기 스케일러는 제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다. 상기 블렌더는 상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생한다.
일 실시예에서, 상기 영상 처리 장치는 상기 프로세서 내에 포함될 수 있다.
일 실시예에서, 상기 전자 시스템은 상기 프로세서와 별도로 구현되는 그래픽 처리 장치(Graphic Processing Unit; GPU)를 더 포함할 수 있다. 상기 영상 처리 장치는 상기 그래픽 처리 장치 내에 포함될 수 있다.
일 실시예에서, 상기 전자 시스템은 영상 촬상 모듈을 더 포함할 수 있다. 상기 영상 촬상 모듈은 상기 입력 영상에 대한 상기 컬러 정보 및 상기 깊이 정보를 획득할 수 있다.
일 실시예에서, 상기 전자 시스템은 영상 촬상 모듈 및 깊이 측정 모듈을 더 포함할 수 있다. 상기 영상 촬상 모듈은 상기 입력 영상에 대한 상기 컬러 정보를 획득할 수 있다. 상기 깊이 측정 모듈은 상기 입력 영상에 대한 상기 깊이 정보를 획득할 수 있다.
일 실시예에서, 상기 전자 시스템은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 태블릿(Tablet) PC(Personal Computer), 노트북(Laptop Computer), 개인 정보 단말기(Personal Digital Assistant; PDA), 휴대형 멀티미디어 플레이어(Portable Multimedia Player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템과 같은 모바일 시스템일 수 있다.
상기와 같은 본 발명의 실시예들에 따른 영상 처리 장치는, 하나의 영상에 포함되는 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행함으로써, 원근감 및 입체감을 효과적으로 나타낼 수 있다. 또한, 3차원 좌표 연산 과정 없이 2차원 영상 처리만을 수행하여 3차원 효과를 표현함으로써, 상대적으로 적은 연산량 및 자원으로 원근감 및 입체감을 실시간으로 나타낼 수 있다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2, 3, 4, 5, 6, 7 및 8은 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 9 및 10은 도 1의 영상 처리 장치에 포함되는 영상 분할기의 예들을 나타내는 블록도들이다.
도 11 및 12는 도 1의 영상 처리 장치에 포함되는 스케일러의 예들을 나타내는 블록도들이다.
도 13, 14 및 15는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도들이다.
도 16은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 17은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 18, 19 및 20은 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 21은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 22, 23, 24a, 24b 및 25는 본 발명의 실시예들에 따른 영상 처리 장치 및 영상 처리 방법에 의한 3차원 효과를 설명하기 위한 도면들이다.
도 26, 27 및 28은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도들이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 처리 장치(100)는 영상 분할기(120), 스케일러(140) 및 블렌더(160)를 포함한다.
영상 분할기(120)는 입력 영상에 대한 컬러 정보(CI) 및 깊이(depth) 정보(DI)를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다. 상기 제1 및 제2 영상들 각각은 상기 입력 영상의 일부일 수 있다. 영상 분할기(120)는 컬러 정보(CI) 및 깊이 정보(DI)를 수신할 수 있으며, 상기 제1 영상에 상응하는 제1 영상 데이터(DAT1) 및 상기 제2 영상에 상응하는 제2 영상 데이터(DAT2)를 출력할 수 있다. 컬러 정보(CI)는 압축되어 제공될 수도 있고 압축되지 않고 적용될 수도 있다.
스케일러(140)는 제1 스케일링 값(SL1)을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 제1 스케일링 값(SL1)과 다른 제2 스케일링 값(SL2)을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다. 스케일러(140)는 제1 영상 데이터(DAT1) 및 제2 영상 데이터(DAT2)를 수신할 수 있으며, 상기 제1 변환 영상에 상응하는 제1 변환 영상 데이터(CDAT1) 및 상기 제2 변환 영상에 상응하는 제2 변환 영상 데이터(CDAT2)를 출력할 수 있다. 제1 변환 영상 데이터(CDAT1) 및 제2 변환 영상 데이터(CDAT2)는 실질적으로 동시에 발생될 수도 있고 순차적으로 발생될 수도 있다.
실시예에 따라서, 제1 및 제2 스케일링 값들(SL1, SL2)은 깊이 정보(DI)에 기초하여 설정될 수도 있고, 사용자에 의해 설정될 수도 있다.
블렌더(160)는 상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생한다. 블렌더(160)는 제1 변환 영상 데이터(CDAT1) 및 제2 변환 영상 데이터(CDAT2)를 수신할 수 있으며, 상기 출력 영상에 상응하는 출력 영상 데이터(ODAT)를 출력할 수 있다.
도 2, 3, 4, 5, 6, 7 및 8은 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 1 내지 8을 참조하면, 입력 영상(도 2의 IIMG)은 피사체(예를 들어, 사람) 및 배경(예를 들어, 해, 산, 나무들)을 포함할 수 있다. 입력 영상(IIMG)은 입력 영상 데이터의 형태로 제공될 수 있으며, 상기 입력 영상 데이터로부터 컬러 정보(CI)가 획득될 수 있다.
컬러 정보(CI)는 임의의 컬러 데이터를 포함할 수 있다. 예를 들어, 상기 컬러 데이터는 RGB 포맷, YUV 포맷, YCbCr 포맷, YPbPr 포맷 등과 같은 다양한 영상 포맷들 중 적어도 하나를 가질 수 있다.
상기 입력 영상 데이터는 컬러 정보(CI)와 실질적으로 동일한 컬러 데이터를 포함할 수도 있고, 컬러 정보(CI)를 부호화한 부호화 데이터를 포함할 수 있다. 예를 들어, 상기 부호화 데이터는 JPEG(Joint Photographic Experts Group), MPEG(Moving Picture Expert Group), H.264, HEVC(High Efficiency Video Coding) 등과 같은 다양한 부호화 방식들 중 하나에 기초하여 부호화될 수 있다.
일 실시예에서, 상기 입력 영상 데이터가 상기 부호화 데이터를 포함하는 경우에, 도 1의 영상 처리 장치(100)는 상기 부호화 데이터를 복호화하여 RGB 포맷, YUV 포맷, YCbCr 포맷, YPbPr 포맷 등의 컬러 정보(CI)를 발생하는 복호화기(미도시)를 더 포함할 수 있다.
깊이 영상(도 3의 DIMG)은 피사체 영역(A1) 및 배경 영역(A2)을 포함할 수 있다. 깊이 영상(DIMG)은 깊이 영상 데이터의 형태로 제공될 수 있으며, 상기 깊이 영상 데이터로부터 입력 영상(IIMG)에 대한 깊이 정보(DI)가 획득될 수 있다.
깊이 정보(DI)는 입력 영상(IIMG) 내의 상기 피사체와 상기 배경을 구분하는 깊이 데이터를 포함할 수 있다. 예를 들어, 깊이 정보(DI)는 제1 깊이 데이터 및 제2 깊이 데이터를 포함할 수 있다. 상기 제1 깊이 데이터는 촬영자(또는 촬상 장치)와의 거리가 상대적으로 가까운(예를 들어, 기준 거리보다 가까운) 상기 피사체에 상응하는 피사체 영역(A1)에 대한 데이터일 수 있고, 상기 제2 깊이 데이터는 상기 촬영자와의 거리가 상대적으로 먼(예를 들어, 상기 기준 거리보다 멀거나 같은) 상기 배경에 상응하는 배경 영역(A2)에 대한 데이터일 수 있다.
일 실시예에서, 컬러 정보(CI) 및 깊이 정보(DI)는 영상 처리 동작의 수행 초기에 획득될 수 있다. 이 때, 컬러 정보(CI) 및 깊이 정보(DI)는 실질적으로 동시에 획득되거나 순차적으로 획득될 수 있다. 또한, 컬러 정보(CI) 및 깊이 정보(DI)는 하나의 모듈(예를 들어, 도 14의 영상 촬상 모듈(170))로부터 획득되거나 분리된 두 개의 모듈들(예를 들어, 도 15의 영상 촬상 모듈(180) 및 깊이 측정 모듈(190))로부터 획득될 수 있다.
일 실시예에서, 컬러 정보(CI) 및 깊이 정보(DI)는 별도의 저장부(미도시)에 미리 저장되어 있을 수 있고, 상기 영상 처리 동작의 수행 초기에 상기 저장부로부터 로딩될 수 있다.
영상 분할기(120)는 컬러 정보(CI) 및 깊이 정보(DI)에 기초하여 입력 영상(IIMG)을 제1 영상(도 4의 IMG1) 및 제2 영상(도 5의 IMG2)으로 분할할 수 있다. 예를 들어, 제1 영상(IMG1)은 입력 영상(IIMG)에 포함되고 피사체 영역(A1)에 상응하는 피사체 영상일 수 있다. 제2 영상(IMG2)은 입력 영상(IIMG)에 포함되고 배경 영역(A2)에 상응하는, 즉 입력 영상(IIMG)에서 상기 피사체 영상을 제외한 배경 영상일 수 있다.
스케일러(140)는 제1 스케일링 값(SL1)에 기초하여 제1 영상(IMG1)을 스케일링할 수 있고, 제2 스케일링 값(SL2)에 기초하여 제2 영상(IMG2)을 스케일링할 수 있다.
일 실시예에서, 스케일러(140)는 제1 및 제2 영상들(IMG1, IMG2)의 크기를 증가시키는 업-스케일링(up-scaling) 동작을 수행할 수 있다. 예를 들어, 스케일러(140)는 제1 스케일링 값(SL1)을 기초로 제1 영상(IMG1)의 크기를 확대하여 제1 변환 영상(도 6의 CIMG1)을 발생할 수 있고, 제2 스케일링 값(SL2)을 기초로 제2 영상(IMG2)의 크기를 확대하여 제2 변환 영상(도 7의 CIMG2)을 발생할 수 있다.
이 때, 제2 영상(IMG2)과 제2 변환 영상(CIMG2)이 동일한 크기로 표시될 수 있도록, 확대된 제2 영상(IMG2)의 가장자리 부분을 삭제하여 제2 변환 영상(CIMG2)을 발생할 수 있다. 상기 확대된 제2 영상(IMG2)의 가장자리 부분을 삭제하는 동작은 스케일러(140), 블렌더(160) 또는 영상 처리 장치(100) 내의 별도의 영상 절단부(미도시)에 의해 수행될 수 있다. 상기와 같은 제2 영상(IMG2)과 제2 변환 영상(CIMG2)을 순차적으로 표시하면 동일한 크기의 화면에서 피사체 및/또는 배경에 접근하는 효과를 나타낼 수 있으며, 이러한 동작을 줌-인(zoom-in) 동작 또는 줌-업(zoom-up) 동작이라 부를 수 있다.
일 실시예에서, 상기와 같이 줌-인 동작이 수행되는 경우에, 제1 영상(IMG1)의 확대 비율을 나타내는 제1 스케일링 값(SL1)은 제2 영상(IMG2)의 확대 비율을 나타내는 제2 스케일링 값(SL2)보다 클 수 있다. 예를 들어, 제1 스케일링 값(SL1)은 약 2일 수 있고, 제2 스케일링 값(SL2)은 약 1.2일 수 있다. 다시 말하면, 제1 변환 영상(CIMG1)은 제1 영상(IMG1)의 약 2배의 크기를 가질 수 있고, 제2 변환 영상(CIMG2)은 제2 영상(IMG2)에서 상기 줌-인 동작이 수행되어 약 20% 확대된 영상일 수 있다.
블렌더(160)는 제1 변환 영상(CIMG1) 및 제2 변환 영상(CIMG2)을 합성할 수 있다. 이 때, 제2 변환 영상(CIMG2) 내의 공백이 제거될 수 있도록, 블렌더(160)는 제2 변환 영상(CIMG2) 상에 제1 변환 영상(CIMG1)을 중첩하여 출력 영상(도 8의 OIMG)을 발생할 수 있다. 다시 말하면, 블렌더(160)는 상기 줌-인된 배경 상에 상기 확대된 피사체를 중첩하여 출력 영상(도 8의 OIMG)을 발생할 수 있다.
도 8의 출력 영상(OIMG)은 도 2의 입력 영상(IIMG)을 확대한 영상, 즉 도 2의 입력 영상(IIMG)에 대해 상기 줌-인 동작을 수행한 영상일 수 있다. 이 때, 입력 영상(IIMG) 내의 제2 영상(IMG2)의 확대 비율보다 제1 영상(IMG1)의 확대 비율을 크게 설정함으로써, 즉, 상기 배경의 확대 비율보다 상기 피사체의 확대 비율을 크게 설정함으로써, 배경과 피사체 사이에 원근감 및 입체감이 나타나는 3차원 효과를 표현할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치(100)는, 하나의 영상에 포함되는 부분 영상들(예를 들어, 피사체 영상 및 배경 영상)의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행함으로써, 원근감 및 입체감을 효과적으로 나타낼 수 있다. 또한, 3차원 좌표 연산 과정 없이 2차원 영상 처리(즉, 2차원 스케일링 동작)만을 수행하여 3차원 효과를 표현함으로써, 상대적으로 적은 연산량(예를 들어, 적은 워크로드(workload)) 및 적은 자원(예를 들어, 적은 비용)으로 원근감 및 입체감을 실시간으로 나타낼 수 있다.
도 2 내지 8을 참조하여, 입력 영상(IIMG)에 대해 상기 줌-인 동작을 수행하는 경우(즉, 입력 영상(IIMG)을 확대하는 경우)에 기초하여 본 발명의 실시예들을 설명하였으나, 입력 영상(IIMG)에 대해 줌-아웃(zoom-out) 동작을 수행하는 경우(즉, 입력 영상(IIMG)을 축소하는 경우)에도 본 발명의 실시예들이 적용될 수 있다. 상기 줌-아웃 동작은 상기 줌-인 동작과 반대로 동일한 크기의 화면에서 피사체 및/또는 배경으로부터 멀어지는 효과를 나타내는 동작일 수 있으며, 줌-백(zoom-back) 동작이라고 부를 수도 있다.
도시하지는 않았지만, 상기 줌-아웃 동작을 구체적으로 설명하면, 스케일러(140)는 제1 및 제2 영상들(IMG1, IMG2)의 크기를 감소시키는 다운-스케일링(down-scaling) 동작을 수행할 수 있다. 예를 들어, 스케일러(140)는 상기 제1 스케일링 값을 기초로 제1 영상(IMG1)의 크기를 축소하여 제3 변환 영상을 발생할 수 있고, 상기 제2 스케일링 값을 기초로 제2 영상(IMG2)의 크기를 축소하여 제4 변환 영상을 발생할 수 있다. 이 때, 제2 영상(IMG2)과 상기 제4 변환 영상이 동일한 크기로 표시될 수 있도록, 축소된 제2 영상(IMG2)의 가장자리 부분에 제2 영상(IMG2)의 일부를 복사/붙이기하는 등의 추가 영상 처리를 수행하여 상기 제4 변환 영상을 발생할 수 있다. 상기 추가 영상 처리하는 동작은 스케일러(140), 블렌더(160) 또는 영상 처리 장치(100) 내의 별도의 영상 복원부(미도시)에 의해 수행될 수 있다. 상기와 같이 줌-아웃 동작이 수행되는 경우에, 제1 영상(IMG1)의 축소 비율을 나타내는 상기 제1 스케일링 값은 제2 영상(IMG2)의 축소 비율을 나타내는 상기 제2 스케일링 값보다 작을 수 있다. 예를 들어, 상기 제1 스케일링 값은 약 0.5일 수 있고, 상기 제2 스케일링 값은 약 0.8일 수 있다. 다시 말하면, 상기 제3 변환 영상은 제1 영상(IMG1)의 약 절반의 크기를 가질 수 있고, 상기 제4 변환 영상은 제2 영상(IMG2)에서 상기 줌-아웃 동작이 수행되어 약 20% 축소된 영상일 수 있다.
또한, 도 2 내지 8을 참조하여, 제1 영상(IMG1)이 상기 피사체 영상이고 제2 영상(IMG2)이 상기 배경 영상인 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 상기 제1 및 제2 영상들이 하나의 영상 내의 서로 다른 피사체들인 경우에도 본 발명의 실시예들이 적용될 수 있다. 예를 들어, 입력 영상(IIMG)을 상기 제1 및 제2 영상들로 분할하는데 있어서, 상기 제1 영상은 입력 영상(IIMG)에 포함되는 제1 피사체 영상(예를 들어, 사람)일 수 있고, 상기 제2 영상은 입력 영상(IIMG)에 포함되는 제2 피사체 영상(예를 들어, 나무들)일 수 있으며, 상기 제1 및 제2 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작(업-스케일링 또는 다운-스케일링)이 수행될 수 있다.
한편, 도 2 내지 8을 참조하여, 입력 영상(IIMG)이 정지 영상 또는 하나의 프레임 영상인 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 상기 입력 영상이 동영상인 경우에도 본 발명의 실시예들이 적용될 수 있다. 상기 입력 영상이 동영상인 경우에는 연속하는 프레임 영상들 각각에 대해 상기 영상 처리 동작이 수행될 수 있다.
도 9 및 10은 도 1의 영상 처리 장치에 포함되는 영상 분할기의 예들을 나타내는 블록도들이다.
도 9를 참조하면, 영상 분할기(120a)는 컬러 분할부(122) 및 클러스터부(124)를 포함할 수 있다.
컬러 분할부(122)는 상기 입력 영상에 대한 컬러 정보(CI)를 기초로 컬러 분할을 수행하여 복수의 컬러 데이터들(CLR)을 발생할 수 있다. 상기 컬러 분할은 상기 입력 영상(예를 들어, 도 2의 IIMG)을 복수의 영상 블록들로 분할하는 동작 및/또는 상기 복수의 영상 블록들 중 실질적으로 동일하거나 유사한 컬러를 가지는 영상 블록들을 체크하는 동작을 나타낼 수 있다. 상기 복수의 영상 블록들 각각은 적어도 두 개 이상의(예를 들어, 2*2개의 또는 3*3개의) 픽셀들을 포함할 수 있다.
클러스터부(124)는 복수의 컬러 데이터들(CLR) 및 상기 입력 영상에 대한 깊이 정보(DI)에 기초하여, 상기 제1 영상(예를 들어, 도 4의 IMG1)에 상응하는 제1 영상 데이터(DAT1) 및 상기 제2 영상(예를 들어, 도 5의 IMG2)에 상응하는 제2 영상 데이터(DAT2)를 발생할 수 있다.
컬러 정보(CI)와 유사하게, 제1 및 제2 영상 데이터들(DAT1, DAT2) 각각은 임의의 컬러 데이터를 포함할 수 있다. 또한, 제1 및 제2 영상 데이터들(DAT1, DAT2) 각각은 위치 정보를 더 포함할 수 있다. 예를 들어, 상기 위치 정보는 상기 입력 영상에서 상기 제1 및 제2 영상들의 위치를 나타낼 수 있다. 예를 들어, 상기 위치 정보는 플래그 값의 형태로 표현될 수 있으며, 이 경우 제1 영상 데이터(DAT1)에 포함되는 복수의 제1 픽셀 데이터들은 제1 플래그 값을 가지고 제2 영상 데이터(DAT2)에 포함되는 복수의 제2 픽셀 데이터들은 제2 플래그 값을 가질 수 있다.
도 10을 참조하면, 영상 분할기(120b)는 컬러 분할부(122) 및 클러스터/스케일링 값 설정부(125)를 포함할 수 있다.
클러스터부(124)가 클러스터/스케일링 값 설정부(125)로 변경되는 것을 제외하면, 도 10의 영상 분할기(120b)는 도 9의 영상 분할기(120a)와 실질적으로 동일할 수 있다.
클러스터/스케일링 값 설정부(125)는 복수의 컬러 데이터들(CLR) 및 상기 입력 영상에 대한 깊이 정보(DI)에 기초하여, 상기 제1 영상에 상응하는 제1 영상 데이터(DAT1) 및 상기 제2 영상에 상응하는 제2 영상 데이터(DAT2)를 발생할 수 있다. 또한, 클러스터/스케일링 값 설정부(125)는 상기 입력 영상에 대한 깊이 정보(DI)에 기초하여 제1 스케일링 값(SL1) 및 제2 스케일링 값(SL2)을 설정할 수 있다.
일 실시예에서, 상기 제1 영상에 상응하는 피사체와 촬영자와의 제1 거리 및 상기 제2 영상에 상응하는 피사체 또는 배경과 상기 촬영자와의 제2 거리에 기초하여 제1 및 제2 스케일링 값들(SL1, SL2)이 설정될 수 있다. 예를 들어, 상기 줌-인 동작이 수행되는 경우에, 상기 제1 거리가 상기 제2 거리보다 짧으면 제1 스케일링 값(SL1)이 제2 스케일링 값(SL2)보다 클 수 있고, 상기 제2 거리가 상기 제1 거리보다 짧으면 제2 스케일링 값(SL2)이 제1 스케일링 값(SL1)보다 클 수 있다. 상기 줌-아웃 동작이 수행되는 경우에, 상기 제1 거리가 상기 제2 거리보다 짧으면 제1 스케일링 값(SL1)이 제2 스케일링 값(SL2)보다 작을 수 있고, 상기 제2 거리가 상기 제1 거리보다 짧으면 제2 스케일링 값(SL2)이 제1 스케일링 값(SL1)보다 작을 수 있다.
일 실시예에서, 상기 줌-인 동작이 수행되는 경우에, 상기 제1 거리가 길어질수록 제1 스케일링 값(SL1)은 작아질 수 있고, 상기 제1 거리가 짧아질수록 제1 스케일링 값(SL1)은 커질 수 있다. 상기 줌-아웃 동작이 수행되는 경우에, 상기 제1 거리가 길어질수록 제1 스케일링 값(SL1)은 커질 수 있고, 상기 제1 거리가 짧아질수록 제1 스케일링 값(SL1)은 작아질 수 있다. 이와 유사하게, 상기 줌-인 동작이 수행되는 경우에, 상기 제2 거리가 길어질수록 제2 스케일링 값(SL2)은 작아질 수 있고, 상기 제2 거리가 짧아질수록 제2 스케일링 값(SL2)은 커질 수 있다. 상기 줌-아웃 동작이 수행되는 경우에, 상기 제2 거리가 길어질수록 제2 스케일링 값(SL2)은 커질 수 있고, 상기 제2 거리가 짧아질수록 제2 스케일링 값(SL2)은 작아질 수 있다.
도 11 및 12는 도 1의 영상 처리 장치에 포함되는 스케일러의 예들을 나타내는 블록도들이다.
도 11을 참조하면, 스케일러(140a)는 제1 스케일링부(142) 및 제2 스케일링부(144)를 포함할 수 있다.
제1 스케일링부(142)는 제1 스케일링 값(SL1) 및 제1 영상 데이터(DAT1)에 기초하여 제1 변환 영상 데이터(CDAT1)를 발생할 수 있다. 제2 스케일링부(144)는 제2 스케일링 값(SL2) 및 제2 영상 데이터(DAT2)에 기초하여 제2 변환 영상 데이터(CDAT2)를 발생할 수 있다. 예를 들어, 제1 및 제2 변환 영상 데이터들(CDAT1, CDAT2)은 실질적으로 동시에 발생될 수 있다.
제1 및 제2 스케일링부들(142, 144)은, 상기 줌-인 동작이 수행되는 경우에 서로 다른 스케일링 비율로 상기 업-스케일링 동작을 수행할 수 있고, 상기 줌-아웃 동작이 수행되는 경우에 서로 다른 스케일링 비율로 상기 다운-스케일링 동작을 수행할 수 있다.
제1 및 제2 영상 데이터들(DAT1, DAT2)과 유사하게, 제1 및 제2 변환 영상 데이터들(CDAT1, CDAT2) 각각은 임의의 컬러 데이터 및 위치 정보를 포함할 수 있다. 예를 들어, 상기 위치 정보는 상기 출력 영상에서 상기 제1 및 제2 변환 영상들의 위치를 나타낼 수 있다.
도 12를 참조하면, 스케일러(140b)는 제1 스케일링부(143) 및 저장부(145)를 포함할 수 있다.
제1 스케일링부(143)는 제1 스케일링 값(SL1) 및 제1 영상 데이터(DAT1)에 기초하여 제1 변환 영상 데이터(CDAT1)를 발생할 수 있고, 제2 스케일링 값(SL2) 및 제2 영상 데이터(DAT2)에 기초하여 제2 변환 영상 데이터(CDAT2)를 발생할 수 있다. 예를 들어, 제1 및 제2 변환 영상 데이터들(CDAT1, CDAT2)은 순차적으로 발생될 수 있다.
제1 스케일링부(143)는 상기 줌-인 동작이 수행되는 경우에 서로 다른 스케일링 비율로 상기 업-스케일링 동작을 순차적으로 수행할 수 있고, 상기 줌-아웃 동작이 수행되는 경우에 서로 다른 스케일링 비율로 상기 다운-스케일링 동작을 순차적으로 수행할 수 있다.
저장부(145)는 제1 및 제2 변환 영상 데이터들(CDAT1, CDAT2)을 순차적으로 저장할 수 있고, 제1 및 제2 변환 영상 데이터들(CDAT1, CDAT2)을 실질적으로 동시에 출력할 수 있다.
일 실시예에서, 저장부(145)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등과 같은 적어도 하나의 휘발성 메모리 또는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(Flash Memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 적어도 하나의 비휘발성 메모리를 포함할 수 있다.
도시하지는 않았지만, 저장부(145)는 스케일러(140b)의 외부에 배치될 수 있다. 예를 들어, 상기 저장부는 블렌더(도 1의 160) 내에 배치되거나 영상 처리 장치(도 1의 100) 내의 임의의 위치에 배치될 수 있다.
도 13, 14 및 15는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도들이다.
도 13을 참조하면, 영상 처리 장치(100a)는 영상 분할기(120), 스케일러(140) 및 블렌더(160)를 포함한다. 영상 처리 장치(100a)는 스케일링 값 발생기(130)를 더 포함할 수 있다.
스케일링 값 발생기(130)를 더 포함하는 것을 제외하면, 도 13의 영상 처리 장치(100a)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
스케일링 값 발생기(130)는 상기 입력 영상에 대한 깊이 정보(DI)에 기초하여 제1 스케일링 값(SL1) 및 제2 스케일링 값(SL2)을 설정할 수 있다. 제1 및 제2 스케일링 값들(SL1, SL2)을 설정하는 방식은 도 10을 참조하여 상술한 것과 실질적으로 동일할 수 있다.
일 실시예에서, 스케일링 값 발생기(130)는 사용자 입력 신호(USS)를 더 수신할 수 있다. 사용자 입력 신호(USS)는 영상 처리 장치(100a) 또는 영상 처리 장치(100a)를 포함하는 전자 시스템의 사용자에 의해 제공될 수 있다. 스케일링 값 발생기(130)는 상기 입력 영상에 대한 깊이 정보(DI) 및 사용자 입력 신호(USS) 중 적어도 하나에 기초하여 제1 및 제2 스케일링 값들(SL1, SL2)을 설정할 수 있다.
영상 처리 장치(100a)가 스케일링 값 발생기(130)를 더 포함하는 경우에, 도 13의 영상 분할기(120)는 도 9에 도시된 구조를 가질 수 있다. 한편, 도 13의 스케일러(140)는 도 11에 도시된 구조 또는 도 12에 도시된 구조를 가질 수 있다.
도 14를 참조하면, 영상 처리 장치(100b)는 영상 분할기(120), 스케일러(140) 및 블렌더(160)를 포함한다. 영상 처리 장치(100b)는 영상 촬상 모듈(170)을 더 포함할 수 있다.
영상 촬상 모듈(170)을 더 포함하는 것을 제외하면, 도 14의 영상 처리 장치(100b)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
영상 촬상 모듈(170)은 피사체(10)를 촬상하여 상기 입력 영상에 대한 컬러 정보(CI) 및 깊이 정보(DI)를 획득할 수 있다. 예를 들어, 영상 촬상 모듈(170)은 렌즈(미도시) 및 센서(미도시)를 포함할 수 있다. 상기 센서는 상기 입력 영상에 대한 컬러 정보(CI) 및 깊이 정보(DI)를 실질적으로 동시에 획득할 수 있다.
일 실시예에서, 상기 센서는 3차원 컬러 이미지 센서일 수 있다. 상기 3차원 컬러 이미지 센서는 RGBZ 센서로도 부를 수 있으며, 다양한 개수 비 및 사이즈 비로 깊이 픽셀들 및 컬러 픽셀들을 포함할 수 있다. 예를 들어, 적외선(또는 근적외선) 필터가 상기 깊이 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 레드, 그린 및 블루 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다.
도 15를 참조하면, 영상 처리 장치(100c)는 영상 분할기(120), 스케일러(140) 및 블렌더(160)를 포함한다. 영상 처리 장치(100c)는 영상 촬상 모듈(180) 및 깊이 측정 모듈(190)을 더 포함할 수 있다.
영상 촬상 모듈(180) 및 깊이 측정 모듈(190)을 더 포함하는 것을 제외하면, 도 15의 영상 처리 장치(100c)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
영상 촬상 모듈(180)은 피사체(10)를 촬상하여 상기 입력 영상에 대한 컬러 정보(CI)를 획득할 수 있다. 예를 들어, 영상 촬상 모듈(180)은 제1 렌즈(미도시) 및 제1 센서(미도시)를 포함할 수 있다.
일 실시예에서, 상기 제1 센서는 2차원 컬러 이미지 센서일 수 있다. 상기 2차원 컬러 이미지 센서는 RGB 센서로도 부를 수 있으며, 다양한 개수 비 및 사이즈 비로 컬러 픽셀들을 포함할 수 있다. 실시예에 따라서, 상기 제1 센서는 CMOS(complementary metal oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등과 같은 다양한 방식의 이미지 센서들 중 하나일 수 있다.
깊이 측정 모듈(190)은 피사체(10)를 촬상하여 상기 입력 영상에 대한 깊이 정보(DI)를 획득할 수 있다. 예를 들어, 깊이 측정 모듈(190)은 제2 렌즈(미도시), 광원(미도시) 및 제2 센서(미도시)를 포함할 수 있다.
일 실시예에서, 상기 제2 센서는 3차원 이미지 센서일 수 있다. 상기 3차원 이미지 센서는 깊이 센서로 불릴 수 있으며, 다양한 개수 비 및 사이즈 비로 깊이 픽셀들을 포함할 수 있다. 실시예에 따라서, 상기 제2 센서는 TOF(Time of Flight) 방식, 스트럭처드 라이트(structured light) 또는 패턴드 라이트(patterned light) 방식, 인텐시티 맵(intensity map)을 이용하는 방식 등 광원을 필요로 하는 다양한 타입의 깊이 센서들 중 하나일 수 있다.
도 14 및 15의 영상 분할기(120)는 도 9에 도시된 구조 또는 도 10에 도시된 구조를 가질 수 있다. 도 14 및 15의 스케일러(140)는 도 11에 도시된 구조 또는 도 12에 도시된 구조를 가질 수 있다. 한편, 도 14의 영상 처리 장치(100b) 및 도 15의 영상 처리 장치(100c)는 스케일링 값 발생기(예를 들어, 도 13의 130)를 더 포함할 수 있다.
도 14 및 15에서는 피사체(10)가 사람인 것으로 도시하였으나, 실시예에 따라서 피사체는 임의의 물체일 수 있다.
도 16은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 16을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생한다(단계 S110). 상기 컬러 정보 및 상기 깊이 정보는 영상 처리 동작의 수행 초기에 획득되거나 미리 저장되어 있다가 영상 처리 동작의 수행 초기에 로딩될 수 있다. 상기 제1 및 제2 영상들 각각은 상기 입력 영상의 일부일 수 있다.
제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고(단계 S120), 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생한다(단계 S130). 상기 스케일링 동작은 상기 줌-인 동작에 상응하는 상기 업-스케일링 동작 또는 상기 줌-아웃 동작에 상응하는 상기 다운-스케일링 동작일 수 있다.
도시하지는 않았지만, 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정할 수 있다. 상기 제1 및 제2 스케일링 값들은 상기 입력 영상에 대한 상기 깊이 정보에 기초하여 설정되거나 사용자에 의해 설정될 수 있다.
상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생한다(단계 S140). 상기 제1 및 제2 변환 영상들을 순차적으로 중첩하여 상기 출력 영상이 발생될 수 있다.
본 발명의 실시예들에 따른 영상 처리 방법은 도 1 내지 8을 참조하여 상술한 것처럼 수행될 수 있으며, 도 1, 13, 14 및 15의 영상 처리 장치들(100, 100a, 100b, 100c) 중 하나에 기초하여 수행될 수 있다.
본 발명의 실시예들에 따른 영상 처리 방법에서는, 하나의 영상에 포함되는 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행하며, 2차원 스케일링 동작에 기초하여 3차원 효과를 표현함으로써, 상대적으로 적은 연산량 및 자원으로 원근감 및 입체감을 효과적으로 나타낼 수 있다.
도 1 내지 16을 참조하여, 하나의 영상을 두 개의 부분 영상들로 분할하고 두 개의 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행하는 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 하나의 영상을 세 개 이상의 부분 영상들로 분할하고 세 개 이상의 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행하는 경우에도 본 발명의 실시예들이 적용될 수 있다.
도 17은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 17을 참조하면, 영상 처리 장치(200)는 영상 분할기(220), 스케일러(240) 및 블렌더(260)를 포함한다.
입력 영상을 세 개 이상의 복수 개의 부분 영상들로 분할하고 이에 대해 서로 다른 스케일링 비율들을 설정하여 스케일링 동작을 수행하는 것을 제외하면, 도 17의 영상 처리 장치(200)는 도 1의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
영상 분할기(220)는 입력 영상에 대한 컬러 정보(CI) 및 깊이 정보(DI)를 기초로 상기 입력 영상을 분할하여 제1 내지 제n(n은 3 이상의 자연수) 영상들을 발생한다. 상기 제1 내지 제n 영상들 각각은 상기 입력 영상의 일부일 수 있다. 영상 분할기(220)는 컬러 정보(CI) 및 깊이 정보(DI)를 수신할 수 있으며, 상기 제1 내지 제n 영상들에 상응하는 제1 내지 제n 영상 데이터들(DAT1, ..., DATn)을 출력할 수 있다. 영상 분할기(220)는 도 9에 도시된 구조 또는 도 10에 도시된 구조와 유사한 구조를 가질 수 있다.
스케일러(240)는 서로 다른 제1 내지 제n 스케일링 값들(SL1, ..., SLn)을 기초로 상기 제1 내지 제n 영상들의 크기를 변경하여 제1 내지 제n 변환 영상들을 발생한다. 스케일러(240)는 제1 내지 제n 영상 데이터들(DAT1, ..., DATn)을 수신할 수 있으며, 상기 제1 내지 제n 변환 영상들에 상응하는 제1 내지 제n 변환 영상 데이터들(CDAT1, ..., CDATn)을 출력할 수 있다. 스케일러(240)는 도 11에 도시된 것과 유사하게 n개의 스케일링부들을 포함하거나, 도 12에 도시된 것과 유사하게 하나의 스케일링부 및 하나의 저장부를 포함할 수 있다.
실시예에 따라서, 상기 제1 내지 제n 영상들은 모두 다른 스케일링 값들에 기초하여 스케일링될 수도 있고, 상기 제1 내지 제n 영상들 중 일부는 동일한 스케일링 값에 기초하여 스케일링될 수도 있다. 예를 들어, 상기 입력 영상이 세 개의 영상들로 분할된 경우를 가정하면, 제1 영상은 제1 스케일링 값에 기초하여 스케일링될 수 있고, 제2 영상은 상기 제1 스케일링 값과 다른 제2 스케일링 값에 기초하여 스케일링될 수 있으며, 제3 영상은 상기 제1 스케일링 값, 상기 제2 스케일링 값 및 상기 제1 및 제2 스케일링 값들과 다른 제3 스케일링 값 중 하나에 기초하여 스케일링될 수 있다.
블렌더(260)는 상기 제1 내지 제n 변환 영상들을 합성하여 출력 영상을 발생한다. 블렌더(260)는 제1 내지 제n 변환 영상 데이터들(CDAT1, ..., CDATn)을 수신할 수 있으며, 상기 출력 영상에 상응하는 출력 영상 데이터(ODAT)를 출력할 수 있다.
실시예에 따라서, 영상 처리 장치(200)는 스케일링 값 발생기(예를 들어, 도 13의 130), 영상 촬상 모듈(예를 들어, 도 14의 170 또는 도 15의 180) 및 깊이 측정 모듈(예를 들어, 도 15의 190) 중 적어도 하나를 더 포함하여 구현될 수 있다.
도 18, 19 및 20은 본 발명의 실시예들에 따른 영상 처리 장치의 동작을 설명하기 위한 도면들이다.
도 2, 4, 17, 18, 19 및 20을 참조하면, 입력 영상(도 2의 IIMG)은 제1 피사체(예를 들어, 사람), 제2 피사체(예를 들어, 나무들) 및 배경(예를 들어, 해, 산)을 포함할 수 있다.
도시하지는 않았지만, 깊이 영상은 상기 제1 피사체에 상응하는 제1 피사체 영역, 상기 제2 피사체에 상응하는 제2 피사체 영역 및 상기 배경에 상응하는 배경 영역을 포함할 수 있다.
영상 분할기(220)는 입력 영상(IIMG)으로부터 획득된 컬러 정보(CI) 및 상기 깊이 영상으로부터 획득된 깊이 정보(DI)에 기초하여 입력 영상(IIMG)을 제1 영상(도 4의 IMG1), 제2 영상(도 18의 IMG2') 및 제3 영상(도 19의 IMG3')으로 분할할 수 있다.
스케일러(240)는 제1 스케일링 값을 기초로 제1 영상(IMG1)을 스케일링하여 제1 변환 영상을 발생할 수 있고, 제2 스케일링 값을 기초로 제2 영상(IMG2')을 스케일링하여 제2 변환 영상을 발생할 수 있으며, 제3 스케일링 값을 기초로 제3 영상(IMG3')을 스케일링하여 제3 변환 영상을 발생할 수 있다. 스케일러(240)는 제1 내지 제3 영상들(IMG1, IMG2', IMG3')의 크기를 증가시키는 상기 업-스케일링 동작을 수행할 수 있다. 예를 들어, 상기 제1 스케일링 값은 약 2일 수 있고, 상기 제2 스케일링 값은 약 1.5일 수 있으며, 상기 제3 스케일링 값은 약 1.2일 수 있다.
블렌더(160)는 상기 제1 내지 제3 변환 영상들을 합성할 수 있으며, 상기 제3 변환 영상 상에 상기 제2 변환 영상 및 상기 제1 변환 영상을 순차적으로 중첩하여 출력 영상(도 20의 OIMG')을 발생할 수 있다.
도 20의 출력 영상(OIMG')은 도 2의 입력 영상(IIMG)에 대해 줌-인 동작을 수행한 영상일 수 있다. 이 때, 입력 영상(IIMG) 내의 제3 영상(IMG3')의 확대 비율보다 제1 및 제2 영상들(IMG1, IMG2')의 확대 비율을 크게 설정함으로써, 배경과 피사체들 사이에 원근감 및 입체감이 나타나는 3차원 효과를 표현할 수 있다.
본 발명의 실시예들은 입력 영상(IIMG)이 임의의 개수로 분할되는 경우, 상기 분할된 영상들이 배경과 피사체 영상들을 포함하거나 모두 피사체 영상들을 포함하는 경우, 입력 영상(IIMG)에 대해 줌-인 동작 또는 줌-아웃 동작이 수행되는 경우, 입력 영상(IIMG)이 정지 영상 또는 동영상인 경우 등에 대하여 다양하게 적용될 수 있다.
도 21은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 21을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 내지 제n 영상을 발생한다(단계 S210). 서로 다른 제1 내지 제n 스케일링 값들을 기초로 상기 제1 내지 제n 영상들의 크기를 변경하여 제1 내지 제n 변환 영상들을 발생한다(단계 S220). 상기 제1 내지 제n 변환 영상들을 합성하여 출력 영상을 발생한다(단계 S230). 도시하지는 않았지만, 상기 제1 내지 제n 스케일링 값들을 설정할 수 있다. 단계 S210은 도 16의 단계 S110과 유사할 수 있고, 단계 S220은 도 16의 단계 S120 및 S130과 유사할 수 있으며, 단계 S230은 도 16의 단계 S140과 유사할 수 있다.
본 발명의 실시예들에 따른 영상 처리 방법은 도 2, 4, 17, 18, 19 및 20을 참조하여 상술한 것처럼 수행될 수 있으며, 도 17의 영상 처리 장치(200)에 기초하여 수행될 수 있다.
도 22, 23, 24a, 24b 및 25는 본 발명의 실시예들에 따른 영상 처리 장치 및 영상 처리 방법에 의한 3차원 효과를 설명하기 위한 도면들이다.
도 22를 참조하면, 입력 영상은 피사체(예를 들어, 축구공) 및 배경(예를 들어, 골대 등)을 포함할 수 있다. 도 23을 참조하면, 깊이 영상은 피사체 영역 및 배경 영역을 포함할 수 있다. 도 24a 및 24b를 참조하면, 상기 피사체와 상기 배경을 동일한 비율로 스케일링한 경우(도 24a)와 비교하였을 때, 상기 피사체의 확대 비율을 상기 배경의 확대 비율보다 크게 설정하여 스케일링한 경우(도 24b)에, 영상의 원근감 및 입체감을 보다 효과적으로 나타낼 수 있다.
도 25를 참조하면, CASE1은 스케일링 비율이 제1 비율인 경우를 나타내며, CASE2는 스케일링 비율이 상기 제1 비율보다 큰 제2 비율인 경우를 나타낸다. 예를 들어, 상기 제1 비율은 약 1이고, 상기 제2 비율은 약 10일 수 있다. 도 25의 그래프에서 스케일링 크기와 깊이 값의 관계는 하기의 [수학식 1]을 만족할 수 있다.
[수학식 1]
SC=(a*SRC)/(DST*DP)
상기의 [수학식 1]에서, SC는 스케일링 크기를 나타내고, a는 스케일링 비율을 나타내고, SRC는 피사체의 원래 크기를 나타내고, DST는 피사체의 목표 크기를 나타내며, DP는 깊이 값을 나타낸다. DP=0이면, SC는 1인 것으로 가정한다.
스케일링 비율(a)이 상기 제1 비율인 경우(CASE1)보다 스케일링 비율(a)이 상기 제2 비율인 경우(CASE2)에 피사체의 크기가 커지는(scale up) 정도가 증가함을 확인할 수 있다. 따라서 피사체에 대한 스케일링 비율(a)을 상대적으로 크게 설정하여 상기 줌-인 동작을 수행하면 피사체가 배경보다 급격하게 커지게 되며, 3차원 효과를 보다 명확하게 표현할 수 있다.
도 26, 27 및 28은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도들이다.
도 26을 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 영상 처리 장치(1060)를 포함한다. 전자 시스템(1000)은 통신(Connectivity)부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 더 포함할 수 있다. 도시하지는 않았지만, 전자 시스템(1000)은 그래픽 처리 장치(Graphic Processing Unit; GPU)를 더 포함할 수 있다.
전자 시스템(1000)은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 태블릿(Tablet) PC(Personal Computer), 노트북(Laptop Computer), 개인 정보 단말기(Personal Digital Assistant; PDA), 휴대형 멀티미디어 플레이어(Portable Multimedia Player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템 등과 같은 임의의 모바일 기기일 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 예를 들어, 프로세서(1010)는 CPU(central processing unit), 마이크로프로세서, AP(application processor) 등과 같은 임의의 프로세서일 수 있다. 구체적으로, 전자 시스템(1000)이 모바일 기기인 경우에, 프로세서(1010)는 모바일 기기를 구동하기 위한 운영 체제(Operating System; OS)를 실행할 수 있고, 인터넷 브라우저, 게임, 동영상, 카메라 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다.
실시예에 따라서, 프로세서(1010)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 또한, 실시예에 따라서, 프로세서(1010)는 내부 또는 외부에 위치한 캐시 메모리(Cache Memory)를 더 포함할 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신부(1020)는 범용 직렬 버스(Universal Serial Bus; USB) 통신, 이더넷(Ethernet) 통신, 근거리 무선 통신(Near Field Communication; NFC), 무선 식별(Radio Frequency Identification; RFID) 통신, 이동 통신(Mobile Telecommunication), 메모리 카드 통신 등을 수행할 수 있다. 예를 들어, 통신부(1020)는 베이스밴드 칩 셋(Baseband Chipset)을 포함할 수 있고, GSM, GPRS, WCDMA, HSxPA 등의 통신을 지원할 수 있다.
메모리 장치(1030)는 프로세서(1010)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(Working Memory)로서 작동할 수 있다. 구체적으로, 전자 시스템(1000)이 모바일 기기인 경우에, 메모리 장치(1030)는 모바일 기기를 부팅하기 위한 부트 이미지(boot image), 모바일 기기를 구동하기 위한 상기 운영 체제와 관련된 파일 시스템(file system), 모바일 기기와 연결되는 외부 장치와 관련된 장치 드라이버(device driver), 모바일 기기에서 실행되는 상기 어플리케이션 등을 저장할 수 있다. 예를 들어, 메모리 장치(1030)는 DRAM, SRAM, 모바일 DRAM, DDR SDRAM, LPDDR SDRAM, GDDR SDRAM, RDRAM 등과 같은 휘발성 메모리를 포함할 수도 있고, EEPROM, 플래시 메모리, PRAM, RRAM, NFGM, PoRAM, MRAM, FRAM 등과 같은 비휘발성 메모리를 포함할 수도 있다.
사용자 인터페이스(1040)는 키패드, 버튼, 마이크, 터치 스크린 등과 같은 하나 이상의 입력 장치, 및/또는 스피커, 디스플레이 장치 등과 같은 하나 이상의 출력 장치를 포함할 수 있다. 파워 서플라이(1050)는 전자 시스템(1000)의 동작 전압을 공급할 수 있다.
영상 처리 장치(1060)는 프로세서(1010)에 의해 제어된다. 영상 처리 장치(1060)는 도 1, 13, 14, 15 및 17의 영상 처리 장치들(100, 100a, 100b, 100c, 200) 중 하나일 수 있으며, 도 1 내지 21을 참조하여 상술한 방식에 기초하여 동작할 수 있다. 예를 들어, 영상 처리 장치(1060)는 하나의 영상에 포함되는 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행하며, 2차원 스케일링 동작에 기초하여 3차원 효과를 표현함으로써, 상대적으로 적은 연산량 및 자원으로 원근감 및 입체감을 효과적으로 나타낼 수 있다.
일 실시예에서, 본 발명의 실시예들에 따른 영상 처리 장치 및 영상 처리 방법의 일부 또는 전부는 프로그램(즉, 소프트웨어) 또는 하드웨어의 형태로 구현될 수 있다.
전자 시스템(1000)이 모바일 기기인 경우에, 모바일 기기 또는 모바일 기기의 구성요소들은 다양한 형태들의 패키지를 이용하여 실장될 수 있는데, 예를 들어, PoP(Package on Package), BGAs(Ball grid arrays), CSPs(Chip scale packages), PLCC(Plastic Leaded Chip Carrier), PDIP(Plastic Dual In-Line Package), Die in Waffle Pack, Die in Wafer Form, COB(Chip On Board), CERDIP(Ceramic Dual In-Line Package), MQFP(Plastic Metric Quad Flat Pack), TQFP(Thin Quad Flat-Pack), SOIC(Small Outline Integrated Circuit), SSOP(Shrink Small Outline Package), TSOP(Thin Small Outline Package), TQFP(Thin Quad Flat-Pack), SIP(System In Package), MCP(Multi Chip Package), WFP(Wafer-level Fabricated Package), WSP(Wafer-Level Processed Stack Package) 등과 같은 패키지들을 이용하여 실장될 수 있다.
도 27을 참조하면, 전자 시스템(1000a)은 프로세서(1010a) 및 영상 처리 장치(1060)를 포함한다. 전자 시스템(1000a)은 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 더 포함할 수 있다.
영상 처리 장치(1060)가 프로세서(1010a) 내에 포함되는 것을 제외하면, 도 27의 전자 시스템(1000a)은 도 26의 전자 시스템(1000)과 실질적으로 동일할 수 있다.
도 28을 참조하면, 전자 시스템(1000b)은 프로세서(1010) 및 영상 처리 장치(1072)를 포함한다. 전자 시스템(1000b)은 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040), 파워 서플라이(1050) 및 그래픽 처리 장치(1070)를 더 포함할 수 있다.
그래픽 처리 장치(1070)를 더 포함하고 영상 처리 장치(1072)가 그래픽 처리 장치(1070) 내에 포함되는 것을 제외하면, 도 28의 전자 시스템(1000b)은 도 26의 전자 시스템(1000)과 실질적으로 동일할 수 있다.
그래픽 처리 장치(1070)는 프로세서(1010)와 별도로 구현되며, 영상 처리와 관련된 동작들을 수행할 수 있다. 예를 들어, 그래픽 처리 장치(1070)는 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등의 영상 처리를 수행할 수 있다.
영상 처리 장치(1072)는 그래픽 처리 장치(1070) 내에 포함될 수 있다. 영상 처리 장치(1072)는 도 1, 13, 14, 15 및 17의 영상 처리 장치들(100, 100a, 100b, 100c, 200) 중 하나일 수 있으며, 도 1 내지 21을 참조하여 상술한 방식에 기초하여 동작할 수 있다. 예를 들어, 영상 처리 장치(1072)는 하나의 영상에 포함되는 부분 영상들의 스케일링 비율들을 다르게 설정하여 스케일링 동작을 수행하며, 2차원 스케일링 동작에 기초하여 3차원 효과를 표현함으로써, 상대적으로 적은 연산량 및 자원으로 원근감 및 입체감을 효과적으로 나타낼 수 있다.
실시예에 따라서, 도 26, 27 및 28의 전자 시스템들(1000, 1000a, 1000b)은 영상 촬상 모듈(예를 들어, 도 14의 170 또는 도 15의 180) 및 깊이 측정 모듈(예를 들어, 도 15의 190) 중 적어도 하나를 더 포함하여 구현될 수 있다.
한편, 전자 시스템들(1000, 1000a, 1000b)이 모바일 기기인 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 전자 시스템들(1000, 1000a, 1000b)은 PC, 서버 컴퓨터(Server Computer), 워크스테이션(Workstation), 휴대폰, 스마트 폰, 노트북, PDA, PMP, 디지털 카메라, 캠코더(Camcoder), 디지털 TV(Digital Television), 셋-탑 박스(Set-Top Box), 음악 재생기, 휴대용 게임 콘솔, 네비게이션 시스템 등과 같은 임의의 컴퓨팅 시스템일 수도 있다.
본 발명의 실시예들은 시스템, 방법, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
본 발명은 영상 처리 장치와, 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 따라서 본 발명은 휴대폰, 스마트 폰, 태블릿 PC, PDA, PMP, 디지털 카메라, 캠코더, PC, 서버 컴퓨터, 워크스테이션, 노트북, 디지털 TV, 셋-탑 박스, 음악 재생기, 휴대용 게임 콘솔, 네비게이션 시스템, 스마트 카드, 프린터 등과 같은 다양한 전자 기기에 유용하게 이용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생하는 영상 분할기;
    제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생하는 스케일러; 및
    상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생하는 블렌더를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 제1 변환 영상은 상기 제1 영상의 크기를 확대한 영상이고, 상기 제2 변환 영상은 상기 제2 영상의 크기를 확대한 영상이며,
    상기 제1 영상의 확대 비율을 나타내는 상기 제1 스케일링 값은 상기 제2 영상의 확대 비율을 나타내는 상기 제2 스케일링 값보다 큰 것을 특징으로 하는 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 제1 영상은 상기 입력 영상에 포함되는 피사체 영상이고, 상기 제2 영상은 상기 입력 영상에서 상기 피사체 영상을 제외한 배경 영상인 것을 특징으로 하는 영상 처리 장치.
  4. 제 3 항에 있어서, 상기 블렌더는,
    상기 제2 변환 영상 상에 상기 제1 변환 영상을 중첩하여 상기 출력 영상을 발생하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 제1 영상은 상기 입력 영상에 포함되는 제1 피사체 영상이고, 상기 제2 영상은 상기 입력 영상에 포함되는 제2 피사체 영상인 것을 특징으로 하는 영상 처리 장치.
  6. 제 1 항에 있어서,
    상기 영상 분할기는 상기 입력 영상을 분할하여 제3 영상을 더 발생하고,
    상기 스케일러는 상기 제1 스케일링 값, 상기 제2 스케일링 값, 및 상기 제1 및 제2 스케일링 값들과 다른 제3 스케일링 값 중 하나를 기초로 상기 제3 영상의 크기를 변경하여 제3 변환 영상을 더 발생하며,
    상기 블렌더는 상기 제1 내지 제3 변환 영상들을 합성하여 상기 출력 영상을 발생하는 것을 특징으로 하는 영상 처리 장치.
  7. 제 1 항에 있어서, 상기 스케일러는,
    상기 제1 스케일링 값 및 상기 제1 영상에 상응하는 제1 영상 데이터에 기초하여 상기 제1 변환 영상에 상응하는 제1 변환 영상 데이터를 발생하는 제1 스케일링부; 및
    상기 제2 스케일링 값 및 상기 제2 영상에 상응하는 제2 영상 데이터에 기초하여 상기 제2 변환 영상에 상응하는 제2 변환 영상 데이터를 발생하는 제2 스케일링부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 제 1 항에 있어서, 상기 스케일러는,
    상기 제1 스케일링 값 및 상기 제1 영상에 상응하는 제1 영상 데이터에 기초하여 상기 제1 변환 영상에 상응하는 제1 변환 영상 데이터를 발생하고, 상기 제2 스케일링 값 및 상기 제2 영상에 상응하는 제2 영상 데이터에 기초하여 상기 제2 변환 영상에 상응하는 제2 변환 영상 데이터를 발생하는 제1 스케일링부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제 8 항에 있어서, 상기 스케일러는,
    상기 제1 변환 영상 데이터 및 상기 제2 변환 영상 데이터를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. 제 1 항에 있어서, 상기 영상 분할기는,
    상기 입력 영상에 대한 상기 컬러 정보를 기초로 컬러 분할을 수행하여 복수의 컬러 데이터들을 발생하는 컬러 분할부; 및
    상기 복수의 컬러 데이터들 및 상기 입력 영상에 대한 상기 깊이 정보에 기초하여, 상기 제1 영상에 상응하는 제1 영상 데이터 및 상기 제2 영상에 상응하는 제2 영상 데이터를 발생하는 클러스터부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  11. 제 10 항에 있어서, 상기 클러스터부는,
    상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 1 항에 있어서,
    상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정하는 스케일링 값 발생기를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  13. 제 12 항에 있어서, 상기 스케일링 값 발생기는,
    사용자 입력 신호에 더 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정하는 것을 특징으로 하는 영상 처리 장치.
  14. 제 1 항에 있어서,
    상기 입력 영상에 대한 상기 컬러 정보 및 상기 깊이 정보를 획득하는 영상 촬상 모듈을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  15. 제 1 항에 있어서,
    상기 입력 영상에 대한 상기 컬러 정보를 획득하는 영상 촬상 모듈; 및
    상기 입력 영상에 대한 상기 깊이 정보를 획득하는 깊이 측정 모듈을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  16. 입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생하는 단계;
    제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하는 단계;
    상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생하는 단계; 및
    상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생하는 단계를 포함하는 영상 처리 방법.
  17. 제 16 항에 있어서,
    상기 입력 영상에 대한 상기 깊이 정보에 기초하여 상기 제1 스케일링 값 및 상기 제2 스케일링 값을 설정하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  18. 프로세서; 및
    상기 프로세서에 의해 제어되는 영상 처리 장치를 포함하고,
    상기 영상 처리 장치는,
    입력 영상에 대한 컬러 정보 및 깊이 정보를 기초로 상기 입력 영상을 분할하여 제1 영상 및 제2 영상을 발생하는 영상 분할기;
    제1 스케일링 값을 기초로 상기 제1 영상의 크기를 변경하여 제1 변환 영상을 발생하고, 상기 제1 스케일링 값과 다른 제2 스케일링 값을 기초로 상기 제2 영상의 크기를 변경하여 제2 변환 영상을 발생하는 스케일러; 및
    상기 제1 변환 영상 및 상기 제2 변환 영상을 합성하여 출력 영상을 발생하는 블렌더를 포함하는 전자 시스템.
  19. 제 18 항에 있어서,
    상기 영상 처리 장치는 상기 프로세서 내에 포함되는 것을 특징으로 하는 전자 시스템.
  20. 제 18 항에 있어서,
    상기 프로세서와 별도로 구현되는 그래픽 처리 장치(Graphic Processing Unit; GPU)를 더 포함하며,
    상기 영상 처리 장치는 상기 그래픽 처리 장치 내에 포함되는 것을 특징으로 하는 전자 시스템.
KR1020150119322A 2015-08-25 2015-08-25 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템 KR20170024275A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150119322A KR20170024275A (ko) 2015-08-25 2015-08-25 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템
TW105113853A TW201724029A (zh) 2015-08-25 2016-05-04 以全異比例縮放爲基礎之影像處理裝置、影像處理之方法、以及包括其之電子系統
US15/150,366 US20170061677A1 (en) 2015-08-25 2016-05-09 Disparate scaling based image processing device, method of image processing, and electronic system including the same
CN201610725342.9A CN106485649A (zh) 2015-08-25 2016-08-25 基于不同缩放比率的图像处理装置和方法及其电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150119322A KR20170024275A (ko) 2015-08-25 2015-08-25 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템

Publications (1)

Publication Number Publication Date
KR20170024275A true KR20170024275A (ko) 2017-03-07

Family

ID=58104136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150119322A KR20170024275A (ko) 2015-08-25 2015-08-25 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템

Country Status (4)

Country Link
US (1) US20170061677A1 (ko)
KR (1) KR20170024275A (ko)
CN (1) CN106485649A (ko)
TW (1) TW201724029A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707833A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
CN109388311A (zh) * 2017-08-03 2019-02-26 Tcl集团股份有限公司 一种图像显示方法、装置及设备
US10867399B2 (en) 2018-12-02 2020-12-15 Himax Technologies Limited Image processing circuit for convolutional neural network
TWI694413B (zh) * 2018-12-12 2020-05-21 奇景光電股份有限公司 影像處理電路
CN112581364B (zh) * 2019-09-30 2024-04-09 西安诺瓦星云科技股份有限公司 图像处理方法及装置、视频处理器
US11657772B2 (en) 2020-12-08 2023-05-23 E Ink Corporation Methods for driving electro-optic displays
KR102472602B1 (ko) * 2021-01-22 2022-11-30 주식회사 아이디스 어안 카메라 영상 분석 장치 및 방법
TWI825412B (zh) * 2021-05-04 2023-12-11 瑞昱半導體股份有限公司 顯示系統
CN114710619A (zh) * 2022-03-24 2022-07-05 维沃移动通信有限公司 拍摄方法、拍摄装置、电子设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8022956B2 (en) * 2007-12-13 2011-09-20 Ati Technologies Ulc Settings control in devices comprising at least two graphics processors
KR101502598B1 (ko) * 2008-11-12 2015-03-16 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
CN101789235B (zh) * 2009-01-22 2011-12-28 华为终端有限公司 一种图像处理方法及装置
JP4963124B2 (ja) * 2009-03-02 2012-06-27 シャープ株式会社 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
US20110149098A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Image processing apparutus and method for virtual implementation of optical properties of lens
CN103679632A (zh) * 2012-09-18 2014-03-26 英业达科技有限公司 以不同缩放比例缩放影像中不同区域的系统及方法
KR102092846B1 (ko) * 2013-03-08 2020-03-24 삼성전자주식회사 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법
US9251613B2 (en) * 2013-10-28 2016-02-02 Cyberlink Corp. Systems and methods for automatically applying effects based on media content characteristics

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707833A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质

Also Published As

Publication number Publication date
TW201724029A (zh) 2017-07-01
CN106485649A (zh) 2017-03-08
US20170061677A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
KR20170024275A (ko) 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템
KR20170025058A (ko) 영상 처리 장치 및 이를 포함하는 전자 시스템
US20200162715A1 (en) View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US10783683B2 (en) Image stitching
US10602124B2 (en) Systems and methods for providing a cubic transport format for multi-lens spherical imaging
US11055826B2 (en) Method and apparatus for image processing
KR101775253B1 (ko) 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환
TWI568257B (zh) 用於串流中捲動快門補償之系統、方法、非暫時性電腦可讀儲存媒體
CN109996023B (zh) 图像处理方法和装置
KR102010712B1 (ko) 왜곡 보정 방법 및 단말기
CN113177946A (zh) 用于提供视频中的分割的系统和方法
CN106030664B (zh) 在电子显示器上叠加两个图像的方法和计算装置
CN103702032A (zh) 图像处理方法、装置和终端设备
US20240005628A1 (en) Bidirectional compact deep fusion networks for multimodality visual analysis applications
US10713757B2 (en) Image processing apparatus, control method thereof, and storage medium
US20190220954A1 (en) Apparatus, method, and computer program code for producing composite image
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
JP4212430B2 (ja) 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体
US20130021371A1 (en) Image display apparatus and image display method
US20170171473A1 (en) Method for realizing photographing effect of a distorting mirror and electronic device
CN105844688B (zh) 虚拟现实渲染方法和装置
Xu et al. Reconfigurable VLSI architecture for real-time 2D-to-3D conversion
US20230153948A1 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
US20240013345A1 (en) Methods and apparatus for shared image processing among multiple devices
TW202236209A (zh) 像素對像素神經網路中的資料處理