KR20140040497A - 사용자 단말에서의 사용자 맞춤형 영상 처리장치 및 방법 - Google Patents

Abstract

본 발명은 사용자 단말에서의 사용자 맞춤형 영상 처리장치 및 방법에 관한 것이다.
이를 위해 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하고, 상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 데이터베이스화한다. 그 후 상기 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 데이터베이스화된 특성 정보 중 상기 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리한다.

Description

사용자 단말에서의 사용자 맞춤형 영상 처리장치 및 방법{APPRATUS AND METHOD FOR PROCESSING IMAGE CUSTOMIZED FOR USER IN A USER TERMINAL}

본 발명은 사용자 단말에서의 영상 처리장치 및 방법에 관한 것으로, 특히 사용자 단말에서의 사용자 맞춤형 영상 처리장치 및 방법에 관한 것이다.

최근 무선 통신 산업의 발전은 이동 (mobile) 환경의 대중화뿐만 아니라 네트워크 환경을 개선시켜, 높은 데이터 전송률을 요구하는 서비스의 지원이 가능하도록 하였다. 그 대표적인 예가 이동 단말에서의 화상 통신 서비스이다. 상기 이동 단말에서의 화상 통신 서비스에 대한 요구는 점차 증가하고 있다.

한편 상기 이동 단말에서의 화상 통신 서비스는 이동 환경, 네트워크 환경 등에 의해 정의되는 통신 환경에 따라 지원하는 해상도가 다를 수 있다. 즉 통신 환경에 비례하여 화상 통신 서비스를 위한 해상도가 증가하거나 감소할 것이다.

하지만 대부분의 사용자 단말이 이동성을 지원되고 있는 추세를 고려할 때, 화상 통신 서비스는 화상 회의, 안부 인사 등의 특별한 목적으로 사용되는 것이 일반적이다. 즉 상기 화상 통신 서비스는 사생활 보호 등을 이유로 사용자 단말에서 잘 사용하지 않고 있는 것이 현실이다.

이를 해소하기 위해 사용자 단말에서 화상 통신 서비스를 위해 전송할 영상을 가공하는 영상 변환 기술이 사용되고 있다. 이러한 영상 변환 기술은 사생활 보호 외에도 화상 통신 서비스의 재미를 부여하는 요소가 될 수 있다. 하지만 기존에 사용자 단말에서 화상 통신 서비스를 위해 적용된 영상 변환 기술은 단일 모드만을 지원하는 것이 일반적이었다.

예컨대 영상 변환 기술에서 지원하는 단일 모드로는 이미지에서 윤곽선을 강조하거나 이미지의 색상을 단순화시켜, 이미지에 만화 효과를 부과하는 정도였다. 이러한 만화 효과는 영상 편집을 위한 도구로 필터를 이용하여 구현할 수 있었다.

하지만 기존에 사용자 단말에서의 화상 통신 서비스를 위해 제한적으로 지원하였던 영상 변환 기술은 모든 이미지 (또는 영상)에 대해 동일하게 적용됨에 따라, 생성된 영상이 단조로울 뿐만 아니라 사용자가 원하는 스타일에 의해 화상 통신 서비스를 지원하는 것이 어려웠다.

따라서 사용자에게 흥미를 유발할 수 있을 뿐만 아니라 실시간 사생활 보호라는 근본적인 목적을 달성할 수 있는 영상 변환 기술을 기반으로 화상 통신 서비스를 지원하는 사용자 단말에 대한 요구가 증가하였다.

본 발명은 사용자 단말에서 화상 통신 서비스를 위해 다양한 화상 특성을 기반으로 영상 변환 기술을 지원하는 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 사용자의 취향을 고려하여 화상 통신 서비스를 위한 영상을 처리하는 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 다양한 입력 영상들 각각으로부터 특성 정보를 추출하고, 상기 추출한 특성 정보 중 적어도 하나를 이용하여 화상 통신 서비스를 위한 영상을 변환하는 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 다양한 영상들 각각으로부터 해당 영상이 가지는 특성 정보를 추출하고, 상기 추출한 특성 정보를 화상 통신 서비스를 위한 영상 처리를 위해 데이터베이스에 의해 관리하는 장치 및 방법을 제공한다.

또한 본 발명은 사용자 단말에서 입력되는 만화의 이미지를 분석하여 상기 입력되는 만화가 가지는 특징에 상응한 특성 정보를 획득하고, 상기 분석에 의해 획득한 특성 정보를 상기 입력되는 만화를 그린 작가의 특성 정보로 등록하는 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 사용자 단말에서 화상 통신 서비스를 위한 영상 처리 장치는, 사용자와의 정보 교환을 위한 사용자 인터페이스부와, 상기 사용자 인터페이스부를 통한 상기 사용자로부터의 요청에 의해 상기 화상 통신 서비스를 위한 영상 처리를 수행하는 영상 처리부를 포함하며,

여기서 상기 영상 처리부는,

상기 사용자 인터페이스부를 통해 상기 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하고, 상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 데이터베이스화하며, 상기 사용자 인터페이스부를 통해 상기 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 데이터베이스화된 특성 정보 중 상기 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리함을 특징으로 한다.

또한 본 발명의 실시 예에 따른 사용자 단말에서 화상 통신 서비스를 위한 영상 처리 방법은, 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하는 과정과, 상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 데이터베이스를 구성하는 과정과, 상기 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 데이터베이스화된 특성 정보 중 상기 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리하는 과정을 포함한다.

본 발명에서는 입력되는 영상 또는 이미지로부터 추출한 특성 정보를 이용하여 화상 통신 시에 전송할 영상을 다양한 애니메이션 스타일로 처리함으로써, 사용자에게 재미를 제공할 수 있을 뿐만 아니라 사생활 보호라는 목적을 함께 제공할 수 있다.

그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.

도 1은 본 발명의 실시 예에 따른 사용자 단말에서 영상 처리를 위한 구성을 보이고 있는 도면;
도 2는 본 발명의 실시 예에 따라 사용자 단말에서 영상 처리를 수행하는 제어 흐름을 보이고 있는 도면;
도 3은 도 2에서의 특성 정보 데이터베이스를 생성하기 위한 서브루틴의 상세 제어 흐름을 보이고 있는 도면;
도 4는 도 2에서 보이고 있는 영상 처리를 위한 서브루틴의 상세 제어 흐름을 보이고 있는 도면;
도 5는 본 발명의 실시 예에 따라 영상 처리 장치에 의해 수행되는 동작의 일 예를 보이고 있는 도면;
도 6은 본 발명의 실시 예에 따라 영상 처리 장치가 특성 정보 데이터베이스를 생성하는 일 예를 보이고 있는 도면;
도 7은 본 발명의 실시 예에 따라 선택된 특성 정보를 사용하여 입력 영상을 처리하는 일 예를 보이고 있는 도면.

이하 본 발명에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 발명에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만 설명의 편의를 위해 사용된 명칭들이 본 발명에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용이 가능함은 물론이다.

후술된 본 발명에서는 다수의 기준 영상 또는 기준 이미지로부터 추출한 특성 정보를 기반으로 다양한 영상 처리 테마를 마련하고, 사용자가 사전에 마련된 다양한 영상 처리 테마 중 하나를 사용하여 영상 통화 서비스 등과 같이 영상을 이용하는 서비스를 위한 영상 처리를 제공하는 방안에 대해 구체적으로 설명할 것이다.

여기서 상기 특성 정보를 추출하기 위한 조건 (이하 “추출 조건”이라 칭함)은 미리 설정될 수 있다. 상기 영상 처리 테마는 하나의 추출 조건에 의해 획득한 특성 정보 또는 복수의 추출 조건의 조합에 의해 획득한 특성 정보의 조합에 의해 정의될 수 있다.

예컨대 상기 추출 조건으로 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출이 미리 설정되었다면, 영상 처리 테마는 상기 추출 조건 각각에 의해 정의될 수 있을 뿐만 아니라 상기 추출 조건에 의한 조합에 의해 설정될 수도 있다. 즉 색상 분포 분석과 얼굴 윤곽 검출 결과의 조합에 의한 영상 처리 테마가 정의될 수 있다. 뿐만 아니라 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 결과가 모두 적용되는 영상 처리 테마도 정의될 수 있다.

이하 본 발명의 실시 예를 첨부된 도면을 참조하여 구체적으로 설명한다.

도 1은 본 발명의 실시 예에 따른 사용자 단말에서 영상 처리를 위한 구성을 보이고 있다. 즉 도 1에서는 사용자 단말의 구성들 중 본 발명의 실시 예에 따라 영상을 처리하기 위한 필수 구성만을 도시하였음에 유념하여야 한다.

도 1을 참조하면, 사용자 인터페이스 (UI: User Interface)부(110)는 사용자와의 정보 교환을 위한 구성으로써, 사용자로부터 정보를 입력 받거나 사용자에게 정보를 제공하기 위한 동작을 수행한다. 따라서 상기 UI 부(110)는 사용자 단말에서 사용자의 조작에 의해 정보를 발생하거나 상기 사용자 단말이 정보를 출력하기 위한 대부분의 구성을 통칭한다. 예컨대 상기 UI 부(110)는 터치 패널, 카메라, 키 패드, 외장 메모리 연결 포트 등을 포함한다.

특히 상기 UI 부(110)는 사용자의 조작에 의해 기준 영상 또는 기준 이미지로부터 특성 정보의 추출을 요청하거나 정상 모드 또는 스타일 모드에 의한 화상 통신 서비스의 요청을 접수하고, 이를 영상 처리부(120)에게 보고한다.

또한 상기 UI 부(110)는 상기 영상 처리부(120)로부터 영상 처리 및 상기 영상 처리에 의한 결과 영상을 이용한 서비스의 진행에 따른 정보를 제공받아, 이를 사용자에게 출력한다.

상기 UI 부(110)에 의해 상기 영상 처리부(120)로 제공되는 정보의 형태는 제약이 없다. 즉 상기 UI 부(110)는 키 입력 정보, 음성 정보, 영상 정보 등을 모두 제공할 수 있다. 뿐만 아니라 상기 UI 부(110)는 상기 영상 처리부(120)로부터 제공받아 출력하는 정보에도 제약이 없다. 즉 상기 UI 부(110)는 텍스트, 음성, 영상 등을 모두 출력할 수 있다.

상기 영상 처리부(120)는 상기 UI 부(110)로부터 특성 정보 추출 요청이 접수될 시, 미리 설정된 조건을 기반으로 기준 영상 또는 기준 이미지를 분석한다. 상기 영상 처리부(120)는 식별 정보를 이용하여 상기 분석에 의해 획득한 특성 정보에 의한 데이터베이스 (DB: Database)를 구성한다.

여기서 상기 식별 정보는 상기 획득한 특성 정보를 식별하기 위한 정보로써, 해당 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보가 사용될 수 있다.

상기 기준 영상 또는 기준 이미지는 상기 UI 부(110)를 통해 사용자에 의해 제공되거나 메모리(130)에 의해 제공될 수도 있다. 만약 상기 메모리(130)에 의해 기준 영상 또는 기준 이미지가 제공되는 경우, 사용자는 상기 메모리(130)에 저장된 영상 또는 이미지로부터 기준 영상 또는 기준 이미지를 선택할 수 있다.

한편 바람직하기로는 상기 기준 영상 또는 기준 이미지로 특성 정보의 획득이 용이한 애니메이션 장르를 포함한 만화 영화 또는 이미지를 이용한다.

예컨대 상기 특성 정보를 획득하기 위해 미리 설정된 조건은 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 각각 또는 적어도 두 가지의 조합에 의해 설정될 수 있다.

이때 상기 영상 처리부(120)는 상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과에 의해 상기 특성 정보를 획득한다.

보다 구체적으로 상기 영상 처리부(120)는 기준 영상 또는 기준 이미지에서 특정 대역의 컬러에 대한 컬러 히스토리그램을 기반으로 색상 분포를 분석한다. 예컨대, 상기 색상 분포는 상기 기준 영상 또는 기준 이미지에서 색 공간 (HSV) 채널의 색상 분포에 의해 분석한다.

상기 영상 처리부(120)는 상기 기준 영상 또는 기준 이미지에 경도 필터를 적용하여 검출한 윤곽선의 평균 굵기를 계산하여 윤곽선을 분석하고, 상기 기준 영상 또는 기준 이미지에 타원 맞춤 (Ellipse Fitting) 기법을 적용하여 얼굴 형태를 모델링 하여 얼굴 윤곽을 검출한다.

상술한 바에 의한 특성 정보 DB는 상기 영상 처리부(120)에 의해 상기 메모리(130)에 구성함으로써, 향후 영상 처리 시에 상기 영상 처리부(120)에 의해 호출될 수 있도록 한다.

상기 영상 처리부(120)는 상기 UI 부(110)로부터 스타일 모드에 의한 영상 처리를 요구하는 서비스 (일 예로 화상 통신 서비스)가 요청될 시, 특성 정보 DB의 특성 정보를 이용하여 상기 요청된 서비스를 위한 입력 영상을 처리한다. 이때 상기 특성 정보는 특성 정보 DB를 구성하는 특성 정보들 중 사용자에 의해 선택된 적어도 하나의 특성 정보가 될 수 있다.

여기서 상기 입력 영상은 상기 UI 부(110)를 구성하는 카메라에 의해 촬영되어 상기 영상 처리부(120)로 제공된다. 일 예로 상기 입력 영상은 화상 통신을 위해 카메라에 의해 촬영된 영상에 해당한다.

예컨대 사용자에 의한 특성 정보의 선택은 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과에 의해 구성된 특정 영상 처리 테마를 선택하는 것에 해당한다.

일 예로 사용자에 의해 선택된 영상 처리 테마가 특정 기준 영상 또는 기준 이미지에서 획득한 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 결과에 의한 것이라 가정할 수 있다. 이 때 상기 영상 처리부(120)는 선택된 영상 처리 테마를 위한 색상 분포 분석 결과에 의해 입력 영상의 색상을 변환하고, 상기 선택된 영상 처리 테마를 위한 윤곽선 분석 결과에 의해 상기 입력 영상의 윤곽선 굵기를 보정한다. 그리고 상기 영상 처리부(120)는 상기 선택된 영상 처리 테마를 위한 얼굴 윤곽 검출 결과에 의해 상기 입력 영상의 얼굴 형태를 변환한다.

그 후 상기 영상 처리부(120)는 상기 선택된 영상 처리 테마를 위한 각각의 처리에 의해 얻어진 복수의 영상을 결합하여 하나의 최종 결과 영상을 출력한다.

상술한 바와 같이 상기 영상 처리부(120)에 의해 수행되는 동작은 특성 정보 DB를 제작하기 위한 동작과, 입력 영상을 변환하기 위한 동작으로 구분될 수 있다.

상기 메모리(130)는 상기 영상 처리부(120)에 의해 구성된 특성 정보 DB를 저장하며, 상기 영상 처리부(120)의 요청에 의해 상기 저장하고 있는 특성 정보 DB로부터 영상 처리를 위해 선택된 영상 처리 테마에 상응한 특성 정보를 추출하여 상기 영상 처리부(120)로 제공한다.

도 2는 본 발명의 실시 예에 따라 사용자 단말에서 영상 처리를 수행하는 제어 흐름을 보이고 있다.

도 2에서의 제어 흐름에 의해, 영상 처리 장치는 210단계에서 특성 정보 DB를 생성하기 위한 서브루틴 (이하 “특성 정보 DB 생성 서브루틴”이라 칭함)을 수행하며, 220단계에서 소정의 영상 서비스를 위해 영상을 처리하는 서브루틴 (이하 “영상 처리 서브루틴”이라 칭함)을 수행한다.

즉 상기 영상 처리 장치는 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하고, 상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 특성 정보 DB를 구성하는 특성 정보 DB 생성 서브루틴을 수행한다 (210단계).

그 후 상기 영상 처리 장치는 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 특성 정보 DB화된 특성 정보 중 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리하는 영상 처리 서브루틴을 수행한다 (220단계).

도 5는 본 발명의 실시 예에 따라 영상 처리 장치에 의해 수행되는 동작의 일 예를 보이고 있다. 즉 도 5에서는 영상 처리 장치에 의해 만화 관련 기준 영상 또는 기준 이미지 (Target Animation Video File)를 이용한 영상특성 정보 DB (Cartoon DB) 생성 (또는 제작) 과정과, 카메라를 통해 입력되는 영상에 대한 입력 영상 변환 과정의 일 예를 보이고 있다.

도 5를 참조하면, 영상 처리 장치는 네 가지의 서로 다른 기준 영상을 입력으로 하고, 상기 입력되는 기준 영상 별로 색상 분석, 윤곽선 굵기 분석 및 캐릭터 특성 분석 결과에 의해 각 기준 영상에 대한 특성 정보를 획득한다. 예컨대 상기 색상 분석 결과는 색상 분포 분석 (Color Distribution Analysis)에 의한 얻을 수 있고, 윤곽선 굵기 분석 결과는 윤곽선 추출 (Edge Extraction)에 의해 얻을 수 있으며, 캐릭터 특성 분석 결과는 얼굴 윤곽 검출 (Face Contour Detection)에 의해 얻을 수 있다.

상기 영상 처리 장치는 사용자 단말에 구비된 카메라에 의해 촬영된 입력 영상을 상기 네 가지의 서로 다른 기준 영상으로부터 획득한 특성 정보 중 하나의 특성 정보를 이용하여 처리한다. 즉 상기 네 가지의 서로 다른 기준 영상 중 선택된 기준 영상에 의해 특성 정보로 획득한 색상 분석 결과, 윤곽선 굵기 분석 결과 및 캐릭터 특성 분석 결과 각각에 의해 입력 영상을 처리한다.

예컨대 상기 영상 처리 장치는 상기 획득한 색상 분석 결과에 의해 컴퓨터를 사용하여 입력 영상의 색상을 상기 선택된 기준 영상의 색상과 일치시키는 처리와, 상기 획득한 윤곽선 굵기 분석 결과에 의해 상기 입력 영상의 윤곽선을 상기 선택된 기준 영상의 윤곽선 굵기로 변환하는 처리 및 상기 입력 영상의 얼굴 윤곽을 상기 획득한 캐릭터 특성 분석 결과에 의해 캐리커처로 생성하는 처리를 수행한다.

그 후 상기 영상 처리 장치는 앞에서 세 가지의 형태로 처리된 영상들 중 적어도 두 개의 영상을 결합하여 최종 결과 영상으로 출력한다. 예컨대 도 5에서는 색상 변환된 영상과 윤곽선 굵기 보정된 영상을 결합하여 양식화된 결과 (Stylization Result), 즉 최종 결과 영상으로 출력한다.

도 3은 도 2에서의 특성 정보 데이터베이스를 생성하기 위한 서브루틴의 상세 제어 흐름을 보이고 있다.

도 3을 참조하면, 영상 처리 장치는 특성 정보 DB 생성 서브루틴이 개시되면, 310단계에서 사용자로부터 특성 정보 추출 요청이 접수되는지를 감시한다. 상기 사용자로부터 특성 정보 추출 요청이 접수되지 않을 시, 상기 영상 처리 장치는 도 2에서 보이고 있는 메인 루틴으로 복귀한다.

하지만 상기 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 영상 처리 장치는 312단계에서 특성 정보 추출을 위한 대상인 기준 영상 또는 기준 이미지를 선택한다. 예컨대 상기 기준 영상 또는 기준 이미지는 사전에 저장된 영상 또는 이미지 중 사용자에 의해 선택된 하나의 영상 또는 이미지가 될 수 있다. 그렇지 않고 사용자에 의해 새로이 제공된 영상 또는 이미지를 기준 영상 또는 기준 이미지로 선택할 수도 있다. 이때 기준 영상 또는 이미지로 그 특성 정보의 획득이 용이한 애니메이션 등의 만화 영상 또는 만화 이미지 등을 이용하는 것이 바람직하다.

상기 영상 처리 장치는 314단계에서 상기 선택한 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석한다. 예컨대 상기 미리 설정된 조건은 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 하나 또는 적어도 두 가지가 결합된 형태가 될 수 있다.

일 예로써, 상기 영상 처리 장치는 기준 영상 또는 기준 이미지에서 특정 대역의 컬러에 대한 컬러 히스토리그램을 기반으로 색상 분포를 분석하고, 상기 기준 영상 또는 기준 이미지에 경도 필터를 적용하여 검출한 윤곽선의 평균 굵기를 계산하여 윤곽선을 분석한다. 뿐만 아니라 상기 기준 영상 또는 기준 이미지에 타원 맞춤 (Ellipse Fitting) 기법을 적용하여 얼굴 형태를 모델링 하여 얼굴 윤곽을 검출한다.

상기 영상 처리 장치는 상기 기준 영상 또는 기준 이미지를 미리 설정된 조건에 의한 분석이 완료될 시, 316단계에서 상기 분석된 결과를 기반으로 하여 상기 기준 영상 또는 상기 기준 이미지에 대응한 특성 정보를 추출한다. 이때 상기 추출한 특성 정보는 영상 처리 테마를 결정하는 요인이 된다. 예컨대 상기 특성 정보는 상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과에 의해 획득될 수 있다.

상기 영상 처리 장치는 318단계에서 상기 추출한 특성 정보에 의해 특성 정보 DB를 생성한다. 일 예로 상기 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보에 대응하여 상기 추출한 특성 정보를 기록하는 것에 의해 특설 정보 DB를 생성할 수 있다.

도 6은 본 발명의 실시 예에 따라 영상 처리 장치가 특성 정보 DB를 생성하는 일 예를 보이고 있다. 도 6에서는 기준 영상 또는 기준 이미지를 애니메이션으로 가정하고 있다.

도 6을 참조하면, 영상 처리 장치는 타깃 애니메이션의 색상 히스토리그램을 삼원색 (RGB) 또는 색 공간 (HSV, 색상/채도/명도) 채널의 색상 분포에 의해 분석한다. 이때 상기 색상 분포는 기준 영상 또는 기준 이미지의 특정 밴드에 상응한 색상만을 이용하여 분석할 수 있다 (Color Normalize). 이와 같이 분석된 색상 분포 결과는 상기 영상 처리 장치가 향후 입력될 영상이 가지는 색상 분포를 조정하기 위해 사용될 것이다.

또한 상기 영상 처리 장치는 타깃 애니메이션으로부터 윤곽선을 추출하고, 상기 추출한 윤곽선에 의해 그 굵기를 계산한다. 일 예로 상기 윤곽선은 경로 필터 (Gradient Filter)에 의해 추출될 수 있다. 그 외에 상기 영상 처리 장치는 타깃 애니메이션으로부터 얼굴 윤곽을 검출하고, 타원 맞춤 (Ellipse Fitting)에 의해 얼굴 형태를 모델링 한다.

상기 영상 처리 장치는 상술한 바에 의해 획득한 타깃 애니메이션의 색상 분포 결과, 윤곽선의 평균 굵기 및 얼굴 형태 모델링 결과 등에 의해 정의되는 특성 정보를 사용하여 특성 정보 DB를 생성한다.

도 4는 도 2에서 보이고 있는 영상 처리를 위한 서브루틴의 상세 제어 흐름을 보이고 있다.

도 4를 참조하면, 영상 처리 장치는 영상 처리 서브루틴이 개시되면, 410단계에서 사용자로부터 영상 처리 요청이 접수되는지를 감시한다. 이때 상기 영상 처리 요청은 영상 관련 서비스가 요청된 후, 상기 요청된 서비스가 영상 처리에 의해 제공될 것이 요청된 상황을 전제로 하고 있다. 일 예로 사용자에 의해 양식화 모드 (Stylization mode)에 의한 화상 통화 서비스가 요청된 경우에 해당할 수 있다.

상기 사용자로부터 영상 처리 요청이 접수되지 않을 시, 상기 영상 처리 장치는 도 2에서 보이고 있는 메인 루틴으로 복귀한다.

하지만 상기 사용자로부터 영상 처리 요청이 접수될 시, 상기 영상 처리 장치는 412단계에서 처리 대상 영상을 입력 받는다. 이때 상기 처리 대상 영상의 입력은 제공되는 서비스에 따라 차별화될 수 있다. 일 예로 화상 통신 서비스의 경우를 가정할 때, 영상은 카메라에 의해 촬영되어 입력될 것이다.

상기 처리 대상 영상을 입력 받은 상기 영상 처리 장치는 414단계에서 영상 처리를 위해 적용할 특성 정보를 선택한다. 즉 상기 영상 처리 장치는 사전에 다양한 기준 영상 또는 기준 이미지에 의해 생성된 특성 정보 DB로부터 복수의 영상 처리 테마 각각에 상응한 특성 정보 중 하나를 선택할 것을 사용자에게 요청한다. 이에 대한 응답으로 사용자에 의해 하나의 특정 정보, 즉 사용할 영상 처리 테마가 결정될 수 있다.

상기 특성 정보의 선택이 이루어지면, 상기 영상 처리 장치는 416단계에서 입력 받은 처리 대상의 영상을 상기 선택한 특성 정보를 사용하여 처리한다.

도 7은 본 발명의 실시 예에 따라 선택된 특성 정보를 사용하여 입력 영상을 처리하는 일 예를 보이고 있다.

도 7을 참조하면, 영상 처리 장치는 선택된 특성 정보에 포함된 타깃 영상 (기준 영상 또는 기준 이미지)의 윤곽선 (edge) 평균 굵기를 사용하여 입력 영상으로부터 추출한 윤곽선의 평균 굵기를 조정한다. 즉 상기 입력 영상으로부터 획득한 에지 영상이 가지는 윤곽선의 평균 굵기와 특성 정보가 가지는 평균 굵기가 일치하도록 한다.

그리고 상기 영상 처리 장치는 선택한 특성 정보에 포함된 타깃 영상 (기준 영상 또는 기준 이미지)의 얼굴 윤곽 특징을 사용하여 상기 입력 영상이 가지는 얼굴의 형체를 변환한다 (Face Shape Transform).

뿐만 아니라 상기 영상 처리 장치는 처리 속도의 개선을 위해 상기 입력 영상의 크기를 소정 비율에 의해 축소한다. 일 예로 상기 입력 영상의 크기는 1/2 크기로 축소할 수 있다.

상기 영상 처리 장치는 상기 크기가 축소된 입력 영상의 연속한 프레임 (t 시점에서의 프레임과 t-1 시점에서의 프레임)에서 동일 위치의 픽셀 (Pixel(t), Pixel(t-1)) 간 색상 차가 문턱 값을 넘을 시에 상기 동일 위치의 픽셀 중 t 시점의 프레임에 존재하는 픽셀이 가지는 색상을 변경한다. 즉 상기 픽셀이 가지는 색상을 선택한 특성 정보에 포함된 타깃 영상 (기준 영상 또는 기준 이미지)의 색상 분포 분석 결과에 따른 색상으로 교체한다.

상술한 바에 의해 현재 프레임에 대한 색상 교체가 완료될 시, 상기 영상 처리 장치는 속도 개선을 위해 크기를 축소한 것을 다시 복구한다. 즉 상기 색상 교체가 완료된 영상의 크기를 상기 축소 시에 사용된 소정 비율에 의해 확대한다. 상기 크기가 확대된 영상은 최종 결과 영상으로써 출력될 것이다.

상기 영상 처리 장치는 상술한 바에 의해 영상 처리가 완료될 시, 418단계에서 상기 처리된 영상을 기반으로 사용자에 의해 요청된 서비스를 제공한다.

상술한 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.

본 발명의 컨텐츠 제공장치 및 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 컨텐츠 제공장치 및 방법은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

예컨대 앞에서 살펴본 본 발명의 실시 예는 송신장치에서 사용자의 취향에 상응한 특성 정보를 기반으로 화상 통신 서비스를 위한 영상을 처리하는 것을 전제로 하여 구현하였다.

하지만 화상 통신 서비스를 위한 수신장치에서 다양한 영상 또는 이미지에 상응한 특성 정보를 기반으로 생성된 데이터베이스를 구비하고 있다면, 수신자가 화상 통신 서비스를 위해 수신되는 상대방의 영상을 상기 데이터베이스에 의해 관리되는 다양한 특성 정보를 기반으로 가공할 수도 있다. 즉 화상 통신 서비스에 따른 송신자가 자신의 영상을 가공하여 전송하는 것이 아니라 수신자가 상대방으로부터 수신되는 영상을 자신이 원하는 특성 정보에 의해 영상 처리하여 표시하는 것도 가능하다.

이러한 발명의 실시를 위해서는 앞에서 제안한 하드웨어 및 소프트웨어의 특별한 변경이 요구되지는 않을 것이다. 단지 처리 대상에 해당하는 영상 또는 이미지가 카메라로부터 입력되는 정보 또는 사전에 저장된 정보가 아닌 화상 통화 서비스를 위해 통신 망을 통해 수신되는 정보라는 점에서 차이가 있을 뿐이다.

예컨대 도 4에서 보이고 있는 영상 처리 서브루틴에 따른 412단계에서 처리 대상 영상의 입력은 화상 통화 서비스를 위해 외부 통신 망으로부터의 영상을 수신하는 것을 포함한다. 그리고 도 4의 418단계에서 수행되는 처리 영상 기반의 요구 서비스의 제공은 앞서 처리된 영상을 화상 통화 서비스를 위해 화면에 표시하는 것에 해당한다.

Claims (16)

1. 사용자 단말에서 화상 통신 서비스를 위한 영상 처리 장치에 있어서,
   사용자와의 정보 교환을 위한 사용자 인터페이스부와,
   상기 사용자 인터페이스부를 통한 상기 사용자로부터의 요청에 의해 상기 화상 통신 서비스를 위한 영상 처리를 수행하는 영상 처리부를 포함하며,
   여기서 상기 영상 처리부는,
   상기 사용자 인터페이스부를 통해 상기 사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하고, 상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 데이터베이스화하며,
   상기 사용자 인터페이스부를 통해 상기 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 데이터베이스화된 특성 정보 중 상기 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리함을 특징으로 하는 영상 처리 장치.
2. 제1항에 있어서, 상기 영상 처리부는,
   색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지를 상기 미리 설정된 조건으로 하여 상기 선택된 기준 영상 또는 기준 이미지를 분석함을 특징으로 하는 영상 처리 장치.
3. 제2항에 있어서, 상기 영상 처리부는,
   상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과에 의해 상기 특성 정보를 획득함을 특징으로 하는 영상 처리 장치.
4. 제3항에 있어서, 상기 영상 처리부는,
   상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과 각각에 의해 상기 입력 영상을 처리하고, 상기 적어도 두 가지에 대한 분석 결과 각각에 의해 처리된 영상들을 결합하여 최종 결과 영상을 출력함을 특징으로 하는 영상 처리 장치.
5. 제4항에 있어서, 상기 영상 처리부는,
   상기 색상 분포 분석 결과에 의해 상기 입력 영상의 색상을 변환하고, 상기 윤곽선 분석 결과에 의해 상기 입력 영상의 윤곽선 굵기를 보정하며, 상기 얼굴 윤곽 검출 결과에 의해 상기 입력 영상의 얼굴 형태를 변환함을 특징으로 하는 영상 처리 장치.
6. 제3항에 있어서, 상기 영상 처리부는,
   상기 선택된 기준 영상 또는 기준 이미지에서 특정 대역의 컬러에 대한 컬러 히스토리그램을 기반으로 색상 분포를 분석하고, 상기 선택된 기준 영상 또는 기준 이미지에 경도 필터를 적용하여 검출한 윤곽선의 평균 굵기를 계산하여 윤곽선을 분석하며, 상기 선택된 기준 영상 또는 기준 이미지에 타원 맞춤 (Ellipse Fitting) 기법을 적용하여 얼굴 형태를 모델링 하여 얼굴 윤곽을 검출함을 특징으로 하는 영상 처리 장치.
7. 제4항에 있어서, 상기 영상 처리부는,
   상기 윤곽선 분석 결과에 따른 윤곽선의 평균 굵기에 의해 상기 입력 영상의 윤곽선의 굵기를 변환한 후 상기 얼굴 윤곽 검출 결과에 의해 얼굴 형체를 변환하며,
   상기 입력 영상의 크기를 소정 비율에 의해 축소하고, 상기 축소된 영상의 연속한 프레임에서 동일 위치의 픽셀 간 색상 차가 문턱 값을 넘을 시에 상기 동일 위치의 픽셀 중 하나의 픽셀이 가지는 색상을 상기 색상 분포 분석 결과에 따른 색상으로 교체하며, 상기 색상이 교체된 영상의 크기를 상기 소정 비율에 의해 확대하여 색상 보정된 영상을 출력하며,
   상기 얼굴 형체를 변환한 영상과 상기 색상 보정된 영상을 결합하여 최종 결과 영상으로 출력함을 특징으로 하는 영상 처리 장치.
8. 제2항 내지 제7항 중 어느 한 항에 있어서,
   상기 영상 처리부는 상기 색상 분포를 상기 선택된 기준 영상 또는 기준 이미지에서 색 공간 (HSV) 채널의 색상 분포에 의해 분석함을 특징으로 하는 영상 처리 장치.
9. 사용자 단말에서 화상 통신 서비스를 위한 영상 처리 방법에 있어서,
   사용자로부터 특성 정보 추출 요청이 접수될 시, 상기 접수한 특성 정보 추출 요청에 응답하여 선택된 기준 영상 또는 기준 이미지를 미리 설정된 조건을 기반으로 분석하는 과정과,
   상기 분석에 의해 획득한 특성 정보를 상기 선택된 기준 영상 또는 기준 이미지를 구분하기 위한 식별 정보를 사용하여 데이터베이스를 구성하는 과정과,
   상기 사용자로부터 스타일 모드에 의한 화상 통신 서비스의 요청이 접수될 시, 상기 데이터베이스화된 특성 정보 중 상기 사용자에 의해 선택된 적어도 하나의 특성 정보를 기반으로 화상 통신을 위한 입력 영상을 처리하는 과정을 포함하는 영상 처리 방법.
10. 제9항에 있어서,
    상기 미리 설정된 조건은 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지가 결합된 형태임을 특징으로 하는 영상 처리 방법.
11. 제10항에 있어서,
    상기 특성 정보는 상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과에 의해 획득함을 특징으로 하는 영상 처리 방법.
12. 제11항에 있어서, 상기 입력 영상을 처리하는 과정은,
    상기 미리 설정된 조건에 해당하는 색상 분포 분석, 윤곽선 분석, 얼굴 윤곽 검출 중 적어도 두 가지에 대한 분석 결과 각각에 의해 상기 입력 영상을 처리하고, 상기 적어도 두 가지에 대한 분석 결과 각각에 의해 처리된 영상들을 결합하여 최종 결과 영상을 출력하는 과정임을 특징으로 하는 영상 처리 방법.
13. 제12항에 있어서, 상기 입력 영상을 처리하는 과정은,
    상기 색상 분포 분석 결과에 의해 상기 입력 영상의 색상을 변환하고, 상기 윤곽선 분석 결과에 의해 상기 입력 영상의 윤곽선 굵기를 보정하며, 상기 얼굴 윤곽 검출 결과에 의해 상기 입력 영상의 얼굴 형태를 변환하는 과정임을 특징으로 하는 영상 처리 방법.
14. 제11항에 있어서, 상기 분석하는 과정은,
    상기 선택된 기준 영상 또는 기준 이미지에서 특정 대역의 컬러에 대한 컬러 히스토리그램을 기반으로 색상 분포를 분석하고, 상기 선택된 기준 영상 또는 기준 이미지에 경도 필터를 적용하여 검출한 윤곽선의 평균 굵기를 계산하여 윤곽선을 분석하며, 상기 선택된 기준 영상 또는 기준 이미지에 타원 맞춤 (Ellipse Fitting) 기법을 적용하여 얼굴 형태를 모델링 하여 얼굴 윤곽을 검출하는 과정임을 특징으로 하는 영상 처리 방법.
15. 제12항에 있어서, 상기 입력 영상을 처리하는 과정은,
    상기 윤곽선 분석 결과에 따른 윤곽선의 평균 굵기에 의해 상기 입력 영상의 윤곽선의 굵기를 변환한 후 상기 얼굴 윤곽 검출 결과에 의해 얼굴 형체를 변환하며,
    상기 입력 영상의 크기를 소정 비율에 의해 축소하고, 상기 축소된 영상의 연속한 프레임에서 동일 위치의 픽셀 간 색상 차가 문턱 값을 넘을 시에 상기 동일 위치의 픽셀 중 하나의 픽셀이 가지는 색상을 상기 색상 분포 분석 결과에 따른 색상으로 교체하며, 상기 색상이 교체된 영상의 크기를 상기 소정 비율에 의해 확대하여 색상 보정된 영상을 출력하며,
    상기 얼굴 형체를 변환한 영상과 상기 색상 보정된 영상을 결합하여 최종 결과 영상으로 출력하는 과정임을 특징으로 하는 영상 처리 방법.
16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 색상 분포는 상기 선택된 기준 영상 또는 기준 이미지에서 색 공간 (HSV) 채널의 색상 분포에 의해 분석함을 특징으로 하는 영상 처리 방법.

Images