KR20140035333A - 이미지의 라이브 아티스틱 스케치를 생성하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 이미지의 라이브 아티스틱 스케치를 생성하는 방법 및 장치를 제공한다. 본 발명의 일 실시 예에 따르면, 이미지의 라이브 아티스틱 스케치를 생성하기 위한 이미지 프로세싱 장치의 방법은, 이미지 소스로부터 입력된 입력 이미지에서 복수의 에지들을 검출하는 과정, 복수의 검출된 에지들에 기초하여 미리 정의된 순서로 입력 이미지의 아티스틱 스케치를 생성하는 과정, 및 이미지 프로세싱 장치의 그래픽 유저 인터페이스 상에서 입력 이미지의 상기 생성된 아티스틱 스케치를 실질적으로 동시에 렌더링하는 과정을 포함한다. 상기 방법은 입력 이미지의 상기 아티스틱 스케치를 이미지 파일로서 저장하는 과정을 더 포함한다. 대안적으로, 상기 방법은 아티스틱 스케치의 생성과 관련된 하나 이상의 프레임들을 포함하는 비디오 파일을 생성하는 과정을 포함한다.

Description

이미지의 라이브 아티스틱 스케치를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR CREATING A LIVE ARTISTIC SKETCH OF AN IMAGE}

본 발명은 이미지 프로세싱 기술에 관한 것으로서, 더 상세하게는, 이미지의 생생한 예술적인 감각의 스케치(이하 "라이브 아티스틱 스케치(live artistic sketch)"라 칭함)를 생성하기 위한 방법 및 장치에 관한 것이다.

스케치(sketch)란, 보통은 최종 작품으로는 의도되지 않은 손으로 그린 그림을 지칭한다. 스케치는 여러 목적에 이바지할 수 있는데, 예컨대, 스케치는 화가가 보고 있는 어떤 것을 기록하거나, 어떤 아이디어를 나중에 사용하기 위해 기록 또는 설명하거나, 또는 이미지, 아이디어, 또는 개념을 그래픽으로 보여주기 위해 신속한 방법으로서 사용될 수도 있다.

스케치들은 종이 위에 어떤 물체 또는 장면을 표현하기 위해 화가에 의해 그려지는 것이 일상적이다. 예컨대, 화가는 그 자신의 창조적인 추상적 판단에 기초하는 방식으로 원래의 장면에 기초해서 그림을 그리거나(drawing) 페인팅(painting)할 수도 있다. 화가는 일반적으로 연속적인 과정을 통해 스케치나 페인팅을 표현하게 된다. 그러한 과정은 먼저 스케치 또는 그림으로 표현할 대상을 인식하고, 다음으로는, 스케치 또는 그림을 그릴 대상 등을 결정하는 것에 대한 고유의 인식(inherent knowledge)을 수반한다.

현재, 이미지의 스케치 효과를 생성하기 위한 다양한 이미지 프로세싱 애플리케이션들이 알려져 있다. 그러한 기존의 애플리케이션들 중의 하나에 따르면, 사용자가 한 이미지로부터 연필/펜 스케치를 생성하는 것을 가능하게 하는 반면에, 또 다른 기존의 애플리케이션은 다른 각도에서 이루어진 다수의 이미지들을 이용하여 3차원 이미지들 또는 화상(video)들을 생성하는 것을 가능하게 해준다. 그러나, 현재의 이미지 프로세싱 애플리케이션들은 이미지의 아티스틱 스케치를 만들거나/그리기 위한 화가의 연속적인 스케칭/페인팅 과정을 그대로 따라하지는 못하며, 이러한 애플리케이션들은 상기 연속적인 스케칭/페인팅 과정에서 과정들의 우선 순위를 결정하는 데 지능적이지 못하다.

도 1은 본 발명의 일 실시 예에 따른, 입력 이미지로부터 라이브 아티스틱 스케치를 생성하고, 상기 아티스틱 스케치에서 비-사진형(non-photo)의 현실감 있는 컬러(realistic colours)를 채우기(filling) 위한 이미지 프로세싱 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른, 입력 이미지로부터 라이브 아티스틱 스케치를 생성하고, 상기 아티스틱 스케치에서 비-사진형의 현실감 있는 컬러를 채우는 예시적인 방법을 나타내는 프로세스 흐름도이다.
도 3a 및 3b는 본 발명의 일 실시 예에 따른, 입력 이미지의 라이브 아티스틱 스케치를 생성하는 예시적인 방법을 나타내는 프로세스 흐름도들이다.
도 4는 본 발명의 일 실시 예에 따른, 비-사진형의 현실감 있는 컬러로써 입력 이미지의 아티스틱 스케치를 채색하는 것의 예시적인 방법을 나타내는 프로세스 흐름도이다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른, 비-사진형의 현실감 있는 컬러로써 입력 이미지의 아티스틱 스케치를 자동으로 채우는 예시적인 방법을 나타내는 프로세스 흐름도이다.
도 6은 본 발명의 또 다른 실시 예에 따른, 사용자에 의해 나타내진 아티스틱 스케치의 하나 이상의 영역들에서 비-사진형의 현실감 있는 컬러를 채우는 예시적인 방법을 나타내는 프로세스 흐름도이다.
도 7은 본 발명의 또 다른 실시 예에 따른, 아티스틱 스케치의 하나 이상의 영역들에 사용자 정의된 컬러들을 채우는 예시적인 방법을 나타내는 프로세스 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른, 입력 이미지의 아티스틱 스케치를 생성하는 과정을 예시하는 개략적인 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른, 입력 이미지의 아티스틱 스케치를 페인팅하는 과정을 예시하는 개략적인 흐름도이다.

본 발명은 이미지의 라이브 아티스틱 스케치(live artistic sketch)를 생성하기 위한 방법 및 장치를 제공한다. 본 발명의 실시 예에 대한 후술하는 상세한 설명에 있어서, 발명의 일부를 형성하고 발명이 구현되는 특정한 실시 예들이 예시적인 방법으로 도시되어 있는 첨부한 도면들을 참조하여 설명한다. 이러한 실시 예들은 당해 기술분야의 전문가들이 발명을 실시할 수 있을 정도로 충분히 상세하게 기술될 것이며, 다른 실시 예들이 활용될 수도 있으며 본 발명의 범위로부터 벗어나지 않고 어떤 변형들이 이루어질 수도 있다는 것을 이해하여야 할 것이다. 따라서, 하기의 상세한 설명은 발명을 한정하는 의미로 제공되는 것이 아니며, 본 발명의 보호범위는 첨부된 특허청구범위에 의해서만 정의될 것이다.

본 명세서에 있어서 "아티스틱 스케치(artistic sketch)"라는 용어는 한 이미지로부터 임의의 이미지 프로세싱 장치에 의해 생성되는 손으로 그린(freehand) 그림을 지칭하는 것으로 이해하여야 할 것이다

도 1은 본 발명의 일 실시 예에 따른, 입력 이미지로부터 라이브 아티스틱 스케치를 생성하고, 상기 아티스틱 스케치에서 비-사진형(non-photo)의 현실감 있는 컬러들(realistic colours)을 채우기 위한 이미지 프로세싱 장치(image processing device)(100)를 예시하는 블록도이다. 도 1에서, 이미지 프로세싱 장치(100)는 이미지 소스(image source)(102), 프로세서(processor)(104), 그래픽 유저 인터페이스(graphical user interface)(106), 메모리(memory)(108), 및 저장장치(storage unit)(110)를 포함한다. 메모리(108)는 에지 검출기(edge detector)(112), 스케칭 모듈(sketching module)(114), 및 페인팅 모듈(painting module)(116)을 포함한다. 상기한 이미지 소스(102), 그래픽 유저 인터페이스(106), 메모리(108) 및 저장장치(110)는 상기 프로세서(104)와 통신가능하도록 연결된다.

실시 예의 예시적인 동작에 따르면, 이미지 소스(102)는 입력 이미지의 아티스틱 스케치를 생성하기 위한 이미지를 입력한다. 일 실시 예에 있어서, 이미지 소스(102)는 이미지 파일 또는 카메라에 의해 캡쳐된 이미지를 입력한다. 에지 검출기(112)는 입력 이미지에서 복수의 에지(edge)들을 검출한다. 일 실시 예에 있어서, 에지 검출기(112)는 소정의 필터 구간(filter span)에서 모든 픽셀의 최소치화 음수(minimum valued negative)로써 필터 구간의 중심에서의 매 픽셀을 대체하는 최소치 필터 네거티브 에지 검출(minimum filtered negative edge detection) 알고리즘에 기초한다. 이 과정은 입력 이미지에 있어서의 모든 픽셀들에 대해 반복되어 최소치 필터 네거티브 이미지를 생성한다. 상기 에지 검출기(112)는 닷지 블렌딩(dodge blending) 기술을 이용하여 입력 이미지에서의 각각의 픽셀을 최소치 필터 네거티브 이미지에서의 해당하는 픽셀과 합성(blending)함으로써 입력 이미지에서의 에지들을 검출한다.

스케칭 모듈(114)은 각각의 에지를 상기 각각의 에지의 미리 정의된 이웃(neighbourhood)에 있는 하나 이상의 남아있는 에지들과 연결한다. 그 다음으로, 스케칭 모듈(114)은 입력 이미지에 있어서의 상기 연결된 각각의 에지들과 연관된 하나 이상의 특징(feature)들을 결정한다. 이러한 특징들의 예를 들면, 공간적 위치(spatial location), 이웃 영역(neighbourhood zone), 카테고리, 및/또는 픽셀 값이 포함된다. 따라서, 스케칭 모듈(114)은 상기 연결된 각각의 에지들과 연관되는 픽셀 정보와 상기 연결된 각각의 에지들과 연관된 특징 정보를 포함하는 시퀀스 데이터베이스(118)를 생성하고, 상기 시퀀스 데이터베이스(118)를 저장장치(110)에 저장한다. 따라서, 스케칭 모듈(114)은 시퀀스 데이터베이스(118)에 있는 픽셀 정보와 특징 정보를 이용하여 미리 정의된 시퀀스에서의 입력 이미지의 아티스틱 스케치를 생성한다. 수동형 스케칭 프로세스의 경우, 스케칭 모듈(114)은 입력 이미지에서 두드러진 에지(prominent edge)들을 그림(drawing)으로써 예비적인 윤곽 스케치(preliminary outline sketch)를 생성한다. 이 과정에서, 사용자는 그래픽 유저 인터페이스(106)를 터치함으로써 더 세밀한 에지들을 드러내거나/지우도록 허용된다.

그래픽 유저 인터페이스(106)는 아티스틱 스케치의 생성과 실질적으로 동시에 입력 이미지의 아티스틱 스케치를 렌더링(rendering)한다. 부가적으로, 스케칭 모듈(114)은 사용자가 이미지 파일 포맷으로 입력 이미지의 아티스틱 스케치를 저장하는 것을 가능하게 한다. 또한, 스케칭 모듈(114)은 도 8에 도시된 것과 같은 다중 비디오 파일 포맷(multiple video file format)으로 아티스틱 스케치의 생성과 연관된 프레임들을 포함하는 하나의 비디오 파일을 출력한다. 상기한 스케칭 모듈(114)에 의해 수행되는 세부적인 프로세스 과정들은 도 3a 및 3b에서 기술될 것이다.

페인팅 모듈(116)은 사용자가 자동 페인트 옵션(automatic paint option) 또는 수동 페인트 옵션(manual paint option)을 이용해 아티스틱 스케치를 페인팅하는 것을 가능하게 한다. 만일 사용자가 자동 페인트 옵션을 선택한다면, 페인팅 모듈(116)은 비-사진형의 현실적 컬러들로써 아티스틱 스케치를 채워서(fill) 페인팅의 효과를 제공한다. 따라서, 페인팅 모듈(116)이 아티스틱 스케치를 비-사진형의 현실적 컬러들로써 채우는 동안, 그래픽 유저 인터페이스(106)는 아티스틱 스케치를 비-사진형의 현실적 색채들로 채우는 동작을 렌더링한다. 만일 사용자가 수동 페인트 옵션을 선택한다면, 페인팅 모듈(116)은 아티스틱 스케치에서의 사용자 특정 영역(user specified regions)들을 비-사진형의 현실적 컬러로써 채운다. 대안적으로는, 페인팅 모듈(116)은 컬러 팔레트(colour palette)로부터 사용자에 의해 선택된 하나 이상의 컬러들을 이용하여 아티스틱 스케치에서의 사용자 특정 영역들을 채운다.

추가로, 페인팅 모듈(116)은 사용자가 이미지 파일 포맷으로 비-사진형의 현실적 컬러로 채워진 아티스틱 스케치를 저장하는 것을 가능하게 한다. 또한, 페인팅 모듈(116)은 비-사진형의 현실감 있는 컬러들로 아티스틱 스케치를 채우는 것과 연관된 프레임들을 포함하는 비디오 파일을 도 9에 도시된 것과 같은 다중 비디오 파일 포맷으로 출력한다. 스케칭 모듈(114)에 의해 수행되는 세부적인 프로세스 과정들은 도 4 내지 7에서 설명될 것이다. 전술한 방식으로 이미지 프로세싱 장치(100)는 이미지의 아티스틱 스케치를 생성하고 비-사진형의 현실감 있는 컬러들로써 아티스틱 스케치를 페인팅하는 과정, 즉 화가에 의해 수행되는 스케칭 프로세스를 근사하게 따라하는 과정을 디스플레이한다.

전술한 설명에 따르면, 에지 검출기(112), 스케칭 모듈(114), 및 페인팅 모듈(116)은 기계로 독출 가능한 명령들의 형태로 메모리(108)에 저장될 수 있는데, 그 명령들은 프로세서(104)에 의해 실행될 때 상기 프로세서(104)가 에지 검출기(112), 스케칭 모듈(114), 및 페인팅 모듈(116)의 기능을 수행하도록 한다.

도 2는 본 발명의 일 실시 예에 따른, 입력 이미지로부터 하나의 아티스틱 스케치를 생성하고 상기 아티스틱 스케치에 비-사진형의 현실적 컬러들을 채우는 방법의 예를 예시하는 프로세스 흐름도(200)이다. 과정 202에서, 복수의 에지들이 입력 소스로부터 받은 입력 이미지에서 검출된다. 과정 204에서, 입력 이미지의 아티스틱 스케치가 상기 검출된 에지들에 기초하여 미리 정의된 시퀀스로 생성된다. 아티스틱 스케치를 생성하는 세부적인 프로세스 과정들은 도 3a 및 3b에서 설명될 것이다. 과정 206에서, 입력 이미지의 아티스틱 스케치의 생성은 그래픽 유저 인터페이스(106) 상에 실질적으로 동시에 렌더링된다. 일 실시 예에 있어서, 입력 이미지의 아티스틱 스케치는 이미지 파일 포맷으로 저장된다. 대안적인 다른 실시 예에 있어서, 아티스틱 스케치의 생성과 연관된 하나 이상의 프레임들을 포함하는 비디오 파일이 생성되어 저장장치(110)에 저장된다.

더욱이, 사용자가 아티스틱 스케치에 비-사진형의 현실감 있는 컬러를 채우기를 원한다면, 과정 208에서, 입력 이미지의 아티스틱 스케치는 비-사진형의 현실감 있는 컬러로써 페인팅된다. 아티스틱 스케치를 페인팅하는 상세한 프로세스 과정들은 도 4 내지 도 7에서 설명될 것이다. 과정 210에서, 아티스틱 스케치의 페인팅은 그래픽 유저 인터페이스(106) 상에서 실질적으로 동시에 렌더링된다. 일 실시 예에 있어서, 비-사진형의 현실감 있는 컬러로 채워진 아티스틱 스케치는 이미지 파일 포맷으로 저장된다. 대안적인 실시 예에 있어서, 비-사진형의 현실감 있는 컬러로 아티스틱 스케치를 채우는 것과 관련된 하나 이상의 프레임들을 포함하는 비디오 파일이 생성되어 저장장치(110)에 저장된다.

도 3a 및 3b는 본 발명의 일 실시 예에 따른, 입력 이미지의 라이브 아티스틱 스케치를 생성하는 예시적인 방법을 나타내는 프로세스 흐름도(300)이다. 과정 302에서, 상기 검출된 에지들을 갖는 입력 이미지를 스캐닝함으로써 에지를 갖는 제1픽셀이 식별된다. 일 실시 예에 있어서, 에지가 검출되는 각 픽셀에 대해 상기 각 픽셀을 둘러싸는 미리 정의된 이웃(neighbourhood)이 스캔 되어 상기 미리 정의된 이웃에서 다른 에지들의 존재를 확인한다. 과정 304에서, 제1픽셀의 미리 정의된 이웃에 있는 에지들을 포함하는 하나 이상의 픽셀들이 상기 제1픽셀의 미리 정의된 이웃을 스캔함으로써 식별된다.

과정 306에서, 상이한 레벨의 우선순위가 제1픽셀의 미리 정의된 이웃에서의 상기 하나 이상의 픽셀들에 할당된다. 상기 하나 이상의 픽셀들의 각각은 상이한 레벨의 우선순위를 가지며, 따라서 상기 각각의 픽셀이 속하는 에지도 또한 상이한 레벨의 우선순위를 갖는다는 것이 이해될 수 있을 것이다. 과정 308에서, 제1픽셀 및 상기 제1픽셀의 이웃에 있는 하나 이상의 픽셀들과 연관된 정보는 시퀀스 데이터베이스(118)에 저장된다. 과정 310에서 가장 높은 우선순위를 갖는 에지에 속하는 픽셀이 제1픽셀의 미리 정의된 이웃에 있는 하나 이상의 픽셀들로부터 선택된다.

과정 312에서, 가장 높은 우선순위를 갖는 선택된 픽셀의 미리 정의된 이웃에서 어떤 에지들이 검출되는지 여부가 확인된다. 만일 미리 정의된 이웃에서 하나 이상의 에지들이 검출된다면, 과정 304 내지 312가 반복된다. 만일 선택된 픽셀의 미리 정의된 이웃영역에서 어떤 에지도 발견되지 않는다면, 과정 314에서, 상기한 하나 이상의 픽셀들 모두가 다루어진(covered) 것으로 판단된다. 만일 처리할 남아있는 픽셀들이 존재한다면, 과정 316에서 우선순위의 감소하는 순서로 에지를 포함하는 다음 픽셀이 남아있는 픽셀들로부터 선택되고 과정 304 내지 312가 상기 선택된 픽셀에 대해 반복된다.

만일 처리할 어떤 픽셀들도 남아있지 않다면, 과정 318이 수행된다. 따라서, 과정 316의 종료시, 검출된 에지들(이하, '연결된 에지들(connected edges)'이라 칭함)의 각각의 이웃에서의 하나 이상의 에지들 사이의 연결을 지시하는 픽셀 정보가 획득된다. 상기 관련된 픽셀 정보는 과정 308에서 시퀀스 데이터베이스(118)에 저장된다. 더욱이, 과정 318에서, 상기 연결된 에지들 각각의 각 픽셀과 관련된 특징들이 계산된다. 각각의 연결된 에지와 관련된 특징들은 공간적 위치, 이웃 구역, 카테고리 및 픽셀 값을 포함한다. 과정 320에서, 각각의 연결된 에지와 관련된 특징 정보는 시퀀스 데이터베이스(118)에 저장된다. 과정 322에서, 상기 연결된 에지의 각각과 관련된 특징 정보와 픽셀 정보는 시퀀스 데이터베이스(118)로부터 추출된다.

과정 324에서, 상기 연결된 에지들의 각각은 픽셀 정보와 특징 정보를 이용하여 미리 결정된 수의 타임라인(timeline)들로 분할된다. 일 실시 예에 따르면, 상기 타임라인들의 미리 결정된 수는 입력 이미지의 아티스틱 스케치의 생성이 그래픽 유저 인터페이스(106) 상에서 렌더링될 프레임 레이트(frame rate)에 기초하여 결정된다. 과정 326에서, 상기 연결된 에지들의 각각과 관련된 타임라인 정보는 시퀀스 데이터베이스(118)에 저장된다. 과정 328에서, 입력 이미지의 아티스틱 스케치는 상기 연결된 에지들의 각각과 관련된 상기 저장된 타임라인 정보에 따라 미리 정의된 시퀀스로 상기 연결된 에지들의 각각을 렌더링함으로써 생성된다. 이러한 방식으로, 이미지 프로세싱 장치(100)는 화가가 스케치를 그리는 것과 같은 방식으로 이미지의 스케치를 생성한다. 일단 아티스틱 스케치가 생성되면, 사용자는 상기 아티스틱 스케치를 프리뷰(preview)하는 것이 가능하고 또한 순차적으로 아티스틱 스케치의 생성에 관한 비디오를 재생(플레이)하는 것이 가능해진다.

도 4는 본 발명의 일 실시 예에 따른 비-사진형 현실적 컬러로써 입력 이미지의 아티스틱 스케치를 페인팅하는 예시적인 방법을 나타내는 프로세스의 흐름도(400)이다. 일단 아티스틱 스케치가 준비되면, 사용자는 과정 402에서 아티스틱 스케치가 비-사진형 현실적 컬러들로 채워질 것인지 여부가 질의된다. 사용자가 아티스틱 스케치를 페인팅하기를 원한다면, 과정 404에서 상기 아티스틱 스케치가 자동으로 페인트 될 것인지 여부가 결정된다. 아티스틱 스케치가 자동으로 페인팅 될 것이면, 과정 406에서 상기 아티스틱 스케치는 비-사진형의 현실감 있는 컬러로써 자동으로 채워진다. 아티스틱 스케치에서 비-사진형 현실적 컬러들을 자동으로 채우는 상세한 과정은 도 5a 및 5b에서 더 상세히 기술될 것이다.

과정 404에서 결정이 아니오(false)이면, 과정 408에서 사용자가 "reveal(드러내기)" 옵션 또는 "colour fill(색칠하기)" 옵션을 선호하는지 여부가 결정된다. 만일 사용자가 "reveal" 옵션을 선호한다면, 과정 410에서, 비-사진형 현실적 컬러로써 채워질 아티스틱 스케치에서의 하나 이상의 영역들과 관련된 정보가 사용자로부터 수신된다. 사용자는 그래픽 유저 인터페이스(예를 들면, 터치스크린 디스플레이) 위에서 스크래칭(scratching) 함으로써 상기한 하나 이상의 영역들을 드러나 보이게 할 수 있다. 과정 412에서, 사용자에 의해 나타내진 상기한 하나 이상의 영역들은 비-사진형의 현실적 컬러로써 채워진다. 사용자에 의해 나타내진 상기한 하나 이상의 영역들에 있어 비-사진형의 현실적 컬러들을 채우는 상세한 과정은 도 6에서 더 상세하게 기술될 것이다.

만일 사용자가 컬러 옵션을 선택한다면, 과정 414에서 사용자에 의해 선택된 비-사진형 현실적 컬러들이 아티스틱 스케치에서의 탭 포인트(tapped point)에 채워진다. 아티스틱 스케치의 탭 포인트에서 사용자가 선택한 비-사진형 현실적 컬러들을 채우는 상세한 과정은 도 7에서 더 상세하게 기술될 것이다.

도 5a 및 5b는 본 발명의 일 실시 예에 따른, 비-사진형의 현실감 있는 컬러들로써 입력 이미지의 아티스틱 스케치를 자동으로 채우는 예시적인 방법을 나타내는 프로세스 흐름도(500)이다. 과정 502에서, 입력 이미지에 원하는 비-사진형 현실적 효과를 적용함으로써 비-사진형 현실적 이미지가 형성된다. 예를 들면, 비-사진형 현실적 효과는 유화 효과(oil paint effect), 수성색채 효과(water colour effect) 등을 포함할 수도 있다. 과정 504에서, 사용자가 흑백 색상(black and white colour)으로써 아티스틱 스케치를 채우기를 원하는지 여부가 결정된다. 만일 사용자가 흑백 색상으로써 아티스틱 스케치를 채우기를 원한다면, 과정 506에서 비-사진형의 현실적 이미지는 그레이 스케일(grey scale) 화상으로 변환되고 과정 508이 수행된다.

과정 508에서, 비-사진형 현실적 이미지에 있어 비-사진형 현실적 컬러들은 다수의 컬러 그룹들로 그룹화된다. 과정 510에서 각각의 컬러 그룹들에 속하는 제1픽셀이 비-사진형 현실적 이미지를 스캐닝함으로써 확인된다. 과정 512에서, 상기 제1픽셀의 미리 정의된 이웃에서의 동일한 컬러 그룹에 속하는 하나 이상의 픽셀들이 비-사진형 현실적 이미지를 스캐닝함으로써 확인된다. 과정 514에서, 제1픽셀과, 그 제1픽셀의 이웃에 있는 그리고 각각의 컬러 그룹들에 속하는 하나 이상의 픽셀들과 관련된 정보가 시퀀스 데이터베이스(118)에 저장된다. 과정 516에서, 비-사진형의 현실적 이미지에서 처리할 어떤 픽셀이 남아있는지 여부가 결정된다.

만일 처리할 어떤 픽셀들이 남아있다면, 과정 508 내지 516이 반복된다. 만일 처리할 어떤 픽셀들도 남아있지 않다면, 과정 518에서 입력 이미지의 아티스틱 스케치를 포함하는 이미지 파일이 획득된다. 과정 520에서, 아티스틱 스케치에서 채워질 컬러의 전체 양은 각각의 컬러 그룹들에 속하는 픽셀들에 기초하여 컬러 그룹들의 각각에 대해 미리 결정된 수의 타임라인들로 분할된다. 일 실시 예에 따르면, 컬러를 채우기 위한 타임라인들의 상기한 미리 결정된 수는 컬러를 채우는 것과 관련된 프레임들이 디스플레이되어야만 하는 프레임 레이트에 기초하여 결정된다. 과정 522에서, 각각의 컬러 그룹들과 관련된 타임라인 정보는 시퀀스 데이터베이스(118)에 저장된다. 과정 524에서, 상기 아티스틱 스케치는 각각의 컬러 그룹들과 관련된 상기한 미리 결정된 수의 타임라인들에 따라 비-사진형의 현실적 컬러들로 채워진다.

도 6은 본 발명의 또 다른 실시 예에 따른, 사용자에 의해 나타내진 아티스틱 스케치에서의 하나 이상의 영역들에 비-사진형의 현실감 있는 컬러를 채우는 예시적인 방법을 나타내는 프로세스 흐름도(600)이다. 과정 602에서, 입력 이미지에 원하는 비-사진형 현실적 효과를 적용함으로써 비-사진형 현실적 이미지가 형성된다. 과정 604에서, 사용자는 흑백 색상으로 아티스틱 스케치를 채우기를 원하는지 여부가 결정된다. 만일 사용자가 흑백 색상으로 아티스틱 스케치를 채우기를 원한다면, 과정 606에서 비-사진형 현실적 이미지는 그레이 스케일 이미지로 변환되고 과정 612가 수행된다.

과정 608에서, 입력 이미지의 아티스틱 스케치를 포함하는 이미지 파일이 획득된다. 과정 610에서, 사용자에 의해 나타내진 아티스틱 스케치의 하나 이상의 영역들이 사용자로부터 획득된다. 과정 612에서, 비-사진형 현실적 이미지로부터 컬러/그레이 스케일 값들이 아티스틱 스케치에서 사용자에 의해 드러난 해당하는 영역들에 적용된다. 하나 이상의 영역들에서 채워질 컬러의 양은 프레임 레이트에 기초하여 타임라인들로 분할되고, 그 타임라인 정보는 시퀀스 데이터베이스(118)에 저장된다는 것이 이해될 수 있다. 과정 614에서, 사용자가 아티스틱 스케치에서 어떤 다른 영역들을 페인팅하기를 원하는지 여부가 결정된다. 만일 결정이 예(true)이라면, 과정 610 내지 614가 수행되고, 그 밖에는 상기 프로세스 600은 종결된다.

도 7은 본 발명의 또 다른 실시 예에 따른, 아티스틱 스케치의 하나 이상의 영역들에 사용자 정의된 컬러들을 채우는 예시적인 방법을 나타내는 프로세스 흐름도(700)이다. 과정 702에서, 입력 이미지에 원하는 비-사진형 현실적 효과를 적용함으로써 비-사진형의 현실적 이미지가 형성되고, 과정 710이 수행된다.

과정 704에서, 입력 이미지의 아티스틱 스케치를 포함하는 이미지 파일이 획득된다. 과정 706에서, 컬러 팔레트로부터 하나 이상의 컬러들이 선택된다. 과정 708에서, 아티스틱 스케치의 하나 이상의 영역들이 사용자로부터 획득된다. 과정 710에서, 사용자에 의해 선택된 컬러들이 아티스틱 스케치에서의 해당하는 영역들에 적용된다. 예를 들면, 그래픽 유저 인터페이스(106) 상에서 아티스틱 스케치에 있는 포인트를 탭핑(tapping)할 시 하나 이상의 영역들에 하나 이상의 컬러들이 적용된다. 하나 이상의 영역들에서 채워질 컬러의 양은 프레임 레이트에 기초하여 타임라인들로 분할되고 또한 타임라인 정보는 시퀀스 데이터베이스(118)에 저장된다는 것이 인식될 수 있다. 과정 712에서, 사용자가 아티스틱 스케치에서 어떤 다른 영역들을 페인팅하기를 원하는지 여부가 결정된다. 만일 결정이 예(true)이라면, 과정 706 내지 712가 수행되고, 그렇지 않으면, 상기 프로세스 700은 종결된다.

도 8은 본 발명의 일 실시 예에 따른, 프레임 베이시스 당(per frame basis)의 입력 이미지의 아티스틱 스케치를 생성하는 과정을 예시하는 개략적인 흐름도(800)이다. 특히, 스크린샷 도면(screenshot view) 806A 내지 806F는 이동장치(802)의 그래픽 사용자 인터페이스(804)를 나타내고 있다. 스크린샷 도면 806A 내지 806F는 화가와 유사한 미리 정의된 시퀀스로 입력 이미지를 스케치하는 프로세스를 재생(playing)하는 비디오의 여러 프레임들을 예시하고 있다.

도 9는 본 발명의 일 실시 예에 따른, 프레임 베이시스 당의 입력 이미지의 아티스틱 스케치를 페인팅하는 과정을 예시하는 개략적인 흐름도(900)이다. 특히, 스크린샷 도면 906A 내지 906F는 이동장치(902)의 그래픽 사용자 인터페이스(904)를 나타내고 있다. 스크린샷 도면 906A 내지 906F는 화가에 의해 수행되는 페인팅 시퀀스에 유사한 입력 이미지의 아티스틱 스케치를 페인팅하는 과정을 재생하는 비디오의 여러 프레임들을 예시하고 있다.

전술한 실시 예들은 특정한 실시 예들을 참조하여 기술되었으나, 본 발명의 광의의 사상과 범위로부터 벗어남이 없이 이들 실시 예들에 대한 여러 가지의 변형과 변화가 이루어질 수도 있다는 점은 명백할 것이다. 더욱이, 그러한 여러 가지의 장치들, 모듈들, 검출기들, 그리고 여기에 기술된 유사한 것들은 하드웨어 회로, 예컨대, 상보형 금속산화물(CMOS) 반도체에 기초한 논리회로, 펌웨어, 소프트웨어 및/또는 하드웨어, 펌웨어, 및/또는 기계로 독출 가능한 매체에 구현된 소프트웨어의 임의의 조합을 이용하여 구현이 가능하고 동작될 수가 있을 것이다. 예를 들면, 다양한 전기적 구조와 방법들이 ASIC(Application Specific Integrated Circuit)과 같은, 트랜지스터, 로직 게이트, 및 전기회로를 이용하여 구현될 수 있을 것이다.

Claims (28)

1. 이미지의 라이브 아티스틱 스케치를 생성하기 위한 이미지 프로세싱 장치의 방법에 있어서,
   이미지 소스로부터 수신된 입력 이미지에서 복수의 에지들을 검출하는 과정;
   상기 복수의 검출된 에지들에 기초하여 미리 정의된 순서로 입력 이미지의 아티스틱 스케치를 생성하는 과정; 및
   상기 생성된 입력 이미지의 아티스틱 스케치를 이미지 프로세싱 장치의 그래픽 유저 인터페이스 상에서 실질적으로 동시에 렌더링하는 과정을 포함하는, 방법.
   
2. 제1항에 있어서,
   상기 입력 이미지의 아티스틱 스케치를 이미지 파일로서 저장하는 과정을 더 포함하는, 방법.
   
3. 제1항에 있어서,
   상기 아티스틱 스케치의 생성과 관련한 하나 이상의 프레임들을 포함하는 비디오 파일을 생성하는 과정을 더 포함하는, 방법.
   
4. 제1항에 있어서, 상기 복수의 검출된 에지들을 이용하여 미리 정의된 순서로 입력 이미지의 아티스틱 스케치를 생성하는 과정은,
   상기 복수의 에지들의 각각의 미리 정의된 이웃에서 상기 복수의 남아있는 에지들 중 하나 이상과 상기 복수의 에지들의 각각을 연결하는 과정;
   상기 연결된 에지들의 상기 각각과 관련된 하나 이상의 특징들을 결정하는 과정;
   상기 연결된 에지들의 상기 각각에 대한 픽셀 정보와 상기 연결된 에지들의 상기 각각과 관련된 특징 정보를 포함하는 적어도 하나의 시퀀스 데이터베이스를 생성하는 과정; 및
   상기 적어도 하나의 시퀀스 데이터베이스를 이용하여 미리 정의된 시퀀스로 입력 이미지의 아티스틱 스케치를 생성하는 과정을 포함하는, 방법.
   
5. 제4항에 있어서, 상기 복수의 에지들의 각각의 미리 정의된 이웃에서 상기 복수의 남아있는 에지들 중의 하나 이상과 상기 복수의 에지들의 각각을 연결하는 과정은,
   입력 이미지를 스캐닝함으로써 상기 검출된 에지들에서의 하나의 에지를 갖는 제1픽셀을 검출하는 과정;
   상기 제1픽셀의 미리 정의된 이웃을 스캐닝함으로써 상기 제1픽셀의 미리 정의된 이웃에서의 상기 검출된 에지들과 관련된 하나 이상의 픽셀들을 확인하는 과정;
   상기 제1픽셀의 이웃에서의 상기 하나 이상의 픽셀들에 상이한 레벨의 우선순위들을 할당하는 과정;
   상기 제1픽셀과 상기 제1픽셀의 이웃에 있는 상기 하나 이상의 픽셀들을 상기 적어도 하나의 시퀀스 데이터베이스에 저장하는 과정;
   상기 제1픽셀의 이웃에서 확인된 상기 하나 이상의 픽셀들로부터 가장 높은 우선순위를 갖는 픽셀을 선택하는 과정; 및
   상기 제1픽셀의 이웃에서의 상기 하나 이상의 픽셀들의 각각에 대해 할당, 저장 및 선택하는 과정들을 반복하는 것을 더 포함하는, 방법.
   
6. 제5항에 있어서,
   상기 연결된 에지들의 각각과 관련된 상기 하나 이상의 특징들을 계산하는 과정은,
   상기 연결된 에지들의 상기 각각과 관련된 각각의 픽셀과 관련된 하나 이상의 특징들을 계산하는 과정을 포함하는, 방법.
   
7. 제6항에 있어서,
   각각의 픽셀과 관련된 상기 하나 이상의 특징들은 공간적 위치, 이웃구역, 카테고리 및 픽셀 값으로 이루어지는 그룹으로부터 선택되는, 방법.
   
8. 제7항에 있어서,
   상기 적어도 하나의 시퀀스 데이터베이스를 이용하여 미리 정의된 시퀀스로 입력 이미지의 아티스틱 스케치를 생성하는 과정은,
   상기 적어도 하나의 시퀀스 데이터베이스로부터 상기 연결된 에지들의 각각과 관련된 특징 정보와 픽셀 정보를 추출하는 과정;
   상기 연결된 에지들의 각각을 상기 픽셀 정보와 특징 정보를 이용하여 미리 정의된 수의 타임라인들로 분할하는 과정;
   상기 연결된 에지들의 각각과 관련된 타임라인 정보를 상기 적어도 하나의 시퀀스 데이터베이스에 저장하는 과정; 및
   상기 연결된 에지들의 각각과 관련된 상기 저장된 타임라인 정보에 따라 상기 연결된 에지들의 각각을 렌더링함으로써 입력 이미지의 아티스틱 스케치를 생성하는 과정을 포함하는, 방법.
   
9. 제1항에 있어서,
   비-사진형의 현실적 색채들로써 입력 이미지의 아티스틱 스케치를 채우는 과정; 및
   이미지 프로세싱 장치의 그래픽 유저 인터페이스 상에서 상기 비-사진형 현실적 색채들로써 입력 이미지의 아티스틱 스케치를 채우는 것을 실질적으로 동시에 렌더링하는 과정을 더 포함하는, 방법.
   
10. 제9항에 있어서,
    상기 비-사진형 현실적 색채들로 채워진 입력 이미지의 아티스틱 스케치를 이미지 파일로서 저장하는 과정을 더 포함하는, 방법.
    
11. 제9항에 있어서,
    비-사진형 현실적 효과로들써 아티스틱 스케치를 채우는 것과 관련된 복수의 프레임들을 포함하는 비디오 파일을 생성하는 과정을 더 포함하는, 방법.
    
12. 제9항에 있어서, 비-사진형의 현실적 색채로써 입력 이미지의 아티스틱 스케치를 채우는 상기 과정은,
    입력 이미지에 원하는 비-사진형 현실적 효과를 적용함으로써 입력 이미지로부터 비-사진형의 현실감 있는 색채들을 획득하는 과정;
    입력 이미지로부터 획득된 상기 비-사진형 현실적 색채들을 복수의 색채 그룹들로 그룹화(grouping)하는 과정;
    비-사진형 현실적 효과로써 입력 이미지를 스캐닝함으로써 색채 그룹들 각각에 속하는 제1픽셀을 확인하는 과정;
    상기 제1픽셀의 미리 정의된 이웃을 스캐닝함으로써 상기 제1픽셀의 미리 정의된 이웃에서의 상기 색채 그룹들 각각에 속하는 하나 이상의 픽셀들을 확인하는 과정;
    상기 색채 그룹들의 각각에 속하는 상기 제1픽셀 및 상기 제1픽셀들의 이웃에서의 상기 하나 이상의 픽셀들을 상기 적어도 하나의 시퀀스 데이터베이스에 저장하는 과정; 및
    또 다른 픽셀을 확인하고, 상기 또 다른 픽셀의 미리 정의된 이웃에 있는 하나 이상의 픽셀들을 확인하고, 그리고 전체 입력 이미지에 대해 상기 또 다른 픽셀 및 하나 이상의 픽셀들을 저장하는 과정들을 반복하는 것을 포함하는, 방법.
    
13. 제12항에 있어서, 비-사진형 현실적 색채들로써 상기 입력 이미지의 아티스틱 스케치를 채우는 과정은,
    입혀질 컬러의 전체 양을 각각의 컬러 그룹에 대해 미리 결정된 수의 타임라인들로 분할하는 과정;
    각각의 색채 그룹과 관련된 타임라인 정보를 상기 적어도 하나의 시퀀스 데이터베이스에 저장하는 과정; 및
    상기 각각의 색채 그룹과 관련된 상기한 미리 결정된 수의 타임라인들에 따라 비-사진형 현실적 색채로써 상기 아티스틱 스케치를 채우는 과정을 더 포함하는, 방법.
    
14. 프로세서;
    상기 프로세서에 접속되는 메모리로서, 입력 이미지에 있어 복수의 에지들을 검출하도록 구성된 에지 검출기와, 상기 복수의 검출된 에지들에 기초하여 미리 정의된 시퀀스로 상기 입력 이미지의 아티스틱 스케치를 생성하도록 구성된 스케칭 모듈을 포함하는, 상기 메모리; 및
    상기 생성된 입력 이미지의 아티스틱 스케치를 실질적으로 동시에 렌더링하도록 구성된 그래픽 유저 인터페이스를 포함하는, 장치.
    
15. 제14항에 있어서,
    상기 스케칭 모듈은 상기 입력 이미지의 아티스틱 스케치를 포함하는 이미지 파일을 발생하도록 구성되는, 장치.
    
16. 제14항에 있어서,
    상기 스케칭 모듈은 아티스틱 스케치의 생성과 관련된 하나 이상의 프레임들을 포함하는 비디오 파일을 생성하도록 구성되는, 장치.
    
17. 제14항에 있어서, 상기 미리 정의된 순서로 입력 이미지의 아티스틱 스케치를 생성함에 있어, 상기 스케칭 모듈은,
    상기 복수의 에지들의 각각을 상기 복수의 에지들의 각각의 미리 정의된 이웃에서 상기 복수의 남아있는 에지들 중의 하나 이상과 연결하고;
    상기 연결된 에지들의 상기 각각과 관련된 하나 이상의 특징들을 생성하고;
    상기 연결된 에지들의 상기 각각에 대한 픽셀 정보 및 상기 연결된 에지들의 상기 각각과 관련된 특징 정보를 포함하는 적어도 하나의 시퀀스 데이터베이스를 생성하고;
    상기 적어도 하나의 시퀀스 데이터베이스를 이용하여 미리 정의된 시퀀스로 입력 이미지의 아티스틱 스케치를 생성하도록 구성된, 장치.
    
18. 제14항에 있어서, 상기 메모리는 비-사진형의 현실적 컬러들로써 상기 입력 이미지의 아티스틱 스케치를 채우도록 구성되는 페인팅 모듈을 포함하는, 장치.
    
19. 제18항에 있어서, 상기 그래픽 유저 인터페이스는 비-사진형 현실적 컬러로써 입력 이미지의 아티스틱 스케치를 채우는 것을 실질적으로 동시에 렌더링하도록 구성되는, 장치.
    
20. 제18항에 있어서, 상기 페인팅 모듈은 비-사진형 현실적 컬러로 입혀진 아티스틱 스케치를 포함하는 이미지 파일을 생성하도록 구성되는, 장치.
    
21. 제18항에 있어서, 상기 페인팅 모듈은 비-사진형 현실적 컬러로써 아티스틱 스케치를 채우는 것과 관련된 복수의 프레임들을 포함하는 비디오 파일을 생성하도록 구성되는, 장치.
    
22. 제18항에 있어서, 비-사진형 현실적 컬러로 입력 이미지의 아티스틱 스케치를 채우는 것에 있어, 상기 페인팅 모듈은,
    입력 이미지에 원하는 비-사진형 현실적 효과를 적용함으로써 입력 이미지로부터 비-사진형의 현실적 컬러들을 획득하고,
    입력 이미지로부터 획득된 상기 비-사진형 현실적 컬러들을 복수의 컬러 그룹들로 그룹화하고,
    비-사진형 현실적 효과로써 상기 입력 이미지를 스캐닝함으로써 컬러 그룹들 각각에 속하는 제1픽셀을 확인하고,
    상기 제1픽셀의 미리 정의된 이웃을 스캐닝함으로써 상기 제1픽셀의 상기 미리 정의된 이웃에서의 상기 컬러 그룹들 각각에 속하는 하나 이상의 픽셀들을 확인하고,
    상기 컬러 그룹들의 각각에 속하는 상기 제1픽셀 및 상기 제1픽셀들의 이웃에서의 상기 하나 이상의 픽셀들을 상기 적어도 하나의 시퀀스 데이터베이스에 저장하고,
    또 다른 픽셀을 확인하고, 상기 또 다른 픽셀의 미리 정의된 이웃에 있는 하나 이상의 픽셀들을 확인하고, 그리고 전체 입력 이미지에 대해 상기 또 다른 픽셀 및 하나 이상의 픽셀들을 저장하는 과정들을 반복하여 수행하고,
    입혀질 컬러의 전체 양을 각각의 색채 그룹에 대해 미리 결정된 수의 타임라인들로 분할하고,
    각각의 컬러 그룹과 관련된 타임라인 정보를 상기 적어도 하나의 시퀀스 데이터베이스에 저장하고,
    상기 각각의 컬러 그룹과 관련된 상기한 미리 결정된 수의 타임라인들에 따라 비-사진형의 현실적 컬러로써 상기 아티스틱 스케치를 채우도록 구성되는, 장치.
    
23. 이미지 프로세싱 장치에 의해 수행될 때,
    이미지 소스로부터 입력된 입력 이미지에서 복수의 에지들을 검출하고,
    상기 복수의 검출된 에지들에 기초하여 미리 정의된 순서로 입력 이미지의 아티스틱 스케치를 생성하고,
    이미지 프로세싱 장치의 그래픽 유저 인터페이스에서 입력 이미지의 상기 아티스틱 스케치의 생성을 실질적으로 동시에 제공하는 것을 포함하는,
    이미지의 라이브 아티스틱 스케치를 생성하는 방법을 상기 이미지 프로세싱 장치가 수행하도록 하는 명령들을 포함하는 비-일시적인(non-transitory) 컴퓨터로 독출 가능한, 저장 매체.
    
24. 제23항에 있어서, 상기 방법은 입력 이미지의 아티스틱 스케치를 이미지 파일로서 저장하는 것을 더 포함하는, 저장 매체.
    
25. 제23항에 있어서, 상기 방법은 아티스틱 스케치의 생성과 관련된 하나 이상의 프레임들을 포함하는 비디오 파일을 생성하는 것을 더 포함하는, 저장 매체.
    
26. 제23항에 있어서, 상기 방법은,
    비-사진형의 현실적 컬러로써 입력 이미지의 아티스틱 스케치를 채우고,
    상기 이미지 프로세싱 장치의 그래픽 유저 인터페이스에서 비-사진형 현실적 컬러들로써 상기 입력 이미지의 아티스틱 스케치를 채우는 것을 실질적으로 동시에 제공하는 것을 더 포함하는, 저장 매체.
    
27. 제26항에 있어서, 상기 방법은,
    비-사진형의 현실적 컬러로써 입혀진 입력 이미지의 아티스틱 스케치를 이미지 파일로서 저장하는 것을 더 포함하는, 저장 매체.
    
28. 제26항에 있어서, 상기 방법은,
    비-사진형의 현실적 컬러로써 상기 아티스틱 스케치를 채우는 것과 관련된 복수의 프레임들을 포함하는 비디오 파일을 생성하는 것을 더 포함하는, 저장 매체.

Images