KR102594300B1

KR102594300B1 - 패처 툴

Info

Publication number: KR102594300B1
Application number: KR1020217015182A
Authority: KR
Inventors: 클레어 브렛 세인트; 마크-안드레 다비그논
Original assignee: 소니그룹주식회사; 소니 픽쳐스 엔터테인먼트, 인크.
Priority date: 2018-12-05
Filing date: 2019-12-05
Publication date: 2023-10-26
Also published as: JP7367023B2; JP2022511064A; CN113168723B; US20200184688A1; EP3874459A4; KR20210077742A; EP3874459A1; US11195308B2; WO2020118028A1; CN113168723A

Abstract

입력 이미지 및 패턴 이미지를 수신하는 것; 패턴 이미지에서의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여 컬러 평균화된 출력을 생성하는 것; 및 왜곡 이미지를 이용하여 컬러 평균화된 출력에 왜곡을 적용하는 것을 포함하는, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하는 것.

Description

패처 툴

관련 출원들에 대한 상호 참조

본 출원은 2018년 12월 5일에 출원된, "Patcher Tool"이라는 명칭의, 동시 계류 중인 미국 가특허 출원 제62/775,838호의 35 U.S.C.§119(e) 하의 우선권의 이익들을 주장한다. 상기의 언급된 출원의 개시내용은 본 명세서에 참조로 포함된다.

분야

본 개시내용은 애니메이션 영화들(animated movies)에 관한 것으로서, 보다 구체적으로는, 애니메이션 영화들에서 가시적 브러시 스트로크들(visible brush strokes)을 이용하여 캐릭터들(characters)의 모습(look)을 생성하는 것에 관한 것이다.

컴퓨터 그래픽(computer graphics)(CG) 애니메이션 영화들에 대한 "사진 모습(look of picture)"의 기본 원리들은 물질들에 대한 현실 세계 표면 특성들을 유지하면서 피부(skin)를 스타일화(stylizing)하는 것 및 톤(tone) 및 표면 밑(subsurface)의 "양호한 모습(good look)"을 생성하는 것을 포함할 수 있다. 그러나, 그래픽 세부사항들을 일반 표면들에 적용하기 위해 개발된 솔루션들은 캐릭터의 얼굴에 적용될 때 너무 활성이고 산만한 것으로 보일 수 있다.

본 개시내용은 애니메이션 영화들에서 캐릭터들의 모습을 생성하는 것을 제공한다. 일 구현에서, 가시적 브러시 스트로크들을 이용하여 피부를 묘사함으로써 캐릭터들의 모습이 생성된다.

일 구현에서, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 시스템이 개시된다. 시스템은; 입력 이미지 및 패턴 이미지를 수신하는 모자이크 생성기(mosaic generator)―모자이크 생성기는 패턴 이미지에서의 각각의 패치(patch)를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여 컬러 평균화된 출력(color-averaged output)을 생성하도록 구성됨―; 및 컬러 평균화된 출력 및 왜곡 이미지(distortion image)를 수신하는 왜곡 생성기(distortion generator)―왜곡 생성기는 컬러 평균화된 출력에 왜곡을 적용하도록 구성됨―를 포함한다.

일 구현에서, 시스템은 스크린 공간 UV 좌표들을 재맵핑(remapping)하기 위해 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 왜곡을 적용하도록 구성된 재맵핑 모듈(remapping module)을 더 포함한다. 일 구현에서, 왜곡 이미지는 각각의 패치의 위치 경로에 잡음 패턴(noise pattern)을 적용하기에 충분한 파라미터들을 포함한다. 일 구현에서, 잡음 패턴은 왜곡 이미지의 R 및 G 채널들에 대응하도록 입력 이미지의 3-D 공간 UV 좌표들을 재맵핑함으로써 적용된다. 일 구현에서, 패턴 이미지는 균일한 컬러의 솔리드 영역들(solid regions)의 패턴을 갖는 가시적 브러시 스트로크들의 패턴을 표시한다. 일 구현에서, 패턴 이미지에서의 각각의 패치는 균일한 컬러이다.

다른 구현에서, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 방법이 개시된다. 방법은: 입력 이미지 및 패턴 이미지를 수신하는 단계; 패턴 이미지에서의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여 컬러 평균화된 출력을 생성하는 단계; 및 왜곡 이미지를 이용하여 컬러 평균화된 출력에 왜곡을 적용하는 단계를 포함한다.

일 구현에서, 왜곡을 적용하는 단계는 입력 이미지의 스크린 공간 UV 좌표들을 재맵핑하는 것을 포함한다. 일 구현에서, 재맵핑은 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 왜곡을 적용하는 것을 포함한다. 일 구현에서, 재맵핑은 입력 이미지의 스크린 공간 UV 좌표를 왜곡 이미지의 R 및 G 채널들에 재맵핑한다. 일 구현에서, 왜곡 이미지는 각각의 패치의 위치 경로에 적용되는 잡음 패턴을 도입한다. 일 구현에서, 입력 이미지는 3-D로 렌더링된다. 일 구현에서, 입력 이미지는 CG 애니메이션 영화의 프레임이다.

다른 구현에서, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 장치가 개시된다. 장치는: 입력 이미지 및 패턴 이미지를 수신하고, 패턴 이미지에서의 균일한 컬러의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여 컬러 평균화된 출력을 생성하기 위한 컬러 평균화 수단; 및 왜곡 이미지를 이용하여 컬러 평균화된 출력에 왜곡을 적용하기 위한 왜곡 적용 수단을 포함한다.

일 구현에서, 왜곡 적용 수단은 입력 이미지의 스크린 공간 UV 좌표들을 재맵핑하기 위한 재맵핑 수단을 포함한다. 일 구현에서, 재맵핑 수단은 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 왜곡을 적용하기 위한 수단을 포함한다. 일 구현에서, 재맵핑 수단은 입력 이미지의 스크린 공간 UV 좌표를 왜곡 이미지의 R 및 G 채널들에 재맵핑한다. 일 구현에서, 왜곡 이미지는 각각의 패치의 위치 경로에 적용되는 잡음 패턴을 도입한다. 일 구현에서, 입력 이미지는 3-D로 렌더링된다. 일 구현에서, 입력 이미지는 CG 애니메이션 영화의 프레임이다.

다른 특징들 및 이점들은, 예로서, 본 개시내용의 양태들을 예시하는 본 설명으로부터 명백할 것이다.

본 개시내용의 상세들은 그의 구조와 동작 둘다에 관해서, 동일한 참조 번호들이 동일한 부분들을 지칭하는 첨부 도면들의 연구에 의해 부분적으로 취해질 수 있다.
도 1은 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 패칭 시스템(patching system)의 블록도이다.
도 2는 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 프로세스의 흐름도이다.
도 3은 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 장치의 블록도이다.
도 4a는 본 개시내용의 구현에 따른, 컴퓨터 시스템 및 사용자의 표현이다.
도 4b는 본 개시내용의 구현에 따른, 패칭 애플리케이션을 호스팅하는 컴퓨터 시스템을 도시하는 기능 블록도이다.

전술한 바와 같이, CG 애니메이션 영화들에서, 캐릭터(예를 들어, 캐릭터의 피부)의 적절한 모습을 생성하는 것은 도전 과제일 수 있고, 그래픽 처리의 애플리케이션에서 더 신중한 방법을 찾을 필요가 있다.

본 개시내용의 특정 구현들은 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하는 것을 제공한다. 일 구현에서, 패칭 애플리케이션(예를 들어, 패처 툴(Patcher Tool))은 미묘하지만 그래픽인 방식으로 사양에 대한 분리(breakup)에 대한 특정 제어를 제공한다. 이어서, 캐릭터들의 모습은 더 화합하는(cohesive) 모습을 유지하기 위해 (피부의) 셰이딩 컴포넌트들(shading components)의 모두에 적용된다. 이 설명들을 읽은 후에, 본 개시내용을 다양한 구현들 및 응용들에서 어떻게 구현하는지가 명백해질 것이다. 본 개시내용의 다양한 구현들이 본 명세서에 설명되지만, 이들 구현들은 제한이 아니라 단지 예시로써 제시되었음을 이해해야 한다. 따라서, 다양한 구현들의 이러한 상세한 설명은 본 개시내용의 범위 또는 폭을 제한하는 것으로 해석되어서는 안된다.

일 구현에서, 패칭 애플리케이션은 제1 및 제2 이미지들을 이용하여 모자이크를 생성하고, 그 후 제3 이미지를 이용하여 왜곡을 적용하여 후술되는 "회화적 모습 또는 효과(painterly look or effect)"를 주입한다. 제1 이미지는 모자이크로서 표현되는 입력 이미지(즉, 스타일화될 이미지)이다. 제2 이미지는 모자이크의 패턴(또는 브러시 스트로크들의 패턴)을 표시하는 패턴 이미지이다. 패턴 이미지는 (일부 허용오차 내의) 균일한 컬러의 솔리드 영역들의 일부 패턴을 갖는 타겟 해상도(target resolution)의 이미지이다. 패턴 이미지의 '컬러' 채널들은 입력 이미지에 렌더링된 객체들에 대한 3-D 공간(UV)에서의 위치 정보를 포함한다(즉, 입력 이미지에서의 컬러는 렌더링의 결과인 반면, 패턴 이미지의 컬러는 3D 렌더링 동안 그 출력 픽셀을 생성한 객체의 위치이다).

패칭 애플리케이션은 입력 이미지 및 패턴 이미지(복수의 패치들로 이루어짐)를 수신하고, 패턴 이미지에서의 균일한 컬러의 각각의 패치를 입력 이미지에서의 대응하는 픽셀들의 평균 컬러로 대체한다. 따라서, 전술한 컬러 대체는 입력 패턴의 컬러 영역들의 형상을 조작함으로써 패턴들을 왜곡시킨다. 그러나, 컬러 대체는 종종 에일리어싱된(aliased) 것으로 보이는 결과 이미지에서 에지들을 생성한다. 일 구현에서, 세부사항들이 푸싱(push)되거나 풀링(pull)되고 결과들이 리샘플링(resampling)되도록 스크린 공간 UV 좌표들을 재맵핑하기 위해 제3 이미지의 R 및 G 채널들의 값들(및 부호들)을 이용함으로써 왜곡을 적용하기 위해 제3 이미지가 이용된다.

도 1은 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 패칭 시스템(100)의 블록도이다. 일 구현에서, 패칭 시스템(100)은 3차원(3-D)(예를 들어, CG 애니메이션 영화)으로 렌더링된 입력 이미지(110)를 수신하고, 2-D 룩킹 페인트 스트로크들(looking paint strokes)을 이용하여 핸드-드로잉된 이미지(hand-drawn image)의 모습을 생성한다. 즉, 패칭 시스템(100)은 2-D 환경에서 3-D 렌더링된 이미지에 대한 페인팅을 자동화하여, 이미지가 2-D로 렌더링된 것처럼 보이게 한다.

도 1의 도시된 구현에서, 패칭 시스템(100)은 모자이크 생성기(120) 및 왜곡 생성기(130)를 포함한다. 일 구현에서, 모자이크 생성기(120)는 입력 이미지(110) 및 패턴 이미지(112)를 수신하고, 패턴 이미지(112)에서의 균일한 컬러의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체한다. 전술한 바와 같이, 패턴 이미지(112)는 균일한 컬러의 솔리드 영역들의 일부 패턴을 갖는 브러시 스트로크들의 패턴을 표시한다. 즉, 모자이크 생성기(120)는 패턴 이미지(112)에서의 대응하는 영역 또는 패치(즉, 동일한 픽셀 위치들)에 적용하기 위해 입력 이미지(110)의 3-D 렌더링된 모델에서의 영역의 평균 컬러를 이용한다. 따라서, 모자이크 생성기(120)에 의해 수행되는 컬러 평균화는 패치가 CG 애니메이션 영화의 프레임들을 따라 이동함에 따라 패치의 매끄러운 컬러 그래디언트(smooth color gradient)를 단일 평균 컬러로 블러링(blurring)하는 효과를 갖는다. 그러나, 전술한 바와 같이, 컬러 대체는 단독으로, 에일리어싱된 것으로 보이는 결과 이미지에서 에지들을 종종 생성한다.

일 구현에서, 왜곡 생성기(130)는 모자이크 생성기(120)의 출력 뿐만 아니라, 왜곡 이미지(114)를 수신하고, 왜곡(예를 들어, 랜덤 잡음(random noise))을 출력에 적용한다. 왜곡 생성기(130)에 의한 적용은 프레임들의 이동 동안에 패치들이 일관되게 머무르고, 렌더링된 출력이 컬러 평균화만에 의한 것보다 훨씬 더 자연스럽게 보이게 한다. 일 구현에서, 왜곡 생성기(130)는 왜곡 이미지(114)의 R 및 G 채널들의 값들(및 부호들)을 이용함으로써 왜곡을 적용하여, 세부사항들이 푸싱 또는 풀링되고 결과들이 리샘플링되도록 스크린 공간 UV 좌표들을 재맵핑하기 위한 재맵핑 모듈(132)을 포함한다. 따라서, 왜곡 이미지(114)는 왜곡 이미지의 R 및 G 채널들에 대응하도록 입력 이미지의 3-D 공간 UV 좌표들을 재맵핑함으로써 패치들의 위치 경로에 적용되는 잡음 패턴을 도입하기에 충분한 파라미터들을 포함한다. 따라서, 왜곡 생성기(130)는 2-D 페인트 스트로크들을 이용하여 핸드-드로잉된 이미지의 모습을 갖는 출력 이미지(150)를 생성한다.

따라서, 모자이크 생성기(120)는 셀 잡음에 대한 변화를 이용하여 패턴 이미지(112)의 UV들로부터 패치들을 생성한다. 이것은 패치 크기들의 변화들을 도입하여 페인트의 더욱 랜덤한(그러나 더 인간적인) 적용을 시뮬레이션한다. 이것은 위치 데이터에 대해 발생하기 때문에, (왜곡 생성기(130)에 의해 생성된) 결과적인 페인트 스트로크들은 기하구조를 추적하고, 객체 경계들에 걸쳐 번지지(bleed) 않는다. 모자이크 생성기(120)로부터 출력된 각각의 패치는 왜곡 생성기(130)에서의 패치의 경계들을 결정하기 위한 식별자로서 이용될 수 있는 단일 좌표로 이루어진다. 패치에서의 모든 픽셀들은 반드시 연결되는 것은 아니지만, 소스 기하구조에 의해 관련된다.

일단 패치가 식별되면, 왜곡 생성기(130)는 텍스쳐 컬러 소스(texture color source)를 수신하고, 값들의 개별 세트를, 일 구현에서 입력 이미지(110)에서의 패치를 구성하는 컬러 값들의 평균인, 주어진 패치에 대한 균일한 출력 컬러로 재맵핑한다. 예를 들어, 재맵핑은 패치 내의 출력 컬러의 변화들을 도입하는 방식으로서 현재 픽셀로부터의 거리를 이용할 수 있다. 즉, 범위의 개념은 결과적인 회화적 효과에 대한 더욱 자연스러운 모습을 제공하는 더 큰 패치들 내에 더 많은 변화를 도입하기 위해 사용자들에 의해 변조된 입력 값으로서 도입될 수 있다.

도 2는 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 프로세스(200)의 흐름도이다. 일 구현에서, 프로세스(200)는 3차원(3-D)으로 렌더링된 입력 이미지(예를 들어, CG 애니메이션 영화)를 수신하고, 2-D 룩킹 페인트 스트로크들을 이용하여 핸드-드로잉된 이미지의 모습을 생성한다. 즉, 프로세스(200)는 2-D 환경에서 3-D 렌더링된 이미지에 대해 페인팅을 자동화하여, 이미지가 2-D로 렌더링된 것처럼 보이게 한다.

도 2의 도시된 구현에서, 프로세스(200)는 블록(210)에서, 입력 이미지 및 패턴 이미지를 수신하고, 패턴 이미지에서의 균일한 컬러의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체한다. 전술한 바와 같이, 패턴 이미지는 균일한 컬러의 솔리드 영역들의 일부 패턴을 갖는 브러시 스트로크들의 패턴을 표시한다. 즉, 입력 이미지의 3-D 렌더링된 모델에서의 영역의 평균 컬러는, 컬러 평균화된 출력을 생성하기 위해, 패턴 이미지에서의 대응하는 영역 또는 패치(즉, 동일한 픽셀 위치들)에 적용하는데 이용된다. 따라서, 컬러 평균화는 패치가 CG 애니메이션 영화의 프레임들을 따라 이동함에 따라 패치의 매끄러운 컬러 그래디언트를 단일 평균 컬러로 블러링하는 효과를 갖는다. 그러나, 전술한 바와 같이, 컬러 대체는 단독으로, 에일리어싱된 것으로 보이는 결과 이미지에서 에지들을 종종 생성한다.

일 구현에서, 프로세스(200)는 블록(220)에서 왜곡 이미지를 이용하여 컬러 평균화된 출력에 왜곡(예를 들어, 랜덤 잡음)을 적용한다. 일 구현에서, 프로세스(200)는 왜곡 이미지의 R 및 G 채널들의 값들(및 부호들)을 이용함으로써 왜곡을 적용하여, 세부사항들이 푸싱 또는 풀링되고 결과들이 리샘플링되도록 스크린 공간 UV 좌표들을 재맵핑한다. 따라서, 왜곡 이미지는 왜곡 이미지의 R 및 G 채널들에 대응하도록 입력 이미지의 3-D 공간 UV 좌표들을 재맵핑함으로써 패치들의 위치 경로에 적용되는 잡음 패턴을 도입한다. 따라서, 프로세스(200)는 2-D 페인트 스트로크들을 이용하여 핸드-드로잉된 이미지의 모습을 갖는 출력 이미지를 생성한다.

도 3은 본 개시내용의 일 구현에 따른, 가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 장치(300)의 블록도이다. 일 구현에서, 장치(300)는 3차원(3-D)으로 렌더링된 입력 이미지(예를 들어, CG 애니메이션 영화)를 수신하고, 2-D 룩킹 페인트 스트로크들을 이용하여 핸드-드로잉된 이미지의 모습을 생성한다. 즉, 장치(300)는 2-D 환경에서 3-D 렌더링된 이미지에 대한 페인팅을 자동화하여, 이미지가 2-D로 렌더링된 것처럼 보이게 한다.

도 3의 도시된 구현에서, 장치(300)는 컬러 평균화 수단(310) 및 왜곡 적용 수단(320)을 포함한다. 일 구현에서, 컬러 평균화 수단(310)은 입력 이미지(302) 및 패턴 이미지(304)를 수신하고, 패턴 이미지(304)에서의 균일한 컬러의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체한다. 전술한 바와 같이, 패턴 이미지(304)는 균일한 컬러의 솔리드 영역들의 일부 패턴을 갖는 브러시 스트로크들의 패턴을 표시한다.

일 구현에서, 컬러 평균화 수단(310)은 입력 이미지(302)의 3-D 렌더링된 모델에서의 영역의 평균 컬러를 이용하여, 패턴 이미지(304)에서의 대응하는 영역 또는 패치(즉, 동일한 픽셀 위치들)에 적용한다. 따라서, 컬러 평균화 수단(310)에 의해 수행되는 컬러 평균화는 패치가 CG 애니메이션 영화의 프레임들을 따라 이동함에 따라 패치의 매끄러운 컬러 그래디언트를 단일 평균 컬러로 블러링하는 효과를 갖는다.

다른 구현에서, 컬러 평균화 수단(310)은 입력 이미지(302)의 3-D 렌더링된 모델에서의 영역의 평균 컬러를 이용하여, 패턴 이미지(304)에서의 대응하는 영역 또는 패치(즉, 동일한 픽셀 위치들)에 적용한다. 전술한 바와 같이, 패턴 이미지는 균일한 컬러의 솔리드 영역들의 일부 패턴을 갖는 브러시 스트로크들의 패턴을 표시한다. 즉, 입력 이미지의 3-D 렌더링된 모델에서의 영역의 평균 컬러는 평균 컬러 출력을 생성하기 위해 패턴 이미지에서의 대응하는 영역 또는 패치(즉, 동일한 픽셀 위치들)에 적용되는데 이용된다. 그러나, 전술한 바와 같이, 컬러 대체는 단독으로, 에일리어싱된 것으로 보이는 결과 이미지에서 에지들을 종종 생성한다.

일 구현에서, 왜곡 적용 수단(320)은 왜곡 이미지(306)를 이용하여, 컬러 평균화된 출력에 왜곡(예를 들어, 랜덤 잡음)을 적용한다. 일 구현에서, 왜곡 적용 수단(320)은 왜곡 이미지의 R 및 G 채널들의 값들(및 부호들)을 이용함으로써 왜곡을 적용하여, 세부사항들이 푸싱 또는 풀링되고 결과들이 리샘플링되도록 스크린 공간 UV 좌표들을 재맵핑한다. 따라서, 왜곡 이미지는 왜곡 이미지의 R 및 G 채널들에 대응하도록 입력 이미지의 3-D 공간 UV 좌표들을 재맵핑함으로써 패치들의 위치 경로에 적용되는 잡음 패턴을 도입한다. 따라서, 왜곡 적용 수단(320)은 2-D 페인트 스트로크들을 이용하여 핸드-드로잉된 이미지의 모습을 갖는 출력 이미지를 생성한다.

도 4a는 본 개시내용의 구현에 따른, 컴퓨터 시스템(400) 및 사용자(402)의 표현이다. 사용자(402)는 컴퓨터 시스템(400)을 이용하여 도 1에 도시된 블록도의 시스템(100) 및 도 2에 도시된 프로세스(200)와 관련하여 도시되고 설명된 바와 같이 패칭 애플리케이션(490)을 구현한다.

컴퓨터 시스템(400)은 도 4b의 패칭 애플리케이션(490)을 저장 및 실행한다. 또한, 컴퓨터 시스템(400)은 소프트웨어 프로그램(404)과 통신할 수 있다. 소프트웨어 프로그램(404)은 패칭 애플리케이션을 위한 소프트웨어 코드를 포함할 수 있다. 소프트웨어 프로그램(404)은 아래에 더 설명되는 바와 같이, CD, DVD 또는 저장 드라이브와 같은 외부 매체 상에 로딩될 수 있다.

또한, 컴퓨터 시스템(400)은 네트워크(480)에 접속될 수 있다. 네트워크(480)는 다양한 상이한 아키텍처들, 예를 들어, 클라이언트-서버 아키텍처(client-server architecture), 피어-투-피어 네트워크 아키텍처(Peer-to-Peer network architecture), 또는 다른 타입의 아키텍처들로 접속될 수 있다. 예를 들어, 네트워크(480)는 패칭 애플리케이션(490) 내에서 이용되는 엔진들 및 데이터를 조정하는 서버(485)와 통신할 수 있다. 또한, 네트워크는 상이한 타입들의 네트워크들일 수 있다. 예를 들어, 네트워크(480)는 인터넷, 근거리 네트워크(Local Area Network) 또는 근거리 네트워크의 임의의 변형들, 원거리 네트워크(Wide Area Network), 도시 영역 네트워크(Metropolitan Area Network), 인트라넷(Intranet) 또는 엑스트라넷(Extranet), 또는 무선 네트워크일 수 있다.

도 4b는 본 개시내용의 구현에 따른, 패칭 애플리케이션(490)을 호스팅하는 컴퓨터 시스템(400)을 예시하는 기능 블록도이다. 제어기(410)는 프로그래머블 프로세서이고, 컴퓨터 시스템(400) 및 그 컴포넌트들의 동작을 제어한다. 제어기(410)는 메모리(420) 또는 내장된 제어기 메모리(도시되지 않음)로부터 (예를 들어, 컴퓨터 프로그램의 형태로) 명령어들을 로딩하고, 이러한 명령어들을 실행하여 시스템을 제어한다. 그 실행에서, 제어기(410)는 캡처 애플리케이션 내의 엔진들 및 데이터 추출기들의 생성 및 구성을 가능하게 하는 것과 같은 소프트웨어 시스템을 패칭 애플리케이션(490)에 제공한다. 대안적으로, 이러한 서비스는 제어기(410) 또는 컴퓨터 시스템(400)에서의 별도의 하드웨어 컴포넌트들로서 구현될 수 있다.

메모리(420)는 컴퓨터 시스템(400)의 다른 컴포넌트들에 의한 이용을 위해 일시적으로 데이터를 저장한다. 일 구현에서, 메모리(420)는 RAM으로서 구현된다. 일 구현에서, 메모리(420)는 또한 플래시 메모리 및/또는 ROM과 같은 장기 또는 영구 메모리를 포함한다.

스토리지(430)는 컴퓨터 시스템(400)의 다른 컴포넌트들에 의한 이용을 위해 일시적으로 또는 긴 기간 동안 데이터를 저장한다. 예를 들어, 스토리지(430)는 패칭 애플리케이션(490)에 의해 이용되는 데이터를 저장한다. 일 구현에서, 스토리지(430)는 하드 디스크 드라이브이다.

매체 디바이스(440)는 이동식 매체를 수용하고, 삽입된 매체에 데이터를 판독 및/또는 기입한다. 일 구현에서, 예를 들어, 매체 디바이스(440)는 광학 디스크 드라이브이다.

사용자 인터페이스(450)는 컴퓨터 시스템(400)의 사용자로부터의 사용자 입력을 받아들이고, 정보를 사용자(402)에게 제시하는 컴포넌트들을 포함한다. 일 구현에서, 사용자 인터페이스(450)는 키보드, 마우스, 오디오 스피커들, 및 디스플레이를 포함한다. 제어기(410)는 컴퓨터 시스템(400)의 동작을 조정하기 위해 사용자(402)로부터의 입력을 이용한다.

I/O 인터페이스(460)는, 외부 스토리지 또는 보조 디바이스들(예를 들어, 프린터 또는 PDA)과 같은 대응하는 I/O 디바이스들에 접속하기 위한 하나 이상의 I/O 포트를 포함한다. 일 구현에서, I/O 인터페이스(460)의 포트들은 USB 포트들, PCMCIA 포트들, 직렬 포트들, 및/또는 병렬 포트들과 같은 포트들을 포함한다. 다른 구현에서, I/O 인터페이스(460)는 외부 디바이스들과 무선으로 통신하기 위한 무선 인터페이스를 포함한다.

네트워크 인터페이스(470)는, 이더넷 접속을 지원하는 RJ-45 또는 "Wi-Fi" 인터페이스(802.11을 포함하지만, 이에 제한되지 않음)와 같은 유선 및/또는 무선 네트워크 접속을 포함한다.

컴퓨터 시스템(400)은 컴퓨터 시스템들에 전형적인 추가 하드웨어 및 소프트웨어(예를 들어, 전력(power), 쿨링(cooling), 운영 시스템(operating system))를 포함하지만, 이들 컴포넌트들은 간결성을 위해 도 4b에 구체적으로 도시되지 않는다. 다른 구현들에서, 컴퓨터 시스템의 상이한 구성들(예를 들어, 상이한 버스 또는 스토리지 구성들 또는 멀티-프로세서 구성)이 이용될 수 있다.

전술한 구현들은 엔터테인먼트 콘텐츠, 영화들, 텔레비전, 개인 용도, 게임들, 보안 비디오, 및 의료 이미징을 위한 카메라 시스템들을 포함하는 응용들에서 이용된다.

본 명세서에서의 개시된 구현들의 설명은 본 기술분야의 통상의 기술자가 본 개시내용을 만들거나 이용하도록 하기 위해 제공된다. 이들 구현들에 대한 다양한 수정들이 본 기술분야의 통상의 기술자에게 명백할 것이고, 본 명세서에 한정된 원리들이 본 개시내용의 사상 또는 범위로부터 벗어남이 없이 다른 구현들에 적용될 수 있다. 따라서, 본 개시내용은 본 명세서에서 보여진 구현들로 한정되는 것으로 의도되지 않으며, 본 명세서에 개시된 원리 및 새로운 특징들과 일치하는 가장 넓은 범위에 따라야 한다.

본 개시내용의 다양한 구현들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 기술들의 조합들로 실현된다. 일부 구현들은 하나 이상의 컴퓨팅 디바이스에 의해 실행되는 하나 이상의 컴퓨터 프로그램을 포함한다. 일반적으로, 컴퓨팅 디바이스는 하나 이상의 프로세서, 하나 이상의 데이터 저장 컴포넌트(예를 들어, 휘발성 또는 비휘발성 메모리 모듈들, 및 하드 및 플로피 디스크 드라이브들, CD-ROM 드라이브들, 및 자기 테이프 드라이브들과 같은, 영구 광학 및 자기 저장 디바이스들), 하나 이상의 입력 디바이스(예를 들어, 게임 조종기, 마우스 및 키보드), 및 하나 이상의 출력 디바이스(예를 들어, 디스플레이 디바이스)를 포함한다.

컴퓨터 프로그램들은 일반적으로 영구 저장 매체에 저장된 다음 실행시에 메모리에 복사되는 실행가능 코드를 포함한다. 적어도 하나의 프로세서는 미리 정해진 순서로 메모리로부터 프로그램 명령어들을 검색함으로써 코드를 실행한다. 프로그램 코드를 실행할 때, 컴퓨터는 입력 및/또는 저장 디바이스들로부터 데이터를 수신하고, 데이터에 대한 동작들을 수행하고, 이어서 결과적인 데이터를 출력 및/ 또는 저장 디바이스들에 전달한다.

본 기술분야의 통상의 기술자라면 본 명세서에 기술된 다양한 예시적인 모듈들 및 방법 단계들이 전자 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로서 구현될 수 있다는 것을 잘 알 것이다. 이러한 하드웨어와 소프트웨어의 상호교환가능성을 명확하게 예시하기 위해, 다양한 예시적인 모듈들 및 방법 단계들이 일반적으로 그들의 기능의 관점에서 본 명세서에 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지의 여부는 특정 응용 및 전체 시스템 상에 부과되는 설계 제약들에 의존한다. 통상의 기술자라면 설명된 기능을 각각의 특정 응용에 대해 가변 방식들로 구현할 수 있지만, 그러한 구현의 결정들은 본 개시내용의 범위를 벗어나는 것으로서 해석되어서는 안된다. 또한, 모듈 또는 단계 내의 기능들의 그룹화는 설명의 편의를 위한 것이다. 특정 기능들은 본 개시내용을 벗어나지 않고 하나의 모듈 또는 단계로부터 또 다른 것으로 이동될 수 있다.

앞서 논의된 각각의 예의 모든 특징들이 본 개시내용의 특정의 구현에서 반드시 요구되는 것은 아니다. 더욱이, 본 명세서에 제시된 설명 및 도면들이 본 개시내용에 의해 광범위하게 고려되는 청구 대상을 대표하는 것으로 이해되어야 한다. 본 개시내용의 범위는 본 기술분야의 통상의 기술자들에게 분명해질 수 있는 다른 구현들을 완전히 포함한다는 점 및 본 개시내용의 범위는 그에 따라 첨부된 청구항들 이외의 그 어떤 것에 의해서도 제한되지 않는다는 점이 추가로 이해된다.

Claims

가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 시스템으로서,
3-D로 렌더링된 입력 이미지 및 균일한 컬러의 솔리드 영역들의 패턴을 포함하는 패턴 이미지를 수신하는 모자이크 생성기로서, 모자이크 생성기는, 2-D 환경에서 패턴 이미지에서의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 3-D 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여, 2-D 룩킹 페인트 스트로크들(looking paint strokes)을 이용하여 핸드 드로잉된 이미지(hand-drawn image)의 모습을 갖는 컬러 평균화된 출력 이미지를 생성하고, 패턴 이미지는 균일한 컬러의 솔리드 영역들의 패턴을 갖는 가시적 브러시 스트로크들의 패턴을 표시하는, 모자이크 생성기; 및
컬러 평균화된 출력 이미지 및 왜곡 이미지를 수신하는 왜곡 생성기로서, 왜곡 생성기는 패치 크기들의 변화들을 도입함으로써 컬러 평균화된 출력 이미지에 왜곡을 적용하는, 왜곡 생성기
를 포함하는, 시스템.
제1항에 있어서,
스크린 공간 UV 좌표들을 재맵핑하기 위해 상기 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 상기 왜곡을 적용하는 재맵핑 모듈을 더 포함하는, 시스템.
제1항에 있어서,
상기 왜곡 이미지는 각각의 패치의 위치 경로에 잡음 패턴을 적용하기에 충분한 파라미터들을 포함하는, 시스템.
제3항에 있어서,
상기 잡음 패턴은 상기 왜곡 이미지의 R 및 G 채널들에 대응하도록 상기 입력 이미지의 3-D 공간 UV 좌표들을 재맵핑함으로써 적용되는, 시스템.
삭제
제1항에 있어서,
상기 패턴 이미지에서의 각각의 패치는 균일한 컬러인, 시스템.
가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 방법으로서,
3-D로 렌더링된 입력 이미지 및 균일한 컬러의 솔리드 영역들의 패턴을 포함하는 패턴 이미지를 수신하는 단계로서, 패턴 이미지는 균일한 컬러의 솔리드 영역들의 패턴을 갖는 가시적 브러시 스트로크들의 패턴을 표시하는, 단계;
2-D 환경에서 패턴 이미지에서의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 3-D 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여, 2-D 룩킹 페인트 스트로크들을 이용하여 핸드 드로잉된 이미지의 모습을 갖는 컬러 평균화된 출력 이미지를 생성하는 단계; 및
패치 크기들의 변화들을 도입함으로써 왜곡 이미지를 이용하여 컬러 평균화된 출력 이미지에 왜곡을 적용하는 단계
를 포함하는, 방법.
제7항에 있어서,
상기 왜곡을 적용하는 단계는 상기 입력 이미지의 스크린 공간 UV 좌표들을 재맵핑하는 것을 포함하는, 방법.
제8항에 있어서,
재맵핑은 상기 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 상기 왜곡을 적용하는 것을 포함하는, 방법.
제9항에 있어서,
상기 재맵핑은 상기 입력 이미지의 상기 스크린 공간 UV 좌표를 상기 왜곡 이미지의 상기 R 및 G 채널들에 재맵핑하는, 방법.
제7항에 있어서,
상기 왜곡 이미지는 각각의 패치의 위치 경로에 적용되는 잡음 패턴을 도입하는, 방법.
제7항에 있어서,
상기 입력 이미지는 3-D로 렌더링되는, 방법.
제7항에 있어서,
상기 입력 이미지는 CG 애니메이션 영화의 프레임인, 방법.
가시적 브러시 스트로크들을 이용하여 캐릭터들의 모습을 생성하기 위한 장치로서,
3-D로 렌더링된 입력 이미지 및 균일한 컬러의 솔리드 영역들의 패턴을 포함하는 패턴 이미지를 수신하고, 2-D 환경에서 패턴 이미지에서의 균일한 컬러의 각각의 패치를 각각의 패치의 픽셀들에 대응하는 입력 이미지에서의 픽셀들의 평균 컬러로 대체하여, 2-D 룩킹 페인트 스트로크들을 이용하여 핸드 드로잉된 이미지의 모습을 갖는 컬러 평균화된 출력 이미지를 생성하기 위한 컬러 평균화 수단으로서, 패턴 이미지는 균일한 컬러의 솔리드 영역들의 패턴을 갖는 가시적 브러시 스트로크들의 패턴을 표시하는, 컬러 평균화 수단; 및
패치 크기들의 변화들을 도입함으로써 왜곡 이미지를 이용하여 컬러 평균화된 출력 이미지에 왜곡을 적용하기 위한 왜곡 적용 수단
을 포함하는, 장치.
제14항에 있어서,
상기 왜곡 적용 수단은 상기 입력 이미지의 스크린 공간 UV 좌표들을 재맵핑하기 위한 재맵핑 수단을 포함하는, 장치.
제15항에 있어서,
상기 재맵핑 수단은 상기 왜곡 이미지의 R 및 G 채널들의 값들 및 부호들을 이용하여 상기 왜곡을 적용하기 위한 수단을 포함하는, 장치.
제16항에 있어서,
상기 재맵핑 수단은 상기 입력 이미지의 상기 스크린 공간 UV 좌표를 상기 왜곡 이미지의 상기 R 및 G 채널들에 재맵핑하는, 장치.
제14항에 있어서,
상기 왜곡 이미지는 각각의 패치의 위치 경로에 적용되는 잡음 패턴을 도입하는, 장치.
제14항에 있어서,
상기 입력 이미지는 3-D로 렌더링되는, 장치.
제14항에 있어서,
상기 입력 이미지는 CG 애니메이션 영화의 프레임인, 장치.