KR101406861B1 - 회화적 표현을 위한 영상 처리 장치 및 방법 - Google Patents

회화적 표현을 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101406861B1
KR101406861B1 KR1020130010611A KR20130010611A KR101406861B1 KR 101406861 B1 KR101406861 B1 KR 101406861B1 KR 1020130010611 A KR1020130010611 A KR 1020130010611A KR 20130010611 A KR20130010611 A KR 20130010611A KR 101406861 B1 KR101406861 B1 KR 101406861B1
Authority
KR
South Korea
Prior art keywords
image
stroke
brush
canvas
generating
Prior art date
Application number
KR1020130010611A
Other languages
English (en)
Inventor
정진우
조영원
나종원
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020130010611A priority Critical patent/KR101406861B1/ko
Application granted granted Critical
Publication of KR101406861B1 publication Critical patent/KR101406861B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

회화적 표현을 위한 영상 처리 장치 및 방법이 개시된다. 영상 처리 방법은, 원본 영상을 입력받고, 적어도 둘 이상의 붓(brush) 크기별로 원본 영상을 각각 필터링(filtering)하여 격자(grid) 영상을 생성하고, 원본 영상에 기초하여 초기화된 캔버스 영상과 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크(stroke)를 생성하며, 캔버스 영상 위에 스트로크를 배치하여 회화적 표현의 영상을 생성한다.

Description

회화적 표현을 위한 영상 처리 장치 및 방법{Image processing apparatus and method for painterly expression}
본 발명은 정밀한 화풍 표현을 위한 디지털 영상 처리 기술에 관한 것으로서, 특히 사진 영상을 변환하여 수채화 내지 유채화 등과 같은 회화적 정밀 표현을 위한 타원 스트로크를 생성하고, 이를 이용하여 세선을 표현하는 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.
아날로그 영상의 시대를 지난 바야흐로 디지털 영상의 시대가 도래하였다. 디지털 영상을 좀더 실제적인 사진과 같이 변환하는 기술에 대해서는 그 동안 하드웨어뿐만 아니라 소프트웨어적으로도 많은 연구 개발이 이루어졌다. 이와는 달리 사진을 수채화 내지 유채화 등과 같은 회화적 표현의 그림처럼 변환하는 기술에 대해서는 상대적으로 연구 개발이 많이 이루어지지 못하였다. 그러나, 최근 디지털 콘텐츠의 시장이 커짐에 따라 다양한 요구와 수요가 발생하였고, 사진으로부터 캐리커쳐, 수채화, 유채화 내지 목탄화 등과 같은 다양한 회화적 표현을 만들어내려는 시도들이 이루어지고 있다.
현재 존재하는 회화적 영상 처리 기법은 모두 최종 스트로크(stroke)의 표현 방식이 원으로 이루어져 있는 것으로 조사되었다. 그에 따라 산출된 결과 영상에서 정밀한 세선 표현에 한계가 있는 것이 문제점으로 지적되었다. 이하에서 인용되는 선행기술문헌에는 이미지를 단순화하여 스트로크 정보 기반의 렌더링 기술를 개시하고 있으나, 픽셀 기반의 손실 압축을 이용한 일종의 점묘 스트로크 기술에 해당하여 여전히 회화적 표현을 구현하는데 명백한 한계가 존재한다. 따라서, 디지털 영상 처리에 있어서 보다 사실적이고 정밀한 화풍을 구현할 수 있는 기술적 수단의 개발이 요구된다.
한국 공개특허 제2010-0094602호, 2010년 08월 27일 공개.
본 발명이 해결하고자 하는 기술적 과제는, 종래의 디지털 영상 변환 분야에서 사진 영상으로부터 회화적 표현의 영상으로 변환하는 기술이 갖는 표현의 빈약함을 해소하고, 특히 회화적 표현을 위한 붓의 궤적과 형태를 나타내는 스트로크 구현에 있어서 픽셀 블럭(pixel block)이나 원형 스트로크를 이용함으로 인해 정밀한 세선 표현이 불가능하였던 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 방법은, 원본 영상을 입력받는 단계; 적어도 둘 이상의 붓(brush) 크기별로 상기 원본 영상을 각각 필터링(filtering)하여 격자(grid) 영상을 생성하는 단계; 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크(stroke)를 생성하는 단계; 및 상기 스트로크를 상기 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성하는 단계;를 포함한다.
일 실시예에 따른 상기 영상 처리 방법에서, 상기 격자 영상을 생성하는 단계는, 상기 붓 크기에 따른 마스크(mask)를 이용하여 상기 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링(Gaussian low pass filtering)하는 단계; 및 상기 가우시안 저대역 필터링된 영상으로부터 상기 원본 영상 크기의 격자 영상을 재구성하는 단계;를 포함한다.
일 실시예에 따른 상기 영상 처리 방법에서, 상기 타원 형태의 스트로크를 생성하는 단계는, 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 산출하는 단계; 상기 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하고, 상기 산출된 차이로부터 면적 중심 위치와 공분산 행렬(covariance matrix)을 산출하는 단계; 및 상기 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성하는 단계;를 포함한다. 또한, 상기 영상 처리 방법은, 상기 부분 영상을 변환하여 획득된 휘도(luminance) 값으로부터 그래디언트(gradient) 정보를 추출하는 단계; 및 상기 추출된 그래디언트 정보에 기초하여 상기 형성된 붓 터치로부터 확장된 추가 타원을 선택적으로 형성하는 단계;를 더 포함할 수 있다.
일 실시예에 따른 상기 영상 처리 방법에서, 상기 회화적 표현의 영상을 생성하는 단계는, 상기 생성된 스트로크를 상기 캔버스 영상 위에 배치하는 단계; 및 상기 스트로크가 배치된 캔버스 영상과 상기 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 상기 스트로크 생성 과정 및 스트로크 배치 과정을 반복하는 단계;를 포함한다. 또한, 상기 스트로크를 상기 캔버스 영상 위에 배치하는 단계는, 붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서로 진행되거나, 랜덤(random)한 순서로 진행될 수 있다.
나아가, 이하에서는 상기 기재된 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 장치는, 원본 영상을 입력받는 입력부; 적어도 둘 이상의 붓 크기별로 상기 원본 영상을 각각 필터링하여 격자 영상을 생성하고, 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크를 생성하며, 상기 스트로크를 상기 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성하는 처리부; 및 상기 생성된 회화적 표현의 영상을 디스플레이 수단에 표시하는 출력부;를 포함한다.
일 실시예에 따른 상기 영상 처리 장치에서, 상기 처리부는, 상기 붓 크기에 따른 마스크를 이용하여 상기 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링하는 필터; 상기 가우시안 저대역 필터링된 영상으로부터 상기 원본 영상 크기의 격자 영상을 재구성하는 격자 영상 생성부; 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 산출하는 영상 감산부; 상기 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하는 최대 오차 위치 탐지부; 상기 산출된 차이로부터 면적 중심 위치와 공분산 행렬을 산출하는 공분산 행렬 산출부; 상기 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성하는 스트로크 생성부; 및 상기 생성된 스트로크를 상기 캔버스 영상 위에 배치하되, 상기 스트로크가 배치된 캔버스 영상과 상기 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 상기 스트로크 생성 과정 및 스트로크 배치 과정을 반복함으로써, 회화적 표현의 영상을 생성하는 최종 영상 생성부;를 포함한다.
또한, 상기 영상 처리 장치에서, 상기 스트로크 생성부는, 상기 공분산 행렬로부터 결정된 장축과 단축의 비율을 유지하되, 단축의 길이를 적어도 붓 크기 이상으로 고정함으로써, 붓 크기 내에서 채색되지 않는 영역의 발생을 방지할 수 있다.
또한, 상기 영상 처리 장치에서, 상기 처리부는, 상기 부분 영상을 RGB 컬러 공간으로부터 YUV 공간으로 변환하는 변환부; 및 상기 변환된 영상의 휘도 값으로부터 그래디언트 정보를 추출하는 그래디언트 추출부;를 더 포함하고, 상기 스트로크 생성부는, 상기 추출된 그래디언트 정보에 기초하여 상기 형성된 붓 터치로부터 확장된 추가 타원을 선택적으로 형성할 수 있다.
또한, 상기 영상 처리 장치에서, 상기 추출된 그래디언트 정보가 서로 반대의 두 가지 방향으로 형성 가능한 경우, 상기 스트로크 생성부는, 상기 형성된 붓 터치를 구성하는 타원의 중심점으로부터 상기 추가 타원의 중심점까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용하여 스트로크의 변화를 90° 이하가 되도록 결정할 수 있다.
일 실시예에 따른 상기 영상 처리 장치에서, 상기 처리부는, 붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서 또는 랜덤한 순서로 상기 스트로크를 상기 캔버스 영상 위에 배치할 수 있다.
본 발명의 실시예들은, 붓의 터치를 모방한 타원 형태의 방향성을 갖는 스트로크를 생성함으로써 사진 영상으로부터 회화적 표현의 영상으로 변환함에 있어서 다양한 드로잉 효과를 재현할 수 있고, 보다 정밀한 세선 표현이 가능함으로 인해 변환된 영상을 크게 확대하더라도 패턴의 반복 없이 실제 그림 표현에 유사한 영상 표현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 회화적 표현을 위한 영상 처리 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 처리 방법에서 격자 영상을 생성하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 3은 도 2의 격자 영상을 생성하는 과정을 구현하기 위한 알고리즘(algorithm)에 따른 데이터의 흐름을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 영상 처리 방법에서 타원 형태의 스트로크를 생성하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5는 도 4의 타원 형태의 스트로크를 생성하는 과정을 구현하기 위한 알고리즘에 따른 데이터의 흐름을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 회화적 표현을 위한 영상 처리 장치를 도시한 블록도이다.
도 7은 본 발명의 실시예들에 따른 알고리즘의 성능 테스트를 위한 원본 영상을 예시한 도면이다.
도 8은 본 발명의 실시예들에 따른 알고리즘의 성능 테스트를 위한 타원 스트로크의 생성 과정을 붓 크기별로 예시한 도면이다.
도 9a 및 도 9b는 각각 원형 스트로크를 이용한 영상 처리 결과물과 타원 스트로크를 이용한 영상 처리 결과물을 비교하여 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 구체적으로 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
도 1은 본 발명의 일 실시예에 따른 회화적 표현을 위한 영상 처리 방법을 도시한 흐름도로서, 적어도 하나의 프로세서(processor)를 구비한 디지털 영상 처리 장치에 의해 구현될 수 있다. 이러한 디지털 영상 처리 장치는 디지털 영상 정보를 입력받아 이를 이하에서 정의되는 일련의 연산 과정을 통해 가공한 후, 최종적인 디지털 영상을 디스플레이 수단을 통해 사용자에게 표시할 수 있다.
S110 단계에서, 영상 처리 장치는 원본 영상을 입력받는다. 이러한 원본 영상은 사진 영상과 같이 사실적인 디지털 이미지가 될 수 있으나, 필요에 따라서는 회화적 표현의 영상으로 변환하고자 하는 다른 어떠한 종류의 이미지도 활용 가능하다.
S120 단계에서, 영상 처리 장치는 적어도 둘 이상의 붓(brush) 크기별로 상기 원본 영상을 각각 필터링(filtering)하여 격자(grid) 영상을 생성한다. 본 발명의 실시예들은 정밀한 회화적 표현을 구현하기 위해 다양한 붓 크기를 모방한다. 이를 위해 S120 단계에서는 원본 영상을 미리 설정된 다양한 크기의 붓 크기별로 각각 격자 형태로 분할한다.
S130 단계에서, 영상 처리 장치는 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크(stroke)를 생성한다. 여기서 캔버스 영상은 변환된 회화적 표현의 디지털 영상이 저장되는 공간을 의미하며, 초기에는 특정 값으로 초기화될 수 있을 것이다. 초기화의 경우, 원본 영상을 바탕으로 특정 색상이나 휘도값을 갖도록 설정되는 것이 바람직하다. 이제, S130 단계에서는 앞서 S120 단계를 통해 생성된 격자 영상을 구성하는 구성 요소, 즉 부분 영상과 이상에서 초기화된 캔버스 영상의 차이에 기반하여 방향성을 갖는 타원 형태의 스트로크를 생성한다.
앞서 종래의 기술들이 픽셀 블럭이나 원형으로 표현된 스트로크를 이용함으로써 결과 영상의 확대시 일정한 패턴이 반복되는 문제점이 존재하였음을 지적한 바 있다. 이러한 문제점을 해결하기 위해 본 발명의 실시예들은 마치 화가가 붓으로 캔버스 위해 터치하는 경우 나타날 수 있는 방향성 있는 스트로크를 모방한다. 이를 위해 본 발명의 실시예들은 부분 영상과 캔버스 영상 간의 차이로부터 스트로크의 방향성을 도출하고 이를 붓 터치로 구현하였다. 보다 구체적인 스트로크 생성 과정은 이후 도 2 및 도 3을 통해 설명하도록 한다.
S140 단계에서, 영상 처리 장치는 상기 S130 단계를 통해 생성된 스트로크를 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성한다. 이때, S130 단계에서 생성된 스트로크는 붓 크기별로 생성된 스트로크로서, 이러한 다양한 붓 크기를 고려한 스트로크를 캔버스 영상 위에 배치함으로써 보다 정밀한 세선 표현이 가능하다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 처리 방법에서 격자 영상을 생성하는 과정을 보다 구체적으로 도시한 흐름도로서, 설명의 중복을 피하기 위해 여기서는 S110 단계가 이미 수행된 직후라고 가정하고, S120 단계에 집중하여 기술하도록 한다.
S121 단계에서, 영상 처리 장치는 붓 크기에 따른 마스크(mask)를 이용하여 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링(Gaussian low pass filtering)한다. 이러한 필터링을 통해 붓 크기별로 참조 영상을 생성할 수 있다.
S122 단계에서, 영상 처리 장치는 상기 S121 단계를 통해 가우시안 저대역 필터링된 영상으로부터 원본 영상 크기의 격자 영상을 재구성한다. 즉, 붓 크기별로 생성된 참조 영상을 이용하여 원본 영상에 대응하는 격자 영상을 생성한다. 따라서, 격자 영상은 붓 크기의 수, 즉 필터링된 영상의 수만큼 생성되게 된다.
도 3은 도 2의 격자 영상을 생성하는 과정을 구현하기 위한 알고리즘(algorithm)에 따른 데이터의 흐름을 도시한 도면으로서, 원본 사진 영상으로부터 붓 크기별로 저대역 필터(LPF)(21)를 적용시켜 격자 영상(Ref Grid Img)(22)을 생성하는 과정을 예시하고 있다.
도 3에서, 원본 영상은 회화적 표현의 영상으로 변환하고자 하는 컬러 사진 영상이 될 수 있다. 저대역 필터(LPF)(21)는 2차원 영상(image)에 대한 가우시안(Gaussian) 저대역 필터(low pass filter, LPF)를 의미하며 5*5 또는 7*7 마스크(mask)의 형태로 구현될 수 있다. 마스크 각각의 값은 다음의 수학식 1에 의해 결정될 수 있고, 이때 분산값 σ2은 붓의 크기 Rx와 상수값 fσ를 이용해 (fσRx)2으로 정해진다. 단, 마스크의 중앙 위치는 좌표값 (i,j)=(0,0)이다.
Figure 112013009104079-pat00001
마스크의 분산값은 오직 붓의 크기만을 고려하여 설정될 수도 있으며, 수학식 1과 같이 실험을 통해 설정된 상수값이 추가적으로 활용될 수도 있을 것이다.
도 3에서, 참조 이미지(Ref Imgx)는 x 번째 붓 크기를 이용한 가우시안 저대역 필터를 원본 영상에 적용한 결과를 의미하며, 격자 이미지(Ref Grid Imgx)(22)는 참조 이미지(Ref Imgx)를 x 번째 붓 크기 Rx와 상수값 fg를 고려해 fσRx 만큼의 격자(grid)로 재구성한 영상을 나타낸다. 또한, 도 3에 도시된 바와 같이 격자 이미지(22)를 구성하는 각각의 셀(cell)은 부분 이미지로 명명하는데, 이러한 부분 이미지 SRef(i,j)는 참조 이미지(Ref Img)에서 (i,j) 번째 격자 위치에 포함된 부분 영상을 나타낸다.
이하에서는 이렇게 생성된 부분 이미지로부터 타원 스트로크를 생성하는 과정을 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 도 1의 영상 처리 방법에서 타원 형태의 스트로크를 생성하는 과정을 보다 구체적으로 도시한 흐름도로서, 설명의 중복을 피하기 위해 여기서는 S120 단계(격자 영상을 생성하는 단계)가 이미 수행된 직후라고 가정하고, S130 단계에 집중하여 기술하도록 한다.
S131 단계에서, 영상 처리 장치는 원본 영상에 기초하여 초기화된 캔버스 영상과 격자 영상을 구성하는 부분 영상의 차이를 산출한다. 즉, S131 단계에서는 목표로 하는 결과 영상과 현재 주어진 부분 영상의 차이에 해당하는 차분 영상(difference image)을 얻는다.
S132 단계에서, 영상 처리 장치는 상기 S131 단계를 통해 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하고, 상기 산출된 차이로부터 면적 중심 위치와 공분산 행렬(covariance matrix)을 산출한다. 이 과정은 차분 영상의 영역 내에서 오차가 최대가 되는 위치를 탐지함으로써 이로부터 타원의 방향성에 관한 정보를 얻기 위해 수행된다.
S133 단계에서, 영상 처리 장치는 상기 S132 단계를 통해 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성한다. 이 과정에서는 이상의 연산을 통해 획득된 공분산 행렬을 이용하여 타원의 형태를 확정하기 위해 필요한 필수 정보인, 중심점, 장축 및 단축의 길이와 방향을 결정하게 된다. 이들 필수 정보가 결정되면, 그에 따라 타원이 형성될 수 있기 때문이다.
도 5는 도 4의 타원 형태의 스트로크를 생성하는 과정을 구현하기 위한 알고리즘에 따른 데이터의 흐름을 도시한 도면으로서, 앞서 도 3을 통해 설명한 격자 영상을 구성하는 부분 영상(SRef)으로부터 타원 형태의 스트로크(stroke)를 추출해 캔버스(canvas)에 그리는 과정을 예시하고 있다.
도 5에서, 캔버스(canvas)는 만들어진 최종 그림이 저장될 메모리 공간이며, 캔버스 영상의 픽셀 별 초기값은 원본 사진 영상의 히스토그램에서 가장 빈도가 높은 색으로 캔버스의 모든 영역 픽셀 값들이 동일하게 설정되는 것이 바람직하다. 이렇게 초기화된 캔버스 영상은 타원 스트로크의 생성과 배치(스트로크가 캔버스 위에 그려지는 것을 의미한다.)를 단지 1회만 수행하는 것이 아니라, 다수 반복함으로써 보다 정교한 회화적 표현의 영상을 획득할 수 있다.
영상 감산부(image subtractor)(23)는 앞서 설명한 도 3의 알고리즘으로부터 얻어진 부분 영상(SRef)과 캔버스 영상과의 그레이스케일차 영상(difference image)를 생성한다. 이러한 차 영상에서의 픽셀 값은 동일 위치에서의 R,G,B 각각의 차이 값을 구한 뒤, 다음의 수학식 2와 같이 RGB 공간에서의 유클리디안 거리(Euclidean distance)를 정규화시킴으로써 얻어질 수 있다.
Figure 112013009104079-pat00002
수학식 2에서 R, G, B는 각각 해당 픽셀의 R, G, B값을 의미하며, 부가된 첨자는 영상의 종류가 부분 영상인지 캔버스 영상인지를 나타낸다.
도 5에서, 최대 오차 위치 탐지부(largest error point detector)(24)는 수학식 2의 D(x,y)의 픽셀 값들 중 최대값을 가지는 위치를 최대 오차 위치(largest error point)로 결정한다. 또한, 공분산 행렬 산출부(covariance matrix calculator)(25)는 부분 영상 SRef(i,j)와 캔버스 영상과의 차 영상에서 면적 중심(center of area) 위치와 공분산 행렬(covariance matrix)을 다음의 수학식 3 및 수학식 4와 같이 산출할 수 있다.
Figure 112013009104079-pat00003
수학식 3에서, step(D(x,y))는 수학식 2의 D(x,y)가 0보다 클 경우 1의 값을 갖고, 그 외에는 0의 값을 갖도록 정의된 계단 함수(step function)로서, 영상의 차이를 나타내는 D(x,y)에서 차이가 존재하는 경우에만 면적 중심 위치 산출 과정에 반영하기 위해 활용된다. 또한, 수학식 3에서 N은 D(x,y) 영상에서 픽셀 값이 0보다 큰 픽셀들의 총 수를 의미한다.
Figure 112013009104079-pat00004
또한, 수학식 4의 공분산 행렬로부터 타원의 장축과 단축 방향은 다음의 수학식 5와 같이 결정될 수 있다.
Figure 112013009104079-pat00005
이제, 이렇게 결정된 타원의 장축과 단축은 이상의 과정을 통해 얻어진 최대 오차 위치(largest error point)를 중심점으로 하여 이후 타원 형태의 스트로크를 형성하게 된다.
다만, 단축의 길이가 붓 크기보다도 작아질 경우, 붓 크기에 대응하는 영역 내에서 채색되지 못하는 영역이 발생할 우려가 있으므로, 이를 방지하기 위해 단축과 장축의 비율은 그대로 유지하되, 단축의 길이를 적어도 붓 크기만큼의 크기로 고정시킬 필요가 있다. 이러한 타원 크기에 대한 보정 작업은 다음의 수학식 6과 같이 결정될 수 있다.
Figure 112013009104079-pat00006
요약하건대, 타원 형태의 붓 터치를 형성하는 단계는, 공분산 행렬로부터 결정된 장축과 단축의 비율을 유지하되, 단축의 길이를 적어도 붓 크기 이상으로 고정하는 것이 바람직하다.
한편, 도 5에서, 변환부(YUV Transformer)(27)는 RGB 컬러 공간에서 표현되어 있는 부분 영상(SRef)을 YUV 공간으로 변환시킨다. 이때, 밝기/휘도(luminance)를 의미하는 Y 값만이 다음 단계인 그래디언트 추출부(Y-Gradient Detector)(28)로 넘겨지고, 그래디언트 추출부(28)에서는 Y값(휘도)의 변화를 통해 그래디언트(gradient) 정보를 추출해낸다. RGB 값을 통해 Y값을 변화시키는 방법은 다음의 수학식 7과 같다.
Figure 112013009104079-pat00007
또한, 도 5의 그래디언트 추출부(Y-Gradient Detector)(28)는 휘도 값을 표현해주는 YUV 컬러 공간에서의 Y값의 변화량을 통해 그래디언트 정보를 추출한다. 구체적으로 x축 방향으로 [-1 0 1] 필터를 적용해 각 픽셀에서 x축 방향으로의 변화량을 찾아내고, y축 방향으로 [-1 01]T 필터를 적용해 각 픽셀에서 y축 방향으로의 변화량을 찾아낸다. 그런 다음, {(x축 방향으로의 변화량)2+(y축 방향으로의 변화량)2}1/2을 이용하여 각 픽셀에서의 그래디언트 크기(Gradient magnitude)를 획득하고, tan-1((y축 방향으로의 변화량)/(x축 방향으로의 변화량)) 을 이용하여 각 픽셀에서의 그래디언트 방향(Gradient direction)을 찾아낸다.
이상의 과정을 요약하건대, 도 5의 실시예에 따른 영상 처리 알고리즘에서는, 부분 영상(SRef)을 변환하여 획득된 휘도(luminance) 값으로부터 그래디언트(gradient) 정보를 추출하고, 상기 추출된 그래디언트 정보에 기초하여 붓 터치로부터 확장된 추가 타원을 선택적으로 형성하게 된다.
도 5의 스트로크 생성부(ellipsoidal stroke generator)(26)는 이상의 과정을 통해 획득된 타원의 중심 위치, 타원의 회전 방향, 타원의 장축 및 단축 길이, 그리고 휘도값에 대한 그래디언트(Y-Gradient)의 크기(magnitude)와 방향(direction)을 활용해 구체적으로 타원 형태의 스트로크를 생성한다. 이때, 타원의 색 C는 타원 중심 위치와 동일한 위치에서의 원본 사진 영상의 컬러로 설정된다.
구체적으로 타원의 중심 위치, 회전 방향, 장축 및 단축 길이를 고려해 최초에 타원 형태로 붓 터치를 만든 뒤, 그래디언트 방향으로 붓 크기만큼 떨어진 추가 지점 P 에서 추가 타원을 그리는 방식으로 연결된 스트로크를 형성해 나간다. 이 경우, P 지점에서 C 색으로 추가 타원을 만든 후의 캔버스 영상의 결과와 추가 타원을 만들기 이전의 참조 영상(Ref Img)을 비교하여, 추가 타원을 만든 후의 캔버스 영상이 기준치 이상으로 크게 달라진 경우에는 이러한 추가 타원을 형성하지 않고 스트로크가 멈추게 된다. 또한, 미리 설정된 스트로크 길이의 임계치(maxStrokeLength) 길이보다 생성된 스트로크의 길이가 길어진 경우에도 추가 타원을 형성하지 않고 스트로크가 멈추는 것이 바람직하다. 여기서, 본 발명의 실시예가 구현하고 있는 알고리즘에서 언급하고 있는 스트로크란 붓 터치가 이루어질 예정인 곳의 위치, 붓 터치 모양 및 크기, 그리고 붓 터치 색깔의 조합을 의미한다.
마지막으로 그래디언트의 방향이 Θ, 180°-Θ (단, Θ는 0°~180°의 범위를 갖는다.) 이렇게 정반대의 두 가지 방향으로 형성 가능한 경우에는 이전 타원 중심 위치에서 현재 타원 중심 위치까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용해 90° 이하로 변화가 이루어지는 방향으로 스트로크 방향을 결정하게 된다. 그 이유는 원본 영상 내에 일 방향으로 길게 형성된 객체가 존재하는 경우, 이러한 객체를 회화적 표현의 영상으로 변환함에 있어서, 스트로크의 방향이 한 쪽 방향으로 일관성 있게 형성되도록 하기 위함이다. 즉, 이상의 스트로크 방향 결정 기법은 스트로크가 진행되는 방향이 현재의 타원의 그래디언트 방향과 크게 벗어나지 않도록 제어하는 역할을 수행한다.
요약하건대, 추출된 그래디언트 정보가 서로 반대의 두 가지 방향으로 형성 가능한 경우, 스트로크를 형성하는 붓 터치를 구성하는 타원의 중심점으로부터 추가 타원의 중심점까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용하여 스트로크의 변화를 90° 이하가 되도록 결정하는 것이 바람직하다.
이제, 도 5의 마지막 구성인 최종 영상 생성부(random painter)(29)는 모든 부분 영상 SRef(i,j)으로부터 스트로크들이 만들어진 후, 이들 스트로크를 랜덤(Random)하게 선택되어 캔버스 영상 위에 표시한다. 스트로크를 표시함에 있어서, 랜덤한 선택을 하는 이유는, 추후 완성된 캔버스 영상 내에 특정한 패턴이 만들어지는 것을 방지하기 위해서이다.
또한, 최종 영상 생성부(29)를 통해 캔버스 영상이 변화된 뒤에는 다시 부분 영상 SRef(i,j)과의 비교를 통해 도 5를 통해 제시된 알고리즘의 수행 과정들이 특정 오차 이내가 될 때까지 반복하다. 그 결과 캔버스 영상은 점차 원본 컬러 사진의 영상과 유사한 형태를 만들어내면서도 정밀한 세선 표현이 포함된 회화적 표현 기법을 유지하게 된다.
요약하건대, 회화적 표현의 영상을 생성하는 과정은, 생성된 스트로크를 캔버스 영상 위에 배치하되, 스트로크가 배치된 캔버스 영상과 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 이상의 스트로크 생성 과정 및 스트로크 배치 과정을 반복하는 것이 바람직하다. 특히, 스트로크를 상기 캔버스 영상 위에 배치하는 과정은 붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서로 진행되거나, 랜덤(random)한 순서로 진행되는 것이 바람직하다.
도 6은 본 발명의 일 실시예에 따른 회화적 표현을 위한 영상 처리 장치(600)를 도시한 블록도로서, 이상에서 설명한 영상 처리 방법을 구현할 수 있는 장치를 개괄적으로 도시하였다. 설명의 중복을 피하기 위해 여기서는 장치적 구성을 중심으로 그 수행 동작을 약술하도록 한다.
입력부(10)는 원본 영상을 입력받는 수단으로서, 디지털 영상을 입력받을 수 있는 다양한 입력 수단으로서 구현될 수 있다.
처리부(20)는 적어도 둘 이상의 붓 크기별로 상기 원본 영상을 각각 필터링하여 격자 영상을 생성하고, 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크를 생성하며, 상기 스트로크를 상기 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성한다. 이러한 처리부(20)는 앞서 도 3 및 도 5를 통해 설명한 각 연산 블록이 포함될 수 있으며, 이들 연산을 수행하기 위해 적어도 하나의 프로세서(processor)와 연산 과정에서 활용되는 데이터를 저장할 수 있는 메모리(memory) 및 연산을 정의하는 일련의 프로그램 코드로서 구현될 수 있다.
이러한 처리부(20)는, 필터를 통해 붓 크기에 따른 마스크를 이용하여 상기 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링하고, 격자 영상 생부를 통해 상기 가우시안 저대역 필터링된 영상으로부터 상기 원본 영상 크기의 격자 영상을 재구성하고, 영상 감산부를 통해 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 산출하고, 최대 오차 위치 탐지부를 통해 상기 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하고, 공분산 행렬 산출부를 통해 상기 산출된 차이로부터 면적 중심 위치와 공분산 행렬을 산출하고, 스트로크 생성부를 통해 상기 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성하며, 최종 영상 생성부를 통해 상기 생성된 스트로크를 상기 캔버스 영상 위에 배치하되, 상기 스트로크가 배치된 캔버스 영상과 상기 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 상기 스트로크 생성 과정 및 스트로크 배치 과정을 반복함으로써, 회화적 표현의 영상을 생성한다.
또한, 처리부(20)의 스트로크 생성부는, 상기 공분산 행렬로부터 결정된 장축과 단축의 비율을 유지하되, 단축의 길이를 적어도 붓 크기 이상으로 고정함으로써, 붓 크기 내에서 채색되지 않는 영역의 발생을 방지하게 된다.
또한, 처리부(20)는 변환부를 통해 상기 부분 영상을 RGB 컬러 공간으로부터 YUV 공간으로 변환하고, 그래디언트 추출부를 통해 상기 변환된 영상의 휘도 값으로부터 그래디언트 정보를 추출하며, 스트로크 생성부를 통해 상기 추출된 그래디언트 정보에 기초하여 상기 형성된 붓 터치로부터 확장된 추가 타원을 선택적으로 형성할 수 있다.
또한, 상기 추출된 그래디언트 정보가 서로 반대의 두 가지 방향으로 형성 가능한 경우, 처리부(20)는 스트로크 생성부를 통해 상기 형성된 붓 터치를 구성하는 타원의 중심점으로부터 상기 추가 타원의 중심점까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용하여 스트로크의 변화를 90° 이하가 되도록 결정할 수 있다.
또한, 처리부(20)는, 붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서 또는 랜덤한 순서로 상기 스트로크를 상기 캔버스 영상 위에 배치하는 것이 바람직하다.
마지막으로, 도 6의 출력부(30)는 상기 처리부(20)를 통해 생성된 회화적 표현의 영상을 디스플레이 수단(40)에 표시한다.
도 7은 본 발명의 실시예들에 따른 알고리즘의 성능 테스트를 위한 원본 영상을 예시한 도면이며, 도 8은 본 발명의 실시예들에 따른 알고리즘의 성능 테스트를 위한 타원 스트로크의 생성 과정을 붓 크기별로 예시한 도면이다.
도 8을 참조하면, 도 7의 원본 영상으로부터 붓 크기별로 다양한 형태의 타원 스트로크가 생성되고 있음을 확인할 수 있다. 이러한 붓 크기별로 생성된 타원 형태의 스트로크는 단지 규칙적으로 캔버스 영상 내에 표시되는 것이 아니라, 붓 크기가 큰 순서에서 작은 순서로 표시되거나, 붓 터치를 임의의 순서로 배치함으로써 보다 정밀한 세선 표현이 가능하게 된다.
도 9a 및 도 9b는 각각 원형 스트로크를 이용한 영상 처리 결과물과 타원 스트로크를 이용한 영상 처리 결과물을 비교하여 설명하기 위한 도면으로서, 도 9a의 원형 스트로크로 표현된 그림에 비해 본 발명의 실시예에 따라 도 9b의 타원형 스트로크로 표현된 그림이 보다 정밀한 회화적 표현이 가능함을 예시하고 있다.
원형으로 표시된 3 군데 영역을 중심으로 도 9a 및 도 9b을 비교하여 보자.
첫째, 하늘 부분을 비교하면, 도 9a의 원형 스트로크를 이용한 경우 원형의 스트로크가 발견되는 반면, 도 9b의 타원 스트로크를 이용한 경우 자연스러운 하늘 묘사가 이루어지고 있음을 확인할 수 있다.
둘째, 나뭇잎 부분을 비교하면, 도 9a의 원형 스트로크를 이용한 경우에 비해, 도 9b의 타원 스트로크를 이용한 경우가 보다 선명한 나뭇잎 묘사가 이루어지고 있음을 확인할 수 있다.
셋째, 잔디 부분을 비교하면, 도 9a의 원형 스트로크를 이용한 경우 잔디의 세부 묘사가 없이 초록색 색상이 뭉쳐 부자연스럽게 표현되는 반면, 도 9b의 타원 스트로크를 이용한 경우 자연스럽고 정밀한 잔디의 묘사가 이루어지고 있음을 확인할 수 있다.
상기된 본 발명의 실시예들에 따르면, 붓의 터치를 모방한 타원 형태의 방향성을 갖는 스트로크를 생성함으로써 사진 영상으로부터 회화적 표현의 영상으로 변환함에 있어서 다양한 드로잉 효과를 재현할 수 있고, 보다 정밀한 세선 표현이 가능함으로 인해 변환된 영상을 크게 확대하더라도 패턴의 반복 없이 실제 그림 표현에 유사한 영상 표현이 가능하다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
600 : 영상 처리 장치
10 : 입력부 20 : 처리부
30 : 출력부 40 : 디스플레이
21 : 필터 22 : 격자 영상 생성부
23 : 영상 감산부 24 : 최대 오차 위치 탐지부
25 : 공분산 행렬 산출부 26 : 스트로크 생성부
27 : 변환부 28 : 그래디언트 추출부
29 : 최종 영상 생성부

Claims (15)

  1. 영상 처리 방법에 있어서,
    원본 영상을 입력받는 단계;
    적어도 둘 이상의 붓(brush) 크기별로 상기 원본 영상을 각각 필터링(filtering)하여 격자(grid) 영상을 생성하는 단계;
    상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크(stroke)를 생성하는 단계; 및
    상기 스트로크를 상기 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성하는 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 격자 영상을 생성하는 단계는,
    상기 붓 크기에 따른 마스크(mask)를 이용하여 상기 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링(Gaussian low pass filtering)하는 단계; 및
    상기 가우시안 저대역 필터링된 영상으로부터 상기 원본 영상 크기의 격자 영상을 재구성하는 단계;를 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 타원 형태의 스트로크를 생성하는 단계는,
    상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 동일 위치에 대한 차이를 산출하는 단계;
    상기 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하고, 상기 산출된 차이로부터 상기 부분 영상을 기준으로 면적 중심 위치와 공분산 행렬(covariance matrix)을 산출하는 단계; 및
    상기 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성하는 단계;를 포함하는 방법.
  4. 제 3 항에 있어서,
    상기 타원 형태의 붓 터치를 형성하는 단계는,
    상기 공분산 행렬로부터 결정된 장축과 단축의 비율을 유지하되, 단축의 길이를 적어도 붓 크기 이상으로 고정하는 것을 특징으로 하는 방법.
  5. 제 3 항에 있어서,
    상기 부분 영상을 변환하여 획득된 휘도(luminance) 값으로부터 그래디언트(gradient) 정보를 추출하는 단계; 및
    상기 추출된 그래디언트 정보에 기초하여 상기 형성된 붓 터치로부터 확장된 추가 타원을 선택적으로 형성하는 단계;를 더 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 추출된 그래디언트 정보가 서로 반대의 두 가지 방향으로 형성 가능한 경우, 상기 형성된 붓 터치를 구성하는 타원의 중심점으로부터 상기 추가 타원의 중심점까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용하여 스트로크의 변화를 90° 이하가 되도록 결정하는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    상기 회화적 표현의 영상을 생성하는 단계는,
    상기 생성된 스트로크를 상기 캔버스 영상 위에 배치하는 단계; 및
    상기 스트로크가 배치된 캔버스 영상과 상기 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 상기 스트로크 생성 과정 및 스트로크 배치 과정을 반복하는 단계;를 포함하는 방법.
  8. 제 7 항에 있어서,
    상기 스트로크를 상기 캔버스 영상 위에 배치하는 단계는,
    붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서로 진행되거나, 랜덤(random)한 순서로 진행되는 것을 특징으로 하는 방법.
  9. 제 1 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 영상 처리 장치에 있어서,
    원본 영상을 입력받는 입력부;
    적어도 둘 이상의 붓 크기별로 상기 원본 영상을 각각 필터링하여 격자 영상을 생성하고, 상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 차이를 이용하여 타원 형태의 스트로크를 생성하며, 상기 스트로크를 상기 캔버스 영상 위에 배치하여 회화적 표현의 영상을 생성하는 처리부; 및
    상기 생성된 회화적 표현의 영상을 디스플레이 수단에 표시하는 출력부;를 포함하는 장치.
  11. 제 10 항에 있어서,
    상기 처리부는,
    상기 붓 크기에 따른 마스크를 이용하여 상기 원본 영상을 붓 크기별로 각각 가우시안 저대역 필터링하는 필터;
    상기 가우시안 저대역 필터링된 영상으로부터 상기 원본 영상 크기의 격자 영상을 재구성하는 격자 영상 생성부;
    상기 원본 영상에 기초하여 초기화된 캔버스 영상과 상기 격자 영상을 구성하는 부분 영상의 동일 위치에 대한 차이를 산출하는 영상 감산부;
    상기 산출된 차이가 최대값이 되는 최대 오차 위치를 탐지하는 최대 오차 위치 탐지부;
    상기 산출된 차이로부터 상기 부분 영상을 기준으로 면적 중심 위치와 공분산 행렬을 산출하는 공분산 행렬 산출부;
    상기 탐지된 최대 오차 위치를 중심점으로 설정하고, 상기 공분산 행렬로부터 장축과 단축의 길이 및 방향을 결정하여 타원 형태의 붓 터치를 형성하는 스트로크 생성부; 및
    상기 생성된 스트로크를 상기 캔버스 영상 위에 배치하되, 상기 스트로크가 배치된 캔버스 영상과 상기 부분 영상을 비교하여 미리 설정된 오차 이내가 될 때까지 상기 스트로크 생성 과정 및 스트로크 배치 과정을 반복함으로써, 회화적 표현의 영상을 생성하는 최종 영상 생성부;를 포함하는 장치.
  12. 제 11 항에 있어서,
    상기 스트로크 생성부는,
    상기 공분산 행렬로부터 결정된 장축과 단축의 비율을 유지하되, 단축의 길이를 적어도 붓 크기 이상으로 고정함으로써, 붓 크기 내에서 채색되지 않는 영역의 발생을 방지하는 것을 특징으로 하는 장치.
  13. 제 11 항에 있어서,
    상기 처리부는,
    상기 부분 영상을 RGB 컬러 공간으로부터 YUV 공간으로 변환하는 변환부; 및
    상기 변환된 영상의 휘도 값으로부터 그래디언트 정보를 추출하는 그래디언트 추출부;를 더 포함하고,
    상기 스트로크 생성부는,
    상기 추출된 그래디언트 정보에 기초하여 상기 형성된 붓 터치로부터 확장된 추가 타원을 선택적으로 형성하는 것을 특징으로 하는 장치.
  14. 제 13 항에 있어서,
    상기 추출된 그래디언트 정보가 서로 반대의 두 가지 방향으로 형성 가능한 경우, 상기 스트로크 생성부는,
    상기 형성된 붓 터치를 구성하는 타원의 중심점으로부터 상기 추가 타원의 중심점까지의 벡터와 그래디언트 방향 벡터와의 내적을 이용하여 스트로크의 변화를 90° 이하가 되도록 결정하는 것을 특징으로 하는 장치.
  15. 제 10 항에 있어서,
    상기 처리부는,
    붓 크기가 큰 스트로크로부터 붓 크기가 작은 스트로크의 순서 또는 랜덤한 순서로 상기 스트로크를 상기 캔버스 영상 위에 배치하는 것을 특징으로 하는 장치.
KR1020130010611A 2013-01-30 2013-01-30 회화적 표현을 위한 영상 처리 장치 및 방법 KR101406861B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130010611A KR101406861B1 (ko) 2013-01-30 2013-01-30 회화적 표현을 위한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130010611A KR101406861B1 (ko) 2013-01-30 2013-01-30 회화적 표현을 위한 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101406861B1 true KR101406861B1 (ko) 2014-06-13

Family

ID=51132718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130010611A KR101406861B1 (ko) 2013-01-30 2013-01-30 회화적 표현을 위한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101406861B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904892B1 (ko) 2008-02-20 2009-06-29 중앙대학교 산학협력단 회화적 렌더링 장치 및 그 방법
KR101043768B1 (ko) 2009-10-13 2011-06-22 중앙대학교 산학협력단 회화적 렌더링 장치 및 방법
KR20110093073A (ko) * 2010-02-11 2011-08-18 중앙대학교 산학협력단 점묘 기법의 회화적 렌더링 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904892B1 (ko) 2008-02-20 2009-06-29 중앙대학교 산학협력단 회화적 렌더링 장치 및 그 방법
KR101043768B1 (ko) 2009-10-13 2011-06-22 중앙대학교 산학협력단 회화적 렌더링 장치 및 방법
KR20110093073A (ko) * 2010-02-11 2011-08-18 중앙대학교 산학협력단 점묘 기법의 회화적 렌더링 장치 및 방법

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
US9639945B2 (en) Depth-based application of image effects
US8204308B2 (en) Image processing apparatus, method, and program
KR100369909B1 (ko) 원영상을수정하는장치및방법
US8289318B1 (en) Determining three-dimensional shape characteristics in a two-dimensional image
US9916684B2 (en) Generating portable three-dimensional print-preview renderings of three-dimensional models
CN111754517A (zh) 使用神经网络的交互式图像抠图
EP2696573A2 (en) Method for generating a panoramic image, user terminal device, and computer-readable recording medium
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
US11557077B2 (en) System and method for retexturing of images of three-dimensional objects
US10475229B2 (en) Information processing apparatus and information processing method
US20090309877A1 (en) Soft shadow rendering
CN113781621A (zh) 三维重建处理的方法、装置、设备及存储介质
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
JP6558365B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110610504A (zh) 基于骨架与色调的铅笔画生成方法及装置
US20240020810A1 (en) UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS
CN113827958B (zh) 岩浆渲染方法、装置、设备和存储介质
JP6711020B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2018028710A (ja) 映像生成装置、映像生成方法、およびプログラム
KR101406861B1 (ko) 회화적 표현을 위한 영상 처리 장치 및 방법
US10275925B2 (en) Blend shape system with texture coordinate blending
US11200708B1 (en) Real-time color vector preview generation
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6