KR20110137634A - 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치 - Google Patents

스케치 영상 생성방법 및 이를 적용한 디스플레이 장치 Download PDF

Info

Publication number
KR20110137634A
KR20110137634A KR1020100057667A KR20100057667A KR20110137634A KR 20110137634 A KR20110137634 A KR 20110137634A KR 1020100057667 A KR1020100057667 A KR 1020100057667A KR 20100057667 A KR20100057667 A KR 20100057667A KR 20110137634 A KR20110137634 A KR 20110137634A
Authority
KR
South Korea
Prior art keywords
value
brightness value
specific pixel
image
input
Prior art date
Application number
KR1020100057667A
Other languages
English (en)
Inventor
리유
김민정
김동욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100057667A priority Critical patent/KR20110137634A/ko
Priority to EP11167445.3A priority patent/EP2397993A3/en
Priority to US13/160,087 priority patent/US8768091B2/en
Publication of KR20110137634A publication Critical patent/KR20110137634A/ko

Links

Images

Classifications

    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Abstract

스케치 영상 생성방법 및 이를 적용한 디스플레이 장치가 제공된다. 본 스케치 영상 생성방법에 따르면, 영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하고, 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값을 조절하게 된다. 이에 따라, 디스플레이 장치는 더욱 명확한 스케치 영상을 생성할 수 있게 된다.

Description

스케치 영상 생성방법 및 이를 적용한 디스플레이 장치{method for generating sketch image and display apparaus applying the same}
본 발명은 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치에 관한 것으로, 더욱 상세하게는 원본 영상에 스케치 효과를 부가한 영상을 생성하기 위한 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치에 관한 것이다.
최근 디스플레이장치는 사진이나 영상을 디스플레이하는 기능 이외에도 다양한 기능을 지원하고 있다. 이 중 대표적인 기능으로 NPR (Non Photo-realistic Rendering) 기능을 들 수 있다.
NPR은 사진을 있는 그대로 처리하지 않고, 다양한 효과를 부여하여 비사실적으로 처리하는 영상처리 기법이다. NPR 처리된 사진은 사물의 사실적 표현과는 달리 주제를 부각시키기 위하여 사소한 것을 과장하거나 중요하지 않은 것들은 과감히 생략하여 표현하게 된다. 이와 같은 NPR은 게임, 애니메이션, 광고, 영화 등에서 활용되고 있다.
NPR은 입력 영상에 대해 비사실적 렌더링 처리를 하는 방법으로 여러 가지 방식이 존재한다. 예를 들어, NPR은 사진을 색연필화, 펜화, 유화, 수채화, 만화, 스케치 등으로 표현되도록 처리하는 방식들이 있다.
이들 중에서, 스케치 효과를 위한 NPR은 알고리즘이 복잡하여 소프트웨어로 구현할 경우 처리속도가 느려지게 되고, 하드웨어로 구현된 경우 매우 복잡한 구조를 가지게 된다.
따라서, 더욱 간단한 알고리즘으로 스케치 효과를 표현할 수 있는 NPR 방법을 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하고, 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값을 조절하는 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 입력된 영상에 대한 스케치 영상을 생성하는 방법은, 영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하는 단계; 및 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 단계;를 포함한다.
그리고, 상기 조절 단계는, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절할 수도 있다.
또한, 상기 조절 단계는, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절할 수도 있다.
그리고, 상기 조절 단계는, 아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
Figure pat00001
여기에서,
Figure pat00002
그리고, 상기 조절 단계는, 아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
Figure pat00003
여기에서,
Figure pat00004
또한, 상기 조절단계는, 상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력할 수도 있다.
그리고, 상기 조절단계는, 상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하는 단계; 상기 대표값이 상기 특정 문턱값 초과인 경우, 상기 입력 밝기값이 상기 대표값보다 높은지 여부를 판단하는 단계; 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하는 단계; 및 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절하는 단계;를 포함할 수도 있다.
또한, 상기 대표값은 상기 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 평균 밝기값일 수도 있다.
그리고, 상기 산출단계는, 모든 픽셀에 대해 밝기값만을 포함하는 그레이 스케일 영상에 대해 대표값을 산출할 수도 있다.
한편, 본 발명의 일 실시예에 따른, 입력된 영상에 대한 스케치 영상을 생성하여 디스플레이하는 디스플레이 장치는, 영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하고, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값이 조절되도록 상기 영상을 처리하는 영상 처리부; 및 상기 처리된 영상을 디스플레이하는 디스플레이부;를 포함한다.
그리고, 상기 영상 처리부는, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절할 수도 있다.
또한, 상기 영상 처리부는, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절할 수도 있다.
그리고, 상기 영상 처리부는, 아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
Figure pat00005
여기에서,
Figure pat00006
또한, 상기 영상 처리부는, 아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
Figure pat00007
여기에서,
Figure pat00008
그리고, 상기 영상 처리부는, 상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력할 수도 있다.
또한, 상기 영상 처리부는, 상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하고, 상기 대표값이 상기 특정 문턱값 초과인 경우, 상기 입력 밝기값이 상기 대표값보다 높은지 여부를 판단하며, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하고, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절할 수도 있다.
그리고, 상기 대표값은 상기 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 평균 밝기값일 수도 있다.
또한, 상기 영상 처리부는, 입력된 영상에 대해 모든 픽셀에 대해 밝기값만을 포함하는 그레이 스케일 영상을 추출하고, 상기 그레이 스케일 영상을 이용하여 스케치 영상을 생성할 수도 있다.
이상 설명한 바와 같이, 본 발명의 다양한 실시예에 따르면, 영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하고, 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값을 조절하는 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치를 제공할 수 있게 되어, 더욱 명확한 스케치 영상을 생성할 수 있게 된다. 또한, 본 실시예에 따른 스케치 영상 생성방법은 알고리즘이 간단하기 때문에, 스케치 영상 생성을 위한 하드웨어의 구조를 간단화할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 전자 액자의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 스케치 영상 생성방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 스케치 영상 생성을 위해 사용되는 맵핑 곡선의 일 예를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 전자 액자(100)의 구성을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 전자 액자(100)는 기능블럭(110), 통신부(120), 조작부(130), 저장부(140), 영상 처리부(150), 디스플레이부(160), 및 제어부(170)를 포함한다.
기능블럭(110)은 전자 액자(100)의 본연의 기능을 수행한다. 예를 들어, 기능블럭(110)은 영상(특히, 사진, 동영상)에 대한 재생 기능을 수행하게 된다.
통신부(120)는 외부 기기에 이동통신망 또는 인터넷 망 등을 통해 통신가능하도록 연결된다. 그리고, 통신부(120)는 외부 기기로부터 영상 컨텐츠를 다운로드받을 수도 있다.
조작부(130)는 사용자 명령을 입력하기 위한 사용자의 조작을 입력받는다. 구체적으로, 조작부(130)는 사용자로부터 화면에 표시된 다양한 아이템들에 대한 선택 명령 등에 대응되는 조작을 입력받는다. 조작부(130)는 터치스크린, 버튼, 마우스, 터치패드, 리모컨 등의 형태로 구현될 수도 있다.
저장부(140)는 전자 액자(100)의 기능을 수행하기 위한 프로그램 및 애플리케이션들이 저장되어 있다. 또한, 저장부(140)는 영상 데이터들이 저장되어 있을 수도 있다.
영상 처리부(150)는 입력되는 영상 데이터를 영상 처리하여 디스플레이부(160)로 출력한다. 이 때, 영상 처리부(150)는 입력된 영상에 대한 스케치 영상을 생성하기 위해, 입력된 영상을 비사실적 랜더링(Non-Photorealistic Rendering : NPR) 처리할 수도 있다.
여기에서, 입력 영상은 외부에서 입력되는 영상 신호 또는 영상 데이터뿐만 아니라, 저장부(140)로부터 영상 처리부(150)로 입력되는 영상 신호 또는 영상 데이터도 포함한다.
영상 처리부(150)는 스케치 영상을 생성하기 위해, 입력된 영상에 대한 그레이 스케일(gray scale) 영상을 추출한다. 여기에서 그레이 스케일 영상은 입력 영상의 밝기 성분만을 포함하는 영상을 나타내는 것으로, 즉 입력 영상에 대응되는 흑백 영상을 나타낸다. 그리고, 영상 처리부(150)는 이하에서 설명되는 스케치 영상 생성과정에 그레이 스케일 영상을 이용하게 된다. 즉, 이하에서 입력 영상이라 함은 입력 영상에서 추출된 그레이 스케일 영상을 나타낸다.
영상 처리부(150)는 입력 영상에 대해 특정 픽셀 및 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출한다. 여기에서, 특정 픽셀은 스케치 영상의 생성을 위한 NPR 처리의 대상이 되는 픽셀을 나타낸다. 그리고, 픽셀 블럭은 특정 픽셀 및 특정 픽셀의 주변 픽셀들을 포함하는 픽셀들의 그룹을 나타낸다. 예를 들어, 픽셀 블럭은 특정 픽셀을 중심으로 하는 M * N개(M,N은 자연수)의 픽셀들을 포함할 수도 있다.
그리고, 대표값은 픽셀 블럭의 밝기를 대표할 수 있는 값을 나타낸다. 예를 들어, 대표값은 픽셀 블럭에 포함된 픽셀들의 평균 밝기값이 될 수도 있다. 즉, 픽셀 블럭이 특정 픽셀을 중심으로 하는 M * N개(M,N은 자연수)의 픽셀들을 포함하는 경우, 대표값은 M * N개의 픽셀들의 밝기 평균값이 된다.
영상 처리부(150)는 대표값이 특정 문턱값 이하인 경우, 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력한다. 여기에서, 문턱값은 입력 영상에서 어두운 영역을 정의하기 위한 밝기에 대한 문턱값이다. 즉, 문턱값은 어두운 영역으로 정의되는 밝기의 최대값을 나타낸다. 따라서, 문턱값 이하의 밝기는 어두운 영역에 해당되는 것으로 정의하고, 영상 처리부(150)는 대표값이 문턱값 이하인 경우 입력 밝기값을 그대로 출력하게 된다.
그리고, 영상 처리부(150)는 대표값이 특정 문턱값을 초과하는 경우, 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값이 조절되도록 처리함으로써, 입력 영상에 대한 스케치 영상을 생성하게 된다.
여기에서, 입력 밝기값은 입력 영상의 특정 픽셀에 대한 밝기값을 나타낸다. 그리고, 출력 밝기값은 처리가 완료되어 영상 처리부(150)에서 출력되는 출력 영상의 특정 픽셀에 대한 밝기값을 나타낸다. 즉, 특정 픽셀의 밝기값은 입력 밝기값으로 영상 처리부(150)에 입력되고, 출력 밝기값으로 영상처리부(150)로부터 출력된다.
구체적으로, 영상 처리부(150)는 특정 픽셀의 입력 밝기값이 대표값보다 높은 경우, 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하여 출력한다. 그리고, 영상 처리부(150)는 특정 픽셀의 입력 밝기값이 대표값보다 낮거나 같은 경우, 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절한다. 이를 위해, 영상 처리부(150)는 입력 영상의 밝기 레벨에 대한 출력 영상의 밝기 레벨을 나타내는 그래프가 아래로 볼록한 곡선을 적용하여 영상을 처리하게 된다.
예를 들어, 영상 처리부(150)는 아래의 수식 1을 적용하여 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
[수식 1]
Figure pat00009
여기에서,
Figure pat00010

또 다른 예로, 영상 처리부(150)는 아래의 수식 2를 적용하여 특정 픽셀의 입력 밝기값이 대표값보다 큰지 여부에 따라 특정 픽셀의 출력 밝기값을 조절할 수도 있다.
[수식 2]
Figure pat00011
여기에서,
Figure pat00012

상술된 수식 1 및 수식 2에서, x는 입력 밝기값을 나타내고, y는 출력 밝기값을 나타내며, M은 대표값을 나타내고, a, b는 각각 곡선 피팅(fitting) 파라미터를 나타낸다. 그리고, M_p는 입력 밝기값이 M_p와 같으면 곡선의 맵핑값이 된다.
상술된 수식 1 및 수식 2에 대한 그래프는 도 3에 도시되어 있다. 도 3은 본 발명의 일 실시예에 따른, 스케치 영상 생성을 위해 사용되는 맵핑 곡선의 일 예를 도시한 도면이다.
도 3에 도시된 바와 같이, 맵핑 곡선(Mapping curve)은 입력 밝기값(Input Gray Scale)이 대표값(M) 이하인 경우에는 아래로 볼록한 곡선 형태이고, 입력 밝기값(Input Gray Scale)이 대표값(M)보다 큰 경우에는 출력 밝기값(Output Gray Scale)이 255인 것을 확인할 수 있다.
이와 같이, 도 3 및 상술된 수식 1 및 수식 2를 살펴보면, 입력 밝기 값(x)이 대표값(M)보다 큰 경우, 출력 밝기값(y)는 최대 밝기값인 255가 된다.
반면, 입력 밝기 값(x)이 대표값(M)보다 작거나 같은 경우, 별도의 곡선 공식에 의해 출력 밝기 값(y)이 결정되는 것을 확인할 수 있다. 이 때, 곡선은 아래로 볼록한 곡선이므로, 특정 픽셀의 출력 밝기값(y)은 입력 밝기값(x)보다 낮은 값으로 조절되는 것을 알 수 있다.
이와 같은 수식이 적용된 곡선에 의해 입력 영상이 처리되면, 주변 픽셀들의 밝기보다 더 낮은 밝기를 가진 픽셀은 밝기가 더욱 낮아지고, 주변 픽셀들의 밝기보다 높은 밝기를 가진 픽셀은 밝기가 더욱 밝아진다. 따라서, 영상의 콘트라스트가 높아지기 때문에 스케치 효과는 더욱 좋아지게 된다.
이와 같이, 영상 처리부(150)는 각 픽셀에 대한 입력 밝기 값을 상술된 조건들에 따라 처리하여 처리된 출력 밝기 값을 출력하게 된다. 그리고, 영상 처리부(150)는 모든 픽셀에 대해 이와 같은 과정을 수행함으로써, 입력 영상에 대응되는 스케치 영상을 생성하여 출력하게 된다.
특히, 특정 픽셀에 대한 대표값을 산출하고 대표값의 크기를 입력 밝기값과 비교하여 비교 결과에 따라 출력 밝기값을 결정하기 때문에, 영상 처리부(150)는 스케치 효과를 더욱 강화할 수 있게 된다.
디스플레이부(160)는 영상 처리부(150)에서 생성된 스케치 영상을 화면에 디스플레이한다. 디스플레이부(160)는 LCD(Liquid Crystal Display) , PDP(Plasma Display Panel), AMOLED(Active Matrix Organic Light Emitting Diodes) 등을 이용하여 영상을 디스플레이할 수 있다.
제어부(170)는 조작부(130)를 통해 입력되는 사용자의 조작에 따라 전자 액자(100)의 전반적인 기능을 제어한다. 또한, 제어부(170)는 영상 처리부(150)의 상술한 기능 및 동작이 구현되도록 제어한다.
상술한 구조를 통해, 전자 액자(100)는 입력 영상에 대한 스케치 영상을 생성하여 디스플레이할 수 있게 된다. 또한, 전자 액자(100)는 대표값을 이용하여 콘트라스트를 향상시키기 때문에 스케치 효과를 더욱 좋게 할 수 있게 된다. 그리고, 전자 액자(100)는 상술한 바와 같은 간단한 알고리즘을 이용하여 스케치 영상을 생성하기 때문에, 스케치 영상 생성을 위한 하드웨어의 구조를 단순화할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른, 스케치 영상 생성방법을 설명하기 위해 제공되는 흐름도이다.
일단, 전자 액자(100)는 영상을 입력받는다(S210). 여기에서, 입력되는 영상은 외부로부터 입력되는 영상 신호 또는 영상 데이터와 전자 액자(100)에 내장된 저장매체로부터 입력되는 영상 신호 또는 데이터를 포함한다.
그리고, 전자 액자(100)는 스케치 영상을 생성하기 위해, 입력된 영상에 대한 그레이 스케일(gray scale) 영상을 추출한다(S220). 여기에서 그레이 스케일 영상은 입력 영상의 밝기 성분만을 포함하는 영상을 나타내는 것으로, 즉 입력 영상에 대응되는 흑백 영상을 나타낸다. 그리고, 전자 액자(100)는 이하에서 설명되는 스케치 영상 생성과정에 그레이 스케일 영상을 이용하게 된다. 즉, 이하에서 입력 영상이라 함은 입력 영상에서 추출된 그레이 스케일 영상을 나타낸다.
그 후에, 전자 액자(100)는 스케치 영상 생성을 위한 처리 대상이 되는 특정 픽셀을 선택한다(S230). 그리고, 전자 액자(100)는 특정 픽셀 및 특정 픽셀의 주변 픽셀들을 포함하는 픽셀 블럭을 선택한다(S240).
그리고, 전자 액자(100)는 픽셀 블럭의 밝기에 대응되는 대표값을 산출한다(S350). 대표값은 픽셀 블럭의 밝기를 대표할 수 있는 값을 나타낸다. 예를 들어, 대표값은 픽셀 블럭에 포함된 픽셀들의 평균 밝기값이 될 수도 있다. 즉, 픽셀 블럭이 특정 픽셀을 중심으로 하는 M * N개(M,N은 자연수)의 픽셀들을 포함하는 경우, 대표값은 M * N개의 픽셀들의 밝기 평균값이 된다.
전자 액자(100)는 대표값이 문턱값보다 큰지 여부를 판단한다(S260). 만약, 대표값이 특정 문턱값 이하인 경우(S260-N), 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 유지한다(S265). 여기에서, 문턱값은 입력 영상에서 어두운 영역을 정의하기 위한 밝기에 대한 문턱값이다. 즉, 문턱값은 어두운 영역으로 정의되는 밝기의 최대값을 나타낸다. 따라서, 문턱값 이하의 밝기는 어두운 영역에 해당되는 것으로 정의하고, 전자액자(100)는 대표값이 문턱값 이하인 경우 입력 밝기값을 그대로 유지하게 된다.
그리고, 전자 액자(100)는 대표값이 특정 문턱값을 초과하는 경우(S260-Y), 입력 밝기값이 대표값보다 큰지 여부를 판단한다(S270). 만약, 입력 밝기값이 대표값보다 큰 경우(S270-Y), 전자 액자(100)는 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절한다(S273).
반면, 전자 액자(100)는 특정 픽셀의 입력 밝기값이 대표값보다 낮거나 같은 경우(S270-N), 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절한다(S276). 이를 위해, 전자 액자(100)는 입력 영상의 밝기 레벨에 대한 출력 영상의 밝기 레벨에 대해 아래로 볼록한 곡선을 적용하여 영상을 처리하게 된다. 이와 같은 곡선에 대해서는 도 3 및 수식 1,2를 참고하여 상술한 바 있다.
그 후에, 전자 액자(100)는 입력 영상의 모든 픽셀이 처리되었는지 여부를 판단한다(S280). 만약, 모든 픽셀에 대해 처리되지 않은 경우(S280-N), 다음으로 처리될 픽셀을 선택하게 된다(S230).
반면, 모든 픽셀에 대해 상술한 처리가 완료된 경우(S280), 전자 액자(100)는 입력 영상에 대응되는 스케치 영상의 생성을 완료하게 된다.
이와 같은 과정을 통해, 전자 액자(100)는 입력 영상에 대한 스케치 영상을 생성할 수 있게 된다. 그리고, 특정 픽셀에 대한 대표값을 산출하고 대표값의 크기를 입력 밝기값과 비교하여 비교 결과에 따라 출력 밝기값을 결정하기 때문에, 전자 액자(100)는 스케치 효과를 더욱 강화할 수 있게 된다.
한편, 본 실시예에서 디스플레이 장치는 전자 액자(100)인 것으로 설명하였으나, 이는 설명의 편의를 위한 일 실시예에 불과함은 물론이다. 따라서, 본 발명의 기술적 사상은 입력된 영상을 NPR 처리하여 디스플레이하는 디스플레이 장치라면 어떤 것이라도 적용될 수 있다. 예를 들어, 디스플레이 장치는 전자 앨범 외에도 디지털 카메라, 캠코더, PMP, MP3, 휴대폰, 노트북, PDA 등이 될 수도 있음은 물론이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자액자 110 : 기능블럭
120 : 통신부 130 : 조작부
140 : 저장부 150 : 영상 처리부
160 : 디스플레이부 170 : 저장부

Claims (18)

  1. 입력된 영상에 대한 스케치 영상을 생성하는 방법에 있어서,
    영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하는 단계; 및
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 단계;를 포함하는 스케치 영상 생성방법.
  2. 제1항에 있어서,
    상기 조절 단계는,
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하는 것을 특징으로 하는 스케치 영상 생성방법.
  3. 제1항에 있어서,
    상기 조절 단계는,
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절하는 것을 특징으로 하는 스케치 영상 생성방법.
  4. 제3항에 있어서,
    상기 조절 단계는,
    아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 것을 특징으로 하는 스케치 영상 생성방법.
    Figure pat00013

    여기에서,
    Figure pat00014
  5. 제3항에 있어서,
    상기 조절 단계는,
    아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 것을 특징으로 하는 스케치 영상 생성방법.
    Figure pat00015

    여기에서,
    Figure pat00016
  6. 제1항에 있어서,
    상기 조절단계는,
    상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하는 것을 특징으로 하는 스케치 영상 생성방법.
  7. 제1항에 있어서,
    상기 조절단계는,
    상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하는 단계;
    상기 대표값이 상기 특정 문턱값 초과인 경우, 상기 입력 밝기값이 상기 대표값보다 높은지 여부를 판단하는 단계;
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하는 단계; 및
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절하는 단계;를 포함하는 것을 특징으로 하는 스케치 영상 생성방법.
  8. 제1항에 있어서,
    상기 대표값은 상기 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 평균 밝기값인 것을 특징으로 하는 스케치 영상 생성방법.
  9. 제1항에 있어서,
    상기 산출단계는,
    모든 픽셀에 대해 밝기값만을 포함하는 그레이 스케일 영상에 대해 대표값을 산출하는 것을 특징으로 하는 스케치 영상 생성방법.
  10. 입력된 영상에 대한 스케치 영상을 생성하여 디스플레이하는 디스플레이 장치에 있어서,
    영상의 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 밝기에 대응되는 대표값을 산출하고, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값이 조절되도록 상기 영상을 처리하는 영상 처리부; 및
    상기 처리된 영상을 디스플레이하는 디스플레이부;를 포함하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 영상 처리부는,
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하는 것을 특징으로 하는 디스플레이 장치.
  12. 제10항에 있어서,
    상기 영상 처리부는,
    상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절하는 것을 특징으로 하는 디스플레이 장치.
  13. 제12항에 있어서,
    상기 영상 처리부는,
    아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 것을 특징으로 하는 디스플레이 장치.
    Figure pat00017

    여기에서,
    Figure pat00018
  14. 제12항에 있어서,
    상기 영상 처리부는,
    아래의 수식을 적용하여 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 큰지 여부에 따라 상기 특정 픽셀의 출력 밝기값을 조절하는 것을 특징으로 하는 디스플레이 장치.
    Figure pat00019

    여기에서,
    Figure pat00020
  15. 제10항에 있어서,
    상기 영상 처리부는,
    상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하는 것을 특징으로 하는 디스플레이 장치.
  16. 제10항에 있어서,
    상기 영상 처리부는,
    상기 대표값이 특정 문턱값 이하인 경우, 상기 특정 픽셀의 입력 밝기값을 그대로 출력 밝기값으로 출력하고, 상기 대표값이 상기 특정 문턱값 초과인 경우, 상기 입력 밝기값이 상기 대표값보다 높은지 여부를 판단하며, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 높은 경우, 상기 특정 픽셀의 출력 밝기값을 최대 밝기값으로 조절하고, 상기 특정 픽셀의 입력 밝기값이 상기 대표값보다 낮은 경우, 상기 특정 픽셀의 출력 밝기값을 입력 밝기값보다 낮은 값으로 조절하는 것을 특징으로 하는 디스플레이 장치.
  17. 제10항에 있어서,
    상기 대표값은 상기 특정 픽셀 및 상기 특정 픽셀의 적어도 하나의 주변 픽셀을 포함하는 픽셀 블럭의 평균 밝기값인 것을 특징으로 하는 디스플레이 장치.
  18. 제10항에 있어서,
    상기 영상 처리부는,
    입력된 영상에 대해 모든 픽셀에 대해 밝기값만을 포함하는 그레이 스케일 영상을 추출하고, 상기 그레이 스케일 영상을 이용하여 스케치 영상을 생성하는 것을 특징으로 하는 디스플레이 장치.
KR1020100057667A 2010-06-17 2010-06-17 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치 KR20110137634A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100057667A KR20110137634A (ko) 2010-06-17 2010-06-17 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치
EP11167445.3A EP2397993A3 (en) 2010-06-17 2011-05-25 Method for generating sketch image and display apparatus applying the same
US13/160,087 US8768091B2 (en) 2010-06-17 2011-06-14 Method for generating sketch image and display apparatus applying the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100057667A KR20110137634A (ko) 2010-06-17 2010-06-17 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20110137634A true KR20110137634A (ko) 2011-12-23

Family

ID=44763706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057667A KR20110137634A (ko) 2010-06-17 2010-06-17 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치

Country Status (3)

Country Link
US (1) US8768091B2 (ko)
EP (1) EP2397993A3 (ko)
KR (1) KR20110137634A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474820A (zh) * 2023-10-12 2024-01-30 书行科技(北京)有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096249B (zh) * 2014-05-23 2018-06-26 北京大学 图像处理方法和装置
JP6779695B2 (ja) * 2016-07-28 2020-11-04 キヤノン株式会社 画像処理装置及びその制御方法、表示装置
CN112884639B (zh) * 2021-02-03 2022-10-11 上海艾麒信息科技股份有限公司 照片转化成铅笔素描画的方法、系统及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4663660A (en) * 1986-06-20 1987-05-05 Rca Corporation Compressed quantized image-data transmission technique suitable for use in teleconferencing
US5193122A (en) * 1990-12-03 1993-03-09 Xerox Corporation High speed halftone detection technique
US5585859A (en) * 1994-05-17 1996-12-17 The University Of British Columbia System for reducing beat type impairments in a TV signal
US6608700B1 (en) * 1999-11-24 2003-08-19 Xerox Corporation Removal of error diffusion artifacts with alternating distribution weights
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
JP4701144B2 (ja) 2006-09-26 2011-06-15 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
CN101159064B (zh) * 2007-11-29 2010-09-01 腾讯科技（深圳）有限公司 画像生成系统以及按照图像生成画像的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474820A (zh) * 2023-10-12 2024-01-30 书行科技(北京)有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US8768091B2 (en) 2014-07-01
EP2397993A3 (en) 2015-11-04
EP2397993A2 (en) 2011-12-21
US20110311157A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
US9064313B2 (en) Adaptive tone map to a region of interest to yield a low dynamic range image
WO2018072270A1 (zh) 一种图像显示增强方法及装置
TWI547853B (zh) 使用者介面顯示系統及方法
WO2023082861A1 (zh) 图像处理方法、图像处理器、电子设备及存储介质
JP5585494B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN112071267B (zh) 亮度调整方法、亮度调整装置、终端设备及存储介质
KR20110137634A (ko) 스케치 영상 생성방법 및 이를 적용한 디스플레이 장치
KR101680672B1 (ko) 텍스쳐 효과 제공방법 및 이를 적용한 디스플레이 장치
CN109065001B (zh) 一种图像的降采样方法、装置、终端设备和介质
GB2554668A (en) Image manipulation
KR20110137632A (ko) 디스플레이 장치 및 이에 적용되는 ｎｐｒ 처리방법
US8433107B1 (en) Method of enhancing a nose area of an image and related computing device
JP6653103B2 (ja) 画像処理装置および画像処理方法
US11238662B2 (en) Optimal luminance mapping for augmented reality devices
US20220021802A1 (en) Systems and methods for dynamic range compression in multi-frame processing
TWI678927B (zh) 動態調整影像清晰度的方法及其影像處理裝置
CN112634444A (zh) 一种基于三维信息的人体姿态迁移方法、装置、存储介质及终端
CN111583163A (zh) 基于ar的人脸图像处理方法、装置、设备及存储介质
KR20110137624A (ko) 브러쉬 효과 처리를 위한 영상처리방법 및 이를 적용한 디스플레이 장치
JP2016156987A (ja) 画像の表示方法及びプログラム
WO2018070013A1 (ja) 制御装置及びプログラム
CN110910307B (zh) 图像处理方法、装置、终端及存储介质
CN108810322B (zh) 图像处理方法以及相关装置
EP4325427A1 (en) Electronic device for processing image and method for controlling same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application