KR20010062737A

KR20010062737A - 이미지 처리 방법, 수단 및 기록 매체

Info

Publication number: KR20010062737A
Application number: KR1020000082595A
Authority: KR
Inventors: 다케모토후미토
Original assignee: 무네유키 가코우; 후지 샤신 필름 가부시기가이샤
Priority date: 1999-12-27
Filing date: 2000-12-27
Publication date: 2001-07-07
Also published as: EP1130899B1; US20070247474A1; DE60029194D1; JP4368513B2; US7251054B2; US20020018224A1; DE60029194T2; CN1307318A; EP1130899A2; JP2001251530A; KR100742675B1; EP1130899A3

Abstract

피사체의 이미지의 컬러와 톤을 사용자가 원하는 컬러와 톤으로 변경시킨다. 피사체의 이미지를 포함하는 이미지 데이터는 이미지 처리 수단으로 입력되고 모니터에 디스플레이 된다. 사용자는 모니터에 디스플레이된 이미지를 관찰하여 원하는 컬러와 톤을 가진 피사체의 이미지를 포함하는 영역과 원하는 컬러와 톤으로 변경시킬 피사체 이미지의 컬러와 톤을 포함하는 영역을 선택한다. 상기 이미지 처리 수단은 각각의 개별적인 특정 영역으로부터 컬러 픽셀을 추출하고, 컬러와 톤을 나타내는 특성량 데이터로서 컬러 픽셀의 누적 히스토그램을 만들어 낸다. 상기의 누적 히스토그램에 기초하여, 후반 피사체의 이미지를 포함하는 영역의 컬러와 톤을 변경시키고, 컬러와 톤을 변경시킨 처리된 이미지 데이터를 획득한다.

Description

이미지 처리 방법, 수단 및 기록 매체 {METHOD, APPARATUS AND RECORDING MEDIUM FOR IMAGE PROCESSING}

본 발명은 컬러 이미지에 포함된 특정 영역(specific area)에서 컬러와 톤(tone)을 변경시키는 이미지 처리 방법 및 이미지 처리 장치에 관한 것이다. 또한 본 발명은 컴퓨터가 이미지 처리 방법을 실행할 수 있도록 하는 프로그램을 저장한, 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.

디지털 스틸 카메라(digital still cameras)(이하에서는 "디지털 카메라"라고 한다.)로 획득하는 디지털 이미지 데이터와 필름에 기록된 이미지를 판독하여 획득하는 디지털 이미지 데이터의 재생은, 프린트와 같은 하드 카피(hard copies) 또는 디스플레이 스크린과 같은 소프트 카피(soft copies)를 출력하여 실행된다. 이러한 디지털 이미지 데이터의 재생에 있어서, 재생 이미지는 네거티브 필름(negative film)에서 인화된 사진만큼 고화질을 가질 것이라 예상된다.

동일인의 얼굴에 관한 컬러 재생력은 인화물들(prints) 사이에서 다를 수 있다. 더욱이, 복수의 인물을 포함하고 있는 이미지에 있어서, 각 인물들의 얼굴에 관한 재생력은 광원(light source)의 강도(intensity)나 위치에 따라 달라질 수 있다. 사진 촬영으로 획득한 인물을 포함하는 이미지의 경우에, 인물의 얼굴이 가장 관심을 끈다. 고화질의 사진을 출력하기 위하여, 적절한 피부 컬러를 가지도록 얼굴의 보정이 필요하다. 이를 달성하기 위하여, 예를 들면 모니터와 마우스(mouse)와 같은 디스플레이 수단을 사용하여, 이미지의 피부 컬러를 바람직한 피부 컬러로 바꾸는 다양한 방법들이 개발되어 왔다. 그러한 방법들 중 하나는 인물의 얼굴을 포함하는 이미지로부터 피부 컬러의 픽셀(pixel)을 추출하기 위해 마우스를 사용하는 단계와 기준으로 추출된 컬러값(예를 들어, 일본 특허 제2878855호)을 사용하여 피부 컬러값을 미리 설정한 바람직한 피부 컬러값의 컬러 및 톤으로 변경시키는 단계로 이루어진다. 제2의 제안된 방법은 디스플레이된 이미지 내에 포함된 변경시킬 컬러의 영역을 특정하는 단계, 변경을 원하는 영역의 가장 바람직한 컬러에 가장 가까운 컬러를 특정하는 단계 및 상기 영역의 컬러를 미리 설정한 컬러(일본에서 미심사청구된 특허출원 제8(1996)- 221546호)로 변경시키는 단계로 이루어진다. 또한, 제3의 제안된 방법에서, 인간의 얼굴을 포함하는 영역을 자동으로 추출하여 얼굴을 포함하는 영역의 컬러를 미리 설정한 컬러로 변경시킨다.

하지만, 상기한 모든 방법에 있어서, 인간 얼굴의 피부 컬러를 미리 설정한 피부 컬러로 변경시키기 때문에, 변경 후 인간의 얼굴이 반드시 바람직한 피부 컬러를 갖는 것은 아니다. 또한, 얼굴의 컬러만을 변경시키기 때문에, 화창한 날씨에 실외에서 촬영하여 획득한 이미지를 인물의 선명하게 대비되는 얼굴(sharp-contrast face)로 보정할 수가 없다.

본 발명은 상기한 문제를 고려하여 고안되었다. 따라서, 본 발명의 목적은 인간의 얼굴과 같은 이미지의 특정 영역을 원하는 컬러와 톤(이하에서는 컬러와 톤을 함께 "컬러 톤(color-tone)"이라 한다.)으로 변경시킬 수 있는 이미지 처리 방법 및 이미지 처리 장치를 제공하는 것이며, 컴퓨터가 이미지 처리 방법을 실행할 수 있는 프로그램을 저장한, 컴퓨터로 판독 가능한 기록 매체를 제공하는 것이다.

도 1은 본 발명의 실시예에 따른 이미지 처리 장치의 구성을 나타낸 블록도이다.

도 2는 모니터에 디스플레이된 이미지를 나타낸 도면이다.

도 3은 영역(R1)이 특정된 이미지를 나타낸 도면이다.

도 4는 시랩(CIELAB) 컬러 공간에서 피부 컬러 범위(skin-color range)를 나타낸 도면이다.

도 5는 영역(R2)이 특정된 이미지를 나타낸 도면이다.

도 6은 누적 히스토그램(cumulative histogram)을 나타낸 도면이다.

도 7은 본 실시예의 동작을 나타낸 흐름도이다.

도 8은 복수의 얼굴이 영역(R1)으로 특정된 이미지를 나타낸 도면이다.

본 발명의 이미지 처리 방법은,

디스플레이된 이미지에서 원하는 컬러 톤을 갖는 제1 특정 영역을 수신하는 단계;

상기 이미지 또는 다른 이미지에서 제2 특정 영역을 수신하는 단계; 및

제2 영역을 포함하는 원하는 영역의 컬러 톤을 제1 영역의 컬러 톤으로 변경시키는 단계를 포함한다.

제1 특정 영역을 수신하는 단계에서, 1개의 영역은 물론 복수의 영역을 특정할 수도 있다.

상기한 "제2 영역을 포함하는 원하는 영역"이라 함은 제2 영역 전체는 물론 제2 영역 내의 특정 영역, 제2 영역을 포함하는 전체 이미지와 함께 제2 영역과 그 밖의 영역을 포함하는 영역을 가리킬 수 있다.

또한, 제1 영역의 특정은 제2 영역의 특정에 앞서 이루어지거나 그 반대일 수도 있다.

제1 또는 제2 영역으로 임의의 피사체(object), 예를 들면, 인간의 얼굴, 하늘 또는 푸른 잎을 특정할 수 있다.

본 발명의 이미지 처리 장치는,

이미지 디스플레이용 디스플레이 수단;

상기 디스플레이 수단에 디스플레이된 이미지에서 원하는 컬러 톤을 갖는 제1 영역과 상기 이미지나 다른 이미지에서 제2 영역을 특정하는 영역 특정 수단; 및

제2 영역을 포함하는 원하는 영역의 컬러 톤을 제1 영역의 컬러 톤으로 변환시키는 변환 수단을 포함한다.

본 발명의 이미지 처리 방법은 이미지 처리 방법을 실행할 수 있는 컴퓨터가판독 가능한 기록 매체에 저장된 프로그램으로 제공될 수 있다.

본 발명에 따라서, 디스플레이된 이미지에서 원하는 컬러 톤을 구비한 제1 영역을 특정하고, 제1 영역을 포함하는 이미지나 다른 이미지에서 제2 영역을 특정한다. 제2 영역을 포함하는 원하는 영역의 컬러 톤은 제1 영역의 컬러 톤으로 변환된다. 따라서, 제2 영역을 포함하는 원하는 영역을 사용자가 원하는 컬러 톤을 갖도록 변경시킬 수 있다.

실시예

이하에서는 첨부 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1은 본 발명의 제1 실시예에 따른 이미지 처리 장치의 구성을 나타낸 블록도이다. 도 1에 도시한 바와 같이, 이미지 처리 장치는 디지털 카메라를 사용하여 촬영하거나 스캐너(scanner)로 판독하거나 그 밖의 수단으로 획득한 이미지 데이터(S)에 대해 이미지 처리를 수행하여 처리된 이미지 데이터(S1)를 획득한다. 이미지 처리 장치는 기록 매체로부터 이미지 데이터(S)를 판독하거나 네트워크를 통해 전송된 이미지 데이터(S)를 판독하는 판독 수단(1), 이미지 데이터(S)에 대해 이미지 처리를 수행하는 이미지 처리 수단(2), 이미지 데이터(S)를 디스플레이하는 모니터(3) 및 이미지 처리 수단(2)에 다양한 입력을 수행하는 키보드(keyboard)와 마우스를 포함하는 입력 수단(4)을 포함한다. 본 실시예에서, 이미지에서 인간 얼굴의 컬러 톤을 변경시키는 경우를 설명한다.

이미지 처리 수단(2)은 다음과 같은 방법으로 이미지 데이터(S)에 대한 이미지 처리를 수행한다. 먼저, 이미지 데이터(S)를 모니터에 디스플레이한다. 도 2는 모니터(3)에 디스플레이된 이미지를 나타낸다. 도 2에 도시한 바와 같이, 사람의 얼굴을 포함하는 이미지를 모니터(3)에 디스플레이한다. 사용자는 모니터(3)에 디스플레이된 이미지를 관찰하고 입력 수단(4)을 사용하여 가장 바람직한 컬러 톤을 가진 얼굴의 이미지를 특정한다. 좀 더 구체적으로, 사용자는 입력 수단(4)의 마우스를 사용하여 사각형으로 얼굴의 이미지를 둘러쌈으로써 원하는 컬러 톤을 가진 얼굴의 이미지를 특정한다. 도 3은 원하는 컬러 톤을 가진 얼굴의 이미지를 특정한 상태를 나타낸다. 도 3에 도시한 바와 같이, 원하는 컬러 톤을 가진 얼굴의 이미지를 사각형 영역(R1)으로 특정한다.

상기한 방법으로 영역(R1)을 특정한 후, 이미지 처리 수단(2)은 미리 설정한 피부 컬러 범위 내의 픽셀을 포함하는 영역(R1')을 영역(R1)으로부터 추출한다. 이러한 추출에 있어서, 도 4에 나타낸 시랩(CIELAB) 컬러 공간에서 원형의 피부 컬러 범위(D)를 미리 설정하고 영역(R1)에 포함된 이미지의 픽셀값을 시랩 컬러 공간으로 변환시킨다. 피부 컬러 영역(D) 내의 픽셀값을 가진 픽셀들을 이후 피부 컬러 영역(R1')으로서 추출한다.

사용자는 영역(R1)의 얼굴 이미지의 컬러 톤으로 변경시킬 얼굴 이미지의 컬러 톤을 포함하는 영역을 영역(R2)으로 특정한다. 이러한 특정 방법은 사각형 영역(R1)의 특정과 동일한 방법으로 수행된다. 상기와 같은 방법으로 영역(R2)을 특정한 후, 영역(R2) 내의 피부 컬러 영역(R2')을 영역(R1')의 경우와 같이 추출한다.

피부 컬러 영역(R1',R2')을 추출한 후, 피부 컬러 영역(R1',R2')의 누적히스토그램이 만들어진다. 도 6은 피부 컬러 영역(R1',R2')의 누적 히스토그램(H1, H2) 각각을 나타낸다. 도 6에서, 누적 히스토그램(H1, H2)에서 수평축이 원점에서 좌우로 더 멀어질수록 더 큰 RGB 농도(density)가 된다. 이미지 데이터(S)가 RGB 컬러 데이터로 이루어지는 경우, 누적 히스토그램(H1, H2)는 각각의 컬러로 만들어진다. 간편하게 설명하기 위해, 한 세트의 RGB 데이터는 RGB 컬러 데이터를 포함한다고 가정하고 누적 히스토그램(H1, H2)는 상기의 RGB 데이터로 만들어진다. 누적 히스토그램(H1, H2)는 피부 컬러 영역(R1',R2')에서 컬러 톤의 특성들을 각각 나타낸다. 이하에서는, 이러한 특성들은 특성량(characteristic quantities)을 말한다.

상기한 방법으로 누적 히스토그램(H1, H2)를 만든 후, 피부 컬러 영역(R2')의 컬러 톤을 피부 영역(R1')이 되게 하는 컬러 톤 변환 처리를 누적 히스토그램(H1, H2)에 기초하여 행한다. 이러한 컬러 톤 변환 처리는 도 6의 점선으로 도시한 바와 같이, 누적 히스토그램(H1)를 누적 히스토그램(H2)와 연관짓고, RGB 농도가 누적 히스토그램(H2)에서 P1이 되는 픽셀값이 RGB 농도 P2를 갖게 하도록 피부 컬러 영역(R2')의 컬러 톤을 변경시켜 행한다. 누적 히스토그램(H1)를 나타내는 함수를 g(d')라 하고 누적 히스토그램(H2)를 나타내는 함수를 f(d)라 한다. 도 6의 점선으로 나타낸 처리를 다음의 식 (1)로 표현할 수 있다.

d' = g^-1(f(d)) (1)

피부 컬러 영역(R2')의 컬러 톤만을 변경시킬 경우, 상기 영역의 경계선은부자연스럽다. 따라서, 경계에서 점차로 컬러 톤을 변경시키는 것이 바람직하다.

제1 실시예의 동작을 이후에 설명한다. 도 7은 본 실시예의 동작을 나타내는 흐름도이다. 이미지 데이터(S)를 판독하여 이미지 처리 수단(2)에 입력시킨다(단계 S1). 이미지 처리 수단(2)에 입력된 이미지 데이터(S)를 모니터에 디스플레이한다(단계 S2). 사용자는 모니터(3)에 디스플레이된 이미지를 관찰하고 원하는 컬러 톤을 가진 얼굴의 이미지를 포함하는 영역(R1)을 특정한다. 사용자는 입력 수단(4)을 사용하여 완성된 특정 영역을 입력한다(단계 S3). 영역(R1)의 완성 후, 영역(R1) 내의 피부 컬러 영역(R1')을 추출한다(단계 S4).

한편, 사용자는 모니터(3)에 디스플레이된 이미지를 보면서, 영역(R1)의 컬러 톤과 동일하게 되도록 변경시킬 얼굴 이미지의 컬러 톤을 포함하는 영역(R2)을 특정하고, 입력 수단(4)을 통해 특정 영역(R2)의 입력을 완료한다(단계 S5). 특정 영역(R2)의 완료 후, 영역(R2) 내의 피부 컬러 영역(R2')을 추출한다(단계 S6).

피부 컬러 영역(R1',R2')의 추출 후, 피부 컬러 영역(R1',R2')의 누적 히스토그램(H1, H2)가 만들어진다(단계 S7). 누적 히스토그램(H1, H2)에 기초하여, 식 (1)에 따라 피부 컬러 영역(R1')의 컬러 톤을 갖도록 피부 컬러 영역(R2')을 변경시키고, 처리된 이미지 데이터(S1)를 획득하여(단계 S8) 절차를 종료한다.

상기에서 설명한 바와 같이, 본 실시예에 있어서, 원하는 컬러 톤을 가진 영역(R1)을 특정하고, 영역(R1)의 얼굴 이미지의 컬러 톤을 가지도록 영역(R2)의 컬러 톤을 변경시킨다. 따라서, 영역(R2) 내의 피부 컬러 영역(R2')을 사용자가 원하는 컬러 톤을 갖도록 변경시킬 수 있다.

상기한 실시예에서, 영역(R2) 내의 피부 컬러 영역(R2')만의 컬러 톤을 변경시킨다. 하지만, 영역(R2) 전체의 컬러 톤을 변경시킬 수 있다. 이와는 달리, 영역(R2)이나 모니터(3)에 디스플레이된 이미지 전체(영역(R1) 제외)를 포함하는 미리 설정된 영역의 컬러 톤을 변경시킬 수 있다.

상기한 실시예에서, 영역(R1)을 특정한 이미지에서 영역(R2)을 특정한다. 하지만, 영역(R1)을 가진 이미지와는 상이한 이미지에서 영역(R2)을 특정할 수도 있다.

또한, 상기의 실시예에서, 원하는 컬러 톤을 가진 하나의 얼굴 이미지를 영역(R1)으로 특정한다. 하지만, 원하는 컬러 톤을 가진 복수의 얼굴 이미지가 있는 경우, 상기한 얼굴 이미지들 모두를 포함하도록 영역(R1)을 특정할 수 있다. 예를 들면, 도 2에 도시한 바와 같이, 사람들의 얼굴을 가진 이미지에 있어서, 좌측으로부터 세 사람의 얼굴 이미지가 원하는 컬러 톤을 가질 경우, 도 8에 도시한 바와 같이, 세 사람의 얼굴 이미지를 포함하도록 영역(R1)을 특정한다. 따라서, 영역(R1) 내의 얼굴 이미지의 컬러 톤으로 변경시킬 얼굴 이미지의 컬러 톤은 우측의 얼굴 이미지이고, 이러한 얼굴 이미지를 영역(R2)으로 특정한다. 이러한 경우에 있어서, 상기한 실시예에서와 같이, 영역(R1) 내의 세 사람의 얼굴 이미지에 대응하는 피부 컬러 영역(R1')을 추출하고, 추출한 피부 컬러 영역(R1')에 대한 누적 히스토그램(H1)를 만든다. 우측의 얼굴 이미지를 포함하는 영역(R2) 내의 피부 컬러 영역(R2')의 누적 히스토그램(H2)와 누적 히스토그램(H1)에 기초하여, 상기한 실시예에서와 같이 피부 컬러 영역(R2')의 컬러 톤을 변경시킨다.

상기의 실시예에서, 제1 및 제2 영역(R1,R2)을 사각 영역으로 특정한다. 하지만, 임의의 형상을 가진 영역으로 상기 영역을 특정할 수 있다.

상기의 실시예에서, 영역(R1,R2) 내의 피부 컬러 영역(R1',R2')의 컬러 톤에 대한 특성량은 누적 히스토그램(H1, H2)를 나타내지만, 반드시 이러한 히스토그램로 제한되지는 않는다.

상기의 실시예에서, 얼굴 이미지의 컬러 톤을 변경시킨다. 하지만, 하늘, 푸른 잎 등의 원하는 컬러 톤을 가진 영역(R1)을 이미지에서 특정하여 영역(R1)과 동일한 컬러 톤을 가지도록 다른 영역(R2)의 컬러 톤을 변경시킬 수 있다.

또한, 일본 특허 출원 제11(1999)-369338호 및 제2000-329034호의 모든 내용을 참고적으로 본 명세서에 편입한다.

상기한 바와 같이, 본 발명은 인간의 얼굴과 같은 이미지의 특정 영역을 원하는 컬러와 톤으로 변경시킬 수 있는 이미지 처리 방법 및 이미지 처리 장치를 제공할 수 있으며, 컴퓨터가 이미지 처리 방법을 실행할 수 있는 프로그램을 저장한, 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.

Claims

디스플레이된 이미지에서 원하는 컬러 톤을 가진 제1 특정 영역을 수신하는 단계;

상기 이미지 또는 다른 이미지에서 제2 특정 영역을 수신하는 단계; 및

상기 제2 영역을 포함하는 원하는 영역의 컬러 톤을 제1 영역의 컬러 톤으로 변경시키는 단계

를 포함하는 이미지 처리 방법.
이미지 디스플레이용 디스플레이 수단;

상기 디스플레이 수단에 디스플레이된 이미지에서 원하는 컬러 톤을 가진 제1 영역 및 상기 이미지 또는 다른 이미지에서 제2 영역을 특정하는 영역 특정 수단; 및

상기 제2 영역을 포함하는 원하는 영역의 컬러 톤을 제1 영역의 컬러 톤으로 변환시키는 변환 수단

을 포함하는 이미지 처리 장치.
디스플레이된 이미지에서 원하는 컬러 톤을 가진 제1 특정 영역을 수신하는 단계;

상기 이미지 또는 다른 이미지에서 제2 특정 영역을 수신하는 단계; 및

상기 제2 영역을 포함하는 원하는 영역의 컬러 톤을 제1 영역의 컬러 톤으로 변경시키는 단계

를 포함하는 컴퓨터가 수행할 수 있는 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.