KR20040008004A - 사용자 색각 특성에 따른 비주얼 컨텐츠 적응 변환 방법및 입력 정보 기술 구조 - Google Patents

Abstract

본 발명은 색각 장애를 가진 사용자가 비주얼 컨텐츠를 이용할 때 색각 장애의 특성 및 주변 환경의 제약으로 인하여 비주얼 컨텐츠 (MPEG-21 에서는 더욱 일반적인 용어로 디지털 아이템으로 불림)로부터 필요한 정보를 파악 할 수 없는 경우, 사용자의 색각 장애의 정도와 주위 환경에 맞추어 비주얼 컨텐츠를 적응 변환(adaptation)시킴으로써, 비주얼 컨텐츠가 색각 장애를 가지고 있지 않은 일반 사용자에게 제공 가능한 정보를 색각 장애를 가지고 있는 사용자에게 충분히 제공하기 위한 입력 데이터 기술 구조(description scheme) 및 적응 변환 방법을 포함한 것이다. 입력 데이터 기술 구조로서, 사용자의 색각 장애 유무를 표현하는 기술자; 색각 장애의 종류를 표현하는 기술자; 색각 장애 정도를 표현하는 등급 기술자와 색각 장애에 영향을 미치는 환경 요소를 표현하는 사용자 주위 밝기 기술자 등을 포함한다. 이들 기술자의 정보를 이용하여 색각 장애가 있는 사용자에게 비주얼 컨텐츠가 가지는 정보 전달의 기능을 충분하게 제공해 주기 위한 적응 변환 방법은 색각 장애의 정도에 따라 두 가지 종류로 크게 나뉘어 진다. 색각 장애의 정도가 심한 정도를 표현하는 색맹 장애의 적응 변환 알고리즘과 색각 장애의 정도가 그 보다 낮은 수준의 색약 장애를 위한 적응 변환 알고리즘으로 나누어진다. 적응 변환의 결과는 일반 사용자가 색각 장애를 가진 사용자의 색각 특성을 체험할 수 있도록 한 프로그램을 통해 검증한다. 색각 장애에서 색맹 장애를 가진 사용자를 위한 적응 변환 알고리즘은 비주얼 컨텐츠의 각 픽셀의 값을 RGB(red(적),green(녹), blue(청)) 색 공간에서 HSI(hue(색), saturation(채도), intensity(명도)) 색 공간으로 변환하여, 색각 장애 사용자가 구별하기 어렵거나 불가능한 영역에 해당하는 부분의 HSI의 값을 조정함으로써 색각 장애 사용자가 구별하기 힘든 영역을 구별 가능하게 함으로써, 정상 사용자가 인지하는 의미 정보를 전달하는 것이다. HSI 값의 조절은 색각 장애를 가진 사용자에 의해 직접 수행되거나 사전에 정해진 값에 의해 자동적으로 수행될 수 있다. 또한, 구별이 불가능한 객체의 정보는 해당 컨텐츠의 각 픽셀의 RGB 값을 LMS(long-wavelength(장파장), middle-wavelength(중파장), short-wavelength(단파장)) 공간의 값으로 변환한 후, 색맹인 사용자의 제약된 LMS 공간으로 다시 변환하는 과정에서 각 L, M, S 값의 감소 정도를 측정함으로써 추출된다. 즉, 적색맹의 경우는 L값의 감소, 녹색맹의 경우는 M값의 감소, 청색맹의 경우는 S값의 감소가 있는 부분을 검출하여, 구별이 힘든 영역의 위치 정보를 추출한다. 또한, 색각 장애에서 색약 장애를 가진 사용자의 알고리즘은 색각 사용자의 시각 특성을 표현하는 LMS 반응 정도를 일반 사용자의 LMS 반응 정도와 동일하게 맞추기 위하여 해당 비주얼 컨텐츠의 내용에 변환 행렬을 적용함으로써 컨텐츠 적응 변환 과정을 수행한다. 이때 변환 행렬의 값은 컨텐츠의 내용과 색약 사용자의 LMS 반응 정도에 따라 서로 다르게 결정된다. 본 발명은 기존의 MPEG(Motion Picture Expert Group)이나 다른 표준 단체들의 규격들을 통합하여, 서로 다른 네트워크나 장치 환경 하에서 멀티미디어 콘텐츠를 자유롭게 사용하기 위한 멀티미디어 통합 프레임워크의 구현을 목적으로 표준화 작업 중인 MPEG-21 중 파트 7의 디지털 아이템 적응변환(Digital Item Adaptation)에 적용 가능하다.

Description

사용자 색각 특성에 따른 비주얼 컨텐츠 적응 변환 방법 및 입력 정보 기술 구조{ADAPTATION METHOD AND DESCRIPTION SCHEME OF INPUT INFORMATION FOR ACCESSIBILITY ACCORDING TO USER'S COLOR VISION VARIATION}

본 발명은 색각 장애를 가진 사용자가 이용하고자 하는 비주얼 컨텐츠를 사용자의 색각 특성 및 주변 환경에 적합하도록 적응 변환시키기 위한 방법 및 입력 데이타의 기술 구조에 대한 것으로서, 색각 장애가 있는 사용자가 해당 비주얼 컨텐츠로부터 잘못된 정보를 인지하는 한계점을 해결함으로써 동일 컨텐츠로부터 일반 사용자가 얻을 수 있는 정보를 얻도록 하는데 그 목적이 있다.

멀티미디어 관련 국제 표준화 기구인 ISO/IEC(International StandardOrganization / International Electrotechnical Committee) JTC1산하위원회 SC29의 Working Group인 동영상 전문가 그룹인 MPEG에서 멀티미디어 프레임워크에 대한 차세대 표준으로 제정하는 MPEG-21은 기존의 MPEG이나 다른 표준 단체들의 규격들을 통합하여, 서로 다른 사회 환경 하에 존재하는 광범위한 네트워크나 터미널, 사용자 특성에 상관없이 멀티미디어 컨텐츠를 자유롭고 편하게 사용할 수 있는 멀티미디어 통합 프레임워크의 구현을 목적으로 하고 있다. MPEG-21 세부 항목 파트 7의 디지털 아이템 적응 변환 부분은 멀티미디어 컨텐츠 (디지털 아이템)를 네트워크나 터미널, 사용자 특성에 따라 멀티미디어 콘텐츠를 적응 변환 시키는 부분으로, 현재 표준화 작업이 진행 중에 있다. 본 특허는 이를 위하여 사용자의 색각 정보를 Table 1과 같이 제시하고 이에 근거하여 색각 장애가 있는 사람에게도 색으로 인한 정보가 보이도록 하는 방법을 본 특허에서는 기술한다.

색각에 대한 선행연구는 다음과 같다.

H. Brettel은 "Computerized simulation of color appearance for dichromats, J. Opt. Soc. Am. A, v.14, no. 10, 1997, 2647-2655"에서 일반 사용자가 색각 장애 중 색맹 장애를 가진 사용자가 보는 색각 특성을 체험할 수 있도록 하기 위한 알고리즘에 대해 연구했다. 그러나, 본 논문에서는 색각 장애를 가지고 있는 사용자의 시각 특성을 시뮬레이션할 수 있는 알고리즘만 제시되었고, 색각 장애로 인하여 얻을 수 없거나 얻기 힘든 정보를 얻도록 하기 위한 적응 변환 알고리즘의 제시는 언급되지 않았다.

색 장애를 가지고 있는 사용자를 위한 적응 변환 방법은 G. Kovacs,Enhancing Color Representation for Anomalous Trichromats on CRT MonitorsColor, research and application, v.26 SUPP, 2001, S273-S276에서 논의되었는데, 이 논문에서는 CRT 모니터에 탑재할 필터를 계산하고, 얻어진 필터를 해당 CRT 모니터의 RGB 스펙트럼 반응 값에 적용함으로써, 정상 사용자처럼 보이도록 하는 알고리즘이다. 그러나, 이 방법은 모니터에 필터를 적용시키는 방법으로 화면에 여러 개의 디지털 아이템, 즉 영상이 있을 때 컨텐츠 별로 변환을 할 수 없다는 단점이 있고 또한 이 기능을 구현하기 위해서는 특별히 제작된 CRT 모니터를 구입해야 하는 부담이 있다.

본 발명은 별도의 특별한 장비 또는 색각 장애의 종류에 상관없이, 일반 사용자에 상응하는 비주얼 컨텐츠의 의미 정보를 색각 장애를 가진 사용자에게 제공하고 자 한다. 이를 위하여 사용자의 색각 정보 입력 데이터에 대한 기술 구조를 정의하고 각 디지털 아이템마다 그 아이템과 사용자 색각 정보에 따른 적응 변환 방법을 기술하고자 한다.

도 1은 본 발명의 일 실시예에 따른 전체 시스템 구성을 도시한 블록도.

도 2는 본 발명의 일 실시예에 따른 입력 정보 기술 구조도.

도 3은 본 발명에 따른 비주얼 컨텐츠 적응 변환 과정의 흐름도.

도 4는 본 발명에 따른 색약 장애 사용자 적응 변환 과정의 흐름도.

도 5는 본 발명에 따른 색맹 장애 사용자 적응 변환 과정의 흐름도.

전술한 바와 같은 목적을 달성하기 위하여 본 발명은 중요 네 부분으로 나누어 질 수 있다. 1) 비주얼 컨텐츠 적응 변환 방법의 입력 데이터 기술 구조, 2) 색맹 장애를 위한 적응 변환 방법, 3) 색약 장애를 위한 적응 변환 방법 4) 비주얼 컨텐츠의 내용 가운데 색각 장애를 가진 사용자가 잘 인지하지 못하는 영역의 위치 정보를 검출하는 알고리즘이다.

이하, 첨부된 도면과 수식을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.

본 발명의 시스템 전체 구조를 보면(도 1), 비주얼 컨텐츠의 입력 부분(100)과 비주얼 컨텐츠의 변환 부분(300)에서 입력 데이터 기술 구조(색각 장애를 가진 사용자 특성 정보과 환경 정보)(200)에 따라 적응 변환 과정을 거친 후, 비주얼 컨텐츠 출력부(400)에서 적응 변환된 비주얼 컨텐츠가 출력된다.

도 2에서 보듯이 적응 변환 방법의 입력 데이타 기술 구조(200)는 사용자 특성 기술부(210)와 사용자 환경 요소 기술부(220)를 포함한다. 사용자 특성 기술부는 사용자를 확인하기 위한 사용자 ID(211), 이름을 확인하기 위한 사용자 이름(212), 개인정보를 보호하기 위한 개인정보 공개 유뮤(213) 정보를 포함한다. 또한, 사용자의 시력을 나타내는 기술자(214), 사용자 특성을 기술하는 색각 장애의 유무를 기술하는 색각 장애 유무 기술자(215), 색각 장애 종류에 관한 색각 장애 종류 기술자(216), 색각 장애 정도를 기술하는 색각 장애 정도 기술자(217)을 포함한다. 그리고, 사용자 환경 요소 기술부는 사용자 주위 밝기 기술자(221)를 포함한다.

표 1은 입력 데이타 기술 구조(201) 및 사용자 특성 기술(202)의 색각 장애 구분과 기술을 설명하고 있다. 색각 장애의 입력 데이타 기술 구조(200)에서 사용자 특성 기술(210)에서는 표1과 같이 기술한다. 예를 들어, Protanomaly(적색약)는 색각 장애 타입 기술자로서 적색 장애(red deficiency)의 정도를 나타내고, 색각 장애 정도 기술자는 서술적 기술로서 Mild(색약), 수치적 기술로 0에서 0.9의 값으로 표현된다.

본 발명은 도 3과 같이 비주얼 컨텐츠 변환부(300)에서 장애 정도 기술자의(305) 서술적 기술이 Severe(색맹)이거나 수치적 기술로 1.0이면 색각 장애 가운데, 색맹인 사용자를 위한 적응 변환 방법(320)을 선택하고 장애 정도 기술자의 서술적 기술이 Mild이거나 수치적 기술로 0 - 0.9이면, 색각 장애 중 색약인 사용자를 위한 적응 변환 방법(310)을 선택한다.

색각 장애 중 색약인 사용자를 위한 적응 변환 과정(310)에서, 해당 색각 장애 사용자의 시각 특성을 표현하는 LMS 반응 정도를 일반 사용자의 LMS 반응 정도와 동일하게 맞추기 위하여 해당 비주얼 컨텐츠의 내용에 변환 행렬을 구하고(311), 이를 이용하여 정상인이 인지하는 컨텐츠로의 적응 변환 과정을 수행한다(312). 최종적으로 변환된 비주얼 컨텐츠가 색약 사용자에게 전달된다. 이때 변환 행렬의 값은 컨텐츠의 내용과 색약 사용자의 LMS 반응 정도에 따라 서로 다르게 결정된다. 또한, 사용자가 사용하는 디스플레이 장치의 RGB 스펙트럼 방출 함수 (E_R( lambda ), E_G( lambda ),E_B( lambda )) 와 사용자 눈의 LMS 반응 함수 (L( lambda ),M( lambda ),S( lambda )) 로부터 해당 사용자가 실제로 인지하는 LMS 반응 함수를 수식 (1)과 같이 계산한다. 수식 1은 RGB 값에 대한 LMS 삼 자극치(LMS Tristimulus) 값이다.

결과적으로, 색각 장애를 가지고 있지 않은 사용자의 LMS 삼 자극치 값은 수식 (2)와 같다. 이를 이용하여, 해당 비주얼 컨텐츠를 인지하는 사용자의 LMS 반응 함수를 얻는다.

마찬가지로, 색각 장애를 가지고 있는 사용자 눈의 LMS 반응 함수와 해당 디스플레이 장치의 RGB 스펙트럼 방출 함수를 이용하여, 색각 장애를 가지고 있는 사용자의 실제 LMS 반응 함수를 수식 (3), (4), (5)와 같이 얻을 수 있다. 수식 (3)은 L 추상체의 값이 비정상인 적색약 사용자의 LMS 반응 함수이고, 수식 (4)는 M 추상체의 값이 비정상인 녹색약 사용자의 LMS 반응 함수이고, 수식 (5)는 S 추상체의 값이 비정상인 청색약 사용자의 LMS 반응 함수이다.

결과적으로, 색약 장애를 가진 사용자가 느끼는 컨텐츠의 RGB 색은 색각 장애가 없는 사용자의 LMS 값에 해당 사용자의 색약 장애에 해당하는 LMS 반응 행렬의 역함수를 적용함으로써 얻어질 수 있다. 이로써, 색약 사용자가 해당 컨텐츠를 어떻게 시각적으로 인지하는지 일반 사용자가 느낄 수 있게된다. 각 색약 장애를 가진 사용자들이 인지하는 비주얼 컨텐츠를 시뮬레이션하기 위한 함수는 수식 (6), (7), (8)과 같다. 수식 (6)은 적색약을 가진 사용자를 시뮬레이션하기 위한 함수이며, 시뮬레이션된 RGB 색은 각각 R_p, G_p, B_p로 표현된다. 수식 (7)은 녹색약을 가진 사용자를 시뮬레이션하기 위한 함수이며, 시뮬레이션된 RGB 색은 각각 R_d, G_d, B_d로 표현된다. 수식 (8)은 청색약을 가진 사용자를 시뮬레이션하기 위한 함수이며, 시뮬레이션된 RGB 색은 각각 R_t, G_t, B_t로 표현된다.

최종적으로, 색약 장애를 가진 사용자들이 장애를 가지고 있지 않은 일반 사용자들이 인지하는 것과 동일하게 인지하도록 하기 위하여, 시뮬레이션된 컨텐츠의 RGB 값을 적응 변환하는 과정이 수식 (9), (10), (11)과 같이 수행된다. 결과적으로, 색각 장애를 가진 사용자들이 인지하는 RGB 색을 얻을 수 있게 된다.

또한, 색각 장애 중 색맹 장애를 가진 사용자를 위한 적응 변환(320)을 위하여, RGB 색 공간으로 표현된 비주얼 컨텐츠를 LMS 색 공간으로 변환한 후(321), 해당 색맹 장애를 가진 사용자의 제한된 LMS 반응 함수로 추가로 변환한다(322). 그 다음, 이 과정에서 변환된 LMS 값들 가운데, 해당 색맹 장애에 해당되는 추상체 반응 수치의 감소가 발생하는 영역을 검출함으로써 적응 변환할 영역의 위치 정보를 얻어낸다(323). 그리고, 추출된 영역에 속하는 픽셀의 HSI 값을 조절함으로써 해당 색맹 장애를 가진 사용자가 정상 사용자만큼의 정보를 해당 비주얼 컨텐츠로부터 획득할 수 있도록 적응 변환한다(324). 적응 변환된 컨텐츠는 최종적으로 비주얼 컨텐츠 출력부(400)로 전달된다.

수식 (12)는 적색맹 (Protanopia)의 색인지 (L', M', S')를 나타낸 것이다.

수식 (13)는 녹색맹 (Deuteranopia)의 색인지 (L', M', S')를 나타낸 것이다.

수식 (14)는 청색맹 (Tritanopia)의 색인지 (L', M', S')를 나타낸 것이다.

수식 (15)는 색맹자의 색인지를 RGB 영역에서 나타낸 것이다.

색맹자의 색 적응을 위하여 RGB 영역을 HSI영역으로 바꾼 후 다음 식에 의해 색 적응변환을 수행한다.

여기서 k1,k2,k3는 정규화 상수로 변환된 H', S', I' 가 색 범위에 들게 하는 것을 말한다. 또한 *는 곱셈 / 는 나눗셈을 말한다. 여기서는 비례와 반비례만 언급했으나 새로운 H',S',I' 값은 색 장애 정도와 주위밝기 및 시력 등으로 통상의 지식을 갖고 있는 자가 유추할 수 있는 관계식을 모두 포함한다.

아래 표현은 표 2에서 기술한 색각정보를 XML문서로 기술한 것이다

색각 장애를 가진 사용자도 별도의 장비 없이 일반 사용자와 거의 동등한 의미 정보를 비주얼 컨텐츠로부터 전달받음으로써, 색각 장애를 가진 사용자도 자유롭고 편하게 멀티미디어 콘텐츠를 이용할 수 있다. 이는 미디어 국제표준 MPEG-7 및 MPEG-21의 디지털 아이템 적응 부분에도 적용 가능하다.

Claims (14)

1. 사용자 색각 장애 특성에 따른 적응 변환 방법 및 이를 위한 입력 정보 기술 구조를 포함한다.
2. MPEG-21 멀티미디어 통합 프레임워크 내에서 사용자 색각 특성에 따른 적응 변환 방법 및 입력 정보 기술 구조를 정의함을 포함한다.
3. 1항에 입력 정보 기술 구조를 표현함에 있어 색각 장애의 유무 표시를 포함한다.
4. 1항에 입력 정보 기술 구조를 표현함에 있어 색각 장애의 종류 표시를 포함한다.
5. 1항에 입력 정보 기술 구조를 표현함에 있어 색각 장애의 정도를 서술적으로 표현함을 포함한다.
6. 1항에 있어 입력 정보 기술 구조를 표현함에 있어 색각 장애의 정도를 수치적으로 표현함을 포함한다.
7. 1항에 입력 정보 기술 구조를 표현함에 있어 사용자 주위의 밝기 표시를 포함한다.
8. 1항에 입력 정보 기술 구조를 표현함에 있어 날씨 상태 표시를 포함한다.
9. 1항에 입력 정보 기술 구조를 표현함에 있어 변환 종류 및 정도 표시를 포함한다.
10. 1항에 적응 변환 방법은 색맹인 사용자와 색약인 사용자로 나누어 적응 변환하는 과정을 포함한다.
11. 10항에 색약 장애를 가진 사용자를 위한 적응 변환 방법에 있어서, 색약 장애의 종류에 따라 RGB 색 공간에서 LMS 색 공간으로 변환하는 과정을 포함한다.
12. 10항에 색약 장애 중 색약인 사용자를 위한 적응 변환 방법에 있어 색약인 사용자 눈의 추상체 반응 함수와 디스플레이 장치의 스펙트럼 방출 함수를 이용해, 비주얼 컨텐츠의 내용을 적응 변화시키는 과정을 포함한다.
13. 10항에 색맹 장애를 가진 사용자를 위한 적응 변환 방법에 있어서, 색맹 장애를 가진 사용자의 제한된 LMS 영역과 일반 사용자의 LMS 영역을 비교하여 LMS 값이 감소한 영역을 검출함으로써, 색약 장애 사용자가 인지하기 어려운 색 영역을 검출하는 방법 및 과정을 포함한다.
14. 10항에 색맹 장애를 가진 사용자를 위한 적응 변환 방법에 있어서, 색맹 장애 사용자가정상인이 인지하는 색 정보를 인지하도록 하기 위한 HSI 값 조절 과정을 포함한다.