KR101426785B1 - 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 - Google Patents

Abstract

본 발명은 스마트 디바이스에서 쵤영된 영상의 일부인 민감영역을 왜곡할 때 컴퓨터 영상 처리 기법을 이용하여 예술감성과의 융합을 통해 사용자 친화적으로 영상을 왜곡시키는, 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 관한 것으로서, (a) 상기 스마트 디바이스의 센서로부터 방항 및 조도의 측정값을 가져오는 단계; (b) 상기 영상을 입력받아 상기 영상의 이미지(이하 소스 이미지)와 동일한 목표 이미지를 생성하는 단계; (c) 상기 소스 이미지로부터 민감영역을 추출하는 단계; (d) 상기 소스 이미지로부터 개체 윤곽선을 추출하고, 상기 윤곽선의 주위 부분을 블러링하여, 블러링된 부분만 상기 목표 이미지에 반영하는 단계; (e) 상기 소스 이미지에서 명도값이 높은 하이라이트 영역을 추출하는 단계; (f) 상기 하이라이트 영역과 상기 민감영역에 해당하는 소스 이미지를 블러링하여, 블러링된 부분만을 상기 목표 이미지에 반영하는 단계; (g) 상기 소스 이미지에서 가장 많이 사용되는 색상으로 상기 목표 이미지에 블랜딩하는 단계; 및, (h) 상기 민감영역을 블러링하여 상기 목표 이미지에 반영하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 요청된 쿼리 중 기본 쿼리의 데이터를 캐싱함으로써, 민감영역을 예술적 감성 요소를 반영하여 왜곡 처리함으로써, 왜곡된 민감영역이 친 사용자 감성적 특성을 나타내어, 사용자의 몰입감을 방해하지 않을 수 있다.

Description

스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 { A user-friendly image obfuscation method for the sensitive area in smart devices by reflecting art sensitivity }

본 발명은 스마트 디바이스의 영상에서 영상의 일부인 민감영역을 왜곡할 때 컴퓨터 영상 처리 기법을 이용하여 예술감성과의 융합을 통해 사용자 친화적으로 영상을 왜곡시키는, 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 관한 것이다.

디지털 기기의 발달, 각종 스마트폰, 스마트 글래스를 비롯한 다양한 웨어러블(wearable) 디바이스의 잇단 출시에 따라 개인의 정보보호 문제가 더욱 중요한 화두로 떠오르고 있다. 특히 얼굴 등 프라이버시가 보호되어야 하는 영상 보호를 위해 많은 연구와 사회적 관심이 집중되고 있다.

일반적으로, 영상을 통해 얻어지는 정보가 프라이버시 침해 우려가 있는 경우, 프라이버시보호가 필요한 민감영역 영상보호를 위해서, 많은 경우, 블러링, 픽셀화, 저해상도, 등의 혼동기법으로 민감영역의 영상을 보호하고 있다. 구체적으로, 아래와 같은 방법들을 사용해서 민감 영역들을 보호하고 있다.

첫째 영상 내에서 민감영역을 추출해서 완전히 '소거 (Blanking)'시키는 방법, 두 번째로, 사람들의 행동은 감지하지만 민감한 영역 내의 자세한 정보를 인식하지 못하게 만드는'모자이킹', '높은 압축', '픽셀화', '블러링', '손실압축' 과 같은 다양한 알고리즘들을 적용하는 혼동기법, 세 번째로 혼동기법으로도 가끔 식별되는 영상까지도 완전히 제거하는 방법인 "스크램블링" 기법, 네 번째로 추상화시키는 방법, 다섯 번째로 암호화된 관심영역은 적합한 복호화 키를 소지하지 않은 사람들은 보지 못하게 만드는'암호화'방법, 여섯 번째, 다중 프라이버시 레벨 제공을 통해 단일 영상 스트림 내의 민감 정보에 대한 다양한 프라이버시 수준조절을 가능하게 하는'다중 프라이버시 레벨링(Multiple Privacy Level)'이다.

그러나 이들 대부분의 종래기술들은 단지 영상의 인식불가, 즉, 프라이버시와 관계있는 민감영역을 사람들이 식별하지 못하게 하는 데에만 촛점이 맞추어져 있다. 그래서 개인 삶의 풍요, 오락, 유저의 몰입 등이 중요하게 여겨지는 스마트 디바이스에서 적용할 경우, 유저감성이 고려되지 않고 갑자기 등장하는 가림 현상, 왜곡현상은 문제가 될 수 있다.

구체적으로 설명하면, 디지털 미디어 기술의 급속한 발달, 소통매체의 발달에 따른 생활환경 변화는 유저(user)들을 점점 더 감성적, 감각적으로 변화시키고 있으며, 그에따라 인간의 오감, 감성연구 등이 박차를 가해 다양한 분야와의 융합을 통해 유저들의 필요를 만족시키고 있다. 또한, 스마트폰, 스마트 글래스 등 날로 진화하고 발전하는 스마트 디바이스에서는 사용자의 감성, 놀이, 몰입이 중요해지고 있다.

이와 같은 맥락에서 단순히 프라이버시 보호를 위해, 갑자기 발생하는 영상의 왜곡현상이 발생되는 경우, 예를 들어, 플레이 되는 영상이 어느 순간 갑자기 모자이크 처리 된다던가 블러링 될 경우 유저들의 짜증을 불러일으킬 수 있으며, 특히, 스마트 디바이스에서 감성, 놀이, 몰입을 방해할 수 있다. 나아가서 기기 사용 자체에 대해 회의를 품을 수도 있을 것이고, 해당 디바이스 또는 콘텐츠들로부터 유저들을 소외시키는 현상을 초래하게 된다.

그에 따라 유저의 감성침해를 최소화하면서 동시에 사생활을 보호하는 영상 왜곡의 기술개발이 필요하다. 즉, 유저의 감성을 반영한 영상왜곡이 절실히 필요하다.

[비특허문헌 1] Ming Liu, A Study of Mobile Sensing Using Smartphones, International Journal of Distributed Sensor Networks, Vol. 2013, pp.1-11, 2013. [비특허문헌 2] Yohan, Hojung Cha, LifeMap: A Smartphone-Based Context Provider for Location-Based Services, Pervasive Computing, Vol.10, Issue.2, pp.58-67, 2011.1. [비특허문헌 3] Garen Der-khachadourian, Autonomous Navigation and Collision Avoidance of a Scale Model Robot Using Smartphone Sensors, Technical Report No. UCB/EECS-2013-75, 2013.3. [비특허문헌 4] Benjamin Gotow , Krzysztof Zienkiewicz , Jules White , Douglas C. Schmidt, Addressing Challenges with Augmented Reality Applications on Smartphones, Mobilware 2010,Vol. 48, pp. 129??143, Springer, Heidelberg. 2010. [비특허문헌 5] Wu W, Dasgupta S, Ramirez EE, Peterson C, Norman GJ, Classification Accuracies of Physical Activities Using Smartphone Motion Sensors, Med Internet Res 2012;14(5):e130, 2012. [비특허문헌 6] https://play.google.com/store/ [비특허문헌 7] http://www.creativeapplications.net/iphone/pxl-by- rainer- kohlberger-playfully-abstract-compositions-for-your-ios-device/ [비특허문헌 8] http://kohlberger.net/apps/field [비특허문헌 9] http://stephanmaximilianhuber.com/en/art/konfetti [비특허문헌 10] Eun-Jun Y.: Privacy protection technique based on SPDCM, J. CCTV, vol. 40, pp. 92-94, Tech-World, Korea (2012) [비특허문헌 11] Carniel, V.: Privacy Enabling Technology for Video Surveillance, http://www.boannews.com/plan/plan_view.asp?idx=8151 (2007)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 스마트 디바이스의 영상에서 영상의 일부인 민감영역을 왜곡할 때 컴퓨터 영상 처리 기법을 이용하여 예술감성과의 융합을 통해 사용자 친화적으로 영상을 왜곡시키는, 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 스마트 디바이스에서 촬영된 영상을 처리하는, 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 관한 것으로서, (a) 상기 스마트 디바이스의 센서로부터 방항 및 조도의 측정값을 가져오는 단계; (b) 상기 영상을 입력받아 상기 영상의 이미지(이하 소스 이미지)와 동일한 목표 이미지를 생성하는 단계; (c) 상기 소스 이미지로부터 민감영역을 추출하는 단계; (d) 상기 소스 이미지로부터 개체 윤곽선을 추출하고, 상기 윤곽선의 주위 부분을 블러링하여, 블러링된 부분만 상기 목표 이미지에 반영하는 단계; (e) 상기 소스 이미지에서 명도값이 높은 하이라이트 영역을 추출하는 단계; (f) 상기 하이라이트 영역과 상기 민감영역에 해당하는 소스 이미지를 블러링하여, 블러링된 부분만을 상기 목표 이미지에 반영하는 단계; (g) 상기 소스 이미지에서 가장 많이 사용되는 색상으로 상기 목표 이미지에 블랜딩하는 단계; 및, (h) 상기 민감영역을 블러링하여 상기 목표 이미지에 반영하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (a)단계에서, 상기 방향의 측정값은 X축과 Y축의 측정값만을 사용하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (e) 단계는 상기 소스 이미지의 칼라 영상에서 명도 영상을 구하고, 상기 명도 영상에서 소정의 기준치 이상의 명도 값을 가지는 영역만을 하이라이트 영역으로 추출하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (e)단계에서, 상기 칼라 영상에서 명도 값을 소정의 개수의 단계로 구분하여 명도 영상을 구하고, 상기 소정의 개수는 최대 조도값 및, 상기 조도의 측정값에 의해 구해지는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (f) 단계에서, 상기 하이라이트 영역과 상기 민감 영역에 랜덤 블러링을 수행하고, 블러링된 영역만을 상기 목표 이미지에 블랜딩하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (f)단계에서, 상기 하이라이트 영역과 상기 민감 영역을 블러링하여 상기 목표 이미지에 블랜딩하는 과정을 소정의 횟수만큼 반복하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (g)단계에서, 상기 소스 이미지의 색상 값을 사전에 정해진 개수의 단계로 축소하고, 축소된 단계의 색상에 의한 영상에서 가장 많이 사용되는 색상을 검색하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (g)단계에서, 상기 검색된 색상을 사전에 정해진 소정의 비율의 불투명도로 상기 목표 이미지에 블랜딩하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 불투명도의 비율은 검색된 색상의 20 내지 45%인 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 스마트 디바이스의 센서에서 측정한 측정값이 변동되면, 상기 단계들을 반복하여 수행하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 (f)단계에서, 블러링된 부분의 반대 색상값과 상기 목표 이미지의 반대 색상값을 곱하고, 곱한 결과의 반대 색상값으로 상기 목표 이미지에 블랜딩하여 반영하고, 상기 (g)단계에서, 가장 많이 사용되는 색상(이하 최빈도 색상)의 색상값을 상기 목표 이미지의 영상의 반대 색상값으로 나눈 결과값으로 상기 목표 이미지에 블랜딩하여 반영하고, 상기 (h)단계에서, 블러링된 민감 영역의 영상의 색상값과 상기 목표 이미지의 색상값을 더한 결과값으로, 상기 목표 이미지에 블랜딩하여 반영하는 것을 특징으로 한다.

또한, 본 발명은 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서, 상기 민감영역은 얼굴이 나타난 얼굴 영역인 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 의하면, 민감영역을 예술적 감성 요소를 반영하여 왜곡 처리함으로써, 왜곡된 민감영역이 친 사용자 감성적 특성을 나타내어, 사용자의 몰입감을 방해하지 않을 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 스마트 디바이스의 구성도.
도 3은 본 발명의 일실시예에 따른 방법에서 이용하는 스마트 디바이스의 센서 종류 및 역할을 나타낸 표.
도 4는 종래기술에 의한 프라이버스 침해 보호를 위해 자주 사용되는 보호 방법을 나타낸 표.
도 5는 본 발명에서 이용되는 예술감성이 반영된 예술작품의 표현 예로서, (a) Alvaro Cassinelli‘s Khronos Projector, Siggraph Emerging Technology, 2005[비특허문헌 2], (b) Francis Bacon’s Art Painting used as the Technical Concept of Sensibility Expression[비특허문헌 2]의 예시한 그림.
도 6은 종래기술에 의한 블러링 기술 기반의 프라이버스 보호 기술을 적용한 일례[비특허문헌 4]의 그림.
도 7은 본 발명에서 적용하는 블러링 기술을 적용할 수 있는 아트워크의 일례로서, Paul Hellard’s artwork, Siggraph 2011, ⓒ the Association for Computing Machinery, Inc. [비특허문헌 5]의 예시 그림.
도 8은 종래기술에 의한 픽셀화 기술 기반의 프라이버스 보호 기술을 적용한 일례[비특허문헌 2]의 그림.
도 9는 본 발명에서 적용하는 픽셀화 기술을 적용할 수 있는 아트워크의 일례[비특허문헌 6]의 예시 그림.
도 10은 종래 기술에 본 발명의 일실시예에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법을 설명하는 흐름도.
도 11은 종래기술 및 본 발명에 따른 방법에 의해 처리된 영상으로서, (a) 일반적인 블러링 처리된 이미지, (b) 좌우로 방향을 준 블러링 처리된 이미지의 예시 그림.
도 12 및 도 13은 종래 기술 및 본 발명에 따른 방법에 의하여 처리된 영상의 이미지 결과를 비교하기 위한 예시 그림으로서, (a) 종래기술에 의해 블러링을 적용한 이미지, (b) 본 발명에 따른 방법에 의해 예술적 감성요소를 반영한 이미지의 예시 그림.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법을 실시하기 위한 전체 시스템의 구성을 도 1 및 도 2를 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 스마트 디바이스(20) 및 상기 스마트 디바이스에 설치되는 영상왜곡 시스템(30)으로 구성된다.

스마트 디바이스(20)는 스마트폰, 태블릿PC, 구글 글라스 등 웨어러블 장치 등으로서, 컴퓨팅 기능을 가진 이동가능한 단말 또는 신체에 착용가능한 단말을 말한다.

도 2에서 보는 바와 같이, 스마트 디바이스(20)는 사람 등 사물(10)을 촬영하는 카메라(21), 주변의 조도를 측정하는 조도 센서(22), 스마트 디바이스의 방향을 측정하는 방향 센서(23), 명령 또는 데이터를 입력하는 입력장치(24), 화면을 표시하는 디스플레이(25), CPU나 마이컴 등 중앙처리장치(26), 데이터를 저장하는 메모리(27) 등으로 구성된다.

또한, 영상왜곡 방법은 프로그램 시스템(30)으로 구현되어, 스마트 디바이스(20)에 프로그램 어플리케이션 또는 어플 형태로 설치되어 실행된다.

영상왜곡 시스템(30)은 스마트 디바이스(20)의 카메라(21) 등을 통해 촬상된 영상을 입력받아 처리하고, 조도 센서(22) 또는 방향 센서(23) 등으로부터 센싱된 측정값을 이용하여 촬상된 영상의 처리 변수로서 이용한다. 또한, 처리된 결과들은 스마트 디바이스의 디스플레이(25)를 통해 표시하고, 촬상된 영상이나 처리 결과 등을 메모리(27)에 저장한다.

영상왜곡 시스템(30)은 사람 등 대상 물체(10)를 촬영하여 영상을 획득하고, 상기 영상 중에서 민감 영역을 블러링 등으로 처리하여, 해당 영역을 왜곡시킨다. 특히, 본 발명에 따른 영상왜곡 시스템(30)은 상기 민감 영역의 주변 영역을 함께 블러링하고, 전체 영상의 이미지와 조화가 되도록 처리한다. 이를 통해, 예술감성과의 융합을 통해 사용자 친화적으로 영상을 왜곡시킨다.

다음으로, 본 발명에서 사용되는 스마트 디바이스(20)에 구비되는 센서에 대하여 설명한다.

최근 스마트 디바이스 센서에는 가속 센서(Accelerometer)와 자이로스코프(Gyroscope) 센서, 마이크로 폰(Microphone), 자기력 센서(Magnetometer), 압력 센서(Pressure Sensor), 근접 센서(Proximity Sensor), 카메라(Camera) 등이 있다. 도 3의 표는 스마트 디바이스의 센서와 그 기능을 보여준다[비특허문헌 1].

상기와 같은 스마트 디바이스 센서들은 다양한 분야에서 연구되고, 응용되고 있다. 가속 센서(Accelerometer), 디지털 나침반(digital compass), Wi-Fi(와이파이), 위성항법장치(GPS)[비특허문헌 2]를 이용한 위치 기반 서비스(Location Based Service), 카메라(Camera)와 GPS 센서를 이용하여 로봇의 충돌 감지와 이동에 대한 연구[비특허문헌 3], GPS 센서와 지자기 센서(geomagnetic sensors)를 이용한 증강 현실(Augmented Reality)분야[비특허문헌 4], 신체 활동을 체크하기 위해 자이로스코프(gyroscope) 센서와 가속도(accelerometer) 센서를 이용한 연구[비특허문헌 5] 등이 있다.

게임 분야에서는 자이로스코프(gyroscope) 센서를 이용하여 많은 게임들이 제작되고 있다. 어플리케이션(Application)에는 자기 센서(magnetic sensor)와 GPS, 광 센서(Light Sensor)를 이용하여 나침반과 진동을 측정하고 손전등 역할을 하는 "스마트 툴즈(Smart Tools)"[비특허문헌 6], GPS 센서를 이용하여 운동량을 확인할 수 있는 "런 기퍼(Run Keeper)" 등이 있다.

최근 보여지는 예술작품들에서도 자이로스코프(gyroscope) 센서, 광 센서(Light Sensor) 등 스마트 디바이스 센서를 이용한 다양한 작품들이 발표하고 있다[비특허문헌 7, 8, 9].

다음으로, 본 발명에서 이용되는 프라이버시 보호를 위한 영상왜곡 방법에 대하여 설명한다.

일반적으로 영상을 통해 얻어지는 정보가 프라이버시 침해 우려가 있는 경우에는 도 4의 표와 같은 방법들을 사용해서 민감 영역들을 보호하고 있다.

첫째 방법은 영상 내에서 민감영역을 추출해서 완전히 '소거 (Blanking)'시키는 방법이고, 두 번째 방법은 사람들의 행동은 감지하지만 민감한 영역 내의 자세한 정보를 인식하지 못하게 만드는 '모자이킹', '높은 압축', '픽셀화', '블러링', '손실압축' 과 같은 다양한 알고리즘들을 적용하는 혼동기법이다. 또한, 세 번째 방법은 혼동기법으로도 가끔 식별되는 영상까지도 완전히 제거하는 방법인 "스크램블링" 기법이다. 그리고 네 번째 방법은 추상화시키는 방법이고, 다섯 번째 방법은 암호화된 관심영역에 대하여 적합한 복호화 키를 소지하지 않은 사람들은 보지 못하게 만드는 '암호화'방법이다. 또한, 여섯 번째 방법은 다중 프라이버시 레벨 제공을 통해 단일 영상 스트림 내의 민감 정보에 대한 다양한 프라이버시 수준조절을 가능하게 하는'다중 프라이버시 레벨링(Multiple Privacy Level)' 방법이다.

상기와 같은 프라이버시 보호 기술들은 M-JPEG, M-JPEG 2000, MPEG-4 혹은 AVC/H.264와 같은 기존 압축기술 등을 주로 사용하고 있다.

또한, 도 3의 표에서 설명한 것처럼, 일반적으로 프라이버시 침해를 막기 위한 기술들은 CCTV(closed circuit television)와 같이 민생치안, 보완 등의 목적에만 포커스가 맞추어져 있다.

본 발명은 이 중 두 번째 방법인 '혼동기법'의 시각화 방법을 구체화한 것이다. 본 발명은 스마트 디바이스의 특정 목적과 기능을 수행하는 것을 고려하여 개발되고 있다. 특히, 본 발명은 엔터테인먼트 산업의 맥락에서 사용자(또는 유저 user)의 감성을 무엇보다도 중요하게 여겨지는 영역이라는 것을 고려하여 개발되고 있다.

다음으로, 본 발명에서 사용하는, 예술 작품들의 예술 감성을 반영하는 방법에 대하여 설명한다. 사용자 감성과 몰입이 중요해 짐에 따라, 테크놀로지 영역에서도 감성, 인간의 오감 연구가 활발히 진행되고 있다

도 5a는 일본 도쿄대학, 알바로 카시 넬리(Alvaro Cassinelli)의 크로노스 프로젝터(Khronos Projector)이다[비특허문헌 2].

또한, 도 5b는 감성적 기술개발을 위해 모더니스트 화가 프란시스 베이컨 작품의 감성표현 방법을 분석하여 테크놀로지의 컨셉으로 활용하고 있다[비특허문헌 2]. 인간의 소외된 내면심리를, 자아 반영의 상징인 얼굴이미지를 여러 조각으로 해체하고, 왜곡하여 나타낸 표현들, 즉 이미 대중에게 공감을 얻은 예술작품의 감성표현 방법을 분석하여 표현하고 있다. 도 5의 예는 감성과 기술이 융합되어 사용자의 만족을 유도한다는 맥락에서, 스마트 디바이스 기반 프라이버시 보호를 위한 영상변형 방법에도 그 활용 가능성을 보여주고 있다.

도 6은 도 4의 표에서 설명한 방법의 한 예로서, 영상 내 민감영역을 인식하지 못하게 하는 데에 포커스를 둔 혼동기법 중 '블러링'이 적용된 예이다[비특허문헌 4]. 도 7은 아트워크에서 이와 유사한 블러링 연출 방법을 활용한 작품이다[비특허문헌 5]. 도 6 및 도 7은 모두 영상의 내용이 무엇인지 파악되지 못하고, 그렇기 때문에 보호될 수 있다. 그러나 상기 영상들은 단순하고 지루하다.

도 6와 비교하면, 도 7[비특허문헌 2]은 화면의 밀도, 그라데이션 효과, 화면 내의 강조와 생략을 통하여, 사용자 시선을 유도할 수 있다. 또한, 도 7은 색감의 어울림 등도 고려하여 표현된 것이다. 이러한 영상은 앞서 단순하고 지루한 도 6의 영상 등과 매우 대조된다.

다음으로, 본 발명에서 이용하고자 하는, 화면의 조형미 반영을 통한 영상변형 방법을 설명한다.

도 8은 '픽셀화' 방법을 통하여 민감영역의 영상을 인식하지 못하게 하여 프라이버시를 보호시킨 영상의 예를 도시하고 있다. 도 9는 아트워크(또는 예술 작품)에서 픽셀화와 유사한 연출을 보여준 영상의 예를 도시하고 있다.

도 8의 영상은 단순히 영상 인식 불가에만 초점을 맞추고 있다. 이에 반해, 도 9의 영상은 비록 유사한 연출에 의한 영상이지만, 조형적 아름다움을 표현하고 있다. 도 9의 영상은 전체 화면의 시각적 밸런스, 색상 배색, 색상 진하기 또는 강 약의 조절 등을 모두 고려하여 연출되고 있다.

도 8 및 도 9의 영상들은 모두 구체적인 영상의 내용을 식별하지 못한다. 그러나 도 8의 영상에 비해, 도 9의 영상은 작품을 보면서 감성적 만족을 얻을 수 있다. 즉, 도 9의 영상은 조형적 원리를 사용하기 때문에, 보는 이들에게 아름다움을 선사할 수 있다.

다음으로, 본 발명에서 이용하고자 하는, 예술 작품에서 사용되는 시지각적 원리를 반영하는 방법에 대하여 설명한다.

예술의 시지각 이론에 의하면, 인간이 사물을 볼 때, 단순히 눈으로만 보는 것이 아니라, 시각적 자극에 대해 인간 뇌의 정서적 반응이 동반된다고 설명하고 있다. 특히, 게슈탈트(Gestalt) 시지각 이론에 의하면, 사람들이 어떠한 대상을 지각할 때, 눈에 보이는 그대로를 지각하기 보다는 의미 있는 체계의 형태로 만들어 지각하려는 경향이 있다. 즉, 사람들은 어떠한 대상을 지각할 때 대체로 다양한 요소들을 질서 있는 양식으로 통일하려는 성향을 갖고 있으며, 모양이나, 컬러, 텍스춰 등 화면 안의 다양한 구성요소들을 서로 연결 시키려 하는 속성을 갖고 있다.

또한, 게슈탈트 등가성 법칙에 의하면, 모양이나, 컬러, 텍스쳐(texture) 등의 구성요소가 시각적으로 균형을 이루어야만, 보는 사람들이 안정감을 느낄 수 있다. 만약 균형이 이루어지지 않았을 때 사람들은 시각적 불안함을 느낀다.

따라서 화면의 영상에서 민감영역을 왜곡시킬 때, 해당 영역의 이미지를 알아보지 못하게 하는 것에만 목적을 두는 것이 아니라, 시지각적 입장이 동시에 고려되어야 한다. 이런 경우, 사용자들이 안정감과 시각적 편암함 속에서 영상을 볼 수 있다.

다음으로, 본 발명의 일실시예에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법을 도 10 내지 도 12를 참조하여 설명한다.

본 발명의 일실시예에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법은 예술감성 반영의 프라이버시 보호를 위해, 혼동기법의 '블러링' 방법을 통해 민감영역의 시각화를 구현하는 방법이다.

화면을 구성하는 다양한 요소들 즉 컬러, 모양, 텍스쳐 등의 화면 구성요소가 시각적으로 균형을 이루어야 보는 사람들이 안정감을 느낄 수 있다. 만약 균형이 이루어지지 않았을 때 사람들은 시각적 불안함을 느낀다.

이에 따라 비주얼 아트 및 디자인 영역에서 가장 많이 사용하는 화면구성 원리 중 특정 부분의 "강조(주제영역 형성)"를 통한 화면구성[Marvin Bartel] 원리를 적용한다. 이것은, 한 화면에서 특정영역을 다른 부분들 보다 강조하여, 화면 안에서 강약을 통해 화면리듬과 화면호흡을 만들어서 보는 사람에게 안정감을 주는 방법이다.

본 발명의 일실시예에 따른 개발 환경은 안드로이드 플랫폼 환경에서 안드로이드 SDK 2.3을 사용하고 사용 언어는 안드로이드용 OpenCV 2.4.2와 JAVA언어를 이용한다. 안드로이드용 이미지 처리 API(application programming interface) 라이브러리(예를 들어, blImageAPI) 등을 설치한다. 상기 라이브러리는 블랜딩 효과 함수들을 포함한다. 사용된 센서들은 자이로스코프 센서와 조도(light sensor) 센서를 사용한다. 상기 자이로스코프 센서는 스마트 폰의 회전 값에 따라 블러링 방향을 결정하기 위해 사용한다. 조도 센서는 조도 값에 따라서 명도 단계를 결정하기 위하여 사용한다. RGB에 대한 색상은 각각 8비트로 설정한다.

특히, 본 발명의 일실시예에 따른 방법은 얼굴 영역을 민감 영역으로 왜곡하는 실시예이다. 즉, 본 발명은 사생활 보호를 위해 얼굴 영역을 인식하고, 인식된 상기 얼굴 영역을 시각화하는 방법이다.

도 10에서 보는 바와 같이, 본 발명의 일실시예에 따른 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법은 방향 및 조도 입력 단계(S10); 소스 이미지와 목표 이미지 생성 단계(S20); 민감영역(또는 얼굴영역) 추출 단계(S30); 개체 윤곽선 부분을 블러링하여 목표 이미지에 반영하는 단계(S40); 하이라이트 영역을 추출하는 단계(S50); 하이라이트 영역 및 민감 영역을 블러링하여 반영하는 단계(S60); 가장 많이 사용된 색상으로 목표 이미지에 블랜딩하는 단계(S70); 및, 민감영역을 블러링하여 목표 이미지에 반영하는 단계(S80)으로 구성된다. 추가적으로, 센서의 측정값이 변동되면 전체 단계를 반복하는 단계(S90)을 포함하여 구성될 수 있다.

먼저, 스마트 디바이스의 방향 센서로부터 측정된 방향(또는 방향 값)과, 조도 센서로부터 측정된 조도(또는 조도 값)를 가져온다(S10).

방향 센서는 자이로스코프 센서 등 스마트 디바이스의 방향을 측정하는 센서이고, 조도 센서는 스마트 디바이스의 주변 빛의 양, 즉, 조도를 측정하는 센서이다.

스마트 디바이스의 센서 값이 변경되면, 자동으로 호출되는 센서의 측정값을 갱신하여 저장한다. 바람직하게는, 방향의 측정값은 X축과 Y축의 측정값만 이용하고, Z축의 측정값은 사용하지 않는다. 이것은 카메라 화면 프레임 처리를 하기 때문에, X축과 Y축에 대해서만 처리해도 되기 때문이다.

또한, 스마트 디바이스의 조도 센서의 결과 값을 가져온다. 바람직하게는 조도 값을 소정의 개수로 구분된 단계로 매핑한다. 예를 들어, 각 단계들을 0 ~ 8 단계로 구분하고, 조도 값의 범위를 구분하여 상기 구분된 단계에 매핑한다. 따라서 측정된 각 조도 값은 특정 단계로 매핑된다.

조도의 측정값은 명도가 높은 하이라이트 영상을 추출하기 위해 명도 영상을 생성할 때 이용된다.

또한, 방향의 측정값은 블러링의 방향을 설정할 때 이용된다. 자이로 센서 등 방향 센서를 이용하여 X축과 Y축의 회전 양을 구하고 이 값을 블러링 방향에 사용한다. 예를 들어 회전량이 X축 기준으로 양의 방향으로 10 증가되고, Y축 방향으로 10 증가되는 경우, 블러링 방향은 X축 기준으로 양의 방향으로 10도, Y축 기준으로는 양의 방향으로 10도 기울어진 블러링을 수행한다.

다음으로, 카메라에 의해 촬상된 영상의 이미지(이하 소스 이미지)를 입력받아 동일한 이미지로 목표 이미지를 생성한다(S20).

스마트 디바이스에 내장된 카메라에 의해 촬상된 영상을 입력받는다. 그리고 영상의 프레임을 캡쳐하여 캡쳐된 이미지를 영상의 이미지(또는 소스 이미지)로 저장한다. 그리고 목표 이미지를 소스 이미지와 동일한 이미지로 생성한다. 상기 목표 이미지는 상기 소스 이미지를 왜곡한 이미지를 만들기 위한 이미지이다. 즉, 목표 이미지에 이하에서 설명하는 각 이미지 처리를 하여, 민감 영역을 왜곡한 이미지로 변환한다.

다음으로, 상기 소스 이미지에서 민감 영역을 추출한다(S30).

바람직하게는, 민감 영역은 얼굴 영역으로 정한다. 즉, 상기 영상의 이미지에서 얼굴 영역을 추출한다. 상기 이미지에서 얼굴 영역을 추출하는 기술은 통상의 얼굴 검출 기술을 이용한다. 예를 들어, 상기 영상 이미지에서 안드로이드용 이미지 처리 API 라이브러리의 cvHaarDetectObjects() 등의 얼굴 검출 함수를 이용한다.

다음으로, 상기 소스 이미지에 개체(또는 오브젝트)의 윤곽선을 추출하고, 상기 윤곽선의 주위 픽셀들에 대해 블러링을 수행하여 블러링된 영역만을 상기 목표 이미지에 덮어 쓰기하여 복사한다(S40). 이때의 개체는 상기 민감 영역에서 영상 왜곡을 하려는 부분을 일부분으로 포함하는 대상 객체를 말한다. 바람직하게는, 민감영역이 얼굴 영역이고, 개체는 사람 개체를 말한다.

상기 소스 이미지에서 오브젝트의 윤곽선을 추출하는 기술은 통상의 윤곽선 추출 기술을 이용한다. 바람직하게는, OpenCV(오픈 소스 컴퓨터 비전 C 라이브러리)의 하르 캐스케이드(HAAR cascade)를 이용하여 사람의 영역을 구하고, 이 영역내에서 윤곽선을 추출한다. 예를 들어, CascadeClassifier::CascadeClassifier()와 CascadeClassifier::detectMultiScale()를 이용하여 사람 몸체에 대한 영역을 획득하고, 이후, 이 영역을 안드로이드용 이미지 처리 API 라이브러리의 함수인 cvFindContour()의 이미지 영역의 매개변수로 전달하여 사람의 윤곽선을 추출한다.

윤곽선의 주위 픽셀은 윤곽선을 지나는 픽셀에서 소정의 거리(또는 소정의 개수에 의한 거리)로 인접한 소정의 개수 픽셀까지를 포함한다. 소정의 거리(또는 소정의 개수에 의한 거리)는 해상도에 따라 달라질 수 있다. 바람직하게는, 1024×768 해상도 기준으로 2 픽셀을 주위 픽셀로 사용한다. 또한, 더욱 바람직하게는, 1024×768 픽셀 미만의 저 해상도에서는 주위 픽셀의 거리를 1픽셀로 정의하고 1024×768 이상의 고해상도에서는 거리를 2 픽셀로 정한다. 주위 픽셀을 너무 넓게 잡아주면 블러링 대상 영역 즉 민감 영역이 커져서 원본 이미지의 영역 경계가 모호해지고, 시각적 미적 표현에 어려움이 발생한다. 주위 영역을 0 픽셀, 즉 전혀 주위 영역을 블러링 하지 않으면, 경계면에 가위로 오린 듯 한 부자연스러움이 발생한다.

바람직하게는, 블러링의 방향은 앞서 방향 센서에 의해 구한 방향으로 정한다.

다음으로, 상기 소스 이미지에서 명도가 높은 영역(이하 하이라이트 영역)을 추출한다(S50). 상기 소스 이미지의 칼라 영상에서 명도 영상을 구하고, 상기 명도 영상에서 소정의 기준치(기준 명도 값) 이상의 명도 값을 가지는 영역만을 추출한다.

구체적으로, 상기 소스 이미지의 컬러 영상으로부터 흑백 영상(또는 명도 영상)으로 변환한다. 이때, 명도 영상의 명도 값의 단계는 상기 조도 센서에 의해 측정된 조도 측정값 및 상기 스마트 디바이스의 최대 조도값에 의해 정해진다.

예를 들어, 스마트 디바이스(20)(또는 카메라 21)의 최대 조도값이 3000LUX를 갖는다면, 상기 최대 조도값을 추출하여 저장한다. 그리고 현재 조도값을 조도 센서(22)를 통해 측정한다. 그리고 다음 수식에 의한 결과값을 가지고 명도 단계로 사용한다.

(최대 조도값/(2×(최대조도값-현재조도값)))×N

여기에서 N의 값이 클수록 명도 단계는 많아지며 작을수록 명도 단계는 작아진다. 바람직하게는, N은 8로 설정한다.

그리고 현재 조도값이 클수록, 즉, 밝을수록 많은 명도단계로 처리되고 어두울수록 적은 명도단계로 처리한다. 물론 제시한 수식이 아닌 테이블 형태로 고정적으로 명도 단계를 제공할 수 있다. 즉, 현재 조도값이 2000인 경우 32단계, 800인 경우 4단계로 명도 단계를 지정하는 테이블로 조도 값에 따라 명도 단계를 지정할 수도 있다.

바람직하게는, 상기 영상 이미지에서 안드로이드용 이미지 처리 API 라이브러리의 cvCVTColor(소스 이미지의 컬러 영상, 명도 영상, CV_RGB2GRAY) 함수를 적용하여, 명도 영상을 구한다.

또한, 생성된 명도 영상을 4단계로 단순화 한다. 상기 명도 영상의 모든 픽셀에 대해 픽셀 값을 가져오고, 상기 픽셀 값을 64로 나누어 명도 단계를 4단계의 명도 값으로 변환한다. 그리고 가장 높은 단계를 갖는 영역을 하이라이트 영역으로 선정할 수 있다. 즉, 명도 영상에서 192-255의 영역 즉 흰색과 가까운 부분만 하이리이트된 영역으로 추출한다.

바람직하게는, 상기 명도 영상에 안드로이드용 이미지 처리 API 라이브러리의 cVGet2D()와 cVSet2D()를 적용하여 4단계의 명도 단계를 갖는 이미지로 변환한다.

다음으로, 상기 소스 이미지에서 상기 하이라이트 영역과 상기 민감 영역에 해당하는 영역을 블러링하고, 블러링된 영역만을 상기 목표 이미지에 블랜딩한다(S60). 바람직하게는 민감 영역은 얼굴 영역이다.

즉, 상기 하이라이트 영역과 상기 민감 영역에 대해 방향센서에 의한 방향이나, 랜덤 방향으로 블러링을 수행한다. 그리고 수행 결과인 블러링된 영역만을 상기 목표 이미지에 블랜딩한다. 블랜딩 기능은 통상의 컴퓨터 그래픽 기술(또는 통상의 블랜딩 함수)을 이용한다. 바람직하게는, 안드로이드용 블랜딩 함수는 BlendSceen()이다.

블랜딩이란 두 개의 영상을 혼합하는 것을 말한다. 불투명도(Opacity)를 포함하여 상위 영상과 하위영상들 간의 색상, 채도, 밝기 등을 원본 영상에 손상을 주지 않으면서 다양하게 혼합하는 것을 이미지 처리 기법이다. 이에 따라 두 개 이상의 영상을 입력으로 하고 이를 블랜딩 한 영상은 결과 영상물로 보여진다. 즉, 앞서 블러링된 하이라이트 영역의 영상과, 블러링된 민감 영역의 영상을 상기 목표 이미지에 혼합한다.

바람직하게는, 상위영상(상기 하이라이트 영역과 상기 민감 영역의 영상)의 반대색(예 RGB가 (255,0,0)인 경우 (0, 255, 255))로 되는 것)과 하위영상(목표 이미지의 영상)의 반대색을 곱한 결과를 다시 반대색으로 변환함으로써, 블랜딩을 수행한다. 수식은 RGB 각각의 요소에 대해 1-(1-A)×(1-B)한 결과를 각 색상으로 갖는다.

여기에서 A와 B는 각각 하위 영상(또는 목표 이미지)과 상위 영상(또는 민감영역/하이라이트 영역의 영상)을 말한다. 그 결과 영상의 색상은 항상 원본 영상 보다 더 밝은 색상이 된다. 그래서 여러 장의 사진 슬라이드를 서로 포개어 투영되는 것과 유사한 효과를 나타내게 할 수 있다.

한편, 블러링 방향을 랜덤하게 하여 이미지 보호 영역을 미리 예측되지 않게 할 수도 있고, 자이로 센서 값을 이용하여 X축과 Y축 회전 양을 구하여 방향의 측정값대로 수평과 수직으로 블러링 방향과 그 양을 결정할 수도 있다. 각 축에 대해 회전 양이 클수록 이미지는 더 심하게 왜곡된다. 또한, 랜덤 방향은 X축과 Y축의 회전 양을 랜덤 함수를 이용하여 구한다. 이 경우 보는 사람이 원 이미지을 쉽게 예측할 수 없는 경우에 사용된다. 또한, 자이로 센서를 이용한 회전 값을 구하여 하는 경우 랜덤 방향보다 원 이미지 인식이 덜 보호되고 보다 규칙적인 영상 이미지를 보여줄 때 사용한다.

도 11(a)에서 보는 바와 같이, 일반적으로 영상왜곡에 사용하는 블러링은, 가우시안 함수를 사용하여 영상을 전체적으로 뿌옇게 하여 영상을 인식하지 못하게 하고 있다. 그러나 도 11(b)에서 보는 바와 같이, 본 발명에서 사용한 블러링은 영상의 뿌옇게 하여 알아보지 못하게 하는 목적도 달성할 뿐만 아니라, 동시에 시각적스타일(아름다움/효과)을 목적으로 동시에 좌우 방향성을 줄 수 있다.

한편, 하이라이트 영역 및 민감 영역을 블러링하는 이유는 다음과 같다.

하이라이트 영역 및 민감 영역을 블러링하는 단계(S60)는 화면 안에서 강, 중, 약을 조절하기 위해 수행하는 단계이다.

화면에서 강조영역이 민감영역에 해당함으로 이미지 내용의 인식불가를 위해 블러링처리를 하였다. 그에 따라 주변 영역에 비해 상대적으로 선명도가 떨어지게 된다. 하지만 인식불가의 목적을 달성하면서 동시에 조형적인 시각화면을 만들기 위해서는, 주제 영역(민감영역) 주변의 선명도를 떨어뜨려야 강조 영역이 더 살아나게 된다.

그래서 하이라이트 영역을 추출하는 첫번째 목적은 민감영역(강조영역)주변의 선명도를 떨어 뜨리는 것이다. 또 하나는 강조영역(민감영역)을 도와 이후 처리될 블랜딩 효과를 통해 주제영역을 형성시키기 위해서 이다. 강조영역(민감영역)과 하이라이트 영역이 합해져서 주제영역을 확장하여 화면의 밝기, 톤, 컨트라스트 등의 증가를 통해 집중도를 높이기 위해서이다. 즉 강조영역(얼굴영역)보다는 집중도를 낮추고 배경영역보다는 집중도를 높이기 위해서 하이라이트를 선택한 것이다.

많은 경우에 있어서, 화면의 주제 영역이 화면 전체의 30% 정도 차지하는 예를 기준으로 강조 영역 주변의 일부 영역을 추출하여 주제영역으로 확장하는 것이다.

한편, 여기서 사용하는 블랜딩 함수는 BlendScreen()인데, 이 함수를 사용하는 이유는, 앞서 설명한 것처럼 블러링 효과을 통해 색, 컨트라스트, 톤 등을 증가시켜 강조영역(얼굴)과 함께 집중도를 증가시키고 동시에 미적 변화감을 주기 위한 것이다.

또한, 바람직하게는, 앞서 하이라이트 영역과 민감영역(또는 얼굴 영역)을 블러링하고 목표 이미지에 블랜딩하는 것을 소정의 횟수로 반복한다. 바람직하게는 추가적으로 1회 더 반복한다.

블러링 및 블랜딩 단계(S60)를 반복하는 이유는, 블랜딩 효과는 영상이 겹쳐질수록 증가하기 때문에 추가적으로 더 겹치는 것이다.

한편, 반복하여 블랜딩할 때에는 BlendColorDodge()의 블랜딩 함수를 사용하는 것을 제외하고, 앞서 최초의 블러링 및 블랜딩 할 때와 동일하다.

BlendColorDodge()는 각 영상의 색상정보를 보고 대비(contrast)를 감소시킴으로써 결과 영상의 색상을 밝게 처리한다. 가장 밝은 색상과 가장 어두운 색상을 제외한 색상에 대해서 채도는 낮추고 명도는 높게 처리한다. 이 함수는 영상을 밝게 처리하는 함수이며, 카메라의 노출이 과다로 되었을 때, 뿌연느낌, 빛이 바랜 듯한 느낌의 효과가 느껴진다.

또한, 바람직하게는, 상위 영상을 하위 영상의 반대색으로 나눈 결과 값을 갖는다. BlendColorDodge() 함수의 수식은 RGB 각 색상에 대해 결과 색상 = B÷(1-A)로 계산된다. 결과적으로 BlendScreen()함수(1-(1-A)×(1-B))보다 밝은 값을 갖는다.

다음으로, 상기 소스 이미지에서 가장 많이 사용된 색상을 검색하여, 검색된 색상을 소정의 비율로 상기 목표 이미지를 블랜딩한다(S70). 바람직하게는, 검색된 색상의 불투명도를 20 내지 45%(up_img)로 상기 목표 이미지에 블랜딩한다. 더욱 바람직하게는, 검색된 색상의 불투명도를 35%(up_img)로 블랜딩한다.

이때 가장 많이 사용된 색상을 검색하기 위하여, 안드로이드용 이미지처리 API의 cvGet2D()함수를 이용한다. 또한, 블랜딩 함수는 BlendColorDodge(목표 이미지, up_img)이며 결과 이미지가 목표 이미지에 저장된다.

가장 많이 사용되는 색상을 소정의 비율로 목표 이미지에 채우는 이유는 주제 영역과 비교했을 때 나머지 영역들을 배경색으로 흐리게 칠해줌으로써 선명도 및 집중도를 낮추기 위함이다. 블랜딩효과를 준 이유는 역시, 영상간의 색상변화를 이용하여 미적 효과를 증진시키기 위해서이다.

가장 많이 사용하는 색상은 색상을 소정의 단계로 단순화시켜서 가장 많이 사용된 색상을 추출한다. RGB 각 색상이 8비트로 표현되므로 최대 표현 가능한 숫자 범위는 0~255이 된다. 각 RGB 각 색상을 32단계로 구분하는 경우 각 색상은(0단계:0-7,1단계:8-15, 2단계:16-23, 3단계:24-31, ..., 31단계:248-255)로 구분된다. 이렇게 32단계로 구분된 RGB 색상 정보는 (0-31, 0-31, 0-31)로 표현된다. 이와 같이 단순화된 RGB 색상 정보를 바탕으로 가장 많이 사용된 RGB 색상을 추출한다. 이렇게 32단계로 구분한 것은 32단계보다 적은 경우 원본 이미지 손상이 많이 되고 32단계보다 더 큰 경우 단순화의 의미가 없어지기 때문에 32 단계로 설정한다.

가장 많이 사용한 색상을 선택한 이유는 화면의 하나의 얇은 톤으로 덮어서 통일감 있게 보여지게 하기 위한 것이다. 즉 특정 부분이 튀지 않게 하기 위한 것이다. 따라서 시각적으로 변화를 가늠하기 어려운 픽셀들의 RGB 값을 일일이 다 구할 필요는 없다.

다음으로, 검색된 색상의 불투명도를 보다 구체적으로 설명한다.

불투명도를 20%이하로 처리하면, 컬러가 너무 투명하게 칠해져서 화면의 통일감을 형성하기 어려우며, 45%이상으로 처리하면 영상 내의 이미지들이 가려지게 됨으로 20~45%, 35% 정도가 적절하다. 이는 많은 실험을 통한 수치이다.

화면연출의 많은 경우에 있어서, 뷰어들의 시선을 특정영역으로 유도하기 위해. 색상, 명도, 채도 등을 강조하여 주제영역을 형성한다. 이때 상대적으로 나머지 영역들은 색상, 명도, 채도 등을 낮추어 뷰어들의 눈에 덜 띠게 만드는 방법을 많이 사용한다. 이와 같은 원리에 따라, 화면에서 많이 사용하는 색상을 추출해서 35%(20~45%)정도를 칠해주는 것은 두 가지 이유가 있다.

첫째는 주제영역에 비해서 나머지 영역을 조금 덜 눈에 띠게 만들려고 얇게 덧바르는 것이다. 그런데, 굳이 가장 많은 색상을 추출하여 선택한 것은 화면에 통일감을 형성하기 위해서이다. 화면 연출에 있어서 가장 중요한 3대 원리가 ‘변화’, ‘균형’, ‘통일감’이다. 앞서, ‘주제영역의 강조, 블랜딩효과, 블러에 스타일주기’ 등을 통해 시각적 변화감을 유도하였었다. 하지만 동시에 화면의 부분부분들은 전체 화면 속에서 튀지않고(어울리고) 통일감을 이루어야 한다. 즉 화면의 부분 디테일이 전체 화면 속에서 튀지 않고 하나의 통일감을 형성하여야 한다.

그에 따라 화면 내에서 사용된(보여진) 색상 중, 가장 많이 사용한 색상으로 나머지영역을 부드럽게 눌러주는 것은, 화면의 통일감을 만들기 위한 과정이다.

따라서 35%(20-45%)의 색상 불투명도를 사용한다는 것은, 영상의 이미지들이 보여지면서도 동시에, 낮은 불투명도의 색상으로 얇게 덧바르는 효과가 생성되어, 전체 화면의 통일감을 만들어 주기에 적정한 수치이기 때문이다. 즉, 색상, 명도, 채도 등이 주제영역보다 튀지 않게 낮추는 역할을 하면서 동시에, 화면의 통일감을 형성시켜 주기 위함이다.

하이라이트 영역과 얼굴영역이 합쳐진 것이 주제영역(전체화면의 30%)이다. 그에 따라 이 영역들을 일차적으로 넓게 블랜딩 시키어 강조하였다. 특히 주제영역 중에서도 얼굴영역이 주제영역의 핵심영역임으로 추가적인 블랜딩으로 밝기, 대조, 시각적 효과 등이 더 들어가 강조하는 것이다. (블랜딩은 겹쳐질수록 효과가 가중되어, 화면에서 요구되는 주제영역 강조의 역할을 표현하기 위해 반복해서 사용하는 것이다.)

또한 앞서 적용한 BlendScreen(), BlendColorDodge() 함수 모두는, 결과영상을 밝게 처리하는 동일한 특징이 있다. 그러나, BlendScreen()은 여러 장의 슬라이드를 겹쳐서 투영하는 것과 같은 시각적 효과를 연출할 때 사용하고, BlendColorDodge()는 카메라의 과다노출로 인해 이미지를 뿌옇게 처리하는 듯한 시각적 효과를 연출할 때 사용한다. 두 함수 모두 적용한 것은 두 함수의 시각적 효과가 적용한 순서대로 겹쳐서 나타나기 때문이다. 즉, 시각적인 변화, 시각적인 재미를 주기위해 블랜딩을 연달아 사용한다.

다음으로, 상기 민감영역에 대해 다시 블러링을 수행하고, 블러링된 민감 영역의 영상을 상기 목표 이미지에 블랜딩한다(S80). 즉, 상기 소스 이미지의 민감 영역에 대해서 블러링을 수행하고, 블러링된 민감 영역만을 상기 목표 이미지에 블랜딩한다.

민감 영역(또는 얼굴 영역)을 다시 블랜딩 하는 이유는 주제영역 중 가장 강조하는 영역에 해당하기 때문에, 블랜딩을 겹침으로써 밝기, 톤, 컨트라스트 등을 증가시키기 위한 것이다. 특히, 밝기, 톤, 컨트라스트 등의 증가를 통해, 가장 높은 집중도를 만들고, 아울러 시각적 효과를 창출하기 위해서이다.

이때, 바람직하게는, 안드로이드용 이미지처리 API의 BlendLiearDodge(목표 이미지, 블러링된 얼굴 영역)함수를 이용하여 블랜딩한다.

BlendLiearDodge()는 BlendColorDodge()보다 더 밝은 결과 영상을 얻는다. 수식은 A 영상과 B 영상을 더한 것으로 결과색상 = A + B 이다. 이 결과로 명도가 증가되어 결과 영상의 색상은 밝아지게 된다. 이 함수는 결과 영상이 밝게 처리되면서 동시에 빛이 첨가된 듯한 느낌을 연출할 때 사용한다.

앞서 블러링의 수행은 3번이 나온다. 윤곽선에 의한 블러링(S40)은 경계부분이 가위로 오린 듯한 부자연스러움을 없애려고 수행한 것이고, 하이라이트+민감영역(얼굴)의 블러링 단계(S60)는 민감영역의 인식불가를 위한 것이다. 이때, 민감영역을 보호하기 위해 블러링을 수행하나, 하이라이트 영역도 얼굴 영역과 더불어 주제영역임으로, 주제영역의 시각적 통일감을 위해 함께 블러링 한다. 앞서 실행한 블러링은 그 효과가 슬라이드가 겹쳐져서 투영되는 것 같은 효과임으로, 블랜딩 될 때, 두 영상이 겹쳐지면서 하위영상(블러링을 적용하지 않은 원본영상)이 일부 비쳐져 나타날 수 있다. 따라서 마지막 블러링, 즉, 민감 영역에 대한 블러링(S80)은 원본 영상에서의 일부 비침 현상을 없애고 민감영역을 보다 안전하게 보호하려고 블러링을 재수행하는 것이다.

다음으로, 앞서의 단계들(S10 ~ S80)을 스마트 디바이스에서 측정된 센서값이 변동될 때마다 반복하여 수행한다(S90).

본 발명을 적용하여 영상의 민감 영역을 왜곡한 예가 도 12 및 도 13에 도시되고 있다. 도 12(a) 및 도 13(a)는 종래기술에 의해 민감영역이 왜곡된 영상이고, 도 12(b) 및 도 13(b)는 본 발명에 의해 민감영역이 왜곡된 영상이다.

도 12과 도 13의 우측 이미지들에서 보는 바와 같이, 민감영역을 인식 불가하게 왜곡하면서, 조형적으로는 다른 영역보다 좀더 밝고, 밀도감을 형성시켜서 화면의 주제역할을 감당하게 한다.

다음으로, 본 발명의 효과를 보다 구체적으로 설명한다.

개인의 프라이버시를 보호하기 위해서 CCTV 등 보완영역에서는 많은 경우, 모자이크, 블러링, 픽셀화, 저해상도 등의 혼동기법을 통해 영상을 왜곡하는 방법을 많이 사용하고 있다.

하지만 이러한 기법들은 대부분, 프라이버시와 관계 있는 민감영역을 사람들이 식별하지 못하게 하는 데에만 초점이 맞추어져 있다.

그래서 개인 삶의 풍요, 오락, 유저의 몰입 등이 중요하게 여겨지는 스마트 디바이스에서는, 유저감성이 고려 되지 않고 갑자기 등장하는 가림 현상, 왜곡현상은 문제가 될 수 있다. 유저의 짜증을 불러일으킬 수 있으며, 해당 디바이스로부터 유저들을 완전히 소외시키는 현상까지 야기시킬 수 있을 것이다.

하지만 날로 스마트디바이스는 급증하고 있으며, 현재 스마트 글래스를 비롯 다양한 웨어러블 스마트디바이스들의 잇단 출시에 따라 스마트디바이스의 보완문제가 중요한 화두가 되고 있는 실정이다.

그에 따라 본 발명에서는 스마트디바이스의 친 유저 감성적 특성에 기반하여 프라이버시와 관계 있는 만감영역을 예술감성과의 융합을 통해 해결할 것을 제안하고 있다.

즉, 화면의 조형미, 시지각적 화면구성의 원리를 민감영역 영상왜곡에 반영할 수 있음을 설명하고 실제 비주얼 디자인 방법 중 가장 많이 사용하는 방법 중 하나인 '강조'를 통해 주제영역과 배경영역을 만들어 내고 시각적 효과를 창줄함으로써 구현의 예를 제시하고 있다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 촬영 대상 20 : 스마트 디바이스
21 : 카메라 22 : 조도 센서
23 : 방향 센서 24 : 입력장치
25 : 디스플레이 26 : 중앙처리장치
27 : 메모리
30 : 영상왜곡 시스템

Claims (12)

1. 스마트 디바이스에서 촬영된 영상을 처리하는, 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법에 있어서,
   (a) 상기 스마트 디바이스의 센서로부터 방항 및 조도의 측정값을 가져오는 단계;
   (b) 상기 영상을 입력받아 상기 영상의 이미지(이하 소스 이미지)와 동일한 목표 이미지를 생성하는 단계;
   (c) 상기 소스 이미지로부터 민감영역을 추출하는 단계;
   (d) 상기 소스 이미지로부터 개체 윤곽선을 추출하고, 상기 윤곽선의 주위 부분을 블러링하여, 블러링된 부분만 상기 목표 이미지에 반영하는 단계;
   (e) 상기 소스 이미지에서 명도값이 높은 하이라이트 영역을 추출하되, 상기 하이라이트 영역을 추출하기 위해 명도 영상을 생성할 때 상기 조도의 측정값을 이용하는 단계;
   (f) 상기 하이라이트 영역과 상기 민감영역에 해당하는 소스 이미지를 블러링하여, 블러링된 부분만을 상기 목표 이미지에 반영하는 단계;
   (g) 상기 소스 이미지에서 가장 많이 사용되는 색상으로 상기 목표 이미지에 블랜딩하는 단계; 및,
   (h) 상기 민감영역을 블러링하여 상기 목표 이미지에 반영하는 단계를 포함하고,
   상기 (d)단계, 상기 (f)단계, 또는, 상기 (h)단계에서, 상기 (a)단계에서 측정된 방향의 측정값을 이용하여 블러링의 방향을 설정하고,
   상기 (e)단계는 상기 소스 이미지의 칼라 영상에서 명도 영상을 구하고, 상기 명도 영상에서 소정의 기준치 이상의 명도 값을 가지는 영역만을 하이라이트 영역으로 추출하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
2. 제1항에 있어서,
   상기 (a)단계에서, 상기 방향의 측정값은 X축과 Y축의 측정값만을 사용하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
3. 삭제
4. 제1항에 있어서,
   상기 (e)단계에서, 상기 칼라 영상에서 명도 값을 소정의 개수의 단계로 구분하여 명도 영상을 구하고, 상기 소정의 개수는 최대 조도값 및, 상기 조도의 측정값에 의해 구해지는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
5. 제1항에 있어서,
   상기 (f) 단계에서, 상기 하이라이트 영역과 상기 민감 영역에 랜덤 블러링을 수행하고, 블러링된 영역만을 상기 목표 이미지에 블랜딩하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
6. 제1항에 있어서,
   상기 (f)단계에서, 상기 하이라이트 영역과 상기 민감 영역을 블러링하여 상기 목표 이미지에 블랜딩하는 과정을 소정의 횟수만큼 반복하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
7. 제1항에 있어서,
   상기 (g)단계에서, 상기 소스 이미지의 색상 값을 사전에 정해진 개수의 단계로 축소하고, 축소된 단계의 색상에 의한 영상에서 가장 많이 사용되는 색상을 검색하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
8. 제7항에 있어서,
   상기 (g)단계에서, 상기 검색된 색상을 사전에 정해진 소정의 비율의 불투명도로 상기 목표 이미지에 블랜딩하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
9. 제8항에 있어서,
   상기 불투명도의 비율은 검색된 색상의 20 내지 45%인 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
   
10. 제1항에 있어서,
    상기 스마트 디바이스의 센서에서 측정한 측정값이 변동되면, 상기 (a) 단계 내지 상기 (h)단계를 반복하여 수행하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
    
11. 제1항에 있어서,
    상기 (f)단계에서, 블러링된 부분의 반대 색상값과 상기 목표 이미지의 반대 색상값을 곱하고, 곱한 결과의 반대 색상값으로 상기 목표 이미지에 블랜딩하여 반영하고,
    상기 (g)단계에서, 가장 많이 사용되는 색상(이하 최빈도 색상)의 색상값을 상기 목표 이미지의 영상의 반대 색상값으로 나눈 결과값으로 상기 목표 이미지에 블랜딩하여 반영하고,
    상기 (h)단계에서, 블러링된 민감 영역의 영상의 색상값과 상기 목표 이미지의 색상값을 더한 결과값으로, 상기 목표 이미지에 블랜딩하여 반영하는 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
    
12. 제1항 내지 제2항, 제4항 내지 제10항 중 어느 한 항에 있어서,
    상기 민감영역은 얼굴이 나타난 얼굴 영역인 것을 특징으로 하는 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법.
    

Images