KR20230017601A

KR20230017601A - 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치

Info

Publication number: KR20230017601A
Application number: KR1020210099300A
Authority: KR
Inventors: 김영진; 서심온; 홍석민; 박종성
Original assignee: 국방과학연구소; 아주대학교산학협력단
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2023-02-06

Abstract

본 발명인 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치는 모바일 디스플레이에서 관심영역을 유지하는 저전력 기법을 구현하기 위해 CovSal Saliency 모델을 이용해 이미지를 분할하고, 상기 분할된 이미지에서 색상 기반의 이미지 분할기법을 이용해 이미지를 객체에 따라 분할 하기 위하여 이미지를 보정하며, 조정된 이미지에서 이미지 분할기법 초기탐색 위치를 설정하고, 보완된 분할기법을 통해 분할된 이미지에서 객체를 기준으로 분할하여 2단계 분할을 구현하며, CovSal Saliency와 분할기법에 기반하여 SSIM을 기준으로 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는데 그 특징이 있다.

Description

저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치{Apparatus and Method for Low-power Region of Interest Detection}

본 발명은 분산 모바일 디스플레이 저전력 기술에 있어 이미지 Pixels 값을 이용해 시각이 집중되는 영역과 객체를 기준으로 분할하여 높은 전력 절감률을 가지는 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법 및 이를 수행하는 탐지장치에 관한 것으로서, 더욱 상세하게는 모바일 디스플레이에서 시각 집중 정도가 유지되면서 저전력을 구현할 수 있게 Between Saliencies와 Within Saliencies의 2단계로 분할하도록 하고, 2단계 분할을 통하여 Saliency와 객체를 기준으로 이미지를 분할하여 Saliency를 유지하고 동시에 높은 전력 절감을 할 수 있도록 하며, 이로 인해 전체적으로 분산 모바일 디스플레이 저전력 기술에 대한 효율성을 극대화하도록 하는 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치에 관한 것이다.

인간 시각 시스템은 이미지에 대하여 모든 영역에 같은 관심을 가지지 않으며 객체 또는 밝기, 색상과 같은 시각적 특징이 뚜렷한 영역에 시각적 관심이 집중된다.

이러한 시각적 특징을 이용하여 이미지에서 특정 픽셀에 시각이 집중되는 정도를 계산할 수 있으며 이를 Saliency라고 하고, 이미지에서 Saliency를 추출하는 방법은 Eye Tracker를 이용하는 user study 방법과 사전 실험과 시각특징에 대한 이론을 적용한 Saliency Model을 이용하는 방법 2가지가 있으며, 상기 Eye Tracker를 이용하는 방법은 모든 이미지에 대한 Saliency를 계산하는 것은 불가능하므로 Saliency Model을 이용해 이미지 Saliency를 이용하게 되고, 대표적인 Saliency Model인 Itti 모델은 세부특징 통합이론을 기반하여 이미지 관심영역을 추출하는 것이다.

이에, 세부적인 특징이론은 인간의 시각 시스템이 자극을 감지할 때 색, 모양, 움직임 같은 시각특징이 객체가 식별되기 이전 조기에 자동으로 병렬적으로 등록된 다음 객체의 특정 시각특징의 주의가 집중되면 객체가 시각 시스템의 등록되고 미리 인식된 시각특징 간의 연관성 이용하여 객체를 식별한다는 이론으로서, 세부적인 특징이론을 이용하여 Itti 모델은 이미지의 밝기, 색, 방향에 대한 Feature Map을 Gaussian Filter, Gabor Filter 등을 이용해 추출하고, 색상의 경우 인간 시각의 색에 대한 반응에 이용해 계산하며, 대뇌의 피질은 두 개의 색의 상충관계로 색을 인지하고, 뉴런은 한 가지색(예를 들어 빨강)에 의해 흥분되고 상충관계의 다른 색(예를 들어 녹색)에 의해 억제되며, 이러한 공간적 색채적 반대성으로 인해 인간 시각은 상충관계를 가지는 색의 쌍이 존재하는 것이다.

상기 Itti 모델의 동작인 방향 정보는 0°, 45°, 90° 및 135°의 정보를 Gabor Filter를 이용해 추출라고, 그 후 각 Feature Map에 Gaussian Pyramids를 생성한 다음 Center-surround Difference 과정에서 High Contrast Region을 추출하며, 각 Feature Pyramids에서 Coarse Scale을 Interpolation 후 Fine Scale에서 빼는 과정을 모든 Pyramid에 Scales에서 진행하고, 그리하여 총 42개에 Feature Map이 계산되며, 밝기에서 6개, 색상은 적색/녹색, 청색/황색 2개의 쌍을 이용하기 때문에 12개, 방향은 4가지 각도를 이용하여 24개의 Feature Map이 계산되고, 그 후 각 Feature Map에서 Normalization을 통해 Noise를 제거한다.

Normalize된 특징에서 Scale4로 모든 특징을 Rescale한 다음 각 픽셀 위치마다 더해서 각 Feature에 Conspicuity Maps을 계산하고, 추출된 Conspicuity Map을 결합하여 최종적으로 Saliency Map을 계산한 후 가장 Saliency가 높은 영역을 찾은 다음 그 영역을 억제하고, 다음 Saliency가 높은 영역을 찾는 과정을 반복하면서 Attended Location을 계산한다.

Saliency Model은 Itti 모델과 같이 색, 방향, 밝기 같은 특성뿐만 아니라 객체에 밝기 특징을 이용하여 객체를 추출하는 방법, 이미지 주파수를 이용하는 방법 등 다양한 방법으로 발전하고 있다.

이러한 Saliency Model을 이용한 기술은 시각이 집중되는 위치에 관한 정보를 이용하여 인간 시각의 한계를 보완하기 때문에 군사 영역에서 다양하게 응용할 수 있고, 특히 시각 시스템과 상호작용이 중요한 HMD(Head Mounted Display)에서 Saliency 기술이 다방면으로 활용되어 인간 시각의 한계를 보완하고 통합적인 전장 정보를 제공하지만 병사들은 전장에서 전력 공급을 배터리에 의지하기 때문에 HMD와 같이 배터리를 이용한 모바일 기기에서는 저전력 기술이 매우 필요한 실정이다.

종래에 실시되고 있는 디스플레이 저전력 기술은 R, G, B 채널의 값에 따라 소모전력이 다른 모바일 디스플레이의 특성을 이용하여 구현하였고, PARVAI 방법은 R, G, B에 따른 소모전력의 차이를 이용하여 소모전력이 큰 B채널의 값을 조정하여 시각만족도를 유지하면서 디스플레이의 전력을 절감하였지만 전력 절감을 위해 B채널 값을 너무 낮추기 때문에 육안으로도 관찰 가능한 색상 왜곡을 유발하게 되고, 이를 해결하기 위해 저전력 기법을 통해 발생하는 왜곡을 줄이는 방법으로 saliency를 이용하는 저전력 기법이 제안되고 있다.

이에, 상기 Saliency를 기반으로 하는 Saliency-aware 저전력 기법은 이미지를 Saliency에 따라 분할하여 영역마다 저전력 기법을 적용하는 방법이지만 같은 Saliency 영역이라도 다른 시각적 특징을 가지는 객체들이 있으므로 낮은 시각만족도와 전력 절감률을 갖게 되고, 또한 Saliency 영역 사이에 밝기 차이를 고려하지 않기 때문에 Artifact(왜곡)가 관찰되며, Saliency-aware 저전력 기법에서 발생하는 Artifact를 제거하기 위해 JND(Just Noticeable Difference)를 이용해 밝기 차이를 감소하는 방향으로 CURA가 제시되고 있다.

상기 CURA는 4개의 단계를 통해 저전력을 구현하는 것으로, 첫 번째 단계인 Attention 과정에서 이미지 saliency를 계산하는 Itti 모델을 이용해 이미지를 5개에 영역으로 분할하고, Distortion 과정에서는 이미지 품질평가 지표 SSIM(Structural SIMilarity Index)을 기준으로 영역마다 저전력 상수를 계산하고, 그 후 Differentiation 과정을 통해 5개에 영역 사이 저전력 상수에 의해 발생하는 밝기 차이를 JND 이하로 조정하며, 마지막으로 Scaling Map 과정에서 인접한 관심영역에서 JND와 SSIM을 기준으로 최적의 저전력 상수를 적용하여 저전력 이미지를 구현하게 된다.

즉, 이미지를 인간 시각 관심 정도와 객체를 기반으로 분할하고, 관심도와 객체에 따라 다른 저전력 기법을 구현하여 관심 정도가 유지되면서도 높은 전력 절감을 가지는 저전력 방법을 구현하는데 있는 것으로, 이는 저전력을 가장 간단하게 구현하는 방법은 1개의 Gamma를 이용해 Global Dimming을 하는 방법이지만 Global Dimming은 Saliency를 무시한 방법이기 때문에 시각 만족도가 낮은 문제가 있고, 또한 비슷한 시각 만족도를 가지더라도, 영역 밝기에 특징을 고려하지 않기 때문에 낮은 전력 절감률을 갖게 되는 문제가 있으며, Global Dimming 방법을 발전시킨 Saliency-aware 한 방법은 Saliency에 따라 다른 Gamma를 적용하여 시각 만족도가 높으며, 높은 전력 절감률을 갖게 되지만 Saliency-aware 방법은 영역마다 다른 Gamma를 적용하기 때문에 Gamma에 차이에서 발생하는 영역 간 밝기 차이를 조정해야 하는 번거로운 문제가 있다.

또한, 최근에 연구된 저전력 Saliency-aware 기법인 CURA는 SSIM을 기준으로 각 영역에 다른 저전력 기법을 구현하는데 JND를이용하여 다른 저전력 기법으로 인해 영역의 경계에서 발생하는 Artifact의 문제가 존재하고, 또한 CURA는 저전력 상수에 의한 밝기 차이를 관찰되기 때문에 Saliency를 이용한 이미지 분할 방법에 있어 한계가 있어 전체적으로 분산 모바일 디스플레이 저전력 기술에 대한 효율성이극대화되지 못하는 문제가 있는 것이다.

선행기술로, 대한민국 특허공개공보 제10-2014-7003317호는 뷰잉-포커스 지향식 이미지 프로세싱이 개시되어 있고, 대한민국 특허공개공보 제10-2017-0039621호는 디스플레이의 저전력 구동 방법 및 이를 수행하는 전자 장치가 개시되어 있다.

대한민국 특허공개공보 제10-2014-7003317호, 공개일자 2014년05월14일 대한민국 특허공개공보 제10-2017-0039621호, 공개일자 2018년 10월08일

Lin, Chun-Han, Chih-Kai Kang, and Pi-Cheng Hsiu. "CURA: A framework for quality-retaining power saving on mobile OLED displays." ACM Transactions on Embedded Computing Systems (TECS) 15.4 (2016): 1-25. Anand, Bhojan, Li Kecen, and Akkihebbal L. Ananda. "PARVAI-HVS aware adaptive display power management for mobile games." 2014 Seventh International Conference on Mobile Computing and Ubiquitous Networking (ICMU). IEEE, 2014.

본 발명은 모바일 디스플레이에서 시각 집중 정도가 유지되면서 저전력을 구현할 수 있게 Between Saliencies와 Within Saliencies의 2단계로 분할하게 하고, 2단계 분할을 통하여 Saliency와 객체를 기준으로 이미지를 분할하여 Saliency를 유지하고 동시에 높은 전력 절감을 할 수 있게 하는 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치를 제공하는데 목적이 있다.

본 발명의 다른 목적은 기존 관심영역을 이용한 저전력 기법에서 영역 간 밝기에 차이 때문에 발생하는 Artifacts가 관찰되지 않게 하고, 이미지를 Between Saliencies와 Within Saliencies의 2단계로 분할하는 과정에서 기존 SLIC Superpixel 알고리즘이 분할된 영역에 따라 Superpixel을 생성하지 못하는 한계를 보완하게 하는 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치를 제공한다.

본 발명의 또 다른 목적은 상기의 실행에 의해 이미지를 분할하여 Saliency를 유지하는 동시에 높은 전력 절감과, Artifacts가 관찰되지 않으며, Superpixel을 생성하지 못하는 한계를 보완함으로 인해 전체적으로 분산 모바일 디스플레이 저전력 기술에 대한 효율성을 극대화하게 하는 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치를 제공한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명은 상술한 기술적 과제를 달성하기 위해 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계; 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계; 및 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 상기 관심영역을 계산하는 단계에서, CovSal Saliency Model을 이용하여 이미지 각 픽셀에 대하여 시각 관심 정도를 0~255 사이의 값으로 계산하고, 계산된 결과에서 CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 4개 값을 기준으로 이미지를 분할하고, 인간 시각 관심영역을 효율적으로 얻는 다양한 Saliency 모델을 사용하여 시각 만족도를 가지며 HMD의 모바일 디스플레이에 적용하여 관심영역 계산을 한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 상기 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 적용 가중치를 가변하고, 상기 CovSal Saliency Map 10개 구간에서 최고 구간 픽셀 개수의 변경방법을 기반으로 하여 이미지를 분할한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 상기 분할된 관심영역에서 Superpixel을 이용해 분할시, 픽셀값이 없는 영역을 제외하고 초기탐색 위치를 설정하고, 다른 CovSal Saliency Cluster를 제외하고 Superpixel로 분할하는 실행을 기반으로 이미지를 분할하고, 상기 다른 CovSal Saliency영역을 제외하고 Superpixel 분할시, 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않아 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계 분할을 구현한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 상기 픽셀값이 없는 영역을 제외하고 초기탐색 위치에 대한 설정은 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하고, 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색위치를 설정하여 초기 위치를 설정하고, 상기 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하는 방법은 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정하며, 상기 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색 위치의 설정은 Color Data를 가지는 Column에 픽셀을 중앙에 위치시키고, 나머지는 Column에 픽셀값을 0으로 설정하여 보정된 이미지에 대해 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀 값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색위치로 설정한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 상기 분할된 관심영역에서 밝기 차이를 인식하지 못하도록 관심영역과 Superpixel로 분할된 영역에서 저전력 이미지를 구현시 이미지 품질 왜곡지수인 SSIM을 설정하고, 상기 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정하며, 상기 설정된 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현하고, 이미지 품질평가 지수를 사용하여 이미지 품질을 평가하는 지표 사용시, 다양한 인간 시각 만족 기반의 이미지 품질평가 지수를 사용하며, 이미지 품질평가 지수인 SSIM을 설정 시, 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기 값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서, 픽셀값에 변환 저전력 계수를 계산하기 위해 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정시, 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용하여 목표하는 SSIM을 구현하고, 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현 시, 관심영역과 Superpixel로 분할된 영역마다 계산된 저전력 계수를 이용해 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현하며, 상기 관심영역내에서 이미지 분할시, 색상, 밝기, 윤곽선, 심도, 방향, 굴곡 및 의미 중 어느 하나의 기반으로 이미지를 분할한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 사용자 단말 또는 서버에 계산된 데이터의 송수신이 가능한 통신부; 계산된 데이터를 저장하도록 하는 저장부; 사용자가 확인할 수 있도록 이미지가 표출되는 디스플레이부; 및 상기 저장부와 디스플레이부를 구동할 수 있도록 하는 프로세서부를 포함하고, 상기 프로세서부는, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하며, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하고, 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 상기 프로세서부는 CovSal Saliency Model을 이용하여 이미지 각 픽셀에 대하여 시각 관심 정도를 0~255 사이의 값으로 계산하고, 계산된 결과에서 CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 4개 값을 기준으로 이미지를 분할하고, 인간 시각 관심영역을 효율적으로 얻는 다양한 Saliency 모델을 사용하여 시각 만족도를 가지며 HMD의 모바일 디스플레이에 적용하여 관심영역 계산을 하며, 상기 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 적용 가중치를 가변하고, 상기 CovSal Saliency Map 10개 구간에서 최고 구간 픽셀 개수의 변경방법을 기반으로 하여 이미지를 분할한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 상기 프로세서부는 상기 분할된 관심영역에서 Superpixel을 이용해 분할시, 픽셀값이 없는 영역을 제외하고 초기탐색 위치를 설정하고, 다른 CovSal Saliency Cluster를 제외하고 Superpixel로 분할하는 실행을 기반으로 이미지를 분할하고, 상기 다른 CovSal Saliency영역을 제외하고 Superpixel 분할시, 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않아 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계 분할을 구현한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 상기 프로세서부는 상기 픽셀값이 없는 영역을 제외하고 초기탐색 위치에 대한 설정은 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하고, 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색위치를 설정하여 초기 위치를 설정하고, 상기 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하는 방법은 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정하며, 상기 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색 위치의 설정은 Color Data를 가지는 Column에 픽셀을 중앙에 위치시키고, 나머지는 Column에 픽셀값을 0으로 설정하여 보정된 이미지에 대해 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀 값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색위치로 설정한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 상기 프로세서부는 상기 분할된 관심영역에서 밝기 차이를 인식하지 못하도록 관심영역과 Superpixel로 분할된 영역에서 저전력 이미지를 구현시 이미지 품질 왜곡지수인 SSIM을 설정하고, 상기 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정하며, 상기 설정된 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현하고, 이미지 품질평가 지수를 사용하여 이미지 품질을 평가하는 지표 사용시, 다양한 인간 시각 만족 기반의 이미지 품질평가 지수를 사용하며, 이미지 품질평가 지수인 SSIM을 설정 시, 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기 값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정한다.

본 발명의 실시 예에 따르면, 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서, 상기 프로세서부는 픽셀값에 변환 저전력 계수를 계산하기 위해 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정시, 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용하여 목표하는 SSIM을 구현하고, 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현 시, 관심영역과 Superpixel로 분할된 영역마다 계산된 저전력 계수를 이용해 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현하며, 상기 관심영역내에서 이미지 분할시, 색상, 밝기, 윤곽선, 심도, 방향, 굴곡 및 의미 중 어느 하나의 기반으로 이미지를 분할한다.

본 발명의 실시 예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계와, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계와, 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하여 저전력 관심영역 탐지방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.

본 발명의 실시 예에 따르면, 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계와, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계와, 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하여 저전력 관심영역 탐지방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.

본 발명의 실시 예에 따르면, 모바일 디스플레이에서 시각 집중 정도가 유지되면서 저전력을 구현할 수 있게 Between Saliencies와 Within Saliencies의 2단계로 분할하게 하고, 이 2단계 분할을 통하여 Saliency와 객체를 기준으로 이미지를 분할하여 Saliency를 유지하는 동시에 높은 전력이 절감되는 효과가 있다.

또한 본 발명의 실시 예에 따르면, 기존 관심영역을 이용한 저전력 기법에서 영역 간 밝기에 차이 때문에 발생하는 Artifacts가 관찰되지 않게 하는 효과와, 이미지를 Between Saliencies와 Within Saliencies의 2단계로 분할하는 과정에서 기존 SLIC Superpixel 알고리즘이 분할된 영역에 따라 Superpixel을 생성하지 못하는 한계가 보완되는 효과로 인해 전체적으로 분산 모바일 디스플레이 저전력 기술에 대한 효율성이 극대화되는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 전자 장치 또는 전자 장비의 저전력 이미지 관심영역 탐지방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예를 설명하기 위해 Itti Saliency와 JND를 이용한 디스플레이 저전력 기법인 CURA를 도시한 도면이다.
도 3은 본 발명의 일 실시예를 설명하기 위해 이미지를 이용해 Saliency를 이용한 일반적인 저전력 기법인 Global Dimming 방법과 Saliency-aware 방법 및 본 발명에 따른 저전력 탐지방법을 각각 도시한 도면이다.
도 4는 본 발명의 일 실시예를 설명하기 위해 원본 이미지와 원본 이미지를 이용한 CURA 결과 및 CURA에서 Saliency를 기준으로 분할된 영역 사이에 밝기 차이로 발생하는 Artifacts를 비교하기 위해 보여주도록 도시한 도면이다.
도 5는 본 발명의 일 실시예를 설명하기 위해 CURA방식의 문제점을 해결할 수 있는 저전력 탐지방법에 대해 구체적인 동작 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예를 설명하기 위해 원본 이미지, 원본 이미지에 대한 본 발명의 탐지방법, Saliency를 이용한 일반적인 저전력 기법인 Global Dimming 및 Saliency-aware 기법을 각각 나타낸 결과를 보여주도록 도시한 도면이다.
도 7은 본 발명의 일 실시예를 설명하기 위해 원본 이미지, 원본 이미지에 대한 CURA 및 본 발명의 탐지방법 각각을 비교하도록 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치를 설명하기 위해 도시한 블럭 구성 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미하고, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하고, 또한 첨부한 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 하며, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

하기에서, 본 발명을 구체적으로 설명함에 앞서, 'Saliency'는 시각적 특징을 이용하여 이미지에서 특정 픽셀에 시각이 집중되는 정도를 계산된 값이고, 'Superpixel'은 색상과 픽셀의 위치를 기준으로 비슷한 값을 가지는 픽셀들을 군집화한 결과이며, 'SSIM'은 구조적 유사성을 비교하여 이미지 품질을 평가하는 이미지 품질 평가 지수를 나타낸 것이다.

첨부도면 도 1은 본 발명의 일 실시예에 따른 전자 장치 또는 전자 장비의 저전력 이미지 관심영역 탐지방법을 설명하기 위한 흐름도이다.

도 1를 참조하면, 본 발명에 따른 전자 장치 또는 전자 장비의 저전력 이미지 관심영역 탐지방법은 크게 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하게 되며(S110), 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하게 되고(S120), 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하게 되는 것이다(S130).

이에, 모바일 디스플레이에서 시각 집중 정도가 유지되면서 저전력을 구현하기 위해서 첫째 Between Saliencies와 두번째 Within Saliencies의 2단계 분할을 통해 저전력 기법을 실행하는 것이다.

상기 2단계 분할을 통하여 Saliency와 객체를 기준으로 이미지를 분할하여 Saliency를 유지하고 동시에 높은 전력을 절감할 수 있는 것이다.

이때, 상기 첫째 Between Saliencies를 구현하기 위해서 'CURA'에서 사용한 'Itti' 모델이 아닌 'CovSal Model'을 이용하고, 'CovSal Model'은 픽셀의 Lab값, 픽셀 상-하, 좌-우 밝기 차이에 절대값을 특징으로 사용하여 패치(Patch)의 크기를 변경하여 계산한 Feature Covariance를 이용해 'Itti'모델에 비해서 개선된 Saliency Map을 추출하며, CovSal을 이용한 Saliency 기준 이미지 군집화한 후에 4개의 값을 계산하여 CovSal Saliency Clustering 개수를 정하게 된다.

여기서, CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수 및 CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수 4개의 값 중 CovSal Saliency 픽셀값이 0인 픽셀의 수가 크면 CovSal Saliency Clustering 개수를 감소하는 요인으로 적용하게 된다.

또한, 상기 두번째 Within Saliencies 분할을 고려한 저전력 구현을 위해서 Saliency 내에서 색상을 기준으로 나누는 SLIC(Simple Linear Iterative Clustering) Superpixel 기법을 사용하고 이를 통하여 R, G, B 채널의 값에 따라 소모 전력이 다른 모바일 디스플레이의 특성을 이용하는 것이다.

즉, 상기 SLIC은 이미지와 분할하고자 하는 개수를 이용하여 이미지를 Color와 위치에 따라 분류하는 방법으로, 입력된 개수 K, 이미지 전체 픽셀의 수를 N이라고 하면, 한 변의 길이가 S=

인 정사각형 Superpixel로 이미지를 등분하고 각 정사각형의 중심을 탐색 중심으로 지정하며, 탐색 중심에서 이미지 전체가 아닌 중심에서 2S×2S의 범위를 탐색하면서 픽셀의 색, 공간 거리가 기존의 소속된 Superpixel보다 가까울 경우 픽셀이 소속된 Superpixel을 갱신하는 것이다.

이때, 상기 Superpixel의 Label을 갱신한 다음 Superpixel에서 가장 낮은 Gradient를 가지는 픽셀로 Superpixel의 중심을 이동하며 새롭게 탐색을 재개하고, 탐색의 기준이 되는 색, 공간 거리는 중심 픽셀과 l, a, b Color Space 거리와 x, y로 계산된 픽셀의 거리를 계산하고 이를 기준으로 같이 소속된 Superpixel을 결정한다.

여기서, CovSal Saliency로 분할된 영역에서 SLIC Superpixel 군집화를 진행할 경우 다른 CovSal Saliency로 분할된 영역의 픽셀이 탐색 과정에서 제외되지 않는 것으로, 이는 다른 CovSal Saliency로 분할된 영역의 픽셀은 SLIC 알고리즘에서 단지 검은색을 가지는 픽셀이기 때문이다.

또한, SLIC 알고리즘 처음 탐색 위치는 입력된 개수 만큼 이미지를 정사각형으로 등분한 다음 각 정사각형에 중심이므로 탐색의 중심이 다른 Saliency 영역일 경우 해당 영역의 픽셀은 군집화되지 못하기도 하고, Covsal Saliency 군집에서 SLIC 알고리즘에 한계를 보완하기 위하여 군집화 과정에서 다른 영역에 픽셀을 R, G, B 값이 0인 픽셀과 구분하여 군집화를 진행해야 하며, 초기 탐색위치 설정을 SLIC처럼 이미지 전체를 균등하게 설정하는 것이 아니라, Covsal Saliency 군집화를 통해 분할된 영역에서만 초기 탐색 위치를 설정해야 하는 것이다.

하기 식은 Covsal Saliency 군집에서 SLIC 알고리즘에 한계를 보완하기 위하여 이미지를 조정하는 알고리즘을 나타낸 것이다.

상기 식은 CovSal Saliency 군집에서 Color Data를 가지는 Row와 Column을 구한 다음, Color 값이 있는 Row의 너비를 구해 Compress Image의 너비로 설정하고, Color 값이 있는 Row마다 Color 값이 있는 Column의 개수를 구해 최대 Column의 개수를 Compress Image의 높이로 설정하며, Row마다 Color 값이 있는 Column의 개수가 다르므로, Color 값을 중간에 배치하고 나머지는 0으로 채워 넣어 CovSal Saliency Cluster의 Compressed Image를 생성하는 것이다.

하기 식은 압축된 CovSal 군집에서 Superpixel을 이용해 이미지를 분할하는 과정에서 초기 탐색 위치를 조정하는 알고리즘을 나타낸 것이다.

상기 식은 우선 CovSal군집 압축 알고리즘으로 중간 다른 Saliency Level을 가지는 픽셀을 제거한 Compressed Image를 50*50픽셀 크기 정사각형으로 나누고, 정사각형의 중심을 기준으로 압축된 이미지에서 Color 값이 없는 영역인지 확인하여 탐색위치 중심으로 설정하며, 저전력 관점에서 이미지에 밝기가 0인 픽셀은 전력에 영향을 주지 않으므로 Superpixel 탐색 과정에서 제외한다.

상기의 알고리즘을 통한 Superpixel 분할 과정은 기존 SLIC Superpixel 알고리즘과는 다르게 Covsal Saliency로 분할된 같은 영역에서 색상에 따라 이미지를 분할하므로 Saliency와 R, G, B값을 기반으로 Saliency와 Saliency 내에서 서로 다른 저전력 방법을 적용하여 Saliency를 유지하는 저전력 기법을 구현할 수 있는 것이다.

이와 같이, 이미지를 CovSal Saliency와 Superpixel로 나눈 다음 각 Superpixel에 Saliency Level, 밝기, R, G, B 평균값에 따라 다른 저전력 기법을 구현하게 되고, 흑백 이미지에 대하여 밝기를 변경하면서 변화 정도에 따른 SSIM을 계산한 룩업 테이블을 계산하며, 테이블을 이용하여 원하는 SSIM에 대한 저전력 상수를 계산할 수 있는 것이다.

이에, 이미지는 R, G, B 채널 값에 따라 다른 전력 소모를 가지기 때문에 이를 고려하여 저전력 기법을 구현할 수 있고, 인간 시각은 밝은 영역에 변화에 민감하여 민감도는 밝기가 감소함에 따라 Log Scale로 감소하므로 왜곡 정도에 최소와 최대를 설정하고 Saliency Cluster에 개수에 따라 Log Scale로 나누어 Saliency Level에 따라 설정하며, R, G, B값에 대해서도 동일하게 Log Scale로 나누어 R, G, B값에 따라 SSIM을 설정하여 저전력 기법을 구현할 수 있는 것이다.

이에 따라, 저전력 Saliency 기법의 성능 평가를 위해 이미지 왜곡 지표인 FSIMc와 모바일 디스플레이 파워 모델인 Hong's Power Model을 사용하고, FSIMc는 흑백 이미지 시간 만족도를 평가하는 FSIM을 색채 이미지에서 비교하는 지표이며, SSIM보다 개선된 인간 시각 만족도 평가 지표로 알려져 있고, Hong's Power Model은 R, G, B 3채널 값과 채널 간의 존성을 고려하여 디스플레이 전력을 계산하며, 패널의 소모전력만을 고려하고 정적 전력과 동적 전력에 합으로 전력을 계산하게 된다.

	Global Dimming	Saliency-aware	본 발명 방법
SSIM	0.95	0.94	0.95
FSIMc	0.9823	0.9723	0.9826
power saving	0.3876	0.4033	0.4190

상기 표 1를 통해 확인할 수 있는 바와 같이, Global Dimming과 비슷한 FSIMc를 가지지만 3.2% 더 높은 전력 절감률을 갖게 되고, Saliency-aware 기법은 Global Dimming의 한계를 보완하여 Saliency에 따라 다른 저전력 기법을 적용하였으며, 그러나 같은 Saliency 영역이라도 밝기, 색상이 다른 객체들이 존재하고, Saliency-aware기법은 이 객체들을 구분하지 않기 때문에 본 발명의 방법 보다 낮은 전력 절감률과 시각 만족도를 가지며, Saliency-aware 기법은 본 발명의 방법 보다 0.0103 낮은 FSIMc와 1.5% 낮은 전력 절감률을 가지고 있고, 또한 Saliency로 분할된 영역 내에 객체들을 고려하지 않기 때문에 Saliency로 분할된 영역 사이에 밝기 차이로 인해 Artifact가 관찰된다.

	CURA	본 발명 방법
SSIM	0.95	0.95
FSIMc	0.9812	0.9831
power saving	39.47%	42.15%

상기 표 2는 CURA와 본 발명의 방법을 비교한 것으로, 이를 통해 확인할 수 있는 바와 같이 평균적으로 2% 더 높은 전력 절감률을 가지며 CURA에서 발생하는 Artifact가 관찰되지 않는 것으로 나타났고, 또한 이미지 왜곡 품질평가 지표인 SSIM=0.95, FSIMc=0.98로 CURA와 비슷한 왜곡 정도를 가지는 것으로 나타나고 있음을 알 수가 있다.

상기와 같이 실시되는 본 발명인 전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법은 CovSal Saliency Model을 이용하여 이미지 각 픽셀에 대하여 시각 관심 정도를 0~255 사이의 값으로 계산하고, 계산된 결과에서 CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 4개 값을 기준으로 이미지를 분할할 수 있는 것이다.

이에, 인간 시각 관심영역을 효율적으로 얻는 다양한 Saliency 모델을 사용하여 시각 만족도를 가지며 HMD의 모바일 디스플레이에 적용하여 관심영역 계산을 할 수 있고, 상기 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 적용 가중치를 가변하고, 상기 CovSal Saliency Map 10개 구간에서 최고 구간 픽셀 개수의 변경방법을 기반으로 하여 이미지를 분할할 수 있다.

상기 분할된 관심영역에서 Superpixel을 이용해 분할시, 픽셀값이 없는 영역을 제외하고 초기탐색 위치를 설정하고, 다른 CovSal Saliency Cluster를 제외하고 Superpixel로 분할하는 실행을 기반으로 이미지를 분할하게 된다.

상기 다른 CovSal Saliency영역을 제외하고 Superpixel 분할시, 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않아 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계 분할로 구현할 수 있게 된다.

상기 픽셀값이 없는 영역을 제외하고 초기탐색 위치에 대한 설정은 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하고, 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색위치를 설정하여 초기 위치를 설정할 수 있다.

또한, 상기 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하는 방법은 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정할 수 있는 것이다.

상기 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색 위치의 설정은 Color Data를 가지는 Column에 픽셀을 중앙에 위치시키고, 나머지는 Column에 픽셀값을 0으로 설정하여 보정된 이미지에 대해 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀 값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색위치로 설정하고, 여기서 본 발명의 실시예에서는 50X50 크기의 정사각형을 사용한다.

상기 분할된 관심영역에서 밝기 차이를 인식하지 못하도록 관심영역과 Superpixel로 분할된 영역에서 저전력 이미지를 구현시 이미지 품질 왜곡지수인 SSIM을 설정하고, 상기 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정하며, 상기 설정된 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지를 구현하게 되고, 이미지 품질평가 지수를 사용하여 이미지 품질을 평가하는 지표 사용시, 다양한 인간 시각 만족 기반의 이미지 품질평가 지수를 사용하며, 이미지 품질평가 지수인 SSIM을 설정 시, 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기 값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정할 수 있다.

또한, 픽셀값에 변환 저전력 계수를 계산하기 위해 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정시, 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용하여 목표하는 SSIM을 구현하고, 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현 시, 관심영역과 Superpixel로 분할된 영역마다 계산된 저전력 계수를 이용해 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현할 수 있다.

여기서, 본 발명의 탐지방법은 상기 관심영역내에서 이미지 분할시, 색상, 밝기, 윤곽선, 심도, 방향, 굴곡 및 의미 중 어느 하나의 기반으로 이미지를 분할할 수 있는 것이다.

첨부도면 도 2는 본 발명의 일 실시예를 설명하기 위해 Itti Saliency와 JND를 이용한 디스플레이 저전력 기법인 CURA를 도시한 도면이다.

도 2를 참조하면, 관심영역 추출 모델인 Itti Saliency를 이용해 5개의 군집으로 이미지를 분할하고, 분할된 영역마다 이미지 품질평가 지수인 SSIM을 기준으로 저전력 계수를 설정하며, 저전력 계수에 차이로 인해 분할된 영역의 경계에서 발생하는 밝기 차이로 인한 Artifact를 JND를 이용해 보정한 디스플레이 저전력 기법인 CURA에 동작하게 되는 것이다.

첨부도면 도 3은 본 발명의 일 실시예를 설명하기 위해 이미지를 이용해 Saliency를 이용한 일반적인 저전력 기법인 Global Dimming 방법과 Saliency-aware 방법 및 본 발명에 따른 저전력 탐지방법을 각각 도시한 도면이다.

도 3을 참조하면, 이미지를 통해 saliency와 색상을 이용한 저전력 기법에 대해 적용된 예시를 나타낸 것으로, Global Dimming방법은 1개의 저전력 계수를 이용하는 획일적인 방법이고, Saliency-aware방법은 관심영역에 따라 이미지를 분할하여 분할된 영역마다 다른 저전력 계수를 사용하는 방법이며, 본 발명에 따른 저저력 탐지방법은 관심영역으로 분할된 영역 안에서 객체를 기준으로 영역을 추가로 분할하여 객체마다 다른 저전력 계수를 사용하고 있음을 확인할 수 있다.

첨부도면 도 4는 본 발명의 일 실시예를 설명하기 위해 원본 이미지와 원본 이미지를 이용한 CURA 결과 및 CURA에서 Saliency를 기준으로 분할된 영역 사이에 밝기 차이로 발생하는 Artifacts를 비교하기 위해 보여주도록 도시한 도면이다.

도 4를 참조하면, 원본 이미지에 대한 CURA 저전력 기법 결과와 CURA에서 분할된 영역마다 다른 저전력 계수를 적용하여 영역에 경계에서 발생하는 Artifacts를 빨간색 원으로 표시하여 Saliency만 이용하는 이미지 분할기법과 JND를 이용한 저전력 기법에서 한계가 있음을 확인시켜 주고 있는 것이다.

첨부도면 도 5는 본 발명의 일 실시예를 설명하기 위해 CURA방식의 문제점을 해결할 수 있는 저전력 탐지방법에 대해 구체적인 동작 과정을 설명하기 위한 흐름도이다.

도 5를 참조하면, CovSal Saliency Model을 이용하여 이미지에서 관심영역을 계산하고 1) CovSal Saliency Map에서 픽셀값의 합, 2) CovSal Saliency Map Histogram 기울기 변화율, 3) CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, 4) CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수이고, 상기 1)~4)의 4개 값을 기준으로 이미지를 분할하는 것으로, 이는 CovSal Saliency 군집화를 이루는 것이다(S410).

상기 CovSal Saliency 군집화를 이룬 후에 CovSal Saliency를 기준으로 분할된 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color 값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정하여 이미지를 보정하는 것으로, 이는 CovSal 군집 이미지 변형을 이룬다(S420).

상기 S420에서 보정된 이미지에 대해 50

50크기의 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색 위치로 설정하는 것으로, 이는 CovSal 군집 초기 탐색위치를 조정하게 된다(S430).

상기 CovSal 군집 초기 탐색위치를 조정한 후에 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않기 때문에 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계로 분할을 구현하는 것으로, 이는 CovSal 군집 수퍼픽셀 군집화를 이루는 것이다(S440).

상기의 2단계로 분할을 구현한 후에 이미지 품질평가 지수인 SSIM을 설정하여 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정한 다음 Superpixel마다 설정된 SSIM을 기준으로 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용해 목표하는 SSIM을 구현하는 픽셀값에 변환 저전력 계수를 계산하여 결정하게 된다(S450).

상기에서 계산된 저전력 계수를 이용하여 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현하는 것으로, 이는 Saliency, 색상 기반의 저전력 이미지를 구현하는 것이다(S460).

첨부도면 도 6은 본 발명의 일 실시예를 설명하기 위해 원본 이미지, 원본 이미지에 대한 본 발명의 탐지방법, Saliency를 이용한 일반적인 저전력 기법인 Global Dimming 및 Saliency-aware 기법을 각각 나타낸 결과를 보여주도록 도시한 도면이다.

도 6을 참조하면, Saliency-aware방법에서 분할 영역 경계에서 발생하는 Artifacts를 빨간색 원으로 표시하여 Saliency만 이용하는 이미지 분할기법에 한계가 있음을 알 수가 있다.

첨부도면 도 7은 본 발명의 일 실시예를 설명하기 위해 원본 이미지, 원본 이미지에 대한 CURA 및 본 발명의 탐지방법 각각을 비교하도록 도시한 도면이다.

도 7을 참조하면, CURA와 본 발명의 탐지방법을 각각 비교하여 확인할 수 있는 바와 같이 saliency만을 이용한 이미지 왜곡 보정에 대한 한계와 Superpixel을 이용한 객체 기반 이미지 분할기법에 대한 필요성이 있음을 알 수 있는 것이다.

한편, 첨부도면 도 8은 본 발명의 일 실시예에 따른 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치를 설명하기 위해 도시한 블럭 구성 도면이다.

도 8를 참조하면, 본 발명의 일 실시예에 따른 탐지장치(100)는 크게 통신부(110), 저장부(120), 디스플레이부(130) 및 프로세서부(140)로 구성되어 있는데, 상기 통신부(110)는 사용자 단말 또는 서버에 계산된 데이터의 송수신이 가능하도록 이루어지고, 상기 저장부(120)는 계산된 데이터를 저장하도록 하며, 상기 디스플레이부(130)는 사용자가 확인할 수 있도록 이미지가 표출되고, 상기 프로세서부(140)는 통신부(110), 저장부(120) 및 디스플레이부(130)를 구동할 수 있도록 이루어지는 것이다.

이때, 상기 프로세서부(140)에서는 이미지 관심영역을 계산한 다음 계산된 이미지 관심영역을 이용하여 이미지를 분할하게 하고, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하며, 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하도록 이루어지는 것이다.

이와 같이, 본 발명에서는 기존 관심영역을 이용한 저전력 기법에서 영역 간 밝기에 차이 때문에 발생하는 Artifacts가 관찰되지 않았고, 또한 이미지를 Between Saliencies와 Within Saliencies의 2단계로 분할하는 과정에서 기존 SLIC Superpixel 알고리즘이 분할된 영역에 따라 Superpixel을 생성하지 못하는 한계를 해결할 수 있는 것이다.

다양한 실시 예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계와, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계 및 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

다양한 실시 예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록 매체로서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되면, 이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계와, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계 및 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 탐지장치
110 : 통신부
120 : 저장부
130 : 디스플레이부
140 : 프로세서부

Claims

전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계;
상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계;
상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계;를 포함하는,
탐지방법.
제1항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 관심영역을 계산하는 단계에서,
CovSal Saliency Model을 이용하여 이미지 각 픽셀에 대하여 시각 관심 정도를 0~255 사이의 값으로 계산하고, 계산된 결과에서 CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 4개 값을 기준으로 이미지를 분할하는,
탐지방법.
제2항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
인간 시각 관심영역을 효율적으로 얻는 다양한 Saliency 모델을 사용하여 시각 만족도를 가지며 HMD의 모바일 디스플레이에 적용하여 관심영역 계산을 하는,
탐지방법.
제2항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 적용 가중치를 가변하고, 상기 CovSal Saliency Map 10개 구간에서 최고 구간 픽셀 개수의 변경방법을 기반으로 하여 이미지를 분할하는,
탐지방법.
제1항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 분할된 관심영역에서 Superpixel을 이용해 분할시, 픽셀값이 없는 영역을 제외하고 초기탐색 위치를 설정하고, 다른 CovSal Saliency Cluster를 제외하고 Superpixel로 분할하는 실행을 기반으로 이미지를 분할하는,
탐지방법.
제5항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 다른 CovSal Saliency영역을 제외하고 Superpixel 분할시, 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않아 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계 분할을 구현하는,
탐지방법.
제6항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 픽셀값이 없는 영역을 제외하고 초기탐색 위치에 대한 설정은 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하고, 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색위치를 설정하여 초기 위치를 설정하는,
탐지방법.
제7항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하는 방법은 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정하는,
탐지방법.
제7항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색 위치의 설정은 Color Data를 가지는 Column에 픽셀을 중앙에 위치시키고, 나머지는 Column에 픽셀값을 0으로 설정하여 보정된 이미지에 대해 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀 값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색위치로 설정하는,
탐지방법.
제1항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 분할된 관심영역에서 밝기 차이를 인식하지 못하도록 관심영역과 Superpixel로 분할된 영역에서 저전력 이미지를 구현시 이미지 품질 왜곡지수인 SSIM을 설정하고, 상기 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정하며, 상기 설정된 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현하는,
탐지방법.
제10항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
이미지 품질평가 지수를 사용하여 이미지 품질을 평가하는 지표 사용시, 다양한 인간 시각 만족 기반의 이미지 품질평가 지수를 사용하는,
탐지방법.
제10항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
이미지 품질평가 지수인 SSIM을 설정 시, 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기 값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정하는,
탐지방법.
제10항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
픽셀값에 변환 저전력 계수를 계산하기 위해 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정시, 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용하여 목표하는 SSIM을 구현하는,
탐지방법.
제10항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현 시, 관심영역과 Superpixel로 분할된 영역마다 계산된 저전력 계수를 이용해 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현하는,
탐지방법.
제1항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법으로서,
상기 관심영역내에서 이미지 분할시, 색상, 밝기, 윤곽선, 심도, 방향, 굴곡 및 의미 중 어느 하나의 기반으로 이미지를 분할하는,
탐지방법.
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
통신부;
저장부;
디스플레이부; 및
상기 통신부, 저장부 및 디스플레이부를 구동할 수 있도록 하는 프로세서부를 포함하고,
상기 프로세서부는,
이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하며, 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하고, 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는,
탐지장치.
제16항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
CovSal Saliency Model을 이용하여 이미지 각 픽셀에 대하여 시각 관심 정도를 0~255 사이의 값으로 계산하고, 계산된 결과에서 CovSal Saliency Map에서 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 4개 값을 기준으로 이미지를 분할하는,
탐지장치.
제17항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
인간 시각 관심영역을 효율적으로 얻는 다양한 Saliency 모델을 사용하여 시각 만족도를 가지며 HMD의 모바일 디스플레이에 적용하여 관심영역 계산을 하는,
탐지장치.
제17항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 픽셀값의 합, CovSal Saliency Map Histogram 기울기 변화율, CovSal Saliency Map 10개 구간에서 최고 구간 픽셀의 개수, CovSal Saliency Map에서 픽셀값이 0인 픽셀의 수의 적용 가중치를 가변하고, 상기 CovSal Saliency Map 10개 구간에서 최고 구간 픽셀 개수의 변경방법을 기반으로 하여 이미지를 분할하는,
탐지장치.
제16항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 분할된 관심영역에서 Superpixel을 이용해 분할시, 픽셀값이 없는 영역을 제외하고 초기탐색 위치를 설정하고, 다른 CovSal Saliency Cluster를 제외하고 Superpixel로 분할하는 실행을 기반으로 이미지를 분할하는,
탐지장치.
제20항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 다른 CovSal Saliency영역을 제외하고 Superpixel 분할시, 저전력을 목적으로 이미지를 분할하기 때문에 이미지에서 밝기가 0인 픽셀은 전력에 영향을 주지 않아 제외하고 같은 CovSal Saliency Cluster에 CovSal Saliency에 따라 이미지를 Superpixel로 분할을 통해 Between Saliencies 및 Within Saliencies의 2단계 분할을 구현하는,
탐지장치.
제21항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 픽셀값이 없는 영역을 제외하고 초기탐색 위치에 대한 설정은 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하고, 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색위치를 설정하여 초기 위치를 설정하는,
탐지장치.
제22항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 CovSal Saliency Cluster에 대해 다른 Saliency Level에 이미지를 제거하여 이미지를 보정하는 방법은 CovSal Saliency Cluster에서 Color Data를 가지는 Row와 Column을 구한 다음, Column에 대하여 Color값이 있는 픽셀을 중앙에 위치시키고 나머지는 Column에 픽셀값을 0으로 설정하는,
탐지장치.
제22항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 보정된 이미지에서 픽셀값이 있는 영역에 대해서 초기 탐색 위치의 설정은 Color Data를 가지는 Column에 픽셀을 중앙에 위치시키고, 나머지는 Column에 픽셀값을 0으로 설정하여 보정된 이미지에 대해 정사각형으로 나눈 다음, 정사각형의 중심에 픽셀 값이 보정된 이미지에서 Color Data를 가지는 픽셀을 초기 탐색위치로 설정하는,
탐지장치.
제16항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 분할된 관심영역에서 밝기 차이를 인식하지 못하도록 관심영역과 Superpixel로 분할된 영역에서 저전력 이미지를 구현시 이미지 품질 왜곡지수인 SSIM을 설정하고, 상기 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정하며, 상기 설정된 저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현하는,
탐지장치.
제25항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
이미지 품질평가 지수를 사용하여 이미지 품질을 평가하는 지표 사용시, 다양한 인간 시각 만족 기반의 이미지 품질평가 지수를 사용하는,
탐지장치.
제25항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
이미지 품질평가 지수인 SSIM을 설정 시, 영역이 CovSal Saliency와 CovSal Saliency Cluster에서 분할된 각 Superpixel에 밝기 값을 이용해 목표하는 SSIM 구간에서 Log Scale로 나누어 단계별로 Superpixel에 대한 SSIM을 설정하는,
탐지장치.
제25항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
픽셀값에 변환 저전력 계수를 계산하기 위해 설정된 SSIM을 기준으로 목표하는 저전력 계수를 설정시, 이미지에 픽셀값을 비교하여 그에 대한 SSIM을 계산한 LUT(Look Up Table)을 이용하여 목표하는 SSIM을 구현하는,
탐지장치.
제25항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
저전력 계수를 이용하여 분할된 영역에서 저전력 이미지 구현 시, 관심영역과 Superpixel로 분할된 영역마다 계산된 저전력 계수를 이용해 Superpixel을 기준으로 픽셀값을 조정하여 저전력 이미지를 구현하는,
탐지장치.
제16항에 있어서,
전자 장치 또는 전자 장비의 저전력 이미지 관심영역을 탐지하는 방법을 수행하는 탐지장치로서,
상기 프로세서부는,
상기 관심영역내에서 이미지 분할시, 색상, 밝기, 윤곽선, 심도, 방향, 굴곡 및 의미 중 어느 하나의 기반으로 이미지를 분할하는,
탐지장치.
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계; 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계; 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하여 저전력 관심영역 탐지방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는,
컴퓨터 판독 가능한 기록매체.
컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
이미지 관심영역을 계산하고, 계산된 이미지 관심영역을 이용하여 이미지를 분할하는 단계; 상기 분할된 이미지에서 색상 기반의 이미지 분할 기법을 이용하여 이미지를 객체에 따라 분할하는 단계; 상기 관심영역과 이미지 분할 기법에 기반하여 분할된 영역에서 밝기 차이를 인식하지 못하도록 저전력 이미지를 구현하는 단계를 포함하여 저전력 관심영역 탐지방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는,
컴퓨터 프로그램.