KR101531824B1 - 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

Abstract

본 발명은 그림 또는 사진 이미지에서 발생한 소프트 에러를 보정하기 위한 것으로, 특히 각종 이미지 관련 프로세스, 예컨대 머신비전이나 패턴인식 등의 과정에서 소프트 에러가 발생한 경우에 해당 위치의 평균데이터를 이용하여 그 에러를 개략적으로 보정함으로써 이미지 관련 프로세스의 성능을 제고할 수 있는 에러 보정 기술에 관한 것이다. 본 발명에서 따르면 이미지 또는 동영상의 특정 프레임을 프로세싱할 때 소프트 에러가 검출되는 경우에 그 에러가 검출된 해당 위치의 평균데이터를 사용하여 그 소프트 에러를 개략적으로 보정할 수 있으며, 이를 통해 별달리 프로세싱 로드의 증가 없이도 이미지 관련 프로세스, 예컨대 패턴인식이나 사용자 인식의 성능을 제고할 수 있는 장점이 있다.

Description

평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 {METHOD OF COMPENSATING SOFT-ERROR IN IMAGE PROCESS USING AVERAGE DATA, AND COMPUTER-READABLE RECORDING MEDIUM FOR THE SAME}

본 발명은 그림 또는 사진 이미지에서 발생한 소프트 에러를 보정하기 위한 것으로, 특히 각종 이미지 관련 프로세스, 예컨대 머신비전이나 패턴인식 등의 과정에서 소프트 에러가 발생한 경우에 해당 위치의 평균데이터를 이용하여 그 에러를 개략적으로 보정함으로써 이미지 관련 프로세스의 성능을 제고할 수 있는 에러 보정 기술에 관한 것이다.

반도체 및 촬영 장비 등 각종 전자 기술이 급속도로 발전하면서, 사진을 촬영하거나 동영상을 촬영하는 다양한 기기들이 등장하였으며, 다양한 제품에 복합적으로 적용되고 있다. 예를 들어, 디지털 카메라는 물론, 노트북 컴퓨터, 스마트폰을 포함하는 핸드폰 등의 전자기기에 카메라를 부가하여 사진 및 동영상을 촬영할 수 있게 되었다.

한편, 그 촬영한 이미지 또는 동영상 정보를 원본 데이터(raw data)보다 작은 크기의 데이터로 저장하기 위한 다양한 압축 기술이 존재한다. 이미지 또는 동영상의 원본 데이터를 그대로 저장할 경우 대규모의 저장 용량이 요구되며, 데이터의 송수신에도 어려움이 있기 때문이다.

다른 한편, 이미지 또는 동영상의 특정한 프레임(이하, '이미지'라고만 합니다)을 이용하여 특정의 목적을 달성하는 다양한 이미지 관련 프로세스가 제안되고 있다. 예를 들어, 이미지로부터 사용자를 인식하거나 그 이미지로부터 미리 설정된 특정한 패턴(예: 문자, 얼굴 등)을 획득하기 위한 다양한 시스템도 제시되고 있다. 이러한 시스템들은 보안용이나 머신비전 용도로 사용되고 있으나, 그 밖의 다른 범주로 사용 범위를 넓혀가고 있다.

예를 들어 패턴인식의 경우에 처리대상 이미지로부터 특정한 패턴을 획득하려면 당해 이미지로부터 획득된 정보와 기존에 저장된 정보를 비교하게 된다. 이때, 이미지 데이터가 손상된 경우에는 정상적인 패턴을 획득하거나 기존에 저장된 정보와의 비교가 곤란하게 되어 성능이 떨어지기 마련이다. 특히 이미지 데이터에는 각종의 압축기술(예: JPEG)이 사용됨에 따라 블록 단위로 이미지 에러가 발생하며 그로 인해 성능 저하는 더욱 심해진다.

따라서 이미지 관련 프로세스에서 처리대상 이미지의 일부분에 에러가 존재하는 경우에도 크게 영향받지 않고 그 성능을 유지할 수 있는 에러 보정 기술이 관련 기술분야에서 요구되고 있다.

본 발명의 목적은 그림 또는 사진 이미지에서 발생한 소프트 에러를 보정할 수 있는 기술을 제공하는 것이다. 특히, 본 발명의 목적은 각종 이미지 관련 프로세스, 예컨대 머신비전이나 패턴인식 등의 처리 과정에서 소프트 에러가 발생한 경우에 해당 위치의 평균데이터를 이용하여 그 에러를 개략적으로 보정함으로써 궁극적으로는 이미지 관련 프로세스의 성능을 제고할 수 있는 에러 보정 기술을 제공하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명은 평균데이터를 이용하여 이미지 관련 프로세스에서 소프트 에러를 보정하기 위해 제어부가 수행하는 방법으로서, 원본 이미지를 수신하여 이미지 디코딩을 실행하는 제 1 단계; 이미지 디코딩 과정에서 에러발생 여부 및 에러발생 위치에 대한 정보를 획득하는 제 2 단계; 데이터베이스에 저장된 다수 이미지로부터 에러발생 위치에 대한 평균데이터를 추출하는 제 3 단계; 이미지 디코딩을 통해 획득한 손상 이미지의 에러발생 위치에 제 3 단계에서 획득된 평균데이터를 삽입함으로써 에러보정 이미지를 획득하는 제 4 단계;를 포함하여 구성된다.

이때, 제 3 단계는, 데이터베이스에 저장된 다수 이미지로부터 전체 평균데이터를 미리 계산하는 단계; 에러발생 위치를 제공받는 단계; 에러발생 위치에 대한 평균데이터를 전체 평균데이터로부터 추출하는 단계;를 포함하여 구성될 수 있다. 또한, 제 3 단계는, 데이터베이스에 저장된 다수 이미지로부터 에러발생 위치에 대응하는 데이터를 각각 추출하는 단계; 그 추출된 에러발생 위치의 데이터로부터 평균데이터를 획득하는 단계;를 포함하여 구성될 수도 있다.

또한, 본 발명에 따른 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법은, 에러보정 이미지를 활용하여 데이터베이스에 대해 패턴매칭 여부를 식별하는 제 5 단계;를 더 포함하여 구성될 수 있다. 이때, 본 발명에서 에러발생 위치는 8x8 픽셀블럭으로 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 이상에 따른 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법을 수행하기 위한 프로그램을 기록한 것이다.

본 발명에서 따르면 이미지 또는 동영상의 특정 프레임을 프로세싱할 때 소프트 에러가 검출되는 경우에 그 에러가 검출된 해당 위치의 평균데이터를 사용하여 그 소프트 에러를 개략적으로 보정할 수 있으며, 이를 통해 별달리 프로세싱 로드의 증가 없이도 이미지 관련 프로세스, 예컨대 패턴인식이나 사용자 인식의 성능을 제고할 수 있는 장점이 있다.

[도 1]은 본 발명에 따라 소프트 에러를 보정하는 장치의 내부 구성을 나타내는 블록 구성도.
[도 2]는 본 발명에 따른 장치에서 이미지 디코딩 에러를 검출하고 처리하는 일반적인 개념을 설명하기 위한 도면.
[도 3]은 본 발명에 따른 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법을 나타내는 제어 순서도.
[도 4]와 [도 5]는 본 발명에 따라 소프트 에러를 보정하는 과정을 개념적으로 나타낸 도면.
[도 6]은 이미지를 인코딩/디코딩하는 개념을 설명하기 위한 도면.
[도 7]은 이미지에서 한 영역의 데이터가 손상된 경우의 예시도.
[도 8]은 패턴인식 프로세스를 위해 데이터베이스에 저장되어 있는 데이터들의 일 예시도.
[도 9]는 본 발명에서 패턴인식 프로세스를 위해 데이터베이스에 저장된 다수의 얼굴 이미지들로부터 얻은 평균데이터 이미지 및 이로부터 획득된 에러발생 영역의 이미지를 도시한 도면.

이하 첨부된 도면을 참조하여 본 발명을 살펴보기로 한다. 이하에 첨부된 본 발명의 도면은 본 발명의 이해를 돕기 위해 제공되는 것으로, 본 발명의 도면에 예시된 형태 또는 배치 등에 본 발명이 제한되지 않음에 유의해야 한다. 본 발명에 첨부된 도면에 대한 부가적인 실시예에 대한 균등 또는 확장은 도면을 참조한 설명을 통해 이해되어야 할 것이다.

[도 1]은 본 발명에 따라 소프트 에러를 보정하는 장치의 내부 구성을 나타내는 블록 구성도이다.

먼저, 카메라부(101)는 피사체로부터 반사되는 빛을 수광하여 피사체를 사진이나 동영상 형태의 데이터로 변환하여 제공하는 디지털 장치로서, 예컨대 일반적인 디지털 카메라 모듈로 구성된다. 이하의 설명에서는 카메라부(101)에서 생성된 그대로의 데이터를 원본 데이터라 부른다.

제어부(111)는 원본 데이터를 미리 설정된 방식으로 가공 처리(예: JPEG 압축)하여 메모리부(109)에 저장하거나 화면처리부(105)로 제공하여 디스플레이 제공되도록 한다. 현재 스마트폰에서 활용되고 있는 카메라 모듈은 원본 데이터를 생성할 때 JPEG 압축을 실행하여 출력하는데, 이러한 경우에는 제어부(111)는 그 이후 처리 내지는 데이터 관리를 담당한다.

화면처리부(105)는 제어부(111)로부터 수신된 정보를 디스플레이부(103)를 통해 사용자에게 표시한다.

디스플레이부(103)는 LCD 또는 OLED 등으로 구성할 수 있으며 촬영된 정보를 사용자에게 시각적으로 제공한다.

사용자입력부(107)는 카메라부(101)의 촬영을 제어하거나 디스플레이부(103)에 표시 형태를 제어하거나 에러 보정을 위한 각종 정보를 입력하기 위해 사용자와의 인터페이스를 제공한다. 사용자입력부(107)는 키패드, 키보드, 마우스, 터치스크린 등의 다양한 형태로 구성이 가능하다.

메모리부(109)는 장치에서 생성된 각종 데이터를 저장하기 위한 영역과 이미지 관련 프로세스(예: 패턴인식)에 필요한 각종 제어 데이터와 각종 패턴 데이터를 저장하는 영역을 구비한다. 메모리부(109)는 롬(ROM), 램(RAM), 플래시메모리, 하드디스크 등의 다양한 형태로 구성이 가능하다.

네트워크 접속부(113)는 유무선 네트워크(100)와 데이터 송수신을 위한 처리를 수행한다. 만일 스마트폰을 포함하는 이동통신 단말인 경우 무선통신을 위해 데이터를 처리(가공)하는 동작을 수행하며, 유선통신 인터페이스를 갖는 장비인 경우 예컨대 근거리통신망(LAN)이나 인터넷 등과 연결되는 경우 유선통신의 인터페이스를 처리하기 위한 구성을 가질 수 있다. 또한 네트워크 접속부(113)는 유선통신과 무선통신의 구성을 동시에 가질 수도 있다.

제어부(111)는 원본 데이터를 인코딩하여 메모리부(109)에 저장하고, 메모리부(109)에 저장된 데이터를 디코딩하여 디스플레이부(103)에 표시하며, 네트워크 접속부(113)로부터 데이터를 수신하면 이를 메모리부(109)에 저장한다. 또한, 제어부(111)는 데이터의 패턴인식이 필요한 경우 메모리부(109)로부터 관련된 데이터를 읽어와 디코딩하여 패턴인식에 활용한다.

한편, [도 1]의 도면에 도시한 구성들은 하나의 장치에 모두 구비하도록 구성할 수도 있고, 복수의 장치에 나뉘어 구성될 수도 있다. 또한 [도 1]에 도시한 구성들 중 일부의 구성은 필요에 따라 포함하지 않을 수도 있다. 예를 들어 네트워크 접속부(113)를 통해 데이터를 수신하기만 하는 경우 카메라부(101)는 필요하지 않을 수도 있다. 또한 패턴인식에 따른 제어 과정 등을 사용자에게 화면상으로 표시하여 제공할 필요가 없는 경우 화면처리부(105)와 디스플레이부(103)를 포함하지 않을 수도 있다. 뿐만 아니라 특정한 기기에서 수행되는 경우 예를 들어 스마트폰이나 노트북 등과 같은 장비인 경우 상기한 구성 이외에 추가적인 구성을 더 구비할 수도 있다.

[도 2]는 본 발명에 따른 장치에서 이미지 디코딩 에러를 검출하고 처리하는 일반적인 개념을 설명하기 위한 도면이다.

본 명세서에서는 설명의 편이상 3계층의 레이어만을 도시하였다. [도 2]를 참조하면, 본 발명의 기술을 설명하기 위한 3계층은 최하위 계층부터 하드웨어(230) 계층과 미들웨어/운영체제(middleware/OS)(220) 계층, 그리고 응용 계층(210)이다.

먼저, 응용 계층(210)는 외부로부터 원본 데이터를 수신하고 이를 인코딩하여 미들웨어/운영체제(220)로 제공하는데, 처음부터 인코딩된 원본 데이터를 제공받는 경우에는 인코딩 없이 바로 미들웨어/운영체제(220)로 제공한다. 이때 인코딩 방식은 원본 데이터를 압축하기 위한 다양한 표준들 중 하나의 방식이 될 수 있다. 본 명세서에서는 정지화상(이미지)를 다루는 경우를 기준으로 설명하므로 인코딩 방식은 JPEG이나 GIF를 가정한다.

그러면 미들웨어/운영체제(220)는 하드웨어(230)로 당해 데이터를 제공하며, 그에 따라 하드웨어(230)는 그 전달받은 데이터를 적절하게 관리하는데 만일 이후의 과정에서 패턴매칭 등의 이미지 프로세싱을 수행해야 한다면 당해 데이터를 데이터 캐시(data cache)에 임시 저장함으로써 이후의 프로세싱에 대비한다. 그리고 하드웨어(230)에는 이미지 관련 프로세스(예: 패턴인식)에 필요한 다양한 데이터를 저장하기 위한 영역을 구비하는데, 본 발명의 경우에는 사진 파일들의 평균데이터를 저장할 수 있다.

이어서 하드웨어(230)에 저장되었던 데이터(이미지 데이터)의 독취가 요구되면 하드웨어(230)로부터 당해 데이터를 읽어오면서 에러를 검출한다. 본 발명에서는 소프트 에러를 주로 다루는데, 소프트 에러는 메모리 셀에서 특정 조건이 발생함에 따라 데이터가 변경되어 발생하는 에러이다. 소프트 에러에서 데이터는 일시적(순시적)으로 변경될 수도 있고 영구적으로 변경될 수도 있다. 최근들어 소자들이 고속 고집적화되고 동작전압이 낮아짐으로 인해 일시적인 전압강하, 신호간섭, 노이즈 등의 주변환경에 의해 영향을 받아 이러한 소프트 에러가 발생하는 빈도가 증가되고 있다.

소프트 에러가 발생하게 되면 변경된 데이터가 인식됨으로 인해 잘못된 동작을 수행할 수 있다. 하나의 셀(비트)가 변경되더라도 많은 동작의 혼선이 발생할 수 있는데, 주소 값에서 에러가 발생한다면 잘못된 위치로부터 값을 읽어올 것이고 데이터 값에서 에러가 발생한다면 그 이후의 프로세싱(예: 수식계산)에서 잘못된 결과를 도출하게 된다.

한편, 만일 이미지 데이터에 에러가 검출된다면 에러의 존재여부 뿐만 아니라 패리티 비트나 에러정정 코드(ECC) 등을 통해 당해 에러가 발생한 위치를 개략적으로 파악할 수 있다. 이러한 정보는 미들웨어/운영체제(220) 또는 하드웨어(230)에서 획득하여 응용 계층(210)으로 제공한다.

또한 미들웨어/운영체제(220)는 하드웨어(230)로부터 에러발생 위치를 포함한 데이터(이미지 데이터)를 수신하면, 이에 대하여 다시 에러 검출을 수행하거나 또는 그대로 응용 계층(210)으로 제공한다. 이때, 미들웨어/운영체제(220)는 하드웨어(230)로부터 소프트 에러율(Soft Error Rate, SER)을 수신하며, 네트워크(100)를 통해 데이터를 수신하는 경우에는 네트워크로부터 패킷 손실율(Packet Loss Rates, PLR)에 관한 정보도 제공받는다. 그에 따라 미들웨어/운영체제(220)는 소프트 에러율(SER) 또는 패킷 손실율(PLR) 정보 및 그 수신된 데이터의 에러 검사 결과를 종합하여 프레임 손실율(Frame Loss Rates, FLR) 정보를 생성하여 응용 계층(210)으로 함께 제공한다.

응용 계층(210)은 미들웨어/운영체제(220)로부터 원본 데이터에서의 에러 관련된 정보를 획득하는데, 이를 '에러인식 데이터(error-aware data)'라 한다. 본 발명에서는 응용 계층(210)이 이미지에 대해서 에러 발생 여부 및 에러발생 위치에 대한 정보를 제공받고, 평균데이터를 이용하여 그 발생된 에러를 보정하는 이미지 관련 프로세싱에 활용하는 기술을 제공한다.

한편, [도 2]와 같이 원본 데이터로부터 에러인식 데이터를 획득하는 일반적인 개념은 이경우, 아비랄 스리바스타바(Aviral Shrivastava), 김민영, 니킬 듀트(Nikil Dutt), 날리니 벤카타스브라마니안(Nailini Venkatasubramanian) 공저의 논문 "멀티미디어 응용에서 하드웨어 장애의 영향 경감 방안 - 크로스레이어 접근법(Mitigating the Impact of Hardware Failures on Multimedia Applications - A Cross-Layer Approach)" ACM 멀티미디어 국제컨퍼런스, 2008년 10월로부터 자세한 정보를 얻을 수 있으므로 이에 참조한다.

[도 3]은 본 발명에 따른 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법을 나타내는 제어 순서도이고, [도 4]와 [도 5]는 본 발명에 따라 원본 이미지에서 발생된 디코딩 에러를 보정하는 과정을 개념적으로 나타낸 도면이다. 실제 구현과정에서 각 프로세싱 단계를 수행하는 계층(layer)은 설계자의 의도에 따라 다양하게 변경될 수 있다. 대부분의 프로세싱을 응용 계층(210)에서 수행하도록 구현할 수도 있고, 미들웨어/운영체제(220)이나 하드웨어(230)가 모든 프로세싱을 수행하도록 구현할 수도 있다.

S300 단계 : 먼저, 응용 계층(210)은 외부로부터 원본 데이터(처리대상 데이터)를 수신하여 이미지 디코딩을 시작한다. 이는 패턴인식 등의 특정 목적을 위해 카메라부(101)로 사진을 찍거나 네트워크(100)를 통해 특정 규격(예: JPEG)으로 압축된 이미지를 제공받는 것을 의미하며, 응용 계층(210)은 이렇게 제공된 이미지 데이터에 대해 디코딩 프로세스를 시작한다. JPEG 형식의 이미지 데이터라면 8x8 형태로 구분되어 저장된 Y, Cb, Cr의 데이터를 각 영역에 포함되는 화소(픽셀)들의 R, G, B 데이터로 변환하는 것이다.

S302 단계 : 응용 계층(210)은 원본 데이터를 미들웨어/운영체제(220) 및 하드웨어(230) 계층으로 전달하여 프로세스를 시작한다.

S304, S306 단계 : 그에 따라 미들웨어/운영체제(220) 및 하드웨어(230) 계층은 원본 데이터에 대한 프로세싱에 착수하며, 그 과정에서 에러 발생 여부를 식별한다. [도 4]를 참조하면, JPEG 디코딩하는 과정에서 미들웨어/운영체제(220) 및 하드웨어(230) 계층은 에러발생 여부를 검출할 수 있다. 또한, 패리티 비트나 에러정정 코드(ECC) 등을 통해 에러발생 여부 뿐만 아니라 그 에러가 발생한 대략적인 영역(블록)도 검출할 수 있다.

일반적으로 이미지에 대해서는 블록 인코딩 방식을 채택하므로 에러가 발생하는 경우에 정확한 위치는 알지 못하고 그 에러가 발생한 블록(예: 8x8 픽셀 블록)을 알 수 있다. 그에 따라, [도 4]를 참조하면 이미디 디코딩 과정에서 에러가 발생하면 그에 대응되는 블록에 대해서는 이미지가 복구되지 못하고 손상된 이미지가 얻어진다.

[도 6]을 참조하면, 최초의 이미지를 JPEG 방식으로 인코딩할 때 8x8 픽셀블록으로 분할한 후, 개별 픽셀블록에 대해 붉은색(R), 녹색(G), 파란색(B) 정보로 표현된 픽셀 정보를 휘도(Y), 색차(Cb, Cr) 값으로 변환하고 예컨대 호프만 코딩 등을 거쳐 JPEG 파일을 얻는다. 반대로 디코딩을 수행할 때에는 Y, Cb, Cr 값으로부터 8x8 픽셀블록의 R, G, B 값을 복원해야 하는데, 일부 값에서 에러가 발생하면8x8 픽셀블록의 이미지 복원이 불가능해진다. 이러한 에러는 하드웨어에서 데이터 저장 영역이 물리적으로 파손된 경우 또는 소프트웨어가 데이터를 읽어오는 과정에서 오류가 발생된 경우에 발생한다.

이와 같은 이유로 인해 이미지 디코딩 과정에서 에러가 발생하면 그에 대응되는 블록에 대해서는 이미지가 복구되지 못하고 [도 4]와 같은 블록 손상된 이미지가 얻어진다. [도 7]에는 최초의(인코딩 전의) 사진 이미지(A)와 디코딩 과정에서 블록 에러가 발생한 이미지(B)를 비교하여 나타내었다. 이처럼 이미지에서는 에러가 발생하면 블록 단위로 에러가 확산될 수밖에 없고, 그로 인해 이미지 관련 프로세싱, 예컨대 패턴매칭의 성능이 저하된다.

S308 단계 : 응용 계층(210)은 미들웨어/운영체제(220) 및 하드웨어(230) 계층으로부터 제공된 정보로부터 이미지 처리과정에서 에러가 발생되었다는 사실 및 그 에러가 발생한 위치(영역)을 식별할 수 있으며, 이 경우에 데이터베이스로부터 당해 에러발생 위치에 대한 평균데이터를 추출한다.

특정의 이미지 관련 프로세스의 목적을 위해 데이터베이스에는 다양한 이미지가 저장되어 있다. 예를 들어 얼굴인식을 위한 경우에는 패턴매칭을 위한 기본 데이터로서 다수 사람들의 얼굴 이미지가 데이터베이스에 등록되어 있다. 이하에서는 [도 8]과 [도 9]를 참조하여 얼굴인식의 예에서 데이터베이스로부터 평균데이터를 추출하는 과정을 개념적으로 기술한다.

[도 8]은 데이터베이스에 저장된 데이터들의 일 예시도이고, [도 9]는 이들 이미지들의 평균값을 이미지화 한 도면이다. [도 8]에서 데이터베이스에는 여러 사람들의 얼굴 이미지가 포함되어 있는데 평이한 얼굴과 안경, 선글라스 등의 각종 악세서리를 착용한 얼굴, 그리고 무표정, 웃는 표정, 우는 표정 등의 다양한 형태의 정보가 데이터베이스에 포함되어 있다.

이처럼 다양한 형태의 이미지들로부터 전체 평균값을 계산할 수 있다. [도 9]는 데이터베이스에 저장된 각종 이미지들의 평균값으로 계산한 평균데이터를 이미지화한 도면을 좌측에 도시하였다. 즉, [도 9]의 좌측에 표시된 이미지 형태는 실제 존재하는 얼굴이 아니며, 데이터베이스에 저장되어 있는 모든 데이터들의 평균으로부터 획득한 평균데이터의 이미지이다. 평균데이터는 미리 계산해둘 수도 있고 그때그때 생성할 수도 있다.

그런 후 응용 계층(210)은 에러가 발생한 위치와 동일한 위치의 데이터를 데이터베이스의 평균 값에 의해 획득한 평균데이터로부터 추출한다. [도 9]의 우측에 예시한 바와 같이 데이터베이스로부터 에러발생 위치(예: 8x8 픽셀블록)에 대응하는 평균데이터를 추출할 수 있다.

이러한 과정은 [도 4]에 도시된 바와 같이 데이터베이스의 전체 평균데이터를 먼저 획득한 후에 이로부터 에러발생 위치의 평균데이터를 추출하는 방식으로 구현할 수도 있고, [도 5]에 도시된 바와 같이 데이터베이스의 이미지들에 대해 에러발생 위치에 대한 데이터를 각각 추출한 후에 이들의 평균데이터를 획득하는 방식도 가능하다. 데이터베이스의 전체 평균데이터를 미리 계산해 두었다가 그때그때 사용할 수 있는 전자의 방식이 더 바람직하다.

S310 단계 : 응용 계층(210)은 손상 이미지에서 에러발생한 위치(예: 8x8 픽셀블록)에 데이터베이스로부터 추출된 에러발생 위치의 평균데이터를 삽입하여 에러를 보정한다. 이때, 이미지 삽입은 두 값의 가산(addition)이나 배타적 논리연산(exclusive OR)을 통해 달성할 수 있다.

[도 4]를 참조하면 에러보정 이미지가 원본 이미지(처리대상 그림파일)에 비하면 불완전하지만 검은색으로만 채워진 손상이미지에 비해서는 훨씬 자연스러운 형태임을 시각적으로 확인할 수 있다. 이는 시각적인 효과 뿐만 아니라 실제 패턴인식 등의 이미지 프로세싱에도 성능을 제고할 수 있는 결과가 도출된다(예: 패턴인식률 향상).

S312 단계 : 그리고 나서, 응용 계층(210)은 에러보정된 이미지를 활용하여 이미지 프로세싱을 수행한다. 패턴인식의 경우, 데이터베이스로부터 추출된 평균데이터는 패턴인식에서 해당 영역 또는 전체의 분산이 크지 않을 경우 인식률을 향상시킬 수 있다. 에러발생 위치의 데이터 값을 전체 평균값으로 대치함으로써 패턴인식률이 높아지는 것이다. 에러 이미지를 보정하여 패턴 인식률이 높아지면 오류가 발생한 이미지 파일이 앞선 [도 8]에서 설명한 각 클래스들 중 어느 클래스에 속하는 것인지를 판별하는 인식이 용이해진다.

본 발명을 증명하기 위해 Yale Data의 얼굴 사진을 60x50 사이즈로 축소하고 임의의 8x8의 위치에 에러를 삽입한 후 본 발명이 적용된 경우에 따른 패턴 인식률 실험 결과를 하기 <표 1>에 예시하였다.

먼저, 에러를 삽입하지 않은 경우 인식률은 82.07772%이다. <표 1>의 실험 결과와 비교하면 하나의 영역에 에러를 삽입하면 평균적으로 4% 정도 인식률이 저하됨을 알 수 있다. 하지만, 본 발명에 따라 에러를 보정하면 에러보정을 하지않은 경우에 비해 3.5% 정도 인식률이 상승하여(81.7099%) 그 삽입된 에러에 의한 영향이 실질적으로 제거되었음을 알 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.

100 : 유무선 네트워크
101 : 카메라부
103 : 디스플레이부
105 : 화면처리부
107 : 사용자입력부
109 : 메모리부
111 : 제어부
113 : 네트워크 접속부
210 : 응용 계층
220 : 미들웨어/운영체제
230 : 하드웨어

Claims (6)

1. 원본 이미지를 판단하기 위한 다수의 비교대상 이미지를 미리 저장하고 있는 비교대상 이미지 데이터베이스의 평균데이터를 이용하여 이미지 관련 프로세스에서 소프트 에러를 보정하기 위해 제어부가 수행하는 방법으로서,
   원본 이미지를 수신하여 이미지 디코딩을 실행하는 제 1 단계;
   상기 이미지 디코딩 과정에서 소프트 에러율(SER), 패킷 손실율(PLR), 프레임 손실율(FLR), 패리티 비트, 에러정정 코드(ECC) 중 하나 이상에 기초하여 상기 원본 이미지에 대한 소프트 에러의 발생 여부 및 소프트 에러의 발생 위치에 대한 정보를 획득하는 제 2 단계;
   상기 원본 이미지의 에러발생 위치에 대응하여 상기 비교대상 이미지 데이터베이스에 미리 저장되어 있던 다수의 비교대상 이미지의 평균데이터를 추출하는 제 3 단계;
   상기 원본 이미지의 에러발생 위치에 상기 제 3 단계에서 추출한 평균데이터를 대체함으로써 에러보정 이미지를 획득하는 제 4 단계;
   를 포함하여 구성되는 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법.
   
2. 청구항 1에 있어서,
   상기 제 3 단계는,
   상기 비교대상 이미지 데이터베이스에 저장된 다수 이미지로부터 전체 평균데이터를 미리 계산하는 단계;
   상기 에러발생 위치를 제공받는 단계;
   상기 에러발생 위치에 대한 평균데이터를 상기 전체 평균데이터로부터 추출하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법.
   
3. 청구항 1에 있어서,
   상기 제 3 단계는,
   상기 비교대상 이미지 데이터베이스에 저장된 다수 이미지로부터 상기 에러발생 위치에 대응하는 데이터를 각각 추출하는 단계;
   상기 추출된 에러발생 위치의 데이터로부터 평균데이터를 획득하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법.
   
4. 청구항 2에 있어서,
   상기 에러보정 이미지를 활용하여 상기 비교대상 이미지 데이터베이스에 대해 패턴매칭 여부를 식별하는 제 5 단계;
   를 더 포함하여 구성되는 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법.
   
5. 청구항 3에 있어서,
   상기 에러발생 위치는 8x8 픽셀블럭으로 구성되는 것을 특징으로 하는 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법.
   
6. 청구항 1 내지 청구항 5 중 어느 하나의 항에 따른 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.

Images