KR100863925B1 - 영상 에러 은닉 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 에러 은닉 방법에 관한 것으로서, 보다 상세하게는 촬영된 실시간 영상 데이터를 전송시 버스(BUS)의 과부하로 인하여 손실된 영상 데이터의 에러를 복원하는 영상 에러 은닉 장치 및 방법에 관한 것이다.

본 발명은 저 대역에서 발생할 수 있는 에러 영상을 복원(은닉)하는 장치 와 방법을 제공하며, 실시간 영상 데이터를 처리할 때 버스(BUS)의 과부하로 인하여 손실된 이미지 데이터의 에러를 검출하고 에러가 검출된 영상 데이터를 주변 영상 데이터로 대치함으로써 영상 데이터의 에러발생 사실을 은닉(에러 영상을 복원)한다.

에러 은닉, 라인에러, 픽셀에러, 에러라인 플래그, 에러 복원, 평균치.

Description

영상 에러 은닉 장치 및 방법 {Apparatus and Method of concealing image error}

도 1은 화면 프레임이 저장된 메모리(Memory)영역에서 에러가 발생된 예를 나타낸 도.

도 2는 본 발명의 이동통신 단말기에서 발생된 에러 영상을 은닉 처리하는 동작 순서도.

도 3은 본 발명의 일 실시예에 따른 에러 제어 검출부의 개략적인 구성도.

도 4는 본 발명의 일 실시예에 따른 픽셀 에러 데이터를 복원하는 구성도.

도 5는 본 발명의 일 실시예에 따른 플래그 셋(FLAGE Set) 정보를 이용한 라인 데이터 복원 구성도.

도 6은 플래그 정보를 이용하여 에러 라인 데이터(Error Line Data)를 복원하는 예를 나타낸 도.

도 7은 특정 영역에서 발생한 에러 픽셀 데이터(Error Pixel Data)를 복원하는 예를 나타낸 도.

도 8은 도 7의 다른 실시 예를 나타낸 도.

<도면의 주요부호에 대한 설명>

300 : 버퍼상태확인부 310, 320 : 라인버퍼 1, 2

330 : 먹스(mux) 340 : 에러파악부

350 : 에러픽셀카운트부 360 : 위치 정보확인부

370 : 휘도색차 계산부 380 : 복원표시부

본 발명은 영상 에러 은닉 방법에 관한 것으로서, 보다 상세하게는 촬영된 실시간 영상 데이터를 전송시 버스(BUS)의 과부하로 인하여 손실된 영상 데이터의 에러를 복원(은닉)하는 영상 에러 은닉 장치 및 방법에 관한 것이다.

일반적으로 이동통신 단말기는 음성, 단문 메시지 서비스를 제공하는 제 2세대 이후에 고속의 데이터 서비스를 제공하는 제3세대 기술로 이행하고 있다. 제3세대 이동통신 기술은 2세대(1.8GHz이하)보다 높은 대역폭(1.9GHz이상)을 사용하여 새로운 형태의 데이터 서비스를 제공할 수 있을 뿐만 아니라, 소비자들이 시간과 장소의 제약을 받지 않고 이러한 서비스를 이용할 수 있게 해 준다.

제3세대 이동통신 기술은 멀티미디어 기술, 음성인식 기술, 휴대전화 위치확인 기술, 블루투스 기술 등과의 접목에 힘입어 빠르게 발전하고 있으며, 고속데이터와 영상 서비스를 제공한다. 이동통신 단말기에는 컬러 디스플레이, 메모리, 디지털 카메라, 무선 인터넷 플랫폼, 다중화음, MP3 기능, VOD 기능 등 첨단기술을 활용하고 있다.

또한, 이동통신 단말기에 장착되는 카메라 모듈(Camera Module)은 초소형 렌즈를 통해 피사체를 화면에서 볼 수 있도록 동영상과 사진촬영을 가능하게 한다.

통상적으로 이동통신 단말기에서는 저전력, 저비용의 칩을 사용한다. 가격면에서 저렴한 로우 메모리 대역폭(Low Memory Bandwidth) 을 이용하여 실시간으로 영상 입력 장치에서 수신되는 이미지 데이터를 디스플레이 장치에 출력 하거나 또는 비디오 시그널 프로세싱(Video Signal Processing)에 대한 동작 기능을 처리하는 때에는 메모리 액세스(Memory Access) 횟수와 버스(BUS)의 점유율이 높아지게 된다.

이와 같이 이동 통신 단말기(Mobile terminal)에서 소비자가 원하는 여러 기능을 수행하기 위해 메모리 액세스(Memory Access) 횟수와 버스(BUS)의 점유율이 높아지게 되면 영상 입력 장치로부터 입력된 실시간 데이터를 버스의 낮은 점유율로 인해 로컬 메모리(Local Memory)에 쓰기/읽기(Write/Read)하는 과정에서 에러 데이터가 발생된다.

이동통신 단말기에 장착된 카메라를 이용하여 실시간 촬영된 데이터는 전처리(Preprocessing) 과정을 거쳐서 임시 버퍼(Buffer)에 저장한 데이터를 DMA(Direct Memory Access) 인터페이스를 통해 메모리(Memory)에 저장한다.

이동통신 단말기에서 주로 사용하는 로우 메모리 대역폭(Low Memory Bandwidth) 상황에서 멀티미디어에 대한 다른 여러 기능 수행을 위해 버스(BUS) 점유가 높아진 경우 실시간으로 수신되는 영상 데이터가 버스(BUS) 점유의 우선순위 에 밀려 전송을 완료하지 못하여 프레임이 저장된 메모리에서 영상 이미지를 표시하였을 때 손실된 픽셀 데이터가 발생될 수 있다.

도 1은 화면 프레임이 저장된 메모리(Memory)영역에서 에러가 발생된 예를 나타낸 도이다.

도 1을 참조하면, 프레임 메모리 영역(Frame Memory Area)의 라인 2는 한 라인 전체가 에러가 발생된 것을 나타내고, 라인 N-4는 가운데 부분에 영상데이터에서 에러가 발생된 것을 도시하고 있는 것이다.

종래의 영상데이터의 에러 발생 부분을 복원하는 방식으로는 연속적인 라인 단위의 데이터 전송에 필요한 여유분의 메모리(Memory) 공간을 확보하고 에러 데이터(Error Data)가 발생한 위치정보를 파악하여 실시간 전송 중에 발생한 에러 데이터(Error Data)를 검출하고 이를 원래의 저장 메모리(Memory) 위치에 데이터를 복원하여 정상적인 프레임 이미지를 표시할 수 있는 방법을 사용하였다.

그러나 상술한 종래의 방식은 에러 데이터(Error Data)를 임시 저장 하기 위해 입력 이미지 사이즈(Size)만큼의 메모리(Memory) 공간이 확보되어야 한다. 결과적으로 하드웨어 로직 사이즈(Logic Size)를 늘려야 하고 그만큼의 메모리(Memory) 액세스(Access) 동작이 필요하다.

상술한 바와 같이 종래의 실시간으로 수신되는 영상데이터의 에러를 복원하는 방식은 이동통신 단말기에서 사용하는 저전력, 저비용 칩에서는 효과적으로 구현하기 곤란한 문제점이 있다.

본 발명은 상술한 문제점을 해결한 것으로, 본 발명의 목적은 실시간 수신된 영상데이터에서 발생한 영상 데이터의 에러를 복원하는 영상 에러 은닉 장치 및 방법 을 제공하는 것이다.

또한, 본 발명은 영상데이터의 라인 에러와 수개 또는 수십개의 픽셀에서 발생된 에러를 복원시에 이전 라인과 이후 라인의 색상 정보를 활용하여 간편하게 복원시켜 주는 영상 에러 은닉 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 에러 영상을 복원시에 에러 발생된 라인의 이전 라인으로 대체하거나, 이후 라인으로 대체하는 방법 또는 이전 라인과 이후 라인의 색상 정보를 평균하여 대체 복원하여 대용량의 메모리 추가 등이 필요 없으며 저사양의 장치, 예를 들면 이동통신 단말기에 적합할 수 있다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 에러 은닉 방법은, 카메라로부터 라인단위로 실시간 전송되는 영상데이터를 일시로 저장하는 라인버퍼의 상태를 확인하여 상기 영상데이터에 에러가 발생했는지 여부를 체크하는 단계, 영상데이터에 에러가 발생한 경우에 상기 영상 데이터의 에러를 복원하는 단계를 포함한다.

또한, 본 발명의 에러 발생 여부를 체크하는 단계는, 카메라에서 전송된 영상 데이터를 라인버퍼에 저장하는 단계, 라인버퍼의 상태를 확인하는 단계 및 확인 된 라인버퍼의 상태에 따라 에러 발생을 버퍼 상태 확인부에서 제공하는 전송 에러 정보로부터 에러 발생을 검출하는 단계로 이루어져 에러 발생을 검출하는 것을 특징으로 한다.

또한, 본 발명의 라인버퍼는 제1 라인버퍼 및 제2 라인버퍼를 포함하고, 영상데이터는 라인단위로 상기 제1 라인버퍼 및 제2 라인버퍼에 교대로 저장되는 것을 특징으로 한다.

또한, 본 발명의 영상데이터의 에러를 복원하는 단계는, 에러가 발생한 에러 라인의 이전 라인 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함하고, 에러가 발생한 에러 라인의 이후 라인 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함하고, 에러가 발생한 에러 라인의 이전 라인 데이터 및 이후 라인 데이터를 평균하는 단계 및 평균 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함할 수 있다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 에러 은닉 장치는 카메라로부터 라인단위로 실시간 전송되는 영상데이터를 일시로 저장하는 라인버퍼, 라인버퍼의 상태를 확인하여 상기 영상데이터에 에러가 발생했는지 여부를 체크하는 에러 제어 검출부 및 영상데이터에 에러가 발생한 경우에 상기 영상 데이터의 에러를 복원하는 에러 복원부를 포함한다.

또한, 본 발명의 에러 복원부는 에러가 발생한 에러 라인의 이전 라인 데이터를 상기 에러 라인의 데이터로 사용하여 상기 에러 라인의 에러를 복원하는 것을 특징으로 하고, 에러가 발생한 에러 라인의 이후 라인 데이터를 에러 라인의 데이 터로 사용하여 에러 라인의 에러를 복원하는 것을 포함한다.

또한, 본 발명의 에러 복원부는 에러가 발생한 에러 라인의 이전 라인 데이터 및 이후 라인 데이터를 평균하여 에러 라인의 데이터로 사용하여 상기 에러 라인의 에러를 복원하는 것을 특징으로 한다.

이하, 본 발명의 실시 예를 첨부한 도면을 참조하여 설명한다.

하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분을 설명할 것이며 자명하거나 공지된 이외 부분의 설명은 생략될 것이라는 것을 유의하여야 한다. 하기의 설명에서 에러의 복원은 에러 발생 사실이 은닉된 것을 말하는 것으로 에러의 복원은 에러의 은닉에 따른 결과의 의미로 이해될 수 있음을 유의해야 한다.

도 2는 본 발명의 실시예에 따른 이동통신 단말기에서 발생된 에러 영상을 은닉 처리하는 동작 순서도이다.

실시간으로 수신되어 표시되는 영상데이터에서 시스템의 대역폭 문제에 따라 발생될 수 있는 에러는 라인(Line) 에러와 픽셀(Pixel) 에러로 구분될 수 있다. 라인 에러는 라인 전체에서 에러가 발생된 것을 말하며 픽셀 에러는 한 라인의 일부에서 발생된 에러를 의미한다.

먼저 200 단계에서 에러 제어 검출부(Error Control Detection)는 카메라 DMA(Direct Memory Access) 인터페이스를 통해 촬영 입력 장치에서 수신되는 영상 데이터를 라인단위로 전송한다. 에러 제어 검출부(Error Control Detection)는 영상 데이터(Data) 전송을 위해 버스(BUS)를 점유하여 전송하는 과정에서 정상적인 데이터를 전송하는 경우와 에러 발생 활성화 입력 신호를 확인하여 예기치 않은 전송 오류 데이터를 전송 하는데 문제가 발생한 에러 라인 데이터(Error Line Data)를 감지한다. 에러 제어 검출부(Error Control Detection)에서 특정한 라인 또는 픽실에서 에러가 발생한 사실을 체크함으로써 이후 에러 복원(은닉)을 가능하도록 한다.

210 단계에서 에러 제어 검출부(Error Control Detection)에서 라인 에러가 검출되면 복원 방법 검출모드 결정 신호가 1값을 가진다.

220 단계는 에러 라인 정보 플래그 세팅(FLAG Setting)으로, 영상데이터에서 에러가 발생한 에러 라인(Error LINE)을 감지하여 에러라인 플래그(Error LINE FLAG) 정보 입력신호를 사용하여 해당 라인들의 에러 라인 플래그(Error LINE FLAG) 정보를 설정(Set)한다.

이후 연속적으로 하나의 프레임 이미지 정보가 전송이 완료될 때까지 에러라인(Error LINE) 정보가 있는 경우 해당 에러 라인 플래그(Error LINE FLAG)를 모두 셋(Set)하여 저장한다.

230 단계는 에러라인 플래그 셋 및 데이터 머지(Error LINE FLAG Set and DATA Merge) 를 처리하는 것으로, 플래그 및 데이터 머지(FLAG & DATA Merge) 정보 입력 신호를 사용하여 에러라인 플래그 설정(Error LINE FLAG Set) 정보와 이미지의 라인 데이터(LINE DATA) 정보를 머지(Merge) 한다. 이후 프레임을 저장할 메모리(Memory) 영역의 위치 주소에 각 머지(Merge)한 플래그 및 데이터(FLAG & DATA) 정보를 저장한다.

240 단계는 에러 플래그 셋(Error Flag Set) 확인 후 데이터(Data) 결정으로, 에러 라인 플래그 셋 및 데이터 머지(Error LINE FLAG Set and DATA Merge) 한 블록에서 라인 데이터(LINE DATA) 전송이 프레임 메모리(Memory) 영역에 모두 전송이 완료된 후에 복원 데이터 출력을 요청하면 출력부에서 에러 라인 플래그 셋(Flag Set) 정보를 확인한다.

250 단계에서 에러를 복원 표시하는 것으로, 복원 라인 입력 신호가 0값이면 현재 해당 라인을 그대로 출력 데이터로 보내고 복원 라인 입력 신호가 1 값이면 에러 라인 데이터를 포함하는 것으로 이전 라인 또는 이후 라인을 대체하여 에러 라인(Error LINE)을 복원한다.

또한, 다른 복원 방식으로 에러 라인의 이전, 이후 라인의 영상 평균값을 계산하여 에러 라인의 데이터로 복원한다. 위에 설명은 플래그 셋(FLAG Set) 정보를 사용하여 영상 데이터에서의 라인 에러를 은닉하여 복원하는 방법이다.

다음으로 에러의 발생이 라인 전체가 아니고 일부 픽셀인 경우의 복원 방법을 설명한다.

상술한 210 단계에서 에러 제어 검출부(Error Control Detection)에서 일부 픽셀에서 에러가 검출되면 복원 방법 검출모드 결정 신호가 0 값을 가진다.

260 단계는 복원 결정 신호인 선택 모드 입력 값이 0인 경우에는 에러 포지션 검출(Error Position Detection)을 처리한다.

에러 픽셀 데이터의 위치 정보 입력 신호를 사용하여 에러 픽셀 데이터의 개수를 카운트 하고 프레임이 저장된 메모리(Memory)에서 현재 에러 라인 로우

어드레스(Error LINE Row Address) 정보와 컬럼 어드레스(Column Address) 위치 정보를 저장한다.

270 단계는 에러 픽셀을 복원하기 위한 주소(Address)를 계산하는 것으로, 로우, 컬럼 주소(Row, Column Address) 입력 신호를 사용하여 현재 에러 라인(Error LINE) 위치에 대한 로우, 컬럼 주소 입력을 수신하여 해당 휘도, 색차 성분의 컴포넌트 별로 주소를 계산한다. 주소의 계산은 아래의 표 1의 주소 계산식을 적용하였다.

수학식 1	Y ADDRESS = Y_Base_Address + (Y_LINE-N * Column Size) + (Y_LINE_DATA_POS * Memory Data Width)
수학식 2	U ADDRESS = U_Base_Address + (U_LINE-N * Column Size) + (U_LINE_DATA_POS * Memory Data Width)
수학식 3	V ADDRESS = V_Base_Address + (V_LINE-N * Column Size) + (V_LINE_DATA_POS * Memory Data Width)
Column Size : Memory Column Size value(512, 1024, 2048, 4096) Memory Data Width : Data Width Size at Memory(Half word, word, dword) Y_LINE-N, U_LINE-N, V_LINE-N : 메모리의 로우 주소 정보 Y_LINE_DATA_POS, U_LINE_DATA_POS, V_LINE_DATA_POS : 메모리의 컬럼 주소 정보.

표 1의 수학식 1을 살펴보면 레지스터에 설정 되어있는 Y_Base_Address 값과 해당하는 메모리(Memory)의 변경 가능한 컬럼 사이즈(Column Size) 값을 파악하여 1차에서 현재 Y 라인 위치 정보 값과 컬럼 사이즈(Column Size)의 곱한 결과를 가지며 2차에서 메모리(Memory)의 데이터 전송 위드스 사이즈(Width Size)값과 현재 라인의 데이터 위치 값을 곱한 결과를 모두 더하면 Y의 복원한 주소(Address) 값을 얻을 수 있다. 마찬가지로 수학식 2, 수학식 3은 수학식 1과 동일하게 계산하여 사용하면 된다.

280 단계에서 영상데이터의 수개의 픽셀에서 발생된 에러 부분을 복원하여 표시하는 것으로, 선택된 복원 라인에 대한 입력 신호가 1 인 경우 순차적인 이미지는 이전 라인과 이후 라인이 연관성 있음을 고려하여 프레임이 저장된 메모리(Memory)에서 특정 영역 위치에서 이전, 이후 라인에서 한 개의 라인을 선택하여 로우, 컬럼 주소를 계산하여 에러 픽셀을 복원 한다.

한편, 선택된 복원 라인에 대한 입력 신호가 0인 경우 특정 영역 위치에서 두 개의 이전, 이후 라인의 평균치 값으로 계산하여 에러 픽셀(Error LINE)을 복원 하는 방법을 사용하는 것도 가능하다.

본 실시예에서는 라인 에러 처리와 픽셀 에러 처리를 모두 수행하는 경우를 기준으로 설명했지만 라인 에러 처리 혹은 픽셀 에러 처리 어느 하나만 수행하는 경우도 가능하다. 이 경우에 복원 방식을 선택하는 220 단계는 불필요할 수 있다.

도 3은 본 발명의 에러 제어 검출부(Error Control Detection)의 개략적인 구성도이다.

에러 제어 검출부(Error Control Detection)는 버퍼상태확인부(300), 라인버퍼 1, 2(310-320), 먹스(mux)(330), 에러파악부(340)로 구성된다.

에러 제어 검출부(Error Control Detection)에서 영상데이터의 에러를 검출하는 것을 설명한다.

에러 제어 검출부(Error Control Detection)는 두 개의 라인버퍼(LINE BUFFER) 1, 2(310-320)를 사용하여 실시간으로 카메라와 같은 영상 장치에서 전송되는 영상데이터를 임시로 저장하여 전송한다. 실시간 영상데이터는 두 개의 라인버퍼(310-320)에 라인 단위로 교대로 저장된다. 예를 들어 홀수 번째 라인은 라인버퍼 1(310)에 저장되고, 짝수 번째 라인은 라인버퍼 2(320)에 저장된다.

라인버퍼(LINE BUFFER) 1(310)이 DMA(Direct Memory Access) 인터페이스를 통해 데이터 쓰기(DATA Write) 전송 과정에서 버스(BUS)의 과부하로 인해 라인버퍼(LINE BUFFER) 1의 전송 데이터가 남아있게 되고 버퍼 상태확인부(300)에서는 전송하지 못하고 남아있는 데이터에 대한 낫엠티(Not Empty) 상태를 알려주고 에러 파악부(Error Detection)(340)는 버퍼 엠티(Empty) 상태 확인 정보와 데이터 정보를 확인하여 최종 에러 검출(Error Detection) 정보를 출력한다. 도 3의 에러 제어 검출부(Error Control Detection)는 라인 에러시와 픽셀 에러시에 복원 방법 검출 모드에 모두 적용한다.

도 4는 본 발명의 픽셀 에러 데이터를 복원하는 개략적인 구성도이다.

도 4는 도 2에서 설명한 선택된 모드 입력 값이 0인 경우 특정 위치에서 발생한 픽셀 데이터를 복원하는 순서를 상세하게 설명한 것으로, 도 4는 도 2의 210, 260~280 단계의 상세한 설명이다.

이전 블록으로부터 에러 검출(Error Detection) 출력 정보 입력 신호가 활성화 되어있고 에러픽셀카운트부(350)는 에러가 발생된 픽셀의 현재 수를 카운트하여 계산한다. 이는 나중에 영상 데이터(Data)를 복원하는 개수를 계산하기 위해 사용한다.

다음으로 위치 정보확인부(360)는 특정 영역 컬럼, 로우 주소(Column, Row Address) 위치 정보 입력 신호로부터 메모리(Memory)에서 발생한 에러 픽셀 데이터의 위치 정보를 확인한다.

다음에 휘도색차 계산부(370)은 휘도, 색차 컴포넌트별 주소(Address) 입력 신호를 이용하여 특정 영역 위치 주소를 계산한다. 특정 영역 위치 주소는 상술한 표 1의 계산식을 이용한다.

마지막으로 에러 픽셀 부분을 복원하여 출력하는 것으로, 복원표시부(380)는 복원 선택 입력 신호가 1 인 경우 픽셀 데이터의 에러가 발생된 라인의 이전 또는 이후 라인에서 하나의 라인을 선택하고 선택된 라인의 픽셀 데이터를 에러가 발생된 라인의 픽셀 데이터로 그대로 사용한다.

복원 선택 입력 신호가 0 인 경우 픽셀 데이터의 에러가 발생된 라인의 이전 또는 이후 라인의 평균치를 계산하고 그 값을 에러가 발생된 라인의 픽셀 데이터로 적용하여 복원하여 표시한다.

도 5는 본 발명의 플래그 셋(FLAGE Set) 정보를 이용하여 라인 에러 데이터를 복원하는 구성도이다.

에러 라인 플래그부(400)는 에러가 발생된 영상데이터의 라인에 대하여 에러 라인 플래그(Error LINE FLAG) 정보를 설정(Set)한다. 연속해서 하나의 프레임에 대해 에러 라인(Error Line)에 플래그 정보를 모두 설정한다.

그리고 하나의 프레임 데이터에 대한 전송이 모두 완료되면 플래그셋 및 라인 데이터 머지부(440)는 에러 라인 플래그(Error LINE FLAG) 정보와 라인 데이터(LINE Data) 정보를 머지(Merge)한 후에 프레임 메모리(Memory)(460)에 전송한다.

최종적으로 데이터 디스플레이부(470)는 에러플래그 확인부(450)에서 현재의 프레임 메모리(Memory)(460)에 저장된 영상데이터의 플래그(FLAG) 정보를 확인하도록 하고, 플래그(FLAG) 정보가 0이면 에러 라인이 없는 것으로 판별하여 해당 전송 라인의 데이터를 그대로 디스플레이부(470)를 통하여 출력시킨다.

플래그 정보가 1이면 라인은 에러 라인 데이터를 포함하고 있으므로 이미지에서 에러 라인 이전, 이후 라인 정보의 유사성을 이용하여 이전 라인과 이후 라인을 임의로 선택하여 디스플레이부(470)를 통하여 출력함으로써 에러 라인 데이터(Error Line Data)를 복원한다.

에러 라인 플래그부(400)와 플래그 셋 및 라인 데이터 머지부(440) 및 에러 플래그 확인부(450)는 에러 라인 데이터를 복원하는 에러 복원부로서의 역할을 수행하는데, 이와 같은 에러 복원부는 도 5에 도시된 형태와 다르게 다양하게 변형될 수 있음을 유의해야 한다.

도 6은 플래그 정보를 이용하여 에러 라인 데이터(Error Line Data)를 복원하는 예를 나타낸 것이다.

도 6의 라인(line) 3은 에러가 발생된 라인이고 복원라인 입력신호가 1인 경우에는 라인 2 또는 라인 4에서 하나의 라인을 선택하여 라인 3의 영상데이터로 그대로 사용하여 복원하는 것이다.

도 7은 특정 영역에서 발생한 에러 픽셀 데이터(Error Pixel Data)를 도시하고 있다.

에러가 발생된 픽셀의 위치는 로우, 컬럼 주소 정보를 이용하여 파악한다. 도 7에서는 라인 3의 일부 픽셀에서 에러가 발생된 것을 나타내며, 에러가 발생된 픽셀 데이터의 위치가 파악되면 이전, 이후 라인인 라인 2 또는 라인 4에서 하나의 라인을 선택하여 라인 3의 데이터로 지정하여 에러를 복원하여 처리한다. 도 6의 경우는 라인 3 전체에서 에러가 발생된 경우이고, 도 7은 라인 3의 일부 픽셀 데이터에서 에러가 발생된 경우의 예를 설명한 것이다.

도 8은 도 7의 다른 실시 예를 나타낸 예이다.

도 8은 에러가 발생된 라인 3의 일부 픽셀 데이터를 라인 2의 일부 픽셀 또는 라인 4의 일부 픽셀 데이터의 평균치를 적용하여 라인 3의 에러가 발생된 픽셀데이터로 지정하여 복원하는 예를 나타낸 것이다. 도면을 참조하면 라인 3의 빗금쳐진 일부픽셀이 에러가 발생된 것이고, 이 부분의 복원을 라인 2와 라인 4의 같은 컬럼에 위치한 데이터의 평균치를 적용하여 복원한다.

상술한 바와 같이, 본 발명은 이동통신 단말기의 카메라로부터 수신되는 영상데이터에서 에러가 발생되는 경우 에러 발생 라인이나 에러 발생 픽셀의 영상을 그 이전 라인이나 이후 라인의 데이터를 이용하여 간편하게 복원하여 에러를 은닉하고 하드웨어의 확장을 최소화하여 영상 데이터의 에러를 은닉한다.

지금까지 본 발명의 실시 예의 구성 및 동작에 대해 설명하였다. 본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 범위를 벗어나지 않는 한도 내에서 다양한 변형을 가할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 특허청구범위뿐만 아니라 특허청구범위와 균등한 것들에 의해 정해져야 한다.

본 발명은 로우 메모리 대역폭(Low Memory Bandwidth) 상황으로 버스(BUS)의 점유율 경쟁으로 인해 실시간 영상 데이터의 전송과정에서 발생한 에러를 복원하기 위해 종래의 기술과 같이 프레임 메모리를 추가하여 하드웨어 로직 사이즈(Logic Size)를 늘리는 복원 방식을 사용하지 않으며, 하드웨어의 확장을 최소화하여 에러 데이터를 복원하는 효과가 있다.

또한, 본 발명은 에러 라인에 플래그 셋 정보와 영상 데이터 정보를 합쳐서(Merge) 최종 프레임 메모리(Memory) 공간에 저장하고 데이터를 출력시 에러 라인의 플래그 셋 정보를 제어하여 출력 시키므로 추가적인 하드웨어 로직의 설계를 최소화하여 이미지 데이터를 효과적으로 복원하는 방법이다. 또한, 본 발명은 사용하는 저전력, 저비용에 적합한 효과적인 에러 영상을 은닉한다.

Claims (10)

1. 카메라로부터 라인단위로 실시간 전송되는 영상데이터를 일시로 저장하는 라인버퍼의 상태를 확인하여 상기 영상데이터에 에러가 발생했는지 여부를 체크하는 단계; 및

   상기 영상데이터에 에러가 발생한 경우에 상기 영상 데이터의 에러를 복원하는 단계를 포함하는 영상 에러 은닉 방법.
2. 제 1항에 있어서,

   상기 에러 발생 여부를 체크하는 단계는

   상기 카메라에서 전송된 영상 데이터를 라인버퍼에 저장하는 단계;

   상기 라인버퍼의 상태를 확인하는 단계; 및

   상기 확인된 라인버퍼의 상태에 따라 에러 발생을 버퍼 상태 확인부에서 제공하는 전송 에러 정보로부터 에러 발생을 검출하는 단계로 이루어져 에러 발생을 검출하는 것을 특징으로 하는 영상 에러 은닉 방법.
3. 제1항 또는 제2항에 있어서,

   상기 라인버퍼는 제1 라인버퍼 및 제2 라인버퍼를 포함하고, 상기 영상데이 터는 라인단위로 상기 제1 라인버퍼 및 제2 라인버퍼에 교대로 저장되는 것을 특징으로 하는 영상 에러 은닉 방법.
4. 제 1항에 있어서,

   상기 영상데이터의 에러를 복원하는 단계는

   에러가 발생한 에러 라인의 이전 라인 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함하는 것을 특징으로 하는 영상 에러 은닉 방법.
5. 제 1항에 있어서,

   상기 영상데이터의 에러를 복원하는 단계는

   에러가 발생한 에러 라인의 이후 라인 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함하는 것을 특징으로 하는 영상 에러 은닉 방법.
6. 제1항에 있어서,

   상기 영상데이터의 에러를 복원하는 단계는

   에러가 발생한 에러 라인의 이전 라인 데이터 및 이후 라인 데이터를 평균하는 단계; 및

   상기 평균 데이터를 상기 에러 라인의 데이터로 사용하는 단계를 포함하는 것을 특징으로 하는 영상 에러 은닉 방법.
7. 카메라로부터 라인단위로 실시간 전송되는 영상데이터를 일시로 저장하는 라인버퍼;

   상기 라인버퍼의 상태를 확인하여 상기 영상데이터에 에러가 발생했는지 여부를 체크하는 에러 제어 검출부; 및

   상기 영상데이터에 에러가 발생한 경우에 상기 영상 데이터의 에러를 복원하는 에러 복원부를 포함하는 영상 에러 은닉 장치.
8. 제7항에 있어서,

   상기 에러 복원부는

   에러가 발생한 에러 라인의 이전 라인 데이터를 상기 에러 라인의 데이터로 사용하여 상기 에러 라인의 에러를 복원하는 것을 특징으로 하는 영상 에러 은닉 장치.
9. 제7항에 있어서,

   상기 에러 복원부는

   에러가 발생한 에러 라인의 이후 라인 데이터를 상기 에러 라인의 데이터로 사용하여 상기 에러 라인의 에러를 복원하는 것을 특징으로 하는 영상 에러 은닉 장치.
10. 제7항에 있어서,

    상기 에러 복원부는

    에러가 발생한 에러 라인의 이전 라인 데이터 및 이후 라인 데이터를 평균하여 상기 에러 라인의 데이터로 사용하여 상기 에러 라인의 에러를 복원하는 것을 특징으로 하는 영상 에러 은닉 장치.

Images