KR101266833B1 - 듀얼 레코더 - Google Patents

Abstract

듀얼 레코더를 제공한다. 상기 듀얼 레코더는 동영상의 포맷과 정지영상의 포맷을 설정하고 처리하는 포맷설정부, 상기 동영상의 포맷에 따라 프레임 단위로 동영상을 취득하되, 상기 동영상에 속하는 복수의 프레임 중 적어도 하나의 프레임을 상기 동영상의 포맷과 상기 정지영상의 포맷 중 어느 하나에 따라 정지영상으로 취득하는 촬영부, 상기 촬영부에 의해 취득되는 상기 동영상과 상기 정지영상을 디스플레이하는 디스플레이부, 상기 동영상과 상기 정지영상을 전기적으로 디지털화된 동영상과 정지영상으로 변환하여 출력하는 디지털 신호처리부, 상기 디지털화된 동영상과 정지영상을 압축하는 프로세서, 및 상기 프로세서에 의해 압축된 동영상과 정지영상을 저장하는 메모리부를 포함한다. 동영상을 취득함과 동시에 정지영상을 별도의 포맷으로 압축, 저장할 수 있다. 또한 취득한 동영상과 정지영상을 다른 백업용 단말로 전송함으로써 한정된 용량의 저장매체를 효율적으로 이용할 수 있다.

듀얼 레코딩, 듀얼 레코더, 정지영상, 동영상, still-cut, 압축, 영상 데이터, 듀얼 포맷, format, 영상 전송, 오류 검출

Description

듀얼 레코더{Dual Recorder}

본 발명은 영상 촬영장치에 관한 것으로서, 보다 상세하게는 동영상 및/또는 정지영상을 취득하는 듀얼 레코더에 관한 것이다.

최근 정보기술(IT) 시장은 웹2.0(Web2.0)과 블로그(Blog), UCC(User Created Content)에 의해 활성화되고 있다. 이들이 활성화되는데 기여한 것은 기록(Recording)과 공유(Sharing)라 할 수 있다. 공유는 인터넷에 기반하고 있고, 기록은 글과 사진, 동영상등에 기반하고 있다. 특히 사진(정지영상)과 동영상은 글에 비해 상당히 많은 정보를 전달한다. 이러한 시대적 요구에 따라, 휴대용 단말기를 비롯한 각종 기기에 동영상 및 사진 촬영기능이 추가되었으며, 이러한 영상촬영기기(디지털 카메라, 캠코더, 휴대폰)들의 보급률은 폭발적으로 증가하였다.

최근 출시되는 디지털 카메라는 동영상 촬영기능을 내장하고 있으며, 디지털 캠코더 또한 동영상뿐만 아니라 정지영상 촬영 기능을 내장하고 있다. 일반적으로, 디지털 카메라는 렌즈를 통해 입사되는 영상을 디지털 신호로 변환하여 하드디스크 또는 메모리카드와 같은 기록매체에 저장한다. 즉, 촬영된 영상을 필름 등에 기록하지 않고 상기 기록매체에 저장하여 컴퓨터에 디지털 이미지를 입력할 수 있다. 디지털 카메라는 컴퓨터와의 호환성이 높아서 편집 및 수정이 간편하고, 또한 찍은 영상을 외부 컴퓨터와 연결하여 전송할 수 있다.

그런데, 이러한 디지털 카메라는 영상을 기록하는 기록매체의 용량등의 이유로 정지화상을 촬영하는데 주로 사용된다. 즉, 일부 동영상을 촬영할 수 있는 기능을 가지고 있으나, 장시간 촬영이 실질적으로 불가능하다. 특히, 동영상을 촬영하고 재생시 음향을 함께 기록하고 재생하는 장치가 추가적으로 구비되어야 정상적인 동영상을 촬영할 수 있기 때문에, 실질적으로 동영상을 촬영하여 저장하고 재생하기에는 부적합하다. 따라서, 동영상을 촬영하기 위해서는 테이프와 같은 기록매체에 촬영되는 피사체의 화상 및 음향등을 기록 및 재생하는 기록/재생장치 예컨데, 캠코더(Camcorder)가 널리 보급되고 있다.

캠코더는 주로 카세트 테이프를 기록매체로 사용하며, 그 카세트 테이프를 데크장치에 장착하고 촬영된 동영상을 기록한다. 또한, 캠코더는 마이크장치와 스피커장치가 구비되어 있다. 이러한 캠코더도 정지화상을 촬영하는 기능을 가지나, 상술한 디지털 카메라에 비해 화질이 떨어지므로, 주로 동영상을 촬영하는데 사용된다. 그리고, 캠코더는 디지털 카메라보다 많은 기능을 가지고 복잡한 구성을 갖고 있으므로, 부피가 상대적으로 크고 고가인 경우가 일반적이다.

이렇게 디지털 카메라와 캠코더간의 화질, 가격, 부피, 저장매체등의 차이로 인하여 동영상을 촬영함과 동시에 정지영상을 촬영하는 기능을 가진 일체형 장치(이하 듀얼 레코더(dual recorder)라 한다)의 구현이 어려우며, 이 두 가지 기능을 모두 이용하려면 두 가지 제품을 별도로 구입해야만 한다. 또한, 저장매체의 용량 도 한정되어 있으므로 장시간의 촬영에 의한 영상데이터를 저장매체에 저장하는 데에도 한계가 있다. 따라서, 상기 문제점을 보완하기 위해 디지털 카메라와 캠코더의 기능 즉, 정지영상 및 동영상을 동시에 촬영할 수 있고, 한정된 저장매체의 용량에 종속되지 않는 영상촬영장치가 요구된다.

본 발명의 기술적 과제는 동영상과 정지영상을 병행하여 취득할 수 있는 듀얼 레코더를 제공함에 있다.

본 발명의 일 양태에 따르면 듀얼 레코더를 제공한다. 상기 듀얼 레코더는 동영상의 포맷(format)과 정지영상의 포맷을 설정하고 처리하는 포맷설정부, 상기 동영상의 포맷에 따라 프레임(frame) 단위로 동영상을 취득하되, 상기 동영상에 속하는 복수의 프레임 중 적어도 하나의 프레임을 상기 동영상의 포맷과 상기 정지영상의 포맷 중 어느 하나에 따라 정지영상으로 취득하는 촬영부, 상기 촬영부에 의해 취득되는 상기 동영상과 상기 정지영상을 디스플레이하는 디스플레이부, 상기 동영상과 상기 정지영상을 전기적으로 디지털화된 동영상과 정지영상으로 변환하여 출력하는 디지털 신호처리부, 상기 디지털화된 동영상과 정지영상을 압축하는 프로세서, 및 상기 프로세서에 의해 압축된 동영상과 정지영상을 저장하는 메모리부를 포함한다.

본 발명의 다른 양태에 따르면 영상 전송방법을 제공한다. 상기 방법은 복수의 프레임을 포함하는 동영상 및 상기 복수의 프레임 중에서 선택된 적어도 하나의 프레임에 대한 정지영상을 취득하는 단계, 상기 동영상을 압축하는 단계, 상기 압축된 동영상을 전송하는 단계 및 상기 선택된 적어도 하나의 프레임에 대한 프레임 번호를 저장하는 단계를 포한다.

본 발명의 또 다른 양태에 따르면 본 발명의 다른 양태에 따르면 영상 수신방법을 제공한다. 상기 방법은 복수의 프레임을 포함하는 압축된 동영상을 수신하는 단계, 상기 복수의 프레임 중에서 정지영상으로 선택된 적어도 하나의 프레임에 대한 프레임 번호를 수신하는 단계, 상기 압축된 동영상의 압축을 해제 및 복호화하는 단계, 상기 동영상에 포함되는 복수의 프레임 중 상기 프레임 번호에 해당하는 프레임을 추출하는 단계 및 상기 추출된 프레임으로부터 상기 정지영상을 복원하는 단계를 포함한다.

동영상을 취득함과 동시에 정지영상을 별도의 포맷으로 압축, 저장할 수 있다. 또한 취득한 동영상과 정지영상을 다른 백업용 단말로 전송함으로써 한정된 용량의 저장매체를 효율적으로 이용할 수 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 이 발명의 바람직한 실시예를 첨부된 도면을 참조로 설명하기로 한다. 그러나 본 실시예가 이하에서 개시되는 실시예에 한정할 것이 아니라 서로 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면에서의 요소의 형상등은 보다 명확한 설명을 강조하기 위하여 과장되게 표현된 부분이 있을 수 있으며, 도면상에서 동일 부호로 표시된 요소는 동일 요소를 의미한다.

도 1은 본 발명의 일 예에 따른 정지영상(still-cut)과 동영상을 동시에 취득하는 듀얼 레코더를 나타내는 도면이다.

도 1을 참조하면, 듀얼 레코더(100)는 동영상의 포맷과 정지영상의 포맷(이하 듀얼 포맷(dual format)이라 한다)을 설정하고 처리하는 포맷설정부(110), 상기 듀얼 포맷에 따라 동영상과 정지영상 중 어느 하나만을 취득하거나 또는 동시에 취득하는 촬영부(120), 촬영부(120)를 통해 취득되는 동영상 또는/및 정지영상을 디스플레이하는 디스플레이부(130), 동영상 또는/및 정지영상을 전기적인 디지털 신호로 변환하여 출력하는 디지털 신호처리부(140), 상기 디지털화된 영상을 압축하는 프로세서(150) 및 상기 압축된 영상을 저장하는 메모리부(160)를 포함한다.

상기 포맷설정부(110)는 듀얼 포맷으로 촬영이 될 수 있도록 상기 촬영부(120)를 제어한다. 상기 포맷설정부(110)는 동영상과 정지영상의 포맷이 서로 다른 경우, 듀얼 포맷을 설정하고 이를 상기 디스플레이부(130)에 표시한다. 포맷은 영상의 속성을 의미하는 것으로서, 동영상과 정지영상은 그 포맷, 예를 들어 영상의 크기(size), 화질(quality), 비트심도(bit-depth)의 측면에서 서로 다를 수 있다. 듀얼 포맷의 일 예로서, 하나의 정지영상이 12 비트, 740*480 사이즈인데 반해, 동영상은 8 비트, 352*288 사이즈일 수 있다. 즉, 정지영상과 동영상의 포맷에 따라 다양한 조합의 듀얼 포맷이 있을 수 있다. 사용자로부터 듀얼 포맷에 관한 별도의 입력이 없는 경우, 상기 포맷설정부(110)는 디폴트(default) 듀얼 포맷을 설정할 수 있다. 이는 정지영상의 포맷과 동영상의 포맷에 관한 정보를 유선통신 또는 무선통신 인터페이스를 통해 수신하지 않고, 상기 듀얼 레코더(100) 자체에 포 맷에 관한 정보를 포함하는 경우이며, 듀얼 포맷에 관한 정보를 얻는 방법에 관하여는 후술된다.

상기 포맷설정부(110)는 설정된 동영상의 크기와 정지영상의 크기가 다른 경우 듀얼 레코딩시 초점을 명확히 하기 위해 도 2와 같이 상기 디스플레이부(130)에 더 작은 크기를 갖는 영상을 표시하는 안내선(guideline)을 표시하도록 할 수 있다. 도 2는 본 발명에 따른 디스플레이부(130)에 정지영상을 촬영할 수 있는 범위를 표시하는 안내선이 표시되는 것을 나타내는 도면이다.

상기 촬영부(120)는 동영상의 촬영과 병행하여 정지영상을 촬영할 수 있는 촬영수단으로서, 동영상과 정지영상 중 어느 하나만을 취득하거나, 또는 동영상과 정지영상을 동시에 취득할 수 있다. 즉, 상기 촬영부(120)는 동영상의 포맷에 따라 프레임(frame) 단위로 동영상을 취득하되, 상기 동영상에 속하는 복수의 프레임 중 적어도 하나의 프레임을 상기 동영상의 포맷과 상기 정지영상의 포맷 중 어느 하나에 따라 정지영상으로 취득한다. 듀얼 포맷이 설정된 경우에 있어서, 상기 촬영부(120)가 동영상과 정지영상을 동시에 취득하는 방법에 관하여는 후술된다. 상기 촬영부(120)는 고화소수의 전하결합소자(Charge-Coupled Device; CCD)와 저화소수의 전하결합소자 중 적어도 하나를 포함할 수 있다.

상기 디스플레이부(130)는 상기 촬영부(120)를 통해 취득되는 동영상 또는 동영상과 병행하여 촬영되는 정지영상을 디스플레이하며, LCD일 수 있다. 상기 디지털 신호처리부(140)는 상기 촬영부(120)로부터 촬영된 동영상 또는/및 정지영상을 전기적인 디지털 신호로 변환하여 출력한다.

상기 프로세서(150)는 상기 디지털 신호처리부(140)로부터 입력된 디지털화된 영상을 압축하고, 상기 메모리부(160)는 압축된 영상을 저장한다. 영상을 압축하는 방법에 관하여는 후술된다.

도 3은 본 발명의 다른 예에 따른 정지영상과 동영상을 동시 취득하는 듀얼 레코더를 나타내는 도면이다.

도 3을 참조하면, 듀얼 레코더(200)는 듀얼 포맷(dual format)을 설정하고 처리하는 포맷설정부(210), 상기 듀얼 포맷에 따라 동영상과 정지영상 중 어느 하나만을 취득하거나 또는 동시에 취득하는 촬영부(220), 상기 촬영부(220)를 통해 취득되는 동영상 또는/및 정지영상을 디스플레이하는 디스플레이부(230), 동영상 또는/및 정지영상을 전기적인 디지털 신호로 변환하여 출력하는 디지털 신호처리부(240), 상기 디지털화된 영상을 압축하는 프로세서(250), 상기 압축된 영상을 저장하는 메모리부(260), 및 상기 압축된 영상을 네트워크로 전송하는 전송부(270)를 포함한다.

상기 전송부(270)는 무선 인터페이스(radio interface)를 통해 압축된 영상 데이터를 네트워크로 전송한다. 상기 전송부(270)는 복수의 채널(channel)의 상태를 파악하고, 최적의 무선 채널상태를 가진 무선채널을 통해 다른 단말 또는 네트워크로 상기 압축된 영상 데이터를 전송한다. 무선 채널은 WIPI(Wireless Internet Platform for Interoperability), Wibro(Wireless Broadband Internet)용으로 할당된 무선채널일 수 있다.

도 4는 본 발명에 따른 상기 전송부(270)가 무선접속네트워크로 압축된 영상 데이터를 전송하는 과정을 나타내는 도면이다. 도 4를 참조하면, 전송부(270)는 채널상태에 따라 가장 좋은 채널을 선택하여 압축된 영상 데이터를 전송한다. 전송부(270)는 영상의 제1 프레임(frame)을 Wifi 채널을 이용하여 전송하고, 제2 프레임을 Wibro 채널을 이용하여 전송하며, 제3 프레임을 WIPI채널을 이용하여 전송한다.

도 5는 본 발명의 일 예에 따른 듀얼 포맷을 설정하는 방법을 나타내는 흐름도이다.

도 5를 참조하면, 듀얼 레코더는 영상을 수신할 단말로 듀얼 포맷 설정 요청 메시지를 전송한다(S10). 듀얼 포맷 설정 요청 메시지는 듀얼 레코더가 단말로 영상을 전송하기에 앞서, 상기 단말로부터 상기 단말이 요구하는 듀얼 포맷을 전송하라는 요청 메시지이다. 듀얼 포맷 설정 요청 메시지는 상기 단말에 적합한 영상의 사이즈, 화질 정보, 코덱 종류 중 적어도 하나를 포함한다.

듀얼 레코더는 상기 단말로부터 듀얼 포맷 설정 메시지를 수신한다(S11). 단말이 듀얼 포맷 설정 요청 메시지를 수신하면, 단말 자신이 요구하는 듀얼 포맷에 관한 설정 메시지인 듀얼 포맷 설정 메시지를 상기 듀얼 레코더로 전송하고, 듀얼 레코더는 듀얼 포맷 설정 메시지를 수신한다. 듀얼 포맷을 설정한다(S12). 듀얼 포맷 설정 메시지를 수신한 듀얼 레코더는 상기 단말이 요구하는 듀얼 포맷으로 동영상 및 정지영상의 취득 방법을 설정한다. 듀얼 레코더는 상기 듀얼 포맷에 기초하여 취득한 영상을 상기 단말로 전송한다(S13).

영상에 관한 포맷이 다양한 단말에 정지영상 또는 동영상을 전송하는 경우 에, 각 단말이 요구하는 영상의 포맷에 따라 영상을 획득하여 상기 단말로 전송할 수 있다.

도 6은 본 발명의 다른 예에 따른 듀얼 포맷을 설정하는 방법을 나타내는 순서도이다.

도 6을 참조하면, 듀얼 레코더는 채널상태를 측정한다(S20). 채널상태의 측정에 사용되는 신호는 네트워크로부터 전송되는 기준신호(reference signal)일 수 있다. 기준신호로부터 얻은 CINR(Carrier to Interference Noise Ratio) 또는 CQI(Channel Quality Information)를 이용하여 채널상태를 측정한다.

듀얼 레코더는 채널상태에 따라 가변적으로 듀얼 포맷을 설정한다(S21). 채널상태가 불안정한 경우와 안정한 경우를 구분하여, 영상 크기, 화상포맷(color-format), 화질(quality)등을 달리하여 듀얼 포맷을 설정할 수 있다.

도 7은 본 발명의 일 예에 따른 동영상과 정지영상을 동시에 취득하는 방법을 나타내는 순서도이다.

도 7을 참조하면, 듀얼 포맷으로부터 동영상의 포맷과 정지영상의 포맷이 동일한지를 판단한다(S30). 만약 동영상의 포맷과 정지영상의 포맷이 동일한 것으로 판단되면, 동일한 포맷으로 동영상과 정지영상을 동시에 취득한다(S31). 만약 동영상의 포맷과 정지영상의 포맷이 동일하지 않은 것으로 판단되면, 두 개의 포맷 중 고사양의 포맷에 따라 정지영상 및 동영상을 동시에 취득하고(S32), 상기 고사양의 포맷에 따라 취득된 영상으로부터 저사양 포맷으로 동영상(또는 정지영상)을 추출한다(S33).

예를 들어, 정지영상의 포맷이 1픽셀(pixel)당 12비트(bit)이고 사이즈가 720*480인데, 동영상의 포맷이 1픽셀당 8비트이고, 사이즈가 352*288인 경우, 정지영상과 동영상의 포맷이 다르므로 고사양인 정지영상의 포맷에 맞추어 정지영상과 동영상을 동시에 취득한다. 그런데, 동영상의 포맷은 정지영상의 포맷에 비해 저사양이므로, 고사양 포맷으로 취득된 동영상을 다시 저사양 포맷의 동영상으로 추출한다. 추출 방법은 다운 샘플링(down sampling) 또는 톤-맵핑(tone-mapping)을 이용할 수 있다.

이하에서 압축방법에 관하여 설명된다. 시간의 진행에 따라 동영상이 프레임(frame) 단위로 취득된다고 가정한다.

도 8은 본 발명의 일 예에 따른 영상 압축방법을 나타내는 도면이다.

도 8을 참조하면, Pn은 동영상에 속하는 제n 번째 프레임을 나타내고(0≤n≤6)인 정수), 빗금친 부분은 상기 동영상에 속하는 n개의 프레임 중 정지영상이 선택된 시점의 프레임을 나타낸다. 정지영상은 상기 n개의 프레임 중 임의의 프레임에서 선택될 수 있다. 인트라 모드(intra mode)에 의해 정지영상이 선택된 시점의 제3 및 제5 프레임이 동영상에 속하는 복수의 프레임내에서 임의접근(random access)이 가능하도록 부호화되고, 모든 프레임이 비트스트림(bitstream) 형태의 압축된 영상 데이터로 추출되며, 복호화에 필요한 최소의 헤더정보가 상기 압축된 영상 데이터에 포함될 수 있다. 시퀀스 헤더(sequence header)와 같이 중복하여 사용되는 데이터의 경우, 듀얼 레코더는 매 정지영상에 대한 압축된 영상 데이터에 시퀀스 헤더를 포함시킬 수도 있고, 최초 정지영상이 취득된 때에 한하여 한번만 시퀀스 헤더를 포함시킬 수 있다. 그러나, 시퀀스 파라미터(sequence parameter)가 변경된 경우에는 압축 영상 데이터에 시퀀스 헤더가 포함된다.

도 9는 본 발명의 다른 예에 따른 영상 압축방법을 나타내는 도면이다.

도 9를 참조하면, Pn은 시간에 따른 제n 번째 프레임을 나타내고(0≤n≤12)인 정수), 빗금친 부분은 정지영상이 선택된 시점의 프레임을 나타낸다. 정지영상은 상기 n개의 프레임 중 임의의 프레임에서 선택될 수 있다. 제1 정지영상으로 선택된 제3 프레임이 인트라 모드에 의해 동영상내에서 임의접근이 가능하도록 부호화 및 압축되고, 이후의 정지영상으로 선택된 프레임들은 SI/SP 픽쳐에 의해 부호화 및 압축될 수 있다. 즉, 제3 프레임 이후에 제2 정지영상으로 선택된 제5 프레임은 제3 프레임을 참조하여 부호화 및 압축되며, 다음으로 제3 정지영상으로 선택된 제10 프레임은 그 앞의 제5 프레임을 참조하여 부호화 및 압축된다.

이하에서 듀얼 레코더가 동영상 또는 정지영상을 단말 또는 시스템으로 전송하는 방법에 관하여 설명된다. 여기서 단말 또는 시스템은 각각 고용량의 데이터 저장소인 백업용 단말 또는 백업용 시스템(backup-system)일 수 있다.

도 10은 동영상 또는 정지영상을 단말 또는 시스템로 전송하는 방법을 나타내는 흐름도이다.

도 10을 참조하면, 듀얼 레코더는 동영상으로 압축된 데이터를 단말로 전송한다(S40). 듀얼 레코더는 정지영상을 별도로 압축, 저장하여 전송함이 없이 정지 영상으로 선택된 프레임의 번호만을 별도로 저장하고, 단말로 전송한다(S41). 듀얼 레코더가 상기 정지영상으로 선택된 프레임의 번호만을 저장하는 이유는 단말로 상기 정지영상으로 선택된 프레임의 번호를 전송하였는데, 채널상태가 악화되어 정지영상으로 선택된 프레임의 번호의 전송에 오류가 발생하는 경우, 정지영상으로 선택된 프레임의 번호를 재전송하기 위함이다. 단말은 수신한 동영상 압축 데이터의 압축을 해제하고, 복호화한다(S42). 단말은 복호화된 동영상 데이터와 수신한 프레임의 번호로부터 정지영상으로 선택된 프레임을 추출한다(S43). 단말은 별도의 정지영상을 수신하지 않더라도 이미 수신한 동영상 압축 데이터와 상기 프레임의 번호로부터 정지영상으로 선택된 프레임을 추출할 수 있다.

물론, 듀얼 레코더는 프레임의 번호뿐만 아니라 저품질, 저화상의 정지영상만을 먼저 단말로 전송하고, 단말이 이후에 수신한 동영상 데이터로부터 추가 데이터를 추출하여 정지영상의 프레임 번호에 해당하는 영상에 대해 원래 사양의 품질(full-quality)을 가진 정지영상을 복원할 수도 있다. 이때 사용될 수 있는 기술로는 JPEG2000, SVC가 있다. 예를 들어, JPEG2000 방식을 이용하여 영상의 압축을 수행한 경우, 정지영상의 수평방향, 수직방향 모두 저주파대역(LL)에 해당하는 데이터만을 전송하고, 동영상 데이터로부터 나머지 주파수대역(LH,HL,HH)의 데이터를 추출하여 복원할 수 있다.

동영상이 저품질이고 정지영상이 고품질이며, 정지영상을 백업용으로 전송하는 경우, SVC, FGS인코딩과 스케일러빌리티 코딩(scalability coding) 방식을 이용 하여 압축 후 헤더(header), 하위 레이어 비트스트림(low-layer bitstream)및 상위 레이어 비트스트림(high-layer bitstream)을 전송할 수 있다. 악화된 채널을 통해 영상 데이터를 전송함에 있어서, 정지영상이 고해상도인 경우, 듀얼 레코더는 먼저 저해상도 영상을 전송하고, 저해상도 영상을 수신하는 단말이 업샘플링(up-sampling)을 할 수 있다. 이때 신택스(syntax)에 업샘플링 플래그(upsamling flag)를 사용할 수 있다.

듀얼 레코더가 데이터를 전송해야하는 단말이 복수인 경우, 각 단말마다 전송하는 상위 레이어를 얻는 방법과 전송하는 비트스트림이 다음과 같이 다를 수 있다. 일 예로서, 듀얼 레코더가 원래 영상과 인트라 모드로 압축된 영상의 차이에 해당하는 신호를 부가적으로 전송하고, 이때 상기 차이에 해당하는 신호를 별도로 압축하여 전송한다. 다른 예로서, 비트-평면 코딩(bit-plane coding) 방식을 이용하는 경우, 단말마다 전송되는 비트평면이 다를 수 있다. 이때 최대 중요비트(Most Significant Bit;MSB)부터 전송한다.

또 다른 예로서, 원래 영상과 인트라 모드로 압축된 영상의 차이에 해당하는 신호를 그대로 전송할 수 있다. 또 다른 예로서, 원래 영상과 인트라 모드로 압축된 영상의 차이에 해당하는 신호에 차이가 크지 않는 부분은 데이터를 전송하지 않고, 차이가 큰 부분 또는 중요하나 부분 또는 촬영시 디스플레이부에 표시되는 사각박스에 해당되는 부분에 대해서만 차이에 해당하는 신호를 전송할 수 있다.

도 11은 연속된 복수의 정지영상을 전송하는 방법을 설명하는 도면이다.

도 11을 참조하면, 제n 프레임의 정지영상에 해당하는 프레임은 원래의 인트라 모드로 압축하여 전송하되, 제n 프레임의 정지영상의 다음 정지영상인 제n+1 정지영상에 해당하는 프레임을 전송하는 방법에는 여러가지가 있다. 일 예로서, 제n 정지영상과의 제n+1 프레임의 정지영상과의 차이값만을 전송한다. 다른 예로서, 제n 프레임의 정지영상과의 제n+1 프레임의 정지영상과의 차이값을 압축하여 전송한다. 또 다른 예로서, 제n 프레임의 정지영상과의 제n+1 프레임의 정지영상과의 차이값을 비트플레인(bit-plane) 별로 전송한다. 또 다른 예로서, 제n+1 프레임의 정지영상의 중요한 부분 또는 제n 프레임의 정지영상과 차이가 많이 나는 부분의 데이터만을 전송한다.

또 다른 예로서, 최초 프레임의 정지영상과 제n+1 프레임의 정지영상의 차이값을 전송한다. 이는 채널상태을 고려한 방식으로서, 듀얼 레코더는 최초의 프레임의 정지영상을 원본 데이터 그대로 전송하되, 원본 데이터가 제대로 전송이 되었는지 오류를 검사(error-checking)하고 데이터에 이상이 있을 경우 재전송한다. 최초 프레임의 정지영상 이후의 프레임의 정지영상은 상기 최초 프레임의 정지영상과의 차이값만을 전송한다. 채널상태가 악화되면 최초 프레임의 정지영상 이외의 다른 프레임의 정지영상들은 데이터 전송에 오류가 발생하더라도 오류검사를 하지 않는다.

복수의 단말로 정지영상을 전송하는 경우, JPEG 방식과 같이 하나의 시퀀스(sequence)내에 여러 애플리케이션(application)용으로 동일한 정지영상을 각 애플리케이션의 포맷에 맞게 다양한 크기, 영상품질로 압축하여 전송할 수 있다. 이 방식에 의하면 여러 개의 비트스트림을 만들 필요가 없다. 또한 생성된 비트스트림을 고사양의 백업용 단말에 보내고 상기 백업용 단말이 상기 백업용 단말보다 작은 다른 단말의 포맷에 맞도록 데이터를 추출해서 전송할 수 있다. 여기서 비트스트림 신택스(syntax)는 애플리케이션 고유번호(ID), 제1 정지영상, 애플리케이션 고유번호, 제2 정지영상...과 같은 방식으로 저장된다.

도 12는 본 발명의 일 예에 따른 복수의 프로세서가 동영상과 정지영상을 압축하는 방법을 설명하는 블록도이다.

도 12를 참조하면, 듀얼 레코더(330)는 전처리부(300)와 제1 및 제2 프로세서(310,320)를 포함한다. 전처리부(300)는 소스 이미지(source image)를 입력받아 이를 적당한 형태로 변환하거나 처리하여 제1 및 제2 프로세서(310, 320)으로 입력한다. 제1 프로세서(310)는 동영상을 압축하고, 제2 프로세서(320)는 정지영상을 압축한다.

제1 프로세서(310)와 제2 프로세서(320)가 각각 동영상과 정지영상을 압축하는 방법은 도 13에서 설명된다. 도 13은 본 발명에 따른 제1 프로세서와 제2 프로세서가 각각 동영상과 정지영상을 압축하는 방법을 나타낸다. 도 13을 참조하면, 제2 프로세서는 제0 프레임부터 제5 프레임까지의 동영상을 압축하며, 정지영상으로 선택된 제1 및 제3 프레임에 관하여 제1 프로세서가 정지영상을 압축한다. 이때 최초의 정지영상인 제1 프레임은 SI로, 그 다음부터의 정지영상인 제3 프레임은 SP로 압축된다.

다시 도 12를 참조하면, 일 예로서 정지영상의 비트심도(bit-depth)가 동영 상의 비트심도보다 높은 경우, 전처리부(300)는 제2 프로세서(320)로 소스 이미지를 바로 보내고, 제1 프로세서(310)로 소스 이미지를 톤맵핑(tone-mapping)하여 보낸다. 다른 예로서 정지영상의 크기가 동영상의 크기보다 큰 경우, 전처리부(300)는 제1 프로세서(310)로 소스 이미지를 바로 보내고, 제2 프로세서(320)로 소스 이미지를 다운 샘플링(down-sampling)하여 보낸다.

듀얼 레코더(330)가 동영상 또는 정지영상을 압축하여 전송하는 방법은 여러가지가 있을 수 있다. 일 예로서, 듀얼 레코더(330)는 소스 영상을 중요한 부분과 중요하지 않은 부분으로 나누고, 상기 중요한 부분을 QP를 다르게 하거나 슬라이스(slice)를 지정하여 고품질(high-quality)로 압축하되, 자동 반복 요청(Automatic Repeat reQuest; ARQ)방식으로서 ACK/NACK 신호를 이용하여 상기 중요한 부분이 정상적으로 전송된 것을 확인하고 난 후, 중요하지 않은 부분을 전송할 수 있다.

다른 예로서, 듀얼 레코더(330)는 비트평면코딩(Bit plane coding) 방식을 이용해서 MSB와 같은 중요한 데이터부터 전송하고, ACK/NACK 신호를 이용하여 상기 중요한 부분이 정상적으로 전송된 것을 확인하고 난 후, 중요하지 않은 데이터를 전송할 수 있다. 또 다른 예로서, 듀얼 레코더(330)는 코딩성능이 최상인 상위 복수의 레이어(layer)를 하나의 이미지로 하여 정지영상 압축하여 전송한다. 또 다른 예로서, 듀얼 레코더(330)는 동영상 또는 정지영상을 저장한 후 저장용량이 부족해지는 경우에 상기 동영상 또는 정지영상을 단말로 전송할 수 있다.

이와 같이, 한정된 용량의 저장매체에 모든 영상 데이터를 저장하지 않고, 일부의 데이터는 백업용 단말 또는 백업용 시스템으로 전송하되, 다른 일부의 데이터는 저장하는 방법으로서, 저장매체를 효율적으로 사용할 수 있다.

이하에서, 영상 데이터를 송수신함에 있어 오류를 검출하는 방법(error detecting method)에 관하여 설명된다. 이하에서 단말이라 함은 고용량의 데이터 저장소인 백업용 단말 또는 백업용 시스템을 포함한다.

도 14는 본 발명의 일 예에 따른 오류를 검출하는 방법을 설명하는 블록도이다.

도 14를 참조하면, 듀얼 레코더는 정지영상과 동영상으로 압축된 비트스트림을 모두 전송하고(S50) 동영상의 프레임 중 정지영상으로 선택된 프레임에 해당하는 프레임 번호를 단말로 전송한다(S51). 상기 듀얼 레코더는 상기 전송된 정지영상을 저장한다. 상기 단말은 상기 압축된 비트스트림과 상기 프레임 번호를 이용하여 오류를 검출한다(S52),

만약, 상기 프레임 번호에 해당하는 정지영상과 동영상을 비교해서 차이가 없는 경우(case 1), 오류가 없으므로 상기 단말은 상기 듀얼 레코더로부터 정지영상이 정상적으로 전송되었다는 것으로 판단하고, 전송성공신호(ACK)을 상기 듀얼 레코더로 전송한다(S53). 전송성공신호를 수신한 상기 듀얼 레코더는 상기 저장된 정지영상을 메모리에서 삭제한다(S54).

만약, 상기 프레임 번호에 해당하는 정지영상과 동영상을 비교해서 차이가 나는 경우(case 2), 오류가 발생한 것이므로 단말은 재전송 요청 신호(NACK)를 상기 듀얼 레코더로 전송한다(S55). 상기 듀얼 레코더는 다시 압축된 비트스트림을 재전송하고(S56), 정지영상에 해당하는 프레임 번호를 재전송한다(S57).

오류 검출방법의 다른 예로서, 단말이 수신한 영상 신호의 DC 정보만을 검사한다. 또 다른 예로서, 단말이 수신한 영상 데이터를 다시 듀얼 레코더로 전송하고, 듀얼 레코더는 상기 단말로부터 전송된 영상 데이터를 이전에 전송한 원본 영상 데이터와 비교하여 오류를 검사한다. 또 다른 예로서, 단말이 수신한 영상 데이터 중에서 무작위로 선택된 특정한 MSB 데이터만을 듀얼 레코더로 다시 전송하되, 듀얼 레코더는 수신한 MSC 데이터를 원본 MSB 데이터와 비교하여 오류를 검사한다.

또 다른 예로서, 정지영상 압축을 JPEG방식에 의해 수행하는 경우, 오류 검출을 할 때 각 MB들이 DCT값을 사용할 수 있다. 이 방법은 원본 영상을 그대로 보내지 않는 경우에 적용될 수 있다. 또 다른 예로서, 영상의 최대 중요비트(MSB)부터 전송할 수 있다. 이때 오류 검출은 비트평면(bit-plane)별로 가능하다.

또 다른 예로서, 듀얼 레코더가 인트라 모드에 의해 동영상으로 압축된 비트스트림을 전송하고 정지영상으로 선택된 프레임의 데이터와 헤더를 단말로 전송하고, 상기 단말이 다시 상기 듀얼 레코더로 상기 프레임의 데이터를 재전송하며, 상기 듀얼 레코더가 자신이 전송한 프레임의 데이터와 상기 단말로부터 재전송된 상기 프레임의 데이터를 비교하여 오류를 검출한다.

또 다른 예로서, 듀얼 레코더가 원본 영상을 비트평면(bit-plane)단위로 전 송하되, 중요한 비트평면은 오류 검출을 반드시 수행하고, LSB는 채널상황에 따라 오류 검출을 수행하지 않을 수 있다. 또 다른 예로서, 단말이 수신한 영상을 다시 듀얼 레코더로 보내고, 듀얼 레코더가 수신한 영상과 원본 영상을 비교하여, 일정 임계치(threshold)이상으로 차이가 나는 경우에 오류가 검출된 것으로 판단하여 영상을 상기 단말로 재전송한다.

또 다른 예로서, 듀얼 레코더가 전송한 영상 중, 미리 정해진 특정한 시간에 해당하는 영상 데이터를 단말이 상기 듀얼 레코더로 피드백(feedback)한다. 상기 듀얼 레코더가 피드백된 영상 데이터와 원본 영상 데이터를 비교하여 만약 차이가 없으면, 원본 영상 데이터를 삭제한다. 만약 차이가 있는 경우 상기 듀얼 레코더는 오류가 검출된 것으로 판단하고 원본 영상 데이터를 상기 단말로 재전송한다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

이하에서, 취득한 동영상 또는 정지영상을 저장하는 저장매체에 저장하는 방법에 관하여 설명된다. 듀얼 레코더는 취득한 동영상 또는 정지영상 중 일부를 네트워크로 전송할 수 있다. 또한 듀얼 레코더는 촬영에 의해 동영상을 취득하면서 촬영 중 정지영상으로 선택된 프레임만을 그 저장매체에 저장하고, 선택되지 않은 다른 프레임은 네트워크 또는 백업용 단말로 전송한다.

이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.

도 1은 본 발명의 일 예에 따른 정지영상(still-cut)과 동영상을 동시에 취득하는 듀얼 레코더를 나타내는 도면이다.

도 2는 본 발명에 따른 디스플레이부에 정지영상을 촬영할 수 있는 범위를 표시하는 안내선이 표시되는 것을 나타내는 도면이다.

도 3은 본 발명의 다른 예에 따른 정지영상과 동영상을 동시 취득하는 듀얼 레코더를 나타내는 도면이다.

도 4는 본 발명에 따른 전송부가 무선접속네트워크로 압축된 영상 데이터를 전송하는 과정을 나타내는 도면이다.

도 5는 본 발명의 일 예에 따른 듀얼 포맷을 설정하는 방법을 나타내는 흐름도이다.

도 6은 본 발명의 다른 예에 따른 듀얼 포맷을 설정하는 방법을 나타내는 순서도이다.

도 7은 본 발명의 일 예에 따른 동영상과 정지영상을 동시에 취득하는 방법을 나타내는 순서도이다.

도 8은 본 발명의 일 예에 따른 영상 압축방법을 나타내는 도면이다.

도 9는 본 발명의 다른 예에 따른 영상 압축방법을 나타내는 도면이다.

도 10은 동영상 또는 정지영상을 단말 또는 시스템로 전송하는 방법을 나타내는 흐름도이다.

도 11은 연속된 복수의 정지영상을 전송하는 방법을 설명하는 도면이다.

도 12는 본 발명의 일 예에 따른 복수의 프로세서가 동영상과 정지영상을 압축하는 방법을 설명하는 블록도이다.

도 13은 본 발명에 따른 제1 프로세서와 제2 프로세서가 각각 동영상과 정지영상을 압축하는 방법을 나타낸다.

도 14는 본 발명의 일 예에 따른 오류를 검출하는 방법을 설명하는 블록도이다.

Claims (32)

1. 동영상의 포맷(format)과 정지영상의 포맷을 설정하고 처리하는 포맷설정부;

   상기 동영상의 포맷에 따라 프레임(frame) 단위로 동영상을 취득하되, 상기 동영상에 속하는 복수의 프레임 중 적어도 하나의 프레임을 상기 동영상의 포맷과 상기 정지영상의 포맷 중 어느 하나에 따라 정지영상으로 취득하는 촬영부;

   상기 촬영부에 의해 취득되는 상기 동영상 및 상기 정지영상 중 적어도 하나를 디스플레이하는 디스플레이부;

   상기 동영상과 상기 정지영상을 전기적으로 디지털화된 동영상과 정지영상으로 변환하여 출력하는 디지털 신호 처리부;

   상기 디지털화된 동영상과 정지영상을 압축하는 프로세서; 및

   상기 프로세서에 의해 압축된 동영상과 정지영상을 저장하는 메모리부를 포함하는 듀얼 레코더.
2. 제 1 항에 있어서,

   상기 정지영상은 상기 동영상의 포맷과 상기 정지영상의 포맷 중 더 높은 사양의 포맷에 따라 취득되는, 듀얼 레코더.
3. 제 1 항에 있어서,

   상기 동영상에 속하는 복수의 프레임 중 상기 정지영상으로 취득되는 프레임 은 임의접근이 가능하도록 인트라 모드(intra mode)에 의해 압축되는, 듀얼 레코더.
4. 제 1 항에 있어서,

   상기 프로세서는 상기 동영상에 속하는 복수의 프레임 중 제1 정지영상으로 선택되는 제1 프레임을 임의접근이 가능하도록 인트라 모드에 의해 압축하고, 제2 정지영상으로 선택되는 제2 프레임을 상기 제1 프레임을 참조하여 압축하는 방식인 SI/SP 픽쳐에 의해 압축하는, 듀얼 레코더.
5. 제 1 항에 있어서,

   상기 프로세서는 상기 동영상에 속하는 복수의 프레임 중 제1 정지영상으로 선택되는 제1 프레임을 임의접근이 가능하도록 인트라 모드에 의해 압축하고, 제2 정지영상으로 선택되는 제2 프레임 중 상기 제1 프레임과 상기 제2 프레임의 차이에 해당하는 부분만을 압축하는, 듀얼 레코더.
6. 제 1 항에 있어서,

   상기 메모리부는 상기 정지영상의 프레임 번호를 더 저장하는, 듀얼 레코더.
7. 제 1 항에 있어서,

   상기 프로세서는 2개이고, 제1 프로세서는 상기 디지털화된 동영상의 압축에 사용되며, 제2 프로세서는 상기 디지털화된 정지영상의 압축에 사용되는, 듀얼 레코더.
8. 제 1 항에 있어서,

   복수의 무선채널 중 최적의 상태를 가진 무선채널을 통해 상기 압축된 동영상과 상기 압축된 정지영상을 단말로 전송하는 전송부를 더 포함하는, 듀얼 레코더.
9. 제 8 항에 있어서,

   상기 동영상의 포맷과 상기 정지영상의 포맷에 관한 정보는 상기 단말로부터 전송되는, 듀얼 레코더.
10. 제 8 항에 있어서,

    상기 전송부는 상기 압축된 동영상과 상기 압축된 정지영상뿐만 아니라 상기 정지영상의 프레임 번호를 더 전송하는, 듀얼 레코더.
11. 영상의 전송방법에 있어서,

    복수의 프레임을 포함하는 동영상 및 상기 복수의 프레임 중에서 선택된 적어도 하나의 프레임에 대한 정지영상을 취득하는 단계;

    상기 동영상을 압축하는 단계;

    상기 압축된 동영상을 단말로 전송하는 단계; 및

    상기 선택된 적어도 하나의 프레임에 대한 프레임 번호를 구비된 메모리에 저장하는 단계를 포함하는 영상 전송방법.
12. 제 11 항에 있어서,

    상기 압축된 동영상을 전송한 후 상기 선택된 적어도 하나의 프레임에 대한 프레임 번호를 단말로 전송하는 단계를 더 포함하는, 영상 전송방법.
13. 제 11 항에 있어서,

    상기 복수의 프레임중에서 선택된 제1 프레임에 대한 제1 정지영상을 인트라 모드로 압축하여 상기 단말로 전송한 후, 상기 복수의 프레임중에서 선택된 제2 프레임에 대한 제2 정지영상과 상기 제1 정지영상과의 차이부분을 상기 단말로 전송하는 단계를 더 포함하는, 영상 전송방법.
14. 제 13 항에 있어서,

    상기 차이부분은 압축된 것인, 영상 전송방법.
15. 영상의 수신방법에 있어서,

    복수의 프레임을 포함하는 압축된 동영상을 영상 전송기로부터 수신하는 단계;

    상기 복수의 프레임 중에서 정지영상으로 선택된 적어도 하나의 프레임에 대한 프레임 번호를 상기 영상 전송기로부터 수신하는 단계;

    상기 압축된 동영상의 압축을 해제 및 복호화하는 단계;

    상기 동영상에 포함되는 복수의 프레임 중 상기 프레임 번호에 해당하는 프레임을 추출하는 단계; 및

    상기 추출된 프레임으로부터 상기 정지영상을 복원하는 단계를 포함하는 영상 수신방법.
16. 제 15 항에 있어서,

    상기 복원된 정지영상을 오류 검출을 위해 상기 영상 전송기로 전송하는 단계를 더 포함하는, 영상 수신방법.
17. 제 16 항에 있어서,

    상기 오류 검출은 비트평면(bit-plane)별로 수행되는, 영상 수신방법.
18. 제 16 항에 있어서,

    상기 오류 검출은 상기 복원된 정지영상과 상기 영상 전송기에 저장된 정지영상을 비교하여 수행되는, 영상 수신방법.
19. 제 15 항에 있어서,

    상기 프레임 번호를 상기 영상 전송기로부터 수신한 후, 상기 선택된 적어도 하나의 프레임에 대한 정지영상을 상기 영상 전송기로부터 수신하는 단계를 더 포함하는, 영상 수신방법.
20. 제 19 항에 있어서,

    상기 영상 전송기로부터 수신한 정지영상과, 상기 프레임 번호에 따라 상기 동영상으로부터 추출된 프레임의 정지영상을 비교하여 차이가 있는지를 판단함으로써 오류 검출을 수행하는 단계를 더 포함하는, 영상 수신방법.
21. 제 1항에 있어서,

    상기 정지영상의 포맷과 상기 동영상의 포맷은 서로 다른 것을 특징으로 하는 듀얼 레코더.
22. 제 21항에 있어서,

    상기 정지영상의 포맷은 상기 동영상의 포맷보다 높은 사양을 갖는 것을 특징으로 하는 듀얼 레코더.
23. 제 22항에 있어서,

    상기 정지영상의 포맷은 상기 동영상의 포맷보다 영상의 크기, 해상도, 화질 및 비트심도(bit-depth) 중 적어도 하나가 더 높은 사양을 갖는 것을 특징으로 하는 듀얼 레코더.
24. 제 1항에 있어서,

    상기 압축된 동영상 및 상기 압축된 정지영상 중 적어도 하나를 단말로 무선 전송하는 전송부를 더 포함하는 것을 특징으로 하는 듀얼 레코더.
25. 제 24항에 있어서,

    상기 포맷설정부는 상기 단말로부터 수신한 설정 메시지에 상응하는 포맷으로 상기 동영상의 포맷 또는 상기 정지영상의 포맷을 설정하는 것을 특징으로 하는 듀얼 레코더.
26. 제 24항에 있어서,

    상기 단말은 백업용 단말 또는 백업용 시스템인 것을 특징으로 하는 듀얼 레코더.
27. 제 1항에 있어서,

    단말로 상기 압축된 정지영상을 무선 전송하는 경우, 애플리케이션의 포맷에 맞는 크기 또는 영상품질로 상기 압축된 정지영상을 전송하는 전송부를 더 포함하는 것을 특징으로 하는 듀얼 레코더.
28. 제 1항에 있어서,

    상기 압축된 정지영상은 JPEG 또는 SVC포맷인 것을 특징으로 하는 듀얼 레코더.
29. 제 1항에 있어서,

    상기 디스플레이부는 상기 동영상 촬영 중 상기 정지영상을 취득하는 경우 초점을 명확히 하기 위해 상기 디스플레이부의 전체화면보다 작은 크기를 갖는 영상을 표시하는 안내선(guideline)을 표시하는 것을 특징으로 하는 듀얼 레코더.
30. 제 1항에 있어서,

    상기 디스플레이부는 상기 동영상 촬영 중 상기 정지영상을 취득하는 경우

    상기 디스플레이부에 정지영상의 촬영 범위를 표시하는 안내선을 표시하는 것을 특징으로 하는 듀얼 레코더.
31. 제 1항에 있어서,

    상기 포맷 설정부는 상기 동영상의 포맷과 상기정지영상의 포맷을 사전 설정된 디폴트 포맷으로 설정하는 것을 특징으로 하는 듀얼 레코더.
32. 제 1항에 있어서,

    상기 촬영부는 상기 동영상과 정지영상을 동시에 취득하는 것을 특징으로하는 듀얼 레코더.

Images