KR20010040748A

KR20010040748A - 연결형 디지털 카메라의 영상 스트리밍 동작 동안에 정지화상 캡처를 위한 방법 및 장치

Info

Publication number: KR20010040748A
Application number: KR1020007008632A
Authority: KR
Inventors: 클레멘즈브루스피.
Original assignee: 피터 엔. 데트킨; 인텔 코오퍼레이션
Priority date: 1998-02-06
Filing date: 1999-01-22
Publication date: 2001-05-15
Also published as: JP2002503065A; DE19982811T1; WO1999040723A1; US6833863B1; GB0019249D0; GB2349291B; CN1166195C; CN1296697A; DE19982811B4; TW401686B; KR100419158B1; GB2349291A; MY116783A; AU2334399A

Abstract

이중 정지 화상 및 영상 모드(110) 특징은 디지털 카메라 및 관련 컴퓨터 시스템이 정지 화상 및 영상 스트리밍 동작의 동시 캡처를 지원하는 디지털 카메라(10)에게 제공된다. 컴퓨터 시스템(12)에 연결된 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상의 캡처 및 검색은 영상 스트리밍 동작을 중지시키고, 디지털 카메라에 의해 정지 화상을 캡처하며, 디지털 카메라로부터 컴퓨터 시스템으로 정지 화상을 전송하고, 영상 스트리밍 동작을 재개시키는 것을 포함한다. 캡처된 정지 화상의 전송은 카메라 장치 구동기 및 컴퓨터 시스템 상에서 실행되는 버스 인터페이스 소프트웨어에 의해 실행된다. 한 실시예에서, 디지털 카메라(10)는 USB(Universal Serial Bus)에 의해 컴퓨터 시스템에 연결되고, 카메라 장치 구동기 및 버스 인터페이스 소프트웨어는 USB의 액세스 및 사용을 제어한다.

Description

연결형 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상 캡처를 위한 방법 및 장치{METHOD AND APPARATUS FOR STILL IMAGE CAPTURE DURING VIDEO STREAMING OPERATIONS OF A TETHERED DIGITAL CAMERA}

디지털 카메라가 전자적인 형태로 디지털 정지 화상(digital still image)을 획득 및 저장하는 휴대용 시스템(portable system)으로서 최근에 개발되었다. 화상이 "전자(electronic)" 사진 앨범에서 디스플레이되는 것과 같은 다수의 다른 방식에서 이용되고, 그래픽 컴퓨터 애플리케이션(graphical computer applications)을 아름답게 꾸미는데 이용된다. 디지털 카메라가 통상의 화학 필름 카메라(chemical film camera)처럼 사용자 인터페이스를 구비하지만, 화상이 전자 고체 회로(electronic solid state circuitry) 및 화상 처리 기술(image processing techniques)을 전반적으로 이용함으로써 캡처 및 저장된다.

통상의 디지털 카메라는 광 인터페이스를 통해 피사체(object) 또는 장면(scene)으로부터 반사되는 입사광을 수신하는 전자 화상 감지기(electronic image sensor)를 구비한다. 광 인터페이스는 렌즈 시스템, 애퍼처 메커니즘(aperture mechanism) 및 광 필터를 포함할 수 있다. 감지기는 입사광에 응답하여 광-생성 신호(light-generated signals)를 생성하는 CCD(charge coupled device) 또는 CMOS(complimentary metal oxide semiconductor) 광-검출 회로의 어레이로 통상적으로 구현될 수 있다. 감지기로부터의 아날로그 신호는 아날로그/디지털(A/D) 변환기에 의해 디지털 포맷으로 변환되고, 피사체 또는 장면의 캡처된 디지털 화상을 산출하도록 로직 회로 및/또는 프로그램된 프로세서에 의해 더 처리된다. 캡처된 화상은 내부 RAM(random access memory)에 임시 저장되고, 또한 카메라 외부의 이동가능 로컬 메모리에 저장될 수 있다. 내부 RAM은 단일 화상을 저장하지만, 이동가능 로컬 메모리는 다수의 화상을 저장할 수 있다. 또한, 화상은 전자 파일로서 기억을 위한, 사용자에게 디스플레이하기 위한, 화상 품질을 개선시키기 위해 그래픽 및 화상 처리를 위한 그리고 다른 그래픽 소프트웨어와 사용하기 위한 디지털 카메라에 링크된 컴퓨터로 전송될 수 있다.

디지털 카메라의 대부분의 구입자는 정지 화상을 뷰잉(viewing)하기 위한 개인용 컴퓨터(PC) 시스템을 액세스한다. 그러므로, 이들 구입자는 다른 사람을 보고 다른 사람의 말을 듣기 위한 다른 컴퓨터와의 영상회의 애플리케이션(videoconferencing application)에서와 같이 다른 사람과 통신하기 위해 디지털 카메라를 이용함으로써 즐길 수 있다. 하지만, 대부분의 디지털 카메라는 통상적으로 단지 정지 화상을 제공하도록 구성된다. 마찬가지로, 영상회의에 이용되는 카메라는 컴퓨터로부터 분리될 경우에 스틸 카메라(still camera)로서 통상적으로 동작하지는 않는다. 이들 제한에 응답하여, 모든 영상(video)을 위한 카메라의 "이중 모드(dual mode)" 이용을 허가하는 디지털 카메라 및 관련 화상 처리 아키텍처가 개발되었고, 여기서 카메라는 영상용 컴퓨터에 링크(연결)될 수 있고, 정지 화상 캡처를 위해 휴대가능하게 동작될 수 있다. 이러한 시스템은 동일한 신호 처리 시스템을 통해 정지 및 영상 화상을 제공하도록 동작함으로써 분리된 스틸 및 영상 카메라를 구입하는 소비자에 대한 비용 부담을 감소시킬 수 있다.

하지만, 카메라는 휴대용 비영상 방식(portable, non-video manner)으로 동작할 때에만 정지 화상 캡처 모드가 이용됨에 있어, 이러한 이중 모드 카메라는 고유의 제한을 가진다. 카메라가 영상 모드에서 이용될 경우(영상회의를 위한 PC에 연결될 경우와 같음)에, 영상 프레임 시퀀스(video frame sequence)를 포함하는 일련의 캡처된 화상이 카메라에서 캡처될 수 있고 내부 RAM에 저장될 수 있는 임시 정지 화상을 겹쳐쓰기함으로써, 동시 영상 스트리밍 및 정지 화상 캡처 동작을 불가능하게 한다.

따라서, 카메라의 비용을 추가하지 않으면서 종래의 결함 및 제한을 극복할 수 있는 컴퓨터에 연결된 디지털 카메라에서 동시 영상 스트리밍 및 정지 화상 캡처 동작을 제공하기 위한 방법 및 장치가 요구된다.

본 발명은 디지털 카메라 및 컴퓨터 시스템에 관한 것으로서, 특히 컴퓨터 시스템에 연결된 디지털 카메라의 동작 능력에 관한 것이다.

도1은 본 발명의 실시예의 시스템 환경의 도면.

도2는 디지털 카메라와 같은 디지털 화상 캡처 장치의 로직 블록도.

도3은 본 발명의 실시예에 따른 디지털 카메라 화상 처리 시스템의 아키텍처를 도시한 도면.

도4는 본 발명의 실시예에 따라 수행되는 신호 처리 단계의 로직 흐름도.

도5는 디지털 카메라와 상호작용하는 호스트 컴퓨터 시스템-기반 구성요소의 블록도.

도6은 카메라 장치 구동기의 블록도.

도7a 및 도7b는 디지털 카메라로부터 정지 화상을 캡처 및 검색하기 위한 단계의 흐름도.

본 발명의 특징 및 장점은 본 발명의 하기의 상세한 설명으로부터 명백해질 것이다.

발명의 요약

본 발명의 실시예는 컴퓨터 시스템에 연결된 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상을 캡처하기 위한 방법이다. 이러한 방법은 영상 스트리밍 동작을 중지시키는 단계, 디지털 카메라에 의해 정지 화상을 캡처하는 단계, 디지털 카메라로부터 컴퓨터 시스템으로 정지 화상을 전송하는 단계 및 영상 스트리밍 동작을 재개시키는 단계를 포함한다.

본 발명의 다른 실시예는 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상을 캡처하기 위한 장치이다. 버스에 의해 컴퓨터 시스템에 연결된 디지털 카메라를 구비한 시스템에서, 이러한 장치는 영상 스트리밍 동작을 중지시키고, 디지털 카메라에 의한 정지 화상의 캡처를 요구하며, 디지털 카메라에서 컴퓨터 시스템으로 캡처된 정지 화상의 전송을 요구하고, 영상 스트리밍 동작을 재개시키기 위한 컴퓨터 시스템 상에서 실행되는 카메라 장치 구동기; 및 버스를 통해 카메라 장치 구동기와 디지털 카메라 사이의 명령 및 데이터를 통신하기 위한 카메라 장치 구동기 및 버스에 연결된 버스 인터페이스 구동기를 포함한다.

하기의 상세한 설명에서는, 본 발명의 다양한 관점이 설명된다. 하지만, 이 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 단지 일부 또는 모든 관점에 의해 실시될 수 있다는 것을 이해할 것이다. 설명 목적을 위해, 특정 번호, 재료 및 구성은 본 발명의 완전한 이해를 제공하기 위한 것이다. 하지만, 이 기술분야에서 통상의 지식을 가진 자는 본 발명이 특정 세부사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 예로서, 공지된 특징들은 본 발명을 모호하게 만들지 않기 위해 생략 또는 간략화되었다.

본 발명의 실시예는 디지털 카메라 및 관련 컴퓨터 시스템이 정지 화상 및 비디오 스트리밍 동작의 동시 캡처를 지원하는 디지털 카메라를 위한 진정한 이중 모드 특징을 제공하기 위한 방법 및 장치이다. 본 발명에 따른 이중 모드 정지 화상 캡처는 정지 화상 캡처 명령을 발행하기 전에 적당한 픽처(picture) 구성을 대기하는 동안에 컴퓨터 모니터 상에 디스플레이되는 일련의 화상 콘텐츠를 모니터링하도록 스트리밍 영상 모드 동작을 이용하는 사람에 의해 이용될 수 있다. 예를 들어, 전문적인 사진사, 사진 취미가 또는 심지어 초심자는 디지털 카메라를 가지고 사진을 찍고 동시에 장면 영상을 촬영하도록 이중 모드를 이용할 수 있다. 다른 일례에서, 영상 모드에서 동작하는 카메라는 보안 모니터(security monitor)로서 종종 이용된다. 본 발명과 함께 운용자는 관심있는 모니터링된 이벤트가 발생할 경우에 정지 화상 캡처 명령을 발행할 수 있다. 달리, 실시간 이미지 분석 프로그램은 카메라에 의해 기록된 장면 구성이 관심있거나 또는 수정가능 사전설정 파라미터에 적합한 경우에, 정지 화상 캡처 명령을 자동적으로 생성할 수 있다.

도1은 본 발명의 실시예의 시스템 환경의 도면이다. 디지털 카메라(10)는 정지 화상을 캡처하고, 완전한 동영상 화상을 생성하도록 사용자(도시되지 않음)에 의해 동작된다. 디지털 카메라는 케이블(14)에 의해 호스트 컴퓨터 시스템(12)에 연결된다. 호스트 컴퓨터 시스템은 적어도 하나의 처리 유닛 및 머신 판독가능 명령어(machine readable instructions)를 저장하기 위한 적어도 하나의 메모리를 구비한 개인용 컴퓨터, 워크스테이션 등을 포함하는 일반용 컴퓨터 시스템일 수 있다. 한 실시예에서, 시스템은 범용 직렬 버스(Universal Serial Bus)(USB) 통신 인터페이스를 구현한다. USB는 PC 외부의 컴퓨터 주변기기의 "플러그 및 플레이(plug and play)"를 초래하는 주변기기 버스 사양을 가지며, 전용 컴퓨터 슬롯에 인쇄 회로 카드를 설치하고 새로운 주변기기가 추가될 경우 시스템을 재구성하는 필요성을 제거한다. USB를 구비한 컴퓨터는 주변기기가 물리적으로 부착되면 자동적으로 구성되도록 허용한다. USB는 케이블(14)로서 도1에서 표현된다. 달리, 컴퓨터 시스템 및 컴퓨터 주변기기 사이의 다른 통신 인터페이스가 이용될 수 있다.

도2는 디지털 카메라와 같은 디지털 화상 캡처 장치의 로직 블록도이다. 디지털 카메라(100)는 동일한 신호 처리 시스템을 통해 정지 및 영상 화상을 제공하도록 적어도 두 동작 모드에서 동작한다. 한 실시예에서, 신호 처리 시스템은 연쇄형(chain fashion)으로 디지털 화상 처리 동작을 수행함으로써 동일한 정밀한 원래의 화상 감지기 신호로부터의 영상 및 정지 화상 데이터를 제공한다. 원래의 화상 감지기 신호는 디지털화되고, 공간적으로 스케일링되도록 준비되며, 디코리레이션되고(decorrelated), 압축 데이터로 인코딩된다. 다른 화상 처리 동작은 USB와 같은 컴퓨터 버스를 통해 액세스가능한 재프로그램가능 로직 회로에서 구현되거나 또는 소프트웨어에서 동작을 실행하는 고성능 데이터 프로세서를 수행함으로써 구현된다.

디지털 카메라(100)는 영상 및 정지 화상 처리 블록(110), 렌즈 시스템(104)을 구비한 광 인터페이스 및 화상이 캡처되는 피사체(102)로부터 반사되는 입사광에 노출되도록 하기 위한 애퍼처(108)를 포함한다. 또한, 카메라(100)는 저광 조건(low light conditions) 하에서 동작할 경우에 피사체(102)를 더 조명하도록 보충 광(supplemental light)을 생성하기 위한 스트로브 또는 전자 플래시를 포함할 수 있다.

바람직하게도, 렌즈 시스템(104)이 영상 및 정지 화상 동작을 위해 허용될 수 있는 고정된 초점 거리를 가진다. 그 이유는 (영상회의 동안에 사용자의 얼굴과 같은) 가까운 범위에서 피사체를 위한 광 인터페이스의 변조 전송 기능(modulation transfer function)(MTF)에서의 강하 (및 그에 따른 화상 품질 저하)가 영상 모드에서 묵인될 수 있기 때문이다. 광 인터페이스는 감지기 상에서의 광의 조사량 및 초점의 깊이를 제어하기 위한 애퍼처 메커니즘(108)을 가지며, 하기에서 설명되는 단지 두 설정으로 영상 및 정지 화상 동작 모두를 위해 구성될 수 있다.

광 인터페이스는 전자 화상 감지기(114) 상으로 입사광을 채널링한다. 화상 감지기(114)는 광 세기 및 컬러에 전자적으로 응답하는 다수의 픽셀을 가진다. 감지기(114)는 정지 화상으로서 허용되는 충분한 해상도를 갖는 캡처된 화상을 나타내는 신호를 생성한다. 광-생성 아날로그 감지기 신호를 수신하는 A/D 변환기(도시되지 않음)는 감지기(114)에서 포함될 수 있고, 노출된 피사체(102) 및 수반되는 장면의 디지털 화상을 정의하는 디지털 감지기 신호를 생성하는데 이용될 수 있다. 달리, 감지기(114)는 디지털 포맷으로 변환하기 전에 신호에 관한 아날로그 신호 처리를 차례로 수행할 수 있는 블록(110)으로 아날로그 신호를 제공한다. 어느 시나리오에서, 디지털화된 감지기 신호는 정지 화상 또는 영상 동작 모드가 선택되었는지에 따라 정지 화상 또는, 노출된 피사체 또는 장면에 의한 움직임을 나타내는 영상 화상의 시퀀스를 형성하기 위해 영상 및 정지 화상 처리 블록(110)에 의한 화상 처리 방법론에 따라 처리되는 원래의 화상 데이터를 정의한다.

모드 선택은 장치(100)에서 기계적인 제어(도시되지 않음)를 통해 장치(100)의 사용자에 의해 이루어진다. 기계적인 노브 설정(mechanical knob settings)은 시스템 제어기(160)에 의해 처리되는 제어 신호 및 데이터로 로컬 사용자 인터페이스(158)에 의해 번역 및 수신될 수 있다. 장치(100)는 호스트/PC 통신 인터페이스(154)를 통한 영상 모드를 위한 PC와 같은 호스트 컴퓨터에 연결될 수 있다. 이러한 호스트/PC 통신 인터페이스는 도1의 케이블(14)에 연결된다. 영상 모드는 카메라가 컴퓨터 시스템에 연결될 경우에만 이용될 수 있다. 이후, 사용자는 호스트/PC 인터페이스(154)를 통해 시스템 제어기(160)와 적당한 제어 신호 및 데이터를 차례로 통신하는 도1의 호스트(12)에서 실행되는 소프트웨어를 통해 모드 선택을 할 수 있다.

시스템 제어기(160)는 전술한 바와 같은 사용자에 의해 이루어진 모드 선택에 응답하여 영상 및 정지 화상의 캡처를 조직화한다. 시스템 제어기(160)는 영상 화상 프레임의 시퀀스를 나타내는 정지 화상 데이터 또는 영상 화상 데이터를 제공하도록 영상 및 정지 화상 처리 블록(110)을 구성한다. 이후, 화상은 장치(100) 외부에서 저장되거나/되고, 복원(decompression)(화상이 압축되었을 경우), 렌더링(rendering) 및/또는 디스플레이를 위한 호스트/PC로 전송된다.

디지털 카메라(100)는 정지 화상 데이터를 수신 및 저장하는 로컬 기억 장치(122)를 포함한다. 기억 장치(122)는 플래시 반도체 메모리(flash semiconductor memory) 및/또는 회전 미디어 장치(rotating media device)를 포함할 수 있다. 플래시 메모리는 인텔사(Intel Corporation)로부터 상업적으로 이용가능한 소형 카드 플래시 메모리와 같이 이동가능하다. 또한, 회전 미디어는 이동가능하거나 고정될 수 있고, 화상 데이터 파일을 저장하기 위한 자기 디스크 또는 적합한 다른 형태를 가질 수 있다.

또한, 화상 데이터는 호스트/PC 통신 인터페이스(154)를 통해 카메라(100) 외부로 전송될 수 있다. 통신 인터페이스(154)는 컴퓨터 주변기기 버스 표준에 따라 호스트/PC로 정지 화상 및 영상 화상 데이터 모두를 전송하도록 구성될 수 있다. 이용되는 버스 표준은 예를 들어, RS-232 직렬 인터페이스, USB 또는 고성능 "IEEE(Institute of Electrical and Electronics Engineers) Standard 1392-1995"일 수 있다.

전술한 바와 같은, 카메라(100)는 영상회의 동안의 영상 모드 및 통상의 휴대용 카메라를 이용하는 경우와 유사한 사진을 찍을 경우의 정지 화상 모드를 포함하는 다수의 모드에서 동작하도록 광학적으로 및 전자적으로 모두 구성 가능하다. 광학적인 관점에서, 10 mm 유효 초점 거리를 갖는 것과 같은 고정된 초점 거리 렌즈 시스템(fixed focal length lens system)(140)이 바람직하고, 실시예의 장치를 제조하는 비용을 감소시키기 위해 양쪽 모드에 이용될 수 있다. 움직임을 캡처하기 위한 영상회의 및 고속 프레임율 애플리케이션에 이용되는 영상 모드에서, 약 f/2의 애퍼처(108)가 선택될 수 있다. 이러한 애퍼처 설정을 위한 기본 초점(prime focus)은 바람직하게도 배경(background)에 대해 2 미터까지 확장되는 필드의 깊이를 갖고 있는 피사체에 대해 약 1 미터의 거리에 존재한다.

정지 화상 동작 모드에서, 실외 및 실내 장면 모두의 허용가능한 품질의 정지 화상이 캡처될 수 있다. 실내 장면에 대해, 광 레벨은 스트로브 또는 전자 플래시(112)에 의해 생성된 보충 광을 필요로 할만큼 아주 낮을 수 있다. 정상적으로, 실내 장면에 대해 f/2와 f/8 사이의 애퍼처(108)를 선택할 것이다. 이러한 애퍼처 범위 내에서, 기본 초점은 배경에 대해 4 미터까지 확장되는 필드의 깊이를 갖고 있는 피사체에 대해 약 2 미터의 거리에 존재한다. 환형 광(ambient light)을 갖는 실외 장면에 대해, 기본 초점은 무한대로 확장되는 필드의 깊이를 갖고 있는 피사체에 대해 약 2-3 미터의 거리에 존재한다. 정상적으로, 이러한 초점을 획득하기 위해 실외 장면에 대해 약 f/8의 애퍼처를 선택할 것이다.

또한, 카메라(100)는 정지 화상 데이터 또는 영상 화상의 시퀀스를 제공하도록 영상 및 정지 화상 처리 블록(110)을 구성함으로써 이중 모드 동작을 위해 전자적으로 구성될 수 있다. 한 실시예에서, 블록(110)은 감지기(114)로부터 수신된 정밀한 원래의 이미지 데이터로부터 사전정의된 해상도(resolution) 및 압축율(compression ratio)을 갖는 압축된 화상 데이터를 생성하기 위해 로직 회로 및/또는 프로그램된 데이터 프로세서로서 디지털 신호 및 화상 처리 기능을 구현한다. 이러한 블록(110)은 본 발명의 실시예에 따른 디지털 카메라(또는 다른 화상 캡처 장치) 화상 처리 시스템(200)의 일부분의 로직 블록도로서 도3에 도시된다.

도3은 영상 및 정지 화상 동작 모드 모두를 위한 화상 데이터에 의해 취해진 경로의 본 발명의 실시예를 위한 데이터 흐름도를 도시한다. 처리 블록(110)은 보정 블록(210)과 함께 개시될 수 있는 일련의 화상화(imaging) 기능을 포함한다. 보정 블록(210)은 화상이 스케일링되고 압축되기 전에 감지기(114)로부터 수신된 원래의 화상 데이터가 일정 부류의 사전처리를 보증할 경우에는 언제나 이용된다. 어떤 경우에서, 보정 블록(210)은 화상 감지기로부터 수신된 원래의 화상 데이터에 관한 픽셀 교환(pixel substitution), 압축(companding) 및 감마 보정(gamma correction)을 수행한다. 원래의 화상 데이터는 허용 품질의 정지 화상을 산출하도록 충분히 정밀해야 한다(예를 들어, 768 × 576 공간 해상도(spatial resolution) 또는 그 이상이 바람직함).

픽셀 교환은 무효 픽셀 데이터(invalid pixel data)를 유효 데이터(valid data)와 교환하여 더 결정론적인 입력을 차후 화상화 기능블록으로 제공하도록 블록(210)에서 수행될 수 있다. 압축(companding)은 각 픽셀의 해상도(픽셀당 비트 수)를 저하시키기 위해 수행될 수 있다. 예를 들어, 원래의 화상 데이터는 픽셀당 10 비트에 달하지만, 반면 로직 회로를 위한 바람직한 픽셀 해상도는 8 비트(1 바이트)일 수 있다. 또한, 통상의 감마 보정은 화상이 궁극적으로 디스플레이되는 호스트 컴퓨터에 의해 기대되는 화상의 정보 콘텐트를 준수하도록 실행될 수 있다.

각 수신된 원래의 화상 프레임에 대해 블록(210)에서 수행될 수 있는 다른 기능은 화상을 압축하기 전에 종종 필요한 고정된 패턴 노이즈 감소를 포함한다. 한번 더, 보정 기능이 통상적으로 블록(210)에 의해 수행되는지는 감지기(114)로부터 수신된 원래의 화상 데이터의 품질, 및 화상 데이터가 호스트 컴퓨터에 기억 및 전송을 준비하기 전에 수행되는 스케일링 또는 압축과 같은 차후 화상 처리에 의존한다.

원래의 화상 데이터가 보정 블록(210)에 의해 원하는 크기 또는 포맷으로 보정되었거나 또는 달리 처리되었으면, 보정된 데이터는 도2에 도시된 호스트/PC 통신 인터페이스(154) 및 로컬 기억 장치(122)의 전송 및 기억 조건을 충족시킬 필요가 있다면 스케일링 및 압축될 수 있다. 이러한 조건을 충족시키기 위해, 처리 블록(110)은 전송 및/또는 기억에 앞서 필요한 화상 스케일링 및 압축을 수행하도록 스케일링 및 압축 로직(212)을 포함할 수 있다.

예를 들어, 스케일링 및 압축 로직(212)은 화상 크기 및 해상도를 감소시켜 더 크고 더 정밀한 정지 화상과 비교하여 더 작고 덜 정밀한 영상 화상을 산출하도록 구성될 수 있다. 더 작고 덜 정밀한 화상 데이터는 호스트/PC에서 복원 및 뷰잉되는 영상 화상의 빠른 시퀀스를 전송하기 위해 요구될 수 있다. 하지만, 카메라(100)와 호스트/PC 사이의 전송 링크가 요구되는 속도로 정밀한 원래의 화상 데이터의 시퀀스를 호스트/PC로 전송하도록 충분한 대역폭을 가지면, 스케일링 및 압축 로직(212)이 정지 화상 및 영상 동작 모두를 위해 단순화 또는 심지어 제거될 수 있다.

다수의 디지털 화상 처리 기능은 도3에 도시된 압축 로직(212)을 위해 고려된다. 이들 또는 기능면에서 유사한 다른 것은 광 인터페이스가 카메라(100)에서 이용될 경우에 시스템(200)에서 원하는 성능 (압축된 화상 데이터를 렌더링하는 속도) 및 화상 품질에 따라 이 기술분야에서 통상의 지식을 가진 자에 의해 하기에 설명된 바와 같이 구성될 수 있다. 화상화 기능은 도3에 도시된 로직 회로의 분리 유닛으로서 한 실시예에서 구현되고, 하기에서 설명된다.

스케일링 로직(214)은 저장 및 전송하는데 더 용이할 수 있는 더 작은 화상을 산출하도록 보정된 화상 데이터의 2-D 공간 스케일링을 수행한다. 스케일링은 통상의 공지된 기술을 이용함으로써 선택된 스케일링 비율에 따라 이루어진다. 스케일링 비율은 정수(integer) 또는 소수(fractional)일 수 있다. 스케일링은 예를 들어, 두 분리 일차원 스케일링 프로세스를 이용함으로써 2차원 형태로 수행될 수 있다.

스케일링 로직(214)은 적절한 스케일링 비율을 단순히 선택함으로써 영상 및 정지 화상 캡처 모두에 이용될 수 있다. 예를 들어, 보정된 화상의 "4:1" 부샘플링(sub-sampling)은 영상 모드에서 수행될 수 있어 보정된 화상 데이터로부터의 16개의 픽셀은 스케일링된 화상 데이터에서 한 픽셀을 생성하기 위해 평균된다. 표준 스케일링 이론에 기초하고, 무상관 노이즈 소스(uncorrelated noise sources)를 가정하면, 부샘플링은 또한 팩터 "4"만큼 신호대 잡음비(signal to noise ratio)(SNR)를 개선시킬 수 있다. 또한, "2:1"과 같은 낮은 스케일링 비율이 이용될 수 있고, 여기서 4개의 픽셀이 스케일링된 화상 데이터에서 단일 픽셀을 생성하기 위해 평균되어 "2"의 SNR 개선을 초래한다. 영상 모드에서의 동작 동안에, 이러한 방식으로 더 정밀하게 보정된 화상 데이터를 스케일링함으로써, 시스템(200)은 영상회의 동안에서와 같이 영상 동작과 통상적으로 만나는 낮은 광 레벨로 인한 증가된 노이즈를 보상한다.

도3의 일련의 화상화 기능 블록에서 다음은 디코리레이션 및 인코딩 로직(decorrelation and encoding logic)(222)이다. 스케일링 로직(214)으로부터 수신된 스케일링된 화상 데이터는 다수의 디코리레이션 방법론 중 선택된 하나에 따라 화상 압축의 부류인 엔트로피 인코딩에 대비하여 디코리레이션된다. 한번 더, 사용자는 정상적으로 더 작은 크기 영상 화상을 획득하는데 적합한 특정 디코리레이션 방법론을 선택할 수 있다.

디코리레이션 기능은 인접 픽셀들 사이의 차(differences)로서 오류 화상 데이터를 생성할 수 있다. 화상 디코리레이션에 이용될 수 있는 한 특정 방법은 DPCM(digital pulse code modulation)이다. 화상 데이터의 더 많은 압축을 획득하기 위해서, 필요하다면, 예를 들어, 대다수의 영상 화상 프레임을 전송함에 있어서, "손실(loss)"은 DPCM을 이용함으로써 양자화(quantization)(제1 세트의 데이터를 더 작은 세트의 값에 매핑시킴) 오류의 형태로 도입될 수 있다.

일련의 화상화 기능 블록에서 다음 단계는 디코리레이션된 화상 데이터를 압축하기 위해 가변 길이 인코딩 기술(variable length encoding technique)을 이용하는 블록(222)에 의해 수행되는 엔트로피 인코딩이다. 예를 들어, 이용될 수 있는 통상의 공지된 엔트로피 인코딩 방법론은 허프만(Huffman) 인코딩이다. 엔트로피 인코딩은 서로 다른 심볼이 다른 가변 길이의 이진 문자열로 표현되고, 동시에 가장 공통적으로 발생하는 심볼이 가장 짧은 이진 문자열로 표현되는 방식으로 디코리레이션되는 화상 데이터를 비트열로 교체하는 것을 수반한다. 따라서, 엔트로피 엔코딩 로직(222)은 예를 들어, 도3에 도시된 바와 같이 압축된 화상 데이터를 제공하고, 여기서 스케일링된 8-비트 데이터는 3-16 비트의 가변 크기를 갖는 데이터로 인코딩된다.

한번 더, 영상 및 정지 화상을 획득하기 위한 인코딩 방법론들은 서로 다를 수 있고, 동작 모드에 따라 선택될 수 있다. 예를 들어, 더 큰 세트의 심볼(가변 이진 문자열 길이를 가짐)은 영상 화상 데이터와 비교해서 정지 화상 데이터를 인코딩하는데 이용될 수 있다. 이것은 영상 화상을 복원하는데 보다 정지 화상을 인코딩하는데 더 많은 시간이 호스트/PC에 할당될 수 있기 때문이다. 대조적으로, 영상 화상을 인코딩하기 위한 균일한 이진 문자열 길이를 갖는 더 제한된 세트의 심볼이 일련의 영상 화상 프레임의 더 빠른 복원을 획득하도록 이용되어야 한다. 또한, 균일한 이진 문자열 길이를 갖는 것은 고정량의 대역폭 사용이 USB와 같은 호스트/PC 인터페이스에 특히 적합한 화상 데이터를 전송하도록 허용한다.

화상 처리 시스템(200)은 전술된 바와 같은 이중 모드 동작을 돕는 추가 로직을 포함한다. 특히, 블록(210 및 212)에서 로직 회로는 각 화상화 기능을 수행함에 있어 유연성을 위한 프로그램가능 LUT(look-up tables) 및 RAM(random access memories)을 이용한다. 각 LCT 또는 RAM은 특정 모드 동작을 위한 선택된 방법론에 의해 특정화되는 각 화상화 기능 로직에 정보를 제공한다. 예를 들어, 스케일링 로직(214)은 중간 스케일링 계산 결과를 저장하기 위한 RAM 기억 영역을 이용한다. 또한, 디코리레이션 및 인코딩 로직을 위한 LUT(234)는 정지 화상 또는 영상 화상이 요구되는지에 따라 이 기술분야에서 공지된 바와 같이 디코리레이션 및 인코딩을 수행하는데 필요한 다른 규칙 및 데이터로 로딩될 수 있다. 특정 실시예에서, 두 LUT가 LUT(234)에 이용되는데, 하나는 문자를 목록으로 만들기 위한 것(소위 "코드북(codebook)")이고, 또 하나는 문자열 길이를 목록으로 만들기 위한 것이다.

다른 기술(techniques)은 RAM 및 LUT에 로딩되는 적당한 값을 판단하는데 이용될 수 있다. 예를 들어, 화상 미터링(image metering)은 디코리레이션 및 엔트로피 인코딩에 영향을 주는 채광(lighting) 및 다른 인자를 판단하도록 카메라 제어기 유닛(160)에 의해 수행될 수 있다. 또한, 전술된 바와 같이, 전송 및 기억 제약은 대다수의 화상 프레임이 생성될 경우에 특히 영상 동작 동안에 보다 큰 압축을 지시하기 때문에, 디코리레이션 및 엔트로피 인코딩을 위한 LUT는 화상 데이터의 압축을 위한 더 작은 코드북을 포함할 것이다.

비록 전술한 바와 같은 다른 LUT 및 RAM은 단일 물리적인 RAM 유닛의 일부분으로서 구현될 수 있거나 또는 달리 하나 또는 그 이상의 RAM 유닛으로 다른 결합에서 결합될 수 있으며, 각 LUT 및 RAM은 바람직하게도 화상화 기능의 더 빠른 성능을 획득하도록 물리적으로 분리된 유닛에서 구현된다.

화상 데이터는 압축 로직(212)에 의해 요구되는 모드에 따라 압축된 후에, 현재 가변 크기 데이터는 데이터가 컴퓨터 버스를 통한 더 효율적인 기억 및 전송을 위한 일정한 크기, 및 그에 따른 더 관리가능한, 데이터 세그먼트(data segments)로 팩킹되는 데이터 팩킹 유닛(data packing unit)(226)으로 통과된다. 한번 더, 감지기(114)로부터의 화상 데이터가 그대로 충분히 허용되고, 화상 데이터에 관한 전송 또는 기억 제한이 존재하지 않으면, 이때 데이터 팩킹 유닛은 불필요하게 된다. 그 이유는 감지기 화상 데이터가 일정한 크기를 가지고, 최소의 처리로 장치(100) 외부에서 용이하게 저장 또는 전송될 수 있기 때문이다.

데이터 팩킹 유닛(226)에서, 다른 크기를 갖는 수신된 데이터 블록은 사전정의된 일정한 크기를 갖는 블록으로 팩킹된다. 예를 들어, 도3의 시스템(200)에서 데이터 팩킹 유닛이 가변 크기의 압축된 화상 데이터를 16-비트 블록으로 팩킹한다. 이후, 16-비트 블록은 DMA(Direct Memory Access) 제어기와 같은 데이터 흐름 제어기(238)로 전송되고, 데이터 흐름 제어기(238)는 16-비트 블록을 버스 상으로 전송하도록 버스(242)를 액세스하기 전에 각 데이터 블록에 어드레스 정보를 추가한다. 메모리 제어기(246)는 버스(242)를 통해 16-비트 블록을 수신하고, 카메라(100) 외부의 DRAM(dynamic RAM)(도시되지 않음)과 같은 메모리에서 16-비트 블록을 임시 저장한다.

팩킹된 후에, 정지 화상 데이터는 버스(242)에 연결된 로컬 기억 인터페이스(250)를 경유하여 버스(242)를 통해 로컬 기억 장치(122)(도2 참조)로 전송될 수 있다. 예를 들어, 로컬 기억 장치(122)는 압축 테이블, 파일 헤더, 시간 및 데이터 스탬프 및 화상 데이터에 첨부된 미터링 정보를 포함하는 "파일"로서 준비된 화상 데이터를 수신하는 이동가능 플래시 메모리 카드일 수 있다. 이후, 카드는 카메라(100)로부터 제거될 수 있고, PC에서 압축, 뷰잉 및/또는 그 이상의 처리를 위한 정지 화상 데이터를 전송하기 위해 PC(12)에 삽입될 수 있다.

이동가능 기억 장치 이용에 대한 대안으로서, 호스트/PC 통신 제어기(154)는 카메라(100) 외부로 정지 및 영상 화상 모두를 전송하는데 이용될 수 있다. 이것은 통신 인터페이스(154)에서 이용되는 특정 버스 표준을 이용하는 전송에 적합한 디스크 파일로서 정지 화상 데이터가 호스트 프로세서(도시되지 않음)에 의한 기억 및 액세스를 위한 호스트 컴퓨터(12)로 전송되도록 준비함으로써 달성될 수 있다. 영상 화상 데이터는 USB와 같은 제어기 인터페이스를 통해 호스트 컴퓨터에 공지된 기술에 따라 스트리밍될 수 있다.

카메라(100) 및 처리 시스템(200)의 이중 모드 동작은 도3에 도시된 버스-기반 아키텍처의 문맥에서 설명되었다. 이러한 아키텍처에서 다른 동작 모드의 소프트웨어 제어를 더 용이하게 하기 위해, 다수의 메모리-맵 제어 레지스터(memory-mapped control registers)(도시되지 않음)는 시스템 제어기(160)가 원하는 동작 모드와 함께 카메라(100) 및 시스템(200)을 구성하도록 허용하도록 버스(242)에 연결될 수 있다. 명령어는 선택된 동작 모드의 적당한 화상 처리 방법론에 필요한 파라미터를 프로그램하도록 버스(242)를 통해 LUT, RAM 및 제어 레지스터를 액세스하는 시스템 제어기에 의한 실행을 위해 제공된다. 예를 들어, 모든 동작 모드를 위한 스케일링, 디코리레이션 및 엔트로피 인코딩 방법론을 위한 다른 규칙 및 파라미터는 제조 동안에 제어기 명령어로서 카메라(100) 외부에 저장될 수 있고, 여기서 각 동작 모드는 다른 세트의 방법론을 할당받는다. 적절한 세트가 로컬 사용자 인터페이스(158) 또는 호스트/PC 통신 인터페이스(154)를 통해 이루어지는 사용자에 의한 모드 선택에 응답하여 영상 및 정지 화상 처리 블록(110)에 로딩될 수 있다.

비록 영상 및 정지 화상 처리 블록(110)은 로직 회로와 같지만, 화상 처리 시스템(200)은 또한 블록(110)의 디지털 화상화 기능을 수행하기 위한 명령어를 실행하는 프로그램된 고성능 프로세서를 구비할 수 있다. 이러한 프로세서에 의해 수행될 수 있는 예시적인 단계는 도4에서 설명되고, 도3에서의 영상 및 정지 화상 처리 블록(110) 실시예에서 보정 블록(210) 및 압축 로직(212)의 상기 설명에 기초하면 용이하게 이해될 수 있다. 도4에서 단계의 시퀀스는 시스템 제어기(160)에 의해 수행될 수 있거나 또는 버스(242)에 연결되는 분리 전용 프로세서(도시되지 않음)에 의해 수행될 수 있다.

카메라의 설명을 요약하기 위해, 전술된 실시예는 정지 화상 모드(휴대용 또는 연결형일 경우 정지 화상을 캡처할 경우) 및 영상 모드(디지털 카메라가 컴퓨터 주변기기 버스 인터페이스를 통해 호스트 컴퓨터 또는 다른 화상 뷰잉 시스템에 연결될 경우) 모두에서 동작하는 디지털 카메라와 같은 장치에서 이용될 수 있다. 카메라는 화상 감지기와, 정지 화상 모드 및 실내외 장면에서 정밀한 화상을 캡처하기 위해 구성되는 영상 및 정지 화상 처리 블록(110)을 구비한다. 영상 모드에서, 카메라는 USB와 같은 컴퓨터 주변기기 버스 인터페이스를 통해 뷰잉하기 위한 호스트 컴퓨터에 전송될 수 있는 영상 시퀀스를 캡처하기 위해 동일한 처리 블록(110)을 이용함으로써 정밀한 화상의 시퀀스(전송 및 기억에 필요할 경우)를 압축하도록 구성될 수 있다.

물론, 전술된 디지털 카메라의 실시예는 구조 및 구현에서 일정 변화를 필요로 한다. 예를 들어, 비록 처리 블록(110)에서 화상 데이터 경로는 초기에는 8 비트 폭으로 나타나고 압축될 경우 16 비트까지 나타나지만, 이 기술분야에서 통상의 지식을 가진 자는 본 발명이 다른 데이터 경로 폭을 이용함으로써 구현될 수 있음을 이해할 것이다. 또한, 시스템 제어기(160)는 마이크로제어기와 같은 하나의 물리적인 접적회로 유닛에서 데이터 흐름 제어기(238)와 결합될 수 있다.

도5는 디지털 카메라와 상호작용하는 호스트 컴퓨터 시스템-기반 구성요소의 블록도이다. 디지털 카메라(10)는 버스 인터페이스(14)에 의해 컴퓨터 시스템(12)에 연결된다. 한 실시예에서, 인터페이스는 USB이다. 정지 화상 및/또는 완전 동영상(300)을 뷰잉하기 위한 애플리케이션 프로그램은 애플리케이션 공간(application space)에서 컴퓨터에 의해 수행된다. 애플리케이션 프로그램은 화상 디스플레이, 화상 조작, 영상회의와, 캡처된 화상 및 영상 스트림 관련 다른 기능에 이용될 수 있다. 애플리케이션 프로그램(300)은 디지털 카메라(10)와 통신하기 위해 카메라 장치 구동기 소프트웨어(302)와 인터페이스된다. 카메라 장치 구동기 소프트웨어는 동작 시스템 공간(operating system space)에서 컴퓨터 시스템에 의해 실행된다. 애플리케이션 프로그램과 카메라 장치 구동기 소프트웨어 사이의 인터페이스는 도5에서 라인(304, 305 및 308)으로 나타낸다. 인터페이스(304)는 두 구성요소 사이에서 통과되는 명령 및 상태 메시지를 나타내고, 인터페이스(306)는 정지 화상 및 벌크 데이터(카메라 초기화 LUT와 같음)의 전송을 나타내며, 인터페이스(308)는 영상 화상의 전송을 나타낸다.

카메라 장치 구동기 소프트웨어(302)는 PC 및 디지털 카메라 상에서 실행되는 애플리케이션 프로그램들 사이의 인터페이스를 제공한다. 구동기는 USBD(USB driver)(310)로 불리는 버스 인터페이스 구동기와의 상호작용을 통해 USB 케이블(14)과의 통신을 조정한다. USBD는 컴퓨터 시스템을 위한 모든 USB 장치 구동기를 위해 패킷을 조정하기 위한 저급 루틴(low-level routine)을 갖는다. USBD는 카메라 장치 구동기로부터 명령 패킷을 취하여 USB 허브(312)를 통해 전송되는 전기 신호로 변환한다. USB 허브(312)는 USB 케이블(14)에 연결되는 저급 제어기(314)의 I/O 포트에 연결된다. 한 실시예에서, 저급 제어기는 인텔사(Intel Coporation)로부터 상업적으로 이용가능한 PIIX 제어기이다.

디지털 카메라가 도5에 도시된 바와 같이 컴퓨터에 연결될 경우에, 카메라에 의해 캡처된 화상은 캡처된 화상을 컴퓨터로 전송하는 카메라에 의해 요구가 수신될 때까지 내부 RAM에 저장된다. 정지 화상의 캡처 및 전송과 관련된 인터페이스(304)를 통해 통신되는 3개의 명령이 존재한다. 제1 명령은 화상 캡처 명령이다. 정지 화상 및/또는 영상 뷰잉 애플리케이션 프로그램(300)은 디지털 카메라로 이러한 명령을 전송하여 카메라로 하여금 카메라의 감지기를 개방시키고, 화상을 노출시키며, 카메라의 내부 RAM에 노출된 화상을 복사하게 한다. 제2 명령은 화상 크기 요구 명령이다. 정지 화상 및/또는 영상 뷰잉 애플리케이션 프로그램(300)은 캡처된 정지 화상의 바이트 크기를 획득하도록 디지털 카메라로 이러한 명령을 전송한다. 이후, 애플리케이션 프로그램은 정지 화상을 수용하기 위해 호스트 컴퓨터 시스템 상에 메모리 영역을 할당한다. 제3 명령은 화상 전송 요구 명령이다. 정지 화상 및/또는 영상 뷰잉 애플리케이션 프로그램은 이러한 명령을 디지털 카메라로 전송하여 디지털 카메라가 캡처된 화상을 컴퓨터 시스템으로 전송 또는 업로드하도록 한다. 이러한 명령은 화상 크기 요구 명령에 응답하여 수신된 다수의 바이트에 관한 화상 크기를 포함한다. 동작 모드가 영상일 경우에, 캡처된 화상은 인터페이스(308)를 통해 정지 화상 및/또는 영상 뷰잉 애플리케이션 프로그램으로 재전송된다. 동작 모드가 정지 화상일 경우에, 캡처된 화상은 인터페이스(306)를 통해 정지 및/또는 영상 화상 애플리케이션 프로그램으로 재전송된다.

종래의 시스템에서, 명령이 화상 캡처를 초기화하기 위한 카메라로 전송되었을 경우에, 카메라는 화상을 캡처하여 카메라의 내부 RAM에 저장하였다. 이후, 애플리케이션 프로그램은 카메라로부터 PC로 캡처된 화상의 업로드를 요구하였다. 정지 화상 모드에서, 이러한 방법은 내부 RAM에서의 화상이 겹쳐쓰기되는 시간까지 작용한다. 하지만, 영상 스트리밍 동작 동안에, 캡처된 정지 화상은 단일 화상을 저장하기 위한 카메라 상의 내부 RAM에 유일한 방(room)이 존재하기 때문에, 카메라에 의해 캡처된 다음 영상 프레임에 의해 거의 직접적으로 겹쳐쓰기된다. 본 발명의 실시예는 하기의 방식으로 이러한 문제를 극복한다. 카메라 장치 구동기(302)가 정지 화상 및/또는 영상 뷰잉 애플리케이션 프로그램(300)으로부터 화상 캡처 명령을 검출할 때마다, 카메라 장치 구동기가 원자 동작(atomic operation)으로서 전화상 캡처 및 화상 검색 명령 시퀀스를 수행함으로써, 카메라에 의해 생성된 영상 스트리밍 시퀀스에서 다음 영상 프레임에 의해 겹쳐쓰여질 수 있기 전에, 캡처된 화상이 호스트 컴퓨터에 저장되도록 한다. 이러한 원자 동작은 영상 스트리밍 처리 관련 이벤트에 의해 인터럽트될 수 없기 때문에, 캡처된 화상이 호스트에 유지될 수 있음을 보증한다. 이러한 처리는 카메라가 호스트 컴퓨터 연결될 때 요구에 따라 수행되어, 진정한 이중 모드 처리 동작을 효과적으로 만든다. 이때, 사용자는 영상회의와 같은 영상 스트리밍 처리 동안에 정지 화상을 찍을 수 있다.

정지 화상이 화상 캡처 요구/화상 크기 요구/화상 전송 요구 명령 시퀀스와 함께 전송되는 반면, 스트리밍 영상 화상은 상당히 다른 명령 시퀀스를 통해 전송된다. 먼저, 카메라 장치 구동기는 각 영상 전송 요구에서 전송되는 영상 데이터량을 설정하는 디지털 카메라로 명령을 전송한다. 선택된 양은 카메라가 컴퓨터 시스템으로 전송하는 영상 데이터의 각 패킷을 위한 데이터의 64와 768 바이트 사이에 통상적으로 존재한다. 한 실시예에서, 화상은 320 픽셀의 폭 ×240 픽셀 높이로 이루어져, 단일 영상 프레임에 대해 76,800 바이트를 초래한다. 따라서, 영상 데이터의 100개의 768-바이트 패킷은 완전한 영상 프레임을 구성하는데 필요하다. 카메라 장치 구동기는 패킷 크기가 768 바이트이면 단일 영상 프레임을 입수하기 위해 더 많은 영상 데이터 입수 명령을 100회 전송한다. 카메라 장치 구동기는 스트리밍 영상 데이터 시작 명령을 카메라로 전송한다. 이후, 카메라 장치 구동기가 루프에 진입하고, 카메라로 더 많은 영상 데이터 입수 명령을 전송하는 동작을 수행하며, 호스트에서 영상 데이터 프레임 버퍼에 영상 데이터의 패킷을 첨부하고, 완전한 영상 프레임이 수신될 때까지 영상 데이터를 입수하며, 영상 프레임에 관한 영상 복원 및 강화를 수행하고, 처리된 영상 프레임을 애플리케이션 프로그램으로 전송한다. 영상 모드에서, 단지 하나의 캡처 명령(스트리밍 시작 명령)이 전송되고, 단지 하나의 크기 설정 명령(영상 데이터의 개별 패킷의 크기를 설정하는 명령)이 전송되며, 영상 데이터의 각 프레임이 더 많은 데이터 입수 요구를 필요로 한다. 영상 데이터 패킷 크기 설정 명령 및 스트리밍 시작 명령은 영상 모드가 시작될 때 단지 전송된다. 이들이 전송된 후에, 카메라 장치 구동기가 더 많은 데이터 입수 명령을 계속 전송한다면 영상 데이터가 카메라로부터 스트리밍을 유지시킨다.

도6은 본 발명의 실시예의 카메라 장치 구동기의 블록도이다. 카메라 장치 구동기는 명령을 받아들여 애플리케이션 프로그램으로 상태 및 데이터를 리턴하고, 디지털 카메라와의 통신을 위한 USBD(310)와 상호작용한다. 상태 처리 명령 기능블록(400)은 디지털 카메라가 기능을 수행하도록 애플리케이션 프로그램으로부터 명령을 받아들이고, 그 요구의 상태를 애플리케이션 프로그램으로 리턴한다. 상태 처리 명령 기능블록(400)은 카메라 장치 구동기 및 디지털 카메라 동작의 현재 상태를 채널 상태 메모리(402)로 질의한다.

수신된 명령이 카메라 초기화 동안에 정지 화상 캡처 및 검색 또는 벌크 데이터 다운로드에 관한 것이면, 상태 처리 명령 기능블록(400)이 정지 화상 및 벌크 처리 명령 기능블록(404)으로 그 명령을 처리하도록 명령한다. 수신된 명령이 영상 스트리밍에 관한 것이면, 상태 처리 명령 기능블록(400)이 스트리밍 처리 명령 기능블록(406)으로 그 명령을 처리하도록 명령한다. 어느 경우에서, 적절한 블록(404 또는 406)은 USBD를 통해 카메라로 명령을 전송한다. 응답으로, 화상 데이터는 USB를 통해 카메라 장치 구동기로 카메라에 의해 전송된다. 데이터 벌크 전송이 시작될 경우(예를 들어, 컬러 LUT 또는 다른 데이터가 다운로드되는 카메라 초기화시)에, 데이터는 카메라로 전송되기 전에 정지 화상 및 벌크 전송 메모리(408)에 임시 저장된다. 정지 화상이 카메라로부터 검색되는 경우에, 영상 프레임을 구성하는 화상 데이터가 애플리케이션 프로그램으로 전송되기 전에 정지 화상 및 벌크 전송 메모리(410)에 저장된다. 일련의 영상 프레임 중 하나가 카메라로부터 검색될 경우에, 영상 프레임을 구성하는 화상 데이터는 애플리케이션 프로그램으로 전송되기 전에 스트리밍 메모리(410)에 저장된다. 정지 화상 데이터 및 영상 화상 데이터는 호스트 컴퓨터에서의 카메라 장치 구동기 내에 분리된 메모리 위치에 저장됨을 주지하여 한다. 또한, 정지 화상 및 영상 스트리밍 동작을 실행하기 위한 병렬 제어 경로는 정지 화상 및 벌크 처리 명령 기능블록(404) 및 스트리밍 처리 명령 기능블록(406)에 의해 구현됨을 주지하여야 한다.

정지 화상 처리를 위한 애플리케이션 프로그램은 화상 캡처 명령을 상태 처리 명령 기능블록(400)으로 전송한다. 이러한 기능블록이 정지 화상 및 벌크 처리 명령 기능블록(404)으로 명령을 카메라로 전송하도록 명령하고, 정지 화상 처리가 완료될 때까지 영상 스트리밍 명령을 잠금시킨다. 정지 화상 데이터가 카메라에 의해 리턴될 경우에, USBD(310)에 의해 정지 화상 및 벌크 전송 메모리(408)에 로딩된다. 애플리케이션 프로그램으로부터의 요구 수신시, 정지 화상 및 벌크 처리 명령 기능블록(404)이 애플리케이션 프로그램 공간으로 데이터 전송을 명령하고, 상태를 상태 처리 명령 기능블록(400)으로 리턴하며, 상태 처리 명령 기능블록(400)은 상태를 애플리케이션 프로그램으로 리턴한다.

영상 스트리밍 처리를 위한 애플리케이션 프로그램은 영상 스트리밍 명령을 상태 처리 명령 기능블록(400)으로 전송한다. 이러한 기능블록이 스트리밍 처리 명령 기능블록(406)으로 이들 명령을 카메라로 전송하도록 명령한다. 영상 프레임이 카메라로부터 수신될 경우에, 영상 프레임은 USBD(310)에 의해 스트리밍 메모리(410)에 로딩된다. 이후, 스트리밍 처리 명령 기능블록(406)은 사용자에게 디스플레이하기 위한 애플리케이션 프로그램으로 영상 프레임 데이터의 전송을 명령하고, 상태를 상태 처리 명령 기능블록(400)으로 리턴하며, 상태 처리 명령 기능블록(400)은 상태를 애플리케이션 프로그램으로 리턴할 수 있거나 또는 리턴하지 않을 수 있다.

도7a 및 도7b는 본 발명의 실시예에 따른 디지털 카메라로부터 정지 화상을 캡처 및 검색하기 위한 단계의 흐름도이다. 이들 단계는 카메라가 정지 화상 및 영상 스트리밍 동작 모드 모두에서 카메라가 컴퓨터 시스템에 연결될 경우에 수행된다. 캡처된 정지 화상은 플래시 메모리 카드 또는 카메라의 내부 RAM으로부터 복사될 수 있다. 시작 단계(500) 이후에, 단계(503)에서, 애플리케이션 프로그램은 화상 캡처 명령을 카메라 장치 구동기로 전송하여 카메라가 사진을 찍도록 구동기로 명령한다. 구동기는 명령을 검사하여 명령이 화상 캡처 요구인지를 판단한다. 이후, 단계(504)에서, 카메라 장치 구동기는 화상을 완전히 캡처 및 검색하도록 명령의 전체 시퀀스를 초기화한다. 먼저, 카메라 장치 구동기는 카메라가 영상 스트리밍 동작 모드에 있는지를 판단한다. 카메라가 영상 스트리밍 모드에 있을 경우에, 카메라가 화상을 계속 캡처하고 캡처된 화상이 컴퓨터에 업로딩되는데 이용가능하게 한다. 카메라가 현재 스트리밍하고 있을 경우에, 단계(506)에서, 카메라 장치 구동기는 현재 스트리밍 상태를 기록하고 스트리밍 중지 명령을 카메라로 전송한다.

현재 상태가 저장되면, 단계(508)에서, 카메라 장치 구동기는 USB를 통해 카메라로 화상 캡처 명령을 전송한다. 단계(510)에서, 카메라 장치 구동기는 화상 캡처 명령의 성공적인 완료를 대기한다. 구동기는 명령이 실패할 경우에 애플리케이션 프로그램으로 오류를 리턴한다. 명령이 성공할 경우에, 화상이 카메라에 의해 캡처되었고 카메라의 내부 RAM에 저장된다. 이후, 단계(512)에서, 카메라 장치 구동기가 화상 크기 보고 명령을 카메라로 전송한다. 이러한 명령은 캡처된 화상의 바이트 크기를 입수하기 위한 요구이다. 단계(514)에서, 카메라 장치 구동기는 화상 크기 보고 명령의 성공적인 완료를 대기한다. 오류가 보고되면, 카메라 장치 구동기는 애플리케이션 프로그램으로 오류를 리턴한다. 그렇지않으면, 처리가 커넥터(7B)를 통해 도7b에서 계속된다.

카메라 장치 구동기는 화상이 어느 정도 큰지를 알고 있는 경우에, 특정 크기의 벌크 전송을 검색하기 위해 USBD 레이어(layer)를 준비하여야 한다. 도7b의 단계(516)에서, 카메라 장치 구동기는 화상 크기 보고 명령에 응답하여 리턴된 화상 데이터의 바이트 수를 수신하도록 USBD로 벌크 전송 수신 명령을 전송한다. 수신된 데이터는 구동기의 정지 화상 및 벌크 전송 메모리 영역에 저장될 것이다. 이러한 명령의 결과로서, USBD는 카메라가 USB를 통해 전송하는 벌크 데이터를 수신하도록 준비 및 대기한다. 하지만, 카메라는 구동기로부터 캡처된 화상 업로드 명령을 수신할 때까지 데이터 전송을 시작하지 않을 것이다. 단계(518)에서, 카메라 장치 구동기는 캡처된 화상 업로드 명령을 카메라로 전송한다. 단계(520)에서, 카메라 장치 구동기는 명령의 성공적인 완료를 대기한다. 명령이 실패하면, USBD 레이어에 이전에 전송된 벌크 전송 수신 명령이 삭제되고, 오류 상태가 애플리케이션 프로그램으로 리턴된다. 명령이 성공적으로 완료되면, 이것은 카메라가 캡처된 화상을 업로드하도록 구동기의 요구를 수신하였음을 단지 의미한다. 이것은 업로드가 완료되었음을 의미하지는 않는다. 캡처된 화상 업로드 명령이 캡처된 화상의 전송을 초기화한다. 단계(522)에서, USBD는 호스트 컴퓨터 시스템에서 USB를 통해 카메라로부터 수신된 화상 데이터를 플래그-보호(flag-protected) 정지 화상 및 벌크 전송 메모리에 저장한다. 단계(524)에서, 카메라 장치 구동기는 완전히 전송되는 캡처된 화상 및 캡처된 화상 업로드 명령의 성공적인 완료를 대기한다. 오류가 발생하면, 오류 상태가 애플리케이션 프로그램으로 리턴된다.

화상 캡처 명령을 완료하기 전에, 단계(526)에서, 카메라 장치 구동기가 카메라의 이전에 기록된 상태를 검사한다. 단계(528)에서, 카메라가 이전에 스트리밍하였으면, 카메라 장치 구동기가 영상 스트리밍 동작을 재개시키도록 스트리밍 시작 명령을 카메라로 전송한다. 전송이 오류없이 완료되었으면, 단계(530)에서, 성공 상태가 애플리케이션 프로그램으로 리턴되고, 처리는 종료 단계(532)에서 종료된다. 이것은 화상 캡처 명령 처리를 완료시킨다. 이제, 카메라가 영상 스트리밍을 재개시킬 수 있다. 이제, 화상이 애플리케이션 프로그램에 이용되는 호스트 컴퓨터 시스템 상의 플래그-보호 정지 화상 및 벌크 전송 메모리에서 이용가능하다. 이제, 애플리케이션 프로그램은 캡처된 화상이 애플리케이션 프로그램 메모리 공간에 복사되도록 요구해야 한다. 정상적으로, 이것은 애플리케이션 프로그램이 캡처된 화상 크기를 요구하고, 화상을 수용하기 위한 메모리를 할당하며, 화상이 복사되도록 요구함으로써 달성된다. 화상이 카메라로부터 컴퓨터 시스템으로 이미 업로딩되었기 때문에, 카메라 장치 구동기가 애플리케이션 프로그램으로부터 캡처된 화상의 크기 입수 명령을 수신할 경우에, 카메라로 어떤 명령을 전송할 필요가 없다. 이것은 카메라가 이전에 보고했던 크기를 단순히 리턴한다. 마찬가지로, 카메라 장치 구동기가 애플리케이션 프로그램으로부터 화상 업로드 명령을 수신할 경우에, 카메라로 어떤 명령을 전송할 필요가 없다. 이것은 애플리케이션 프로그램의 메모리 공간에 저장되었을 경우에 카메라 장치 구동기 공간 내에 정지 화상 및 벌크 전송 메모리로부터의 화상을 단순히 복사한다.

비록 본 발명은 실시예에 관련하여 설명되었지만, 이러한 설명은 제한적인 의미로 유추되도록 의도되지 않는다. 이 기술분야에서 통상의 지식을 가진 자에게 명백한 본 발명의 다른 실시예 뿐만 아니라 실시예의 다양한 변형은 본 발명의 사상 및 범위 내에 존재하는 것으로 간주된다.

Claims

컴퓨터 시스템에 연결된 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상을 캡처하기 위한 방법에 있어서,

상기 영상 스트리밍 동작을 중지시키는 단계;

상기 디지털 카메라에 의해 정지 화상을 캡처하는 단계;

상기 디지털 카메라로부터 상기 컴퓨터 시스템으로 상기 정지 화상을 전송하는 단계; 및

상기 영상 스트리밍 동작을 재개시키는 단계

를 포함하는 방법.
제1항에 있어서,

상기 영상 스트리밍 동작을 중지시키는 단계는,

상기 영상 스트리밍 동작의 현재 상태를 저장하는 단계; 및

상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 스트리밍 중지 명령을 전송하는 단계를 포함하는

방법.
제2항에 있어서,

상기 영상 스트리밍 동작을 재개시키는 단계는,

상기 영상 스트리밍 동작의 상기 저장된 현재 상태를 검사하는 단계; 및

상기 저장된 현재 상태가 영상 스트리밍을 나타내는 경우에, 상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 스트리밍 시작 명령을 전송하는 단계를 포함하는

방법.
제1항에 있어서,

상기 디지털 카메라에 의해 상기 정지 화상을 캡처하는 단계는,

상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 화상 캡처 명령을 전송하는 단계를 더 포함하는

방법.
제1항에 있어서,

상기 정지 화상을 전송하는 단계는,

상기 캡처된 정지 화상의 크기를 획득하는 단계;

상기 캡처된 정지 화상의 상기 크기에 따라 상기 캡처된 정지 화상의 전송을 요구하는 단계;

상기 디지털 카메라로부터 상기 캡처된 정지 화상을 수신하는 단계; 및

상기 컴퓨터 시스템 내의 메모리에 상기 캡처된 정지 화상을 저장하는 단계를 포함하는

방법.
제5항에 있어서,

상기 컴퓨터 시스템은 카메라 장치 구동기 및 버스 인터페이스 구동기를 구비하고,

상기 캡처된 정지 화상의 전송을 요구하는 단계는,

상기 디지털 카메라로부터 데이터를 수신하도록 상기 카메라 장치 구동기로부터 상기 버스 인터페이스 구동기로 벌크 전송 명령을 전송하는 단계; 및

상기 캡처된 화상의 전송을 개시하도록 상기 디지털 카메라로 캡처된 화상 업로드 명령을 전송하는 단계를 포함하는

방법.
제6항에 있어서,

상기 버스 인터페이스 구동기는 USB(Universal Serial Bus) 구동기이고, 상기 컴퓨터 시스템은 USB에 의해 상기 디지털 카메라에 연결된

방법.
컴퓨터 시스템에 연결된 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상을 캡처하기 위한 시스템에서, 상기 컴퓨터 시스템의 프로세서에 의해 실행가능한 다수의 머신 판독가능 명령어를 저장한 머신 판독가능 매체에 있어서,

상기 머신 판독가능 명령어는,

상기 영상 스트리밍 동작을 중지시키기 위한 명령어;

상기 디지털 카메라에 의한 상기 정지 화상의 캡처를 요구하기 위한 명령어;

상기 디지털 카메라로부터 상기 컴퓨터 시스템으로 상기 정지 화상을 전송하기 위한 명령어; 및

상기 영상 스트리밍 동작을 재개시키기 위한 명령어

를 포함하는 머신 판독가능 매체.
제8항에 있어서,

상기 영상 스트리밍 동작을 중지시키기 위한 머신 판독가능 명령어는,

상기 영상 스트리밍 동작의 현재 상태를 저장하기 위한 명령어; 및

상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 스트리밍 중지 명령을 전송하기 위한 명령어를 포함하는

머신 판독가능 매체.
제9항에 있어서,

상기 영상 스트리밍 동작을 재개시키기 위한 명령어는,

상기 영상 스트리밍 동작의 상기 저장된 현재 상태를 검사하기 위한 명령어; 및

상기 저장된 현재 상태가 영상 스트리밍을 나타내는 경우에, 상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 스트리밍 시작 명령을 전송하기 위한 명령어를 포함하는

머신 판독가능 매체.
제8항에 있어서,

상기 디지털 카메라에 의해 상기 정지 화상을 캡처하기 위한 머신 판독가능 명령어는,

상기 컴퓨터 시스템으로부터 상기 디지털 카메라로 화상 캡처 명령을 전송하기 위한 명령어를 더 포함하는

머신 판독가능 매체.
제8항에 있어서,

상기 정지 화상을 전송하기 위한 머신 판독가능 명령어는,

상기 캡처된 정지 화상의 크기를 획득하기 위한 명령어;

상기 캡처된 정지 화상의 상기 크기에 따라 상기 캡처된 정지 화상의 전송을 요구하기 위한 명령어;

상기 디지털 카메라로부터 상기 캡처된 정지 화상을 수신하기 위한 명령어; 및

상기 컴퓨터 시스템 내의 메모리에 상기 캡처된 정지 화상을 저장하기 위한 명령어를 포함하는

머신 판독가능 매체.
제12항에 있어서,

상기 컴퓨터 시스템은 카메라 장치 구동기 및 버스 인터페이스 구동기를 구비하고,

상기 캡처된 정지 화상의 전송을 요구하기 위한 머신 판독가능 명령어는,

상기 디지털 카메라로부터 데이터를 수신하도록 상기 카메라 장치 구동기로부터 상기 버스 인터페이스 구동기로 벌크 전송 명령을 전송하기 위한 명령어; 및

상기 캡처된 화상의 전송을 개시하도록 상기 디지털 카메라로 캡처된 화상 업로드 명령을 전송하기 위한 명령어를 포함하는

머신 판독가능 매체.
제13항에 있어서,

상기 버스 인터페이스 구동기를 포함하는 상기 머신 판독가능 명령어는,

USB(Universal Serial Bus) 구동기로서 동작시키기 위한 머신 판독가능 명령어를 포함하는

머신 판독가능 매체.
버스에 의해 컴퓨터 시스템에 연결된 디지털 카메라를 구비한 시스템에서, 상기 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상의 캡처 및 검색을 명령하기 위한 장치에 있어서,

상기 영상 스트리밍 동작을 중지시키고, 상기 디지털 카메라에 의한 상기 정지 화상의 캡처를 요구하며, 상기 디지털 카메라로부터 상기 컴퓨터 시스템으로 상기 캡처된 정지 화상의 전송을 요구하고, 상기 영상 스트리밍 동작을 재개시키기 위해 상기 컴퓨터 시스템 상에서 실행되는 카메라 장치 구동기; 및

상기 버스를 통해 상기 카메라 장치 구동기와 상기 디지털 카메라 사이에서 명령 및 데이터를 통신하도록 상기 카메라 장치 구동기 및 상기 버스에 연결된 버스 인터페이스 구동기

를 포함하는 장치.
제15항에 있어서,

상기 버스는 USB(Universal Serial Bus)인

장치.
제15항에 있어서,

상기 카메라 장치 구동기는,

상기 버스 인터페이스 구동기와 상기 컴퓨터 시스템 상에서 실행되는 애플리케이션 프로그램에 연결되어, 상기 애플리케이션 프로그램으로부터 수신된 상태 명령을 처리하기 위한 제1 구동기;

상기 제1 구동기에 연결되어, 정지 화상 캡처 명령을 처리하기 위한 제2 구동기; 및

상기 제1 구동기에 연결되어, 영상 스트리밍 명령을 처리하기 위한 제3 구동기를 포함하는

장치.
제17항에 있어서,

상기 카메라 장치 구동기는,

상기 버스 인터페이스 구동기에 의해 상기 디지털 카메라로부터 수신된 정지 화상 데이터를 저장하기 위한 메모리를 더 포함하는

장치.
제17항에 있어서,

상기 카메라 장치 구동기는,

상기 버스 인터페이스 구동기에 의해 상기 디지털 카메라로부터 수신된 영상 프레임 데이터를 저장하기 위한 메모리를 더 포함하는

장치.
버스에 의해 컴퓨터 시스템에 연결된 디지털 카메라를 구비한 시스템에서, 상기 디지털 카메라의 영상 스트리밍 동작 동안에 정지 화상의 캡처 및 검색을 명령하기 위한 장치에 있어서,

상기 영상 스트리밍 동작을 중지시키기 위한 중지 수단;

상기 디지털 카메라에 의한 정지 화상의 캡처를 요구하기 위한 캡처 요구 수단;

상기 디지털 카메라로부터 상기 컴퓨터 시스템으로 상기 캡처된 정지 화상의 전송을 요구하기 위한 전송 요구 수단; 및

상기 영상 스트리밍 동작을 재개시키기 위한 재개 수단

을 포함하는 장치.
제20항에 있어서,

상기 중지 수단은,

상기 영상 스트리밍 동작의 현재 상태를 저장하기 위한 수단; 및

상기 디지털 카메라로 스트리밍 중지 명령을 전송하기 위한 수단을 포함하는

장치.
제20항에 있어서,

상기 재개 수단은,

상기 영상 스트리밍 동작의 상기 저장된 현재 상태를 검사하기 위한 수단;

상기 저장된 현재 상태가 영상 스트리밍을 나타내는 경우에, 상기 디지털 카메라로 스트리밍 시작 명령을 전송하기 위한 수단을 포함하는

장치.
제20항에 있어서,

상기 캡처 요구 수단은,

상기 디지털 카메라로 화상 캡처 명령을 전송하기 위한 수단을 포함하는

장치.
제20항에 있어서,

상기 전송 요구 수단은,

상기 캡처된 정지 화상의 크기를 획득하기 위한 수단;

상기 캡처된 정지 화상의 상기 크기에 따라 상기 캡처된 정지 화상의 전송을 요구하기 위한 수단;

상기 디지털 카메라로부터 상기 캡처된 정지 화상을 수신하기 위한 수단; 및

상기 캡처된 정지 화상을 메모리에 저장하기 위한 수단을 포함하는

장치.
제24항에 있어서,

상기 캡처된 정지 화상의 상기 크기에 따라 상기 캡처된 정지 화상의 전송을 요구하기 위한 수단은,

상기 디지털 카메라로 캡처된 화상 업로드 명령을 전송하기 위한 수단을 포함하는

장치.
제24항에 있어서,

상기 컴퓨터 시스템 상에서 실행되는 애플리케이션 프로그램으로 상기 캡처된 정지 화상을 전송하기 위한 수단

을 더 포함하는 장치.