KR20050098287A - 디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를구비하는 모듈러 아키텍처 - Google Patents

디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를구비하는 모듈러 아키텍처 Download PDF

Info

Publication number
KR20050098287A
KR20050098287A KR1020057014156A KR20057014156A KR20050098287A KR 20050098287 A KR20050098287 A KR 20050098287A KR 1020057014156 A KR1020057014156 A KR 1020057014156A KR 20057014156 A KR20057014156 A KR 20057014156A KR 20050098287 A KR20050098287 A KR 20050098287A
Authority
KR
South Korea
Prior art keywords
image
command
data
vfe
programmable
Prior art date
Application number
KR1020057014156A
Other languages
English (en)
Inventor
치엔충 창
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20050098287A publication Critical patent/KR20050098287A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

영상 프론트 엔드 (VFE) 와 영상 백 엔드 (VBE) 간에 기능이 분리되는 인코더/디코더 (CODEC) 를 포함하는 장치가 설명된다. VFE 는 다양한 애플리케이션을 지원하기 위해 기능 및 이미지 프로세싱 동작을 인캡슐화하고, 외부 마스터 장치가 이러한 동작을 쉽게 제어할 수 있는 플렉서블 인터-프로세서를 나타낸다. 영상 백 엔드 (VBE) 는 인코더 및/또는 디코더로서 동작하여 인코딩 및/또는 디코딩된 영상 시퀀스를 생성한다. VFE 및 VBE 는 종속 장치에 의해 제공되는 동작 환경 내에서 실행될 수도 있다.

Description

디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를 구비하는 모듈러 아키텍처 {MODULAR ARCHITECTURE HAVING REUSABLE FRONT END FOR PROCESSING DIGITAL VIDEO DATA}
기술분야
본 발명은 디지털 영상 데이터를 프로세싱하는 기술에 관한 것이다.
배경
최근 컴퓨터 프로세싱 능력 및 수용력의 증가와 함께, 완전한 동영상 디지털 장치가 더욱 폭넓게 이용되어 가고 있다. 특히, 디지털 영상 성능은 디지털 TV, 디지털 직접 브로드캐스팅 시스템, 무선 통신 장치, 휴대용 디지털 보조수단 (PDA), 랩탑 컴퓨터, 및 데스크탑 컴퓨터를 포함하는 광범위한 영역의 장치로 통합된다. 이러한 장치들은 완전한 동영상 시퀀스를 생성, 수정, 송신, 저장, 및 재생하는 데에 있어서 종래의 아날로그 영상 시스템에 비해 상당한 개선을 제공할 수 있다.
디지털 영상 성능을 통합하기 위해, 이러한 장치들은 종종 다양한 캠코더 또는 카메라 애플리케이션을 지원한다. 예를 들어, 일반적으로 이러한 장치들은 디지털 뷰파인더 또는 다른 디스플레이, 비디오 데이터 캡쳐를 위한 이미지 센서, 및 특정화된 이미지 조작 뿐만 아니라, 하나 이상의 다양한 영상 압축 표준 또는 프로세스와 관련한 디지털 영상 데이터의 압축 및 복원을 수행하기 위한 이미지 프로세싱 기능을 포함한다. 이러한 디지털 영상 성능을 제공하는 것은 종종 상당한 양의 특정화된 하드웨어, 소프트웨어, 또는 양자 모두를 필요로 한다.
요약
일반적으로, 본 발명은 디지털 영상 데이터를 인코딩 또는 디코딩하는 것과 같이, 디지털 영상 데이터를 프로세싱하는 기술을 설명한다. 인코더, 디코더, 또는 인코더/디코더 (CODEC) 과 같은 장치는 영상 프론트 엔드 (VFE) 와 영상 백 엔드 (VBE) 사이에서 기능이 분리되는 혁신적인 아키텍처를 포함한다. VFE 는 다양한 애플리케이션을 지원하기 위해 기능성 및 이미지 동작을 인캡슐화하고, 외부 마스터 장치가 쉽게 이러한 동작들을 제어할 수 있는 플렉서블 인터-프로세서 인터페이스를 나타낸다.
이러한 분리는, 카메라 인터페이스 하드웨어와 직접적으로 인터페이싱하는 것, 색 변환 및 뷰파인더를 구동하기 위해 필요한 다른 이미지 프로세싱 기능을 수행하는 것과 같은 다양한 구현-특정 기능, 또는 동작으로부터 VBE 를 분리시킨다. 결과적으로, 여기서 설명되는 기술은 새로운 장치 내에서 디지털 영상 성능의 통합을 쉽게 하는 할당된 영상 시스템을 제공할 수도 있다. VFE 는, 영상 데이터 용량을 새로운 제품 또는 장치로 쉽게 통합하기 위해, 원하는 임의의 이미지 센서, 디스플레이, 및 백-엔드 소프트웨어 또는 펌웨어, 또는 그들의 결합을 이용하여 상이한 애플리케이션에서 쉽게 재사용될 수도 있다.
일 실시형태에서, 시스템은 명령을 수신하도록 프로그램가능한 인터페이스를 가지는 영상 프론트 엔드 (VFE) 를 포함하고, 그 VFE 는 명령에 따라 영상 입력 데이터를 캡쳐하고 영상 입력 데이터를 예비-프로세싱하여 영상 출력 데이터를 생성한다. 시스템은 VFE 의 영상 출력 데이터로부터 영상 데이터의 인코딩된 시퀀스를 생성하는 영상 백 엔드 (VBE), 및 영상 입력 데이터의 바람직한 예비-프로세싱을 제어하기 위해 인터페이스를 통해 VFE 에 명령을 제공하는 제어기를 더 포함한다.
또 다른 실시형태에서, 장치는 그 장치에 의해 제공된 동작 환경 내에서 실행하는 영상 프론트 엔드 (VFE) 를 포함하고, 외부 장치로부터 명령을 수신하는 프로그램가능한 인터페이스를 포함한다. VFE 는, 영상 백 엔드에 의한 인코딩을 위한 영상 출력 데이터 및 디스플레이 장치로 디스플레이하기 위한 영상 디스플레이 데이터를 생성하는 명령에 따라 영상 입력 데이터를 캡쳐하고 영상 입력 데이터를 예비-프로세싱한다.
또 다른 실시형태에서, 장치는 마스터 장치로부터 프로그램에 입각하여 명령을 수신하는 수단, 및 명령에 따라 영상 입력 데이터를 캡쳐 및 예비-프로세싱하여 영상 출력 데이터 및 영상 디스플레이 데이터를 생성하는 수단을 구비한다. 그 장치는 영상 출력 데이터로부터 영상 데이터의 인코딩된 시퀀스를 생성하는 수단을 더 포함한다.
또 다른 실시형태에서, 그 방법은 인터-프로세서 인터페이스를 통해 마스터 장치로부터 프로그램에 입각하여 명령을 수신하는 단계, 및 제 1 이미지 포맷의 영상 출력 데이터 및 제 2 이미지 포맷의 영상 디스플레이 데이터를 생성하는 명령에 따라 종속 장치를 통해 영상 입력 데이터를 캡쳐링 및 예비-프로세싱하는 단계를 포함한다. 그 방법은 영상 데이터의 인코딩된 시퀀스의 생성을 위해 영상 출력 데이터를 인코더로 전달하는 단계, 및 디스플레이를 위해 영상 디스플레이 데이터를 출력 장치로 전달하는 단계를 더 포함한다.
하나 이상의 실시형태에 관한 세부사항은 첨부되는 도면 및 이하의 설명에서 개시된다. 다른 특성, 목적, 및 이점들은 설명, 도면, 및 청구항으로부터 명백해질 것이다.
도면의 간단한 설명
도 1 은 영상 프론트 엔드 (VFE) 와 영상 백 엔드 (VBE) 가 분리되는 영상 인코더/디코더 (CODEC) 를 포함하는 디지털 영상 장치의 실시예를 나타내는 블록도이다.
도 2 는 도 1 의 VFE 에 관한 예시적인 실시형태를 더욱 상세하게 나타내는 블록도이다.
도 3 은 VFE 의 예시적인 동작을 더욱 상세하게 나타내는 상태도이다.
도 4 는 디지털 영상 장치의 예시적인 동작을 나타내는 흐름도이다.
발명의 상세한 설명
도 1 은 영상 프론트 엔드 (VFE;14) 와 영상 백 엔드 (VBE;16) 가 분리되는 영상 인코더/디코더 (CODEC;12) 를 포함하는 예시적인 디지털 영상 장치 (10) 를 나타내는 도이다. 장치 (10) 는 영상 데이터의 인코딩된 시퀀스를 수신 장치 (도시되지 않음) 로 송신하는 소스 장치로서 동작할 수도 있다. 유사하게, 장치 (10) 는 영상 데이터를 수신 및 디코딩할 수 있는 수신 장치로서 동작할 수도 있다. 예시적인 장치는 컴퓨터 네트워크 상에 위치하는 서버, 워크 스테이션 또는 다른 데스크탑 연산 장치, 및 랩탑 컴퓨터, 개인용 디지털 보조수단 (PDA), 무선 통신 장치 등과 같은 이동 연산 장치를 포함한다. 다른 실시예들은 디지털 TV 위성 방송, 디지털 TV, 디지털 영상 카메라 또는 다른 기록 장치, 디지털 영상 전화기, 무선 영상 장치 등을 포함한다.
예시의 목적으로, 디지털 영상 장치 (10) 는 셀룰러 전화기와 같은 무선 장치로서 설명된다. 그러나, 여기서 설명되는 기술은 무선 장치에만 한정되지 않고, 다른 디지털 영상 장치에 쉽게 적용될 수도 있다. 또한, 비록 CODEC 를 참조하여 설명된다고 할지라도, 본 개시는 그렇게 한정되지는 않고, 인코더 및 디코더에 쉽게 적용될 수도 있다.
제어기 (24) 는 VFE (14) 를 포함하여, CODEC (12) 의 구성요소를 주로 제어하고, 디지털 영상 장치 (10) 의 다른 구성요소와의 통신을 조정한다. 제어기 (24) 는 CODEC (12) 에 대해 디지털 영상 시퀀스를 인코딩 및 디코딩하기 위해 요구되는 많은 연산 집중 작업을 수행하도록 지시한다. CODEC (12) 은 디지털 신호 프로세서 (DSP) 의 형태를 취할 수도 있고, 지시 및 데이터를 저장하기 위한 전용 메모리 (41) 를 가질 수도 있다. 다른 방법으로, 또는 추가적으로, CODEC (12) 은 전용 하드웨어, 소프트웨어, 펌웨어, 또는 그들의 결합을 포함할 수도 있다. 유사하게, 제어기 (24) 는 내장된 마이크로프로세서, 특수화된 하드웨어, 예를 들어, 제어 소프트웨어 모듈과 같은 소프트웨어, 또는 그들의 결합의 형태를 취할 수도 있다. 또한, 장치 (10) 의 다른 구성요소들 뿐만 아니라, CODEC (12) 및 제어기 (24) 는 다수의 이산 구성요소와 같은 하나 이상의 주문형 반도체 (ASIC), 또는 그들의 결합으로 구현될 수도 있다.
디지털 영상 장치 (10) 는 또한, 디스플레이 또는 뷰파인더 (17) 와 같은 몇몇의 상이한 주변장치, 및 이미지 센서 (23) 를 포함한다. 제어기 (24) 의 지시하에, CODEC (12) 은 이미지 센서 (23) 로부터 영상 입력 데이터 (VID;30) 를 캡쳐하고, 영상 입력 데이터를 VFE (14) 로 전달한다. 카메라 인터페이스 (22) 는 이미지 센서 (23) 의 인터페이스 세부사항을 요약한다. 예를 들어, VFE (14) 로부터의 제어 및 구성 데이터 (27) 에 응답하여, 카메라 인터페이스 (22) 는 이미지 센서 (23) 로부터 수신된 데이터의 수평 및 수직 레퍼런스 신호를 동기화한다. 카메라 인터페이스 (22) 는 또한, 픽셀을 마스킹하는 것에 의해서와 같이, 영상 데이터를 프로세싱하는 한정된 기능을 포함할 수도 있다.
일반적으로, CODEC (12) 의 VFE (14) 는 다양한 카메라 또는 캠코더 애플리케이션을 지원하는 기능 및 예비-프로세싱 동작을 인캡슐화하고, 이러한 동작을 제어하는 플렉서블 인터-프로세서 인터페이스를 포함한다. VFE (14) 의 주된 작업은 들어오는 영상 입력 데이터 (30) 를 실시간으로 프로세싱하는 것이다. VFE (14) 는 영상 입력 데이터 (30) 를 수신하고, 제어기 (24) 로부터 수신된 명령 및 구성 파라미터 (25) 에 기초하여 영상 출력 데이터 (VOD;35) 를 생성하기 위한 데이터를 VBE (16) 에 적합한 형태로 프로세싱한다. 이에 더하여, VFE (14) 는 영상 디스플레이 데이터 (VDD;37) 를 뷰파인더 (17) 에 의한 디스플레이에 적합한 형태로 생성하기 위해 영상 입력 데이터 (30) 를 포맷하고, 그것은, 예를 들어, 캠코더 또는 이동 전화기 화면에 관한 액정 디스플레이 (LCD) 와 같은 VDD 를 디스플레이하는 임의의 출력 장치를 포함할 수도 있다. VFE (14) 는 VBE (16) 및 제어기 (24) 각각에 의한 액세스를 위해 영상 메모리 (15) 내에 영상 출력 데이터 (35) 및 영상 디스플레이 데이터 (37) 를 저장한다. VFE (14) 는 현재 명령 상태를 지시하기 위해 인터-프로세서 인터페이스를 통해 상태 정보 (26) 를 제공한다.
VFE (14) 는 영상 입력 데이터 (30) 에 대해, 색 영상 프레임을 블랙-앤드-화이트 포맷으로 변환하는 것, 데이터의 콘트라스트 또는 휘도 특성을 수정하는 것, 캡쳐된 데이터에 관한 점등 상태를 디지털적으로 강화하거나 수정하는 것, 디지털 줌 동작, 이미지 센서 프로세싱, 및 예를 들어, 화이트 밸런싱, 자동 이득 제어, 및 감마 보정과 같은 보상을 수행하는 것, 및 헤일로 (halos), 일몰, 스타 필터 또는 다른 필터 효과를 시뮬레이트하기 위해 캡쳐된 영상 데이터를 수정하는 것과 같은, 복합 이미지 프로세싱 동작을 수행할 수도 있다. 이에 더하여, VFE (14) 는 캡쳐된 영상 입력 데이터 (30) 의 프레임 레이트 또는 이미지 크기를 감소시킬 수도 있다.
이하에서 더욱 상세하게 설명되는 바와 같이, VFE (14) 는 제어기 (24) 가 VFE (14) 를 쉽게 제어 및 재구성하도록 하는 인터-프로세서 애플리케이션-프로그래밍 인터페이스 (API) 를 나타낸다. API 는 VFE (14) 가 제어기 (24) 의 종속 장치로서 동작하도록 하면서, 인터-프로세서 인터페이스를 제공한다.
VBE (16) 는 영상 데이터를 인코딩 또는 디코딩하는 임의의 소프트웨어 애플리케이션, 하드웨어부 등을 포함할 수도 있다. 보다 상세하게는, VBE (16) 는 영상 시퀀스의 인코딩된 비트 스트림을 생성하기 위해 영상 출력 데이터 (35) 를 활용할 수도 있다. 인코더로서 동작하는 경우에, VBE (16) 는 영상 출력 데이터 (35) 를 인코딩하고, 예를 들어, 무선 송신을 위한 송신기/수신 (18) 및 안테나를 통해 영상 메모리 (15) 내에서 인코딩된 비트 스트림을 버퍼링할 수도 있다. 예를 들어, VBE (16) 는 디지털 카메라에 대한 JPEG 정지 화상 인코더, 디지털 캠코더에 대한 MPEG 영상 인코더 등을 포함할 수도 있다. 따라서, VBE (16) 는 사유 인코더 또는 디코더일 수도 있고, 엠페그 (MPEG; Moving Picture Experts Group) 에 의한 MPEG-1, MPEG-2, 또는 MPEG-4, 캘리포니아주 쿠퍼티노의 애플 컴퓨터에 의한 QuickTimeTM, 워싱턴주 레드몬드의 마이크로소프트사에 의해 개발된 WindowTM 를 위한 영상, 인텔사에 의해 개발된 IndeoTM, 워싱턴주 시애틀의 리얼네트워크사로부터의 RealVideoTM, 및 슈퍼맥사에 의해 개발된 CinepakTM, H.263, H.264, JPEG 2000 등과 같은 하나 이상의 다양한 데이터 압축 표준에 따라 영상 출력 데이터 (35) 를 프로세싱할 수도 있다.
다른 방법으로 또는 이에 더하여, VBE (16) 는 디코더로서 동작할 수도 있다. 보다 상세하게는, VBE (16) 는 수신기/송신기로부터 인코딩된 영상 시퀀스의 비트 스트림을 수신하고, 그 비트 스트림을 프로세싱하여 VFE (14) 에 의한 프로세싱 및 디스플레이를 위해 디코딩된 영상 시퀀스를 생성할 수도 있다. VFE (14) 및 VBE (16) 는 영상 프로세싱 동작을 트리거하기 위해 제어 신호 (28) 를 교환할 수도 있다. 예를 들어, 제어기 (24) 또는 VFE (14) 는 VBE (16) 에 의해 인코딩 동작을 트리거할 수도 있다. 디코더로서 동작하는 경우에, 제어기 (24) 또는 VBE (16) 는 VFE (14) 에 의해 동작을 트리거할 수도 있다. VFE (14) 및 VBE (16) 는, 독립조작가능한 하드웨어 또는 예를 들어, DSP 에 의한 실행을 위한 소프트웨어 모듈과 같은 소프트웨어 모듈, 또는 그들의 결합으로서 제공될 수도 있다.
메모리 (21, 41) 는 제어기 (24) 및 CODEC (12) 각각에 의한 이용을 위해 지시 및 데이터를 저장한다. 비록 분리된 메모리로서 설명된다고 할지라도, 메모리 (21, 41) 는 일반 메모리 장치일 수도 있다. 메모리 (21, 41) 는 읽기전용 메모리 (ROM), 동기식 동적 랜덤 액세스 메모리 (SDRAM), 비-휘발성 정적 랜덤 액세스 메모리 (SRAM), 플래시 메모리, 전기적 소거 및 프로그램가능한 읽기 전용 메모리 (EEPROM) 등을 포함할 수도 있다. 영상 메모리 (24) 는 영상 동적 메모리 액세스 (VDMA) 의 형태를 취할 수도 있다. 설명되는 바와 같이, 메모리 (15, 21) 는 CODEC (12) 의 외부에 있을 수도 있고, 제어기 (24) 에 연결될 수도 있다.
설명되는 바와 같이, CODEC (12) 의 기능을 VFE (14) 및 VBE (16) 로 분리하는 것은, 카메라 인터페이스 하드웨어 (22) 와 직접적으로 인터페이싱하는 것, 뷰파인더 (17) 를 구동하기 위해 필요한 색 변환 및 다른 이미지 프로세싱 기능, 또는 다른 구현-특정 동작을 수행하는 것과 같은 다양한 구현-특정 기능을 수행하는 것에 관하여 VBE (16) 를 분리시킨다. 결과적으로, VFE (14) 는 구현-특정 이미지 프로세싱 기능을 수행하는 것으로 보여질 수도 있는 반면, VBE (16) 는 구현-독립 이미지 프로세싱 기능을 수행할 것이다.
또한, 분리는 새로운 장치 내에서 디지털 영상 성능의 통합을 쉽게 하는 증가된 유연성을 제공할 수도 있다. 예를 들어, VFE (14) 와 VBE (16) 사이의 기능적인 분리는 분배된 영상 시스템을 야기하고, 영상 데이터 용량을 새로운 제품 또는 장치로 통합하기 위해, 원하는 임의의 백-엔드 소프트웨어 또는 펌웨어, 또는 그들의 결합을 이용하여 설계자가 쉽게 VFE (14) 를 재사용할 수 있다. 이러한 방식으로, 새로운 영상 압축 표준은 VFE (14) 를 새로운 VBE (16) 와 연결하는 것에 의해 쉽게 지원될 수도 있다. 다시 말해서, 설계자는, 새로운 장치 내에서 디지털 영상 성능을 통합하기 위해, 원하는 임의의 상이한 VBE 또는 다른 애플리케이션 소프트웨어 또는 펌웨어, 심지어 사유 VBE 를 이용하여 VFE (14) 를 일반 모듈로서 재사용할 수도 있다. 또한, VFE (14) 의 유연성 또는 구성은 상이한 이미지 센서 및 디스플레이 장치를 이용하여 VFE 가 쉽게 재사용될 수 있도록 한다. 결론적으로, VFE (14) 는 변화가 거의 없거나 또는 아무런 변화도 없이, 다중 장치 내에서 쉽게 재사용되고 내장될 수도 있고, JPEG-기반 정지 영상 디지털 카메라, 또는 MPEG-기반 영상 캡쳐 및 통신을 통합하는 셀룰러 전화기와 같은 장치의 설계 및 생산을 쉽게할 수도 있다.
도 2 는 VFE 14 (도 1) 의 예시적인 실시형태를 더욱 상세하게 나타내는 블록도이다. 설명되는 바와 같이, VFE (14) 는 몇몇 기능적인 모듈 (30A - 30F), 및 제어기 (24) 가 프로그램에 입각하여 모듈을 구성할 수도 있는 공통 애플리케이션 프로그래밍 인터페이스 (API;32) 를 포함할 수도 있다. 많은 모듈들 (30), 즉, 모듈들 (30B -30F) 은 VBE (16) 에 의한 인코딩을 위해 영상 데이터를 예비-프로세싱하는 것과, VBE (16) 에 의해 생성된 디코딩된 영상 시퀀스를 이후-프로세싱하는 것 모두에 이용될 수도 있다. 이러한 방식으로, 모듈 (30) 은 다양한 애플리케이션에서 이용될 수도 있다. 모듈 (30) 은, 예를 들어, DSP 상에서 CODEC (12) 에 의해 제공된 동작 환경 내에서의 실행을 위해 소프트웨어 모듈로서 구현될 수도 있다. 그러나, 모듈 (30) 은 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 결합에서 구현될 수도 있다.
카메라 드라이버 (30A) 는 카메라 인터페이스 하드웨어 (22) 와 직접적으로 인터페이싱하고, 이미지 센서 (32) 로부터의 하나 이상의 영상 프레임을 캡쳐하도록 하드웨어를 프로그래밍한다. 특히, 카메라 드라이버 (30A) 는 명령을 발하고 (27), 응답으로, 영상 입력 데이터 (30) 를 수신한다.
예를 들어, 카메라 드라이버 (30A) 는 영상 캡쳐를 시작 및 종료하기 위해 카메라 인터페이스 하드웨어 (22) 를 프로그램가능하게 구성한다. 또한, 카메라 드라이버 (30A) 는, 예를 들어, 단위 프레임 당 라인 및 단위 라인 당 픽셀과 같은 이미지 프레임 디멘션, 및 데이터 수집, 예를 들어 작거나 큰 엔디안 (Endian) 과 같은 데이터 포맷을 위한 이미지 창 (window) 을 정의한다. 또한, 카메라 드라이버 (30A) 는, 이미지 크기 및 프레임 레이트를 감소시키기 위해 공간 도메인 및 시간 도메임에 따라 초기 서브-샘플링을 수행하도록 카메라 인터페이스 하드웨어 (22) 에 지시하는 명령을 발할 수도 있다 (27).
카메라 드라이버 (30A) 는 영상 입력 데이터 (30) 를 프로세싱하고, 프로세싱된 데이터를 VBE (16) 에 의한 백엔드 프로세싱을 위한 표준 형태로 영상 메모리 (15; 도 1) 에 저장한다. 예를 들어, 카메라 드라이버 (30A) 는 이미지 데이터에 관한 색차 값이 수평 방향에서만 서브-샘플링되는 것을 의미하는 YCbCr (휘도-색차) 4:2:2 포맷으로 이미지를 저장할 수도 있다. 예를 들어, 카메라 드라이버 (30A) 는 휘도 데이터가 352 ×288 로 남는 프레임을 생성하기 위해 색 이미지 또는 352 ×288 픽셀 크기의 프레임을 프로세싱할 수도 있지만, 색차 값은 176 ×288 픽셀 크기로 서브-샘플링 된다.
프레임 레이트 제어 모듈 (30B) 은, 이미지 센서 (23) 에 의해 캡쳐되고 카메라 인터페이스 (22) 에 의해 생성된 영상 데이터, 즉, 영상 입력 데이터 (30) 의 시퀀스를 원하는 프레임 레이트로 다운 샘플링 또는 업 샘플링하는 기능을 제공한다. VFE (14) 에 대해 광범위한 영역의 애플리케이션에의 이용을 위한 유연성을 주면서, 프레임 레이트 제어 모듈 (30B) 은, 예를 들어, 분수 또는 정수 배수에 의해 영상 입력 데이터 (30) 에 관하여 들어오는 영상 프레임을 다운 샘플링 또는 업 샘플링할 수도 있다.
이미지 프로세싱 모듈 (30C) 은 제어기 (24) 가 프로그램가능하게 선택하도록 하고, 들어오는 영상 입력 데이터 (30) 에 프레임마다의 이미지 프로세싱 기능을 적용한다. 예를 들어, 제어기 (24) 는 API (32) 를 통해 명령을 발하여, 색 영상 프레임을 블랙-앤드-화이트 포맷으로 전환하는 것과 같은 기능을 선택하고, 데이터의 콘드라스트 또는 휘도 특성을 수정하고, 캡쳐된 데이터에 관한 점등 상태를 디지털적으로 강화 또는 수정하고, 디지털 줌 동작, 이미지 센서 프로세싱, 및 예를 들어, 화이트 밸런싱, 자동 이득 제어, 및 감마 보정과 같은 보상을 수행하고, 헤일로, 일몰, 스타 필터 또는 다른 필터 효과를 시뮬레이트하기 위해 캡쳐된 영상 데이터를 수정할 수도 있다. 이미지 프로세싱 모듈 (30C) 은, VBE (16) 에 의한 인코딩을 위해 영상 입력 데이터 (30) 를 예비-프로세싱하기 위하여, 또는 VBE (16) 에 의해 생성된 디코딩된 영상 시퀀스를 이후-프로세싱하기 위하여 이러한 기능을 적용할 수도 있다. 예를 들어, 이미지 프로세싱 모듈 (30C) 은, 수신된 영상 비트 스트림으로부터 VBE (16) 에 의해 생성된 디코딩된 영상 시퀀스를 강화하기 위해 이러한 기능을 적용할 수도 있다.
이미지 크기 제어 모듈 (30E) 은 원하는 이미지 크기로 이미지 크기를 다운 샘플링 또는 업 샘플링하는 기능을 제공한다. 또한, 이미지 크기 제어 모듈 (30E) 은 이미지 크기를 다운 샘플링하고, 애스팩트 비 (aspect ratio) 를 유지하거나, 또는 원하는 상이한 애스팩트 비를 달성할 수도 있다. 예를 들어, 640 ×480 의 해상도를 가지는 VGE 이미지는 352 ×288 의 해상도를 가지는 CIF 포맷으로 서브-샘플링될 수도 있다. 예를 들어, 이미지 크기 제어 모듈 (30E) 은, VFE (14) 에 광범위 영역의 애플리케이션에 이용하기 위한 유연성을 주면서, 분수 또는 정수 배수에 의해, 영상 입력 데이터 (30) 의 이미지 크기를 다운-샘플링할 수도 있다.
뷰파인더 드라이버 (30D) 는 영상 디스플레이 데이터 (35) 를 이용하여 뷰파인더 (17) 를 구동하는 기능을 제공한다. 뷰파인더 (17) 는 영상 입력 데이터 (30) 및 영상 출력 데이터 (35) 의 포맷과 상당히 상이한 포맷의 영상 디스플레이 데이터 (35) 를 요구할 수도 있다. 예를 들어, 뷰파인더 (17) 는 상이한 프레임 레이트 또는 이미지 크기의 영상 디스플레이 데이터 (35) 를 요구할 수도 있다. 뷰파인더 드라이버 (30D) 는 영상 입력 데이터 (30) 를 프로세싱하고 영상 디스플레이 데이터 (35) 를 뷰파인더 (17) 로 디스플레이에 적합한 형태로 생성하기 위해 프레임 레이트 제어 모듈 (30C) 및 이미지 크기 제어 모듈 (30E) 을 이용할 수도 있다.
색 변환 모듈 (30F) 은 영상 입력 데이터 (30) 를 상이한 색 스페이스, 예를 들어, 색 이미지 데이터를 나타내는 상이한 포맷으로 변환하는 기능을 제공한다. 예를 들어, 색 변환 모듈 (30F) 은 영상 입력 데이터 (30) 를 프로세싱하여, VBE (16) 에 의한 사용을 위해 YCbCr (휘도-색차) 4:2:2 포맷으로 영상 출력 데이터 (35) 를 생성할 수도 있다. 또한, 색 변환 모듈은 영상 입력 데이터 (30) 를 프로세싱하여, 뷰파인더 (17) 에 의한 디스플레이를 위해 RGB 포맷으로 영상 디스플레이 데이터 (35) 를 생성할 수도 있다. 또한, 색 변환 모듈은 생성된 포맷의 색 깊이, 예를 들어, 16-비트, 18-비트, 및 24-비트 깊이를 제어할 수도 있다.
제어기 (24) 는 API (32) 에 따라 명령을 발하는 것에 의해 VFE (14) 의 모듈 (30) 을 프로그램에 입각하여 구성하고 상호작용한다. 일 실시형태에서, API (32) 는 이하의 명령을 지원한다.
CONFIG - CONFIG 명령은 VFE (14) 를 프로그래밍하는 데에 사용되고, 제어기 (24) 가 모듈 (30) 의 기능을 제어하는 것에 관한 광범위 영역의 파라미터를 특정화하도록 한다.
CAPTURE - CAPTURE 명령은 VFE (14) 를 통해 영상 입력 데이터 (30) 의 캡쳐 및 프로세싱을 개시한다.
IDLE - IDLE 명령은 VFE (30) 에 영상 입력 데이터 (30) 의 캡쳐를 중지하도록 지시한다.
앞서의 명령을 발하기 위해, 제어기 (24) 는 CODEC (12) 내에서 메모리에 대해 명령을 기록할 수도 있다. 보다 상세하게는, CODEC (12) 은 현안중인 명령을 보유하는 명령 (CMD) 레지스터 (37), 및 그 명령과 연관되는 임의의 파라미터를 보유하는 명령 (CMD) 버퍼 (36) 를 포함할 수도 있다. 명령 및 연관되는 파라미터를 명령 레지스터 (37) 및 명령 버퍼 (36) 각각에 기록함에 있어서, 제어기 (24) 는 명령이 현안중임을 지시하기 위해 VFE (14) 에 인터럽트를 발한다. 예시적인 일 실시형태에서, 명령 레지스터 (37) 는 지시된 특정한 명령에 관하여 명령 헤더를 저장하는 단일 32-비트 버퍼를 포함한다. 명령 버퍼 (36) 는 23 개의 32-비트 단어를 저장할 수 있는 크기를 가지는 버퍼를 포함한다.
VFE (12) 는 현안중인 명령의 상태, 예를 들어, 명령이 완료되었는지 또는 불법적인 명령에 직면했는지의 여부를 지시하기 위해 메시지 (MSG) 레지스터 (38) 를 활용한다. VFE (12) 는 메시지 레지스터 (38) 내에서 새로운 상태 정보의 이용도를 지시하기 위해 제어기 (24) 에 대해 인터럽트 명령을 내린다. 제어기 (24) 는 뒤이은 명령을 내리기 이전에 앞서의 명령이 완전하게 프로세싱되었음을 증명하기 위해 메시지 레지스터 (38) 에 액세스한다.
이하에서와 같이, 일 실시형태에서, 메시지 레지스터 (38) 는 상태 메시지를 8 개의 32-비트 단어로 저장한다.
메시지 사이즈 (워드) 설명
프레임 메시지 4 제어기에 대하여 VOD 및 VDD정보를 인코딩하는 프레임 상태의 엔드
CONFIG 명령 완료 메시지 1 CONFIG 명령이 완료되었음을 지시함
IDLE 명령 완료 메시지 1 IDLE 명령이 완료되었음을 지시함
ILLEGAL 명령 완료 메시지 1 제어기 (24) 가 불법적인 명령을 발했음을 지시함
치명적 에러 메시지 1 치명적인 에러가 발생했음을 지시함
일 실시형태에서, CONFIG 명령은, 장치 (10) 에 의해 요구되는 영상 용량을 지원하기 위해 필요에 따라 제어기 (24) 가 VFE (14) 를 프로그램에 입각하여 쉽게 구성하도록 하는 광범위 파라미터 목록을 포함한다. 보다 상세하게는, 제어기 (24) 는 이하의 테이블에서 설명되는 바와 같이, 23 개의 단어 파라미터 목록을 이용하여 명령 버퍼 (36) 에 기록한다.
워드 구성 설정가능한 파라미터
1 영상 입력 데이터 프레임 행 너비, 단위 행 당 픽셀의 수, 프레임 열 높이, 단위 프레임 당 행의 수, VID 의 입력 이미지 포맷.
2 영상 출력 데이터 VID X 및 Y 줌 요소들을 인에이블/디스에이블, 바이트 스왑을 인에이블/ 디스에이블, VOD 의 이미지 포맷.
3 영상 출력 데이터 클립할 X 및 Y 픽셀, X & Y 클리핑 제어, VBE 트리거를 인에이블.
4 영상 출력 데이터 VID 와 관련하여 유지 및 드롭하기 위해 프레임을 선택하기 위한 비트 패턴을 특정화함. 예를 들어, 만약 비트 N이 설정된 경우, N 번째 프레임이 드롭됨. 또한, LSB 로 부터 시작되어 이용되는 몇몇 비트를 특정함.
5 영상 디스플레이 데이터 VID X 및 Y 줌 요소들을 인에이블/디스에이블, 바이트 스왑을 인에이블/ 디스에이블, VOD 의 이미지 포맷.
6 영상 디스플레이 데이터 클립할 X 및 Y 픽셀, X & Y 클리핑 제어, VBE 트리거를 인에이블.
7 영상 디스플레이 데이터 VID 와 관련하여 유지 및 드롭하기 위해 프레임을 선택하는 것에 관한 비트 패턴을 특정화함. 예를 들어, 만약 비트 N 이 설정된 경우, N 번째 프레임이 드롭됨. 또한, 최소 중요 비트 (LSB) 로부터 시작되어 이용되는 몇몇 비트를 특정함.
8 VOD 및 VDD 이미지 프로세싱 VDD 및 VOD 모두에 관하여 VID를 프로세싱하기 위해 강도 스케일 요소를 특정화함.
9 스냅샷 모드 스냅샷 모드를 인에이블/디스에이블. 신호 프레임을 수신 및 프로세싱하기 위해 VFE 를지시함. 하나의 프레임이 VOD 및 VDD 에 관하여 생성될 것임.
10-13 핑-퐁 버퍼 VOD 및 VDD 에 관한 핑-퐁 버퍼.
14 카메라 인터페이스 하드웨어 VSYNC, HSYNC 를 인에이블/디스에이블, 엔디안 선택.
15 카메라 인터페이스 하드웨어 카메라에 관한 동기화 구성은 상승/하강 에지 동기화와 재동기화에 관한 픽셀 카운터 및 라인 카운터의 값을 포함함.
16 카메라 인터페이스 하드웨어 임의의 프로그램가능한 프레임의 시작 (SOF), 프레임의 끝 (EOF), 라인의 시작 (LOF), 또는 라인의 끝 (EOF) 설정을 특정화함.
17 카메라 인터페이스 하드웨어 수직 블랭킹 주기 동안에 HSYC 의 행동을 특정화함.
18 카메라 인터페이스 하드웨어 높은 VSYNC, 낮은 VSYNC 에 관한 라인 카운터를 포함하여, VSYNC 에 관한 코스 설정.
19-22 카메라 인터페이스 하드웨어 VSYNC 가 높고 낮게 가는 경우의 픽셀 카운터 값, 라인 카운터 및 픽셀 카운터가 재설정되는 값, 라인에 관하여 데이터의 수집을 시작 및 정지하는 것에 대한 픽셀 카운터 값, 프레임에 관하여 데이터의 수집을 시작 및 정지하는 라인 카운터에 대한 값을 특정화함.
23 카메라 인터페이스 하드웨어 프레임, 라인 스킵 패턴, 및 픽셀 스킵 패턴의 수집 이후에 스킵할 프레임의 수를 특정화함.
도 3 은 VFE (14) 의 예시적인 동작을 보다 상세하게 나타내는 상태도이다. 본 실시예에서, 상태 기계 (60) 는 세 가지 상태, 즉, INIT 상태 (62), IDLE 상태 (64), 및 CAPTURE 상태 (66) 를 포함한다.
최초 파워-업 또는 하드웨어 재설정에 있어서, VFE (14) 는 INIT 상태 (62) 로 들어간다. VFE (14) 가 이 상태를 빠져나가기 위해서, 제어기 (24) 는 전술한 바와 같이, CONFIG 명령을 발하여 프로그램에 입각하여 VFE (14) 를 구성해야 한다. CONFIG 명령을 수신함에 있어서, VFE (14) 는 IDLE 상태 (64) 로 전이한다.
IDLE 상태 (64) 내에서, VFE (14) 는 에러의 발생 없이 제어기 (24) 로부터 모든 세 가지 가능한 명령, 즉, CONFIG 명령, CAPTURE 명령, 및 IDLE 명령을 받아들인다. 예를 들어, 제어기 (24) 는 VFE (14) 를 재프로그래밍하기 위해 CONFIG 명령을 발한다. CONFIG 명령을 수신 및 프로세싱함에 있어서, VFE (14) 는 IDLE 상태 (64) 로 복귀한다. IDLE 명령은 VFE (14) 가 IDLE 상태 (64) 내에서 이미 동작함에 따라 본질적으로 무시된다.
CAPTURE 명령을 수신함에 있어서, VFE (14) 는 CAPTURE 상태 (66) 로 전이하고, 가장 최근의 CONFIG 명령에 의해 프로그래밍된 파라미터를 실행한다. CAPTURE 상태에 있는 동안에, VFE (14) 는 카메라 인터페이스 하드웨어 (22) 를 시작하고, 영상 입력 데이터 (30) 의 수신 및 프로세싱을 개시한다.
초기에, VFE (14) 는 스냅샷 모드가 인에이블되었는지의 여부를 판단하기 위해 CAPTURE 명령과 관련되는 파라미터를 관찰한다. 만약 스냅샷 모드가 인에이블되었다면, VFE (14) 는 영상 입력 데이터 (30) 의 신호 영상 프레임을 캡쳐하고, 프레임을 캡쳐링함에 있어서 IDLE 상태 (64) 로 즉시 복귀한다. 만약 스냅샷 모드가 인에이블되지 않았다면, VFE (14) 는 CAPTURE 상태 (64) 에 남게 되고, 영상 프레임을 계속 수신 및 프로세싱한다.
보다 상세하게는, VFE (14) 는 영상 입력 데이터 (30) 를 수신하고, 데이터를 프로세싱하여, 제어기 (24) 로부터 수신된 명령 및 구성 파라미터 (23) 를 기반으로 VBE (16) 에 적합한 포맷으로 영상 출력 데이터 (35) 를 생성한다. 또한, VFE (14) 는 영상 입력 데이터 (30) 를 포맷하여 뷰파인더 (17) 에 의한 디스플레이에 적합한 형태로 영상 디스플레이 데이터 (35) 를 생성하고, VBE (16) 또는 제어기 (24) 에 의한 엑세스를 위해 영상 메모리 (15) 내에 영상 출력 데이터 (35) 를 저장한다.
캡쳐 모드 (66) 에서 동작하는 동안에, VFE (14) 는 제어기 (24) 에 의해 제공된 프로그램가능한 파라미터에 기초하여 기능 모듈 (30A - 30F) 을 호출한다. 예를 들어, 전술한 바와 같이, 카메라 드라이버 (30A) 는 영상 캡쳐를 시작 및 정지하기 위해 카메라 인터페이스 하드웨어를 프로그램에 입각하여 구성한다. 프레임 레이트 제어 모듈 (30B) 은 이미지 센서 (23) 에 의해 캡쳐되고 카메라 인터페이스 (22) 에 의해 생성된 영상 입력 데이터 (30) 를 원하는 프레임 레이트로 프로세싱한다.
이미지 프로세싱 모듈 (30C) 은 CONFIG 명령을 통해, 제어기 (24) 에 의해 제공된 파라미터에 기초하여 영상 입력 데이터 (30) 에 대해 복합 이미지 프로세싱 동작을 수행할 수도 있다. 뷰파인더 드라이버 (30D) 는 영상 메모리 (15) 로부터 영상 입력 데이터 (30) 를 프로세싱하여 뷰파인더 (17) 에 의한 디스플레이에 적합한 형태로 영상 디스플레이 데이터 (35) 를 생성한다.
이미지 크기 제어 모듈 (30E) 은 이미지 크기를 원하는 이미지 크기로 다운 샘플링하는 기능을 제공한다. 색 변환 모듈 (30F) 은, VBE (16) 또는 뷰파인더 (17) 에 의해 요구될 수도 있는 바에 따라, 영상 입력 데이터 (30) 를 상이한 색 스페이스, 예를 들어, 색 이미지 데이터를 나타내는 상이한 포맷으로 변환하는 기능을 제공한다.
VFE (14) 는 이미지 캡쳐를 제거하고, 제어기 (66) 로부터 IDLE 명령을 수신하면서 IDLE 상태 (64) 로 복귀한다.
도 4 는 디지털 영상 장치 (10) 의 예시적인 동작을 나타내는 흐름도이다. 초기에, 제어기 (24) 는 VFE (14) 의 인터-프로세서 인터페이스를 통한 명령 (25) 을 통해 CODEC (12) 을 프로그램에 입각하여 구성한다 (70). 이러한 방식으로, 제어기 (24) 는 마스터 장치로서, 그리고 CODEC (12) 은 종속 장치로서 볼 수도 있다.
CODEC (12) 이 인코더로서 동작하는 경우에, VFE (14) 는 명령에 따라 영상 입력 데이터 (30) 를 캡쳐 및 예비-프로세싱하여, 제 1 이미지 포맷의 영상 출력 데이터 (35) 를 생성하고 제 2 이미지 포맷의 영상 디스플레이 데이터를 생성한다 (72). 프로세싱 동안에, VFE (14) 는 프로그램가능한 포맷, 예를 들어, 프로그램가능한 프레임 레이트, 이미지 크기, 및 색 스페이스에 따라 영상 출력 데이터 및 영상 디스플레이 데이터를 생성한다. VFE (14) 는 영상 데이터의 인코딩된 시퀀스의 생성을 위해 영상 출력 데이터를 VBE (16) 으로 전달하고 (74), 뷰파인더 (17) 상에서의 디스플레이를 위해 영상 디스플레이 데이터를 제어기 (24) 로 전달한다 (76). 유사한 방식으로, VFE (14) 는 VBE (16) 로부터 디코딩된 영상 시퀀스를 수신하고, 제어기 (24) 에 의해 제공된 명령 (25) 에 따라 디코딩된 영상 시퀀스를 프로세싱 및 디스플레이할 수도 있다.
예시적인 영상 인코더/디코더 (CODEC) 가 영상 프론트 엔드 (VFE) 와 영상 백 엔드 (VBE) 사이에서 분리되는 다양한 실시형태가 설명된다. 본 개시에서 설명되는 바와 같이, VFE 는 다양한 카메라 또는 캠코더 애플리케이션을 지원하기 위해 기능 및 예비-프로세싱 동작을 인캡슐화하고, 외부 마스터 장치가 이러한 동작들을 쉽게 제어할 수 있는 플렉서블 인터-프로세서를 나타낸다. 이러한 분리는, 카메라 인터페이스 하드웨어와 직접적으로 인터페이싱하는 것, 뷰파인더를 구동하는 데에 필요한 색 변환 및 다른 이미지 프로세싱 기능을 수행하는 것, 또는 다른 구현-특정 동작들과 같은, 다양한 구현-특정 기능으로부터 VBE 를 분리시키는 분배된 영상 시스템을 가져온다. 결론적으로, 여기서 설명되는 기술은 새로운 장치 내에서 디지털 영상 성능의 통합을 쉽게 하기 위해 증대된 유연성을 제공할 수도 있다. 예를 들어, 설계자의 원하는 임의의 백-엔드 소프트웨어 또는 펌웨어, 또는 그들의 결합으로 VFE 를 쉽게 재사용하여, 영상 데이터 용량을 새로운 제품 또는 장치로 통합할 수도 있다. 이들 및 다른 실시형태들은 이하의 청구항의 범위 내에 있다.

Claims (41)

  1. 명령을 수신하는 프로그램가능한 인터페이스를 가지는 영상 프론트 엔드 (VFE) 로서, 명령에 따라 영상 입력 데이터를 캡쳐하고 영상 입력 데이터를 예비-프로세싱하여 영상 출력 데이터를 생성하는, 영상 프론트 엔드 (VFE);
    상기 VFE 의 영상 출력 데이터로부터 영상 데이터의 인코딩된 시퀀스를 생성하는, 영상 백 엔드 (VBE); 및
    상기 영상 입력 데이터의 예비-프로세싱을 제어하기 위해 상기 인터페이스를 통해 상기 VFE 에 명령을 제공하는, 제어기를 구비하는, 시스템.
  2. 제 1 항에 있어서,
    상기 VFE 는 디스플레이를 위한 영상 디스플레이 데이터를 생성하기 위해 명령에 따라 상기 영상 입력 데이터를 예비-프로세싱하는, 시스템.
  3. 제 2 항에 있어서,
    상기 명령에 따라, 상기 VFE 는 상기 영상 입력 데이터를 예비-프로세싱하여, 상기 VBE 에 의한 프로세싱을 위한 제 1 포맷의 상기 영상 출력 데이터 및 디스플레이를 위한 제 2 포맷의 상기 영상 디스플레이 데이터를 생성하는, 시스템.
  4. 제 2 항에 있어서,
    상기 VFE 는,
    상기 명령에 따라 상기 영상 디스플레이 데이터를 나타내는, 뷰파인더 드라이버;
    상기 명령에 따라 프로그램가능한 프레임 레이트로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 프레임 레이트 제어 모듈;
    상기 명령에 따라 프로그램가능한 이미지 크기로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 이미지 크기 제어 모듈;
    상기 명령에 기초하여, 상기 VBE 에 의한 프로세싱을 위한 제 1 색 스페이스에 따른 상기 영상 출력 데이터, 및 상기 뷰파인더 드라이버에 의한 디스플레이를 위한 제 2 색 스페이스에 따른 상기 영상 디스플레이 데이터를 생성하는, 색 변환 모듈; 및
    상기 명령에 따라 상기 영상 입력 데이터에 대해 하나 이상의 이미지 조작 작업을 수행하는, 이미지 프로세싱 모듈을 포함하는, 시스템.
  5. 제 2 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 제어기가 상기 영상 입력 데이터의 입력 이미지 포맷, 및 상기 영상 출력 데이터와 상기 영상 디스플레이 데이터에 관한 출력 이미지 포맷을 프로그램에 입각하여 설정하도록 하는, 시스템.
  6. 제 5 항에 있어서,
    상기 프로그램가능한 인터페이스는 제어기가 상기 각 이미지 포맷에 관하여 프레임 행 너비, 단위 행 당 픽셀의 수, 프레임 열 높이, 및 단위 프레임 당 행의 수를 프로그램에 입각하여 설정하도록 하는, 시스템.
  7. 제 1 항에 있어서,
    상기 프로그램가능한 인터페이스는, 제어기가 상기 영상 입력 데이터로부터 드롭하기 위해 프레임을 선택하는 제 1 비트 패턴 및 상기 영상 입력 데이터의 각 프레임으로부터 드롭하기 위해 X 및 Y 픽셀을 선택하는 제 2 비트 패턴을 프로그램에 입각하여 특정화하여 상기 영상 출력 데이터를 생성하는, 시스템.
  8. 제 1 항에 있어서,
    상기 프로그램가능한 인터페이스는, 상기 VFE 에 의해 상기 영상 입력 데이터의 캡쳐를 프로그램에 입각하여 초기화하는 캡쳐 명령, 영상 데이터의 캡쳐를 프로그램에 입각하여 제거하는 휴지 (idle) 명령, 및 상기 영상 데이터의 캡쳐와 프로세싱을 프로그램에 입각하여 제어하는 구성 명령을 지원하는, 시스템.
  9. 제 1 항에 있어서,
    상기 VFE 는 구현-특정 이미지 프로세싱 기능을 수행하고, 상기 VBE 는 구현-독립 이미지 프로세싱 기능을 수행하는, 시스템.
  10. 제 1 항에 있어서,
    상기 제어기는 제 1 프로세서의 동작 환경 내에서 실행되고, 상기 VFE 및 VBE 는 제 2 프로세서의 동작 시스템 내에서 실행되고, 상기 VFE 의 상기 프로그램가능한 인터페이스는 상기 제어기 모듈로부터 명령을 수신하는 프로그램가능한 인터-프로세서 인터페이스를 포함하는, 시스템.
  11. 제 10 항에 있어서,
    상기 프로그램가능한 인터-프로세서 인터페이스는,
    상기 제어기로부터 상기 명령을 수신하는, 프로그램가능한 명령 레지스터;
    상기 명령과 관련되는 파라미터를 저장하는, 프로그램가능한 명령 버퍼; 및
    상기 VFE 로부터 상기 제어기로 상태를 전달하는, 상태 레지스터를 구비하는, 시스템.
  12. 제 10 항에 있어서,
    상기 영상 출력 데이터를 저장하는 제 1 및 제 2 프로세서 양자에 의해 접근가능한 메모리를 더 구비하는, 시스템.
  13. 제 1 항에 있어서,
    상기 시스템은 영상 인코더/디코더 (CODEC) 를 구비하는, 시스템.
  14. 장치에 의해 제공된 동작 환경 내에서 실행되고, 외부 장치로부터 명령을 수신하는 프로그램가능한 인터페이스를 가지는 영상 프론트 엔드 (VFE) 를 구비하고,
    상기 VFE 는 상기 명령에 따라 영상 입력 데이터를 캡쳐하고 상기 영상 입력 데이터를 예비-프로세싱하여, 영상 백 엔드에 의한 인코딩을 위한 영상 출력 데이터 및 디스플레이 장치에 의한 디스플레이를 위한 영상 디스플레이 데이터를 생성하는, 장치.
  15. 제 14 항에 있어서,
    상기 프로그램가능한 인터페이스는 제 1 이미지 포맷 및 제 2 이미지 포맷을 정의하는 파라미터를 지원하고, 상기 VFE 는 상기 명령에 기초하여 상기 제 1 이미지 포맷에 따라 상기 영상 출력 데이터를 생성하고 상기 제 2 이미지 포맷에 따라 영상 디스플레이 데이터를 생성하는, 장치.
  16. 제 14 항에 있어서,
    상기 VFE 는,
    상기 명령에 따라 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하기 위해 상기 영상 입력 데이터에 대해 하나 이상의 이미지 조작 작업을 선택적으로 수행하는, 이미지 프로세싱 모듈;
    상기 명령에 따라 프로그램가능한 프레임 레이트로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 프레임 레이트 제어 모듈;
    상기 명령에 따라 프로그램가능한 이미지 크기로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 이미지 크기 제어 모듈; 및
    상기 명령에 기초하여, 상기 VBE 에 의한 프로세싱을 위해 제 1 색 스페이스에 따라 상기 영상 출력 데이터를 생성하고, 뷰파인더 드라이버에 의한 디스플레이를 위해 제 2 색 스페이스에 따라 상기 영상 디스플레이 데이터를 생성하는 색 변환 모듈을 구비하는, 장치.
  17. 제 16 항에 있어서,
    상기 VFE 는 상기 명령에 따라 상기 영상 디스플레이 데이터를 나타내는 뷰파인더 드라이버를 더 구비하고,
    상기 뷰파인더 드라이버는 상기 프레임 레이트 제어 모듈 및 상기 이미지 크기 제어 모듈을 호출하여 상기 명령에 따라 상기 뷰파인더에 관한 프레임 레이트 또는 이미지 크기로 상기 영상 디스플레이 데이터를 생성하는, 장치.
  18. 제 14 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 외부 장치가, 프레임 행 너비, 단위 행당 픽셀 수, 프레임 열 높이, 단위 프레임 당 행 수, 및 상기 영상 입력 데이터, 상기 영상 출력 데이터, 상기 영상 디스플레이 데이터에 관한 입력 이미지 포맷을 프로그램에 입각하여 설정하도록 하는, 장치.
  19. 제 14 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 외부 장치가, 상기 영상 출력 데이터와 상기 영상 디스플레이 데이터에 관한 색 스페이스를 프로그램에 입각하여 설정하도록 하는, 장치.
  20. 제 14 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 제어기가, 상기 영상 입력 데이터로부터 드롭하기 위해 프레임을 선택하는 것에 관한 제 1 비트 패턴 및 상기 영상 입력 데이터의 각 프레임으로부터 드롭하기 위해 X 및 Y 픽셀을 선택하는 것에 관한 제 2 비트 패턴을 프로그램에 입각하여 특정화하여 상기 영상 출력 데이터를 생성하는, 장치.
  21. 제 14 항에 있어서,
    상기 프로그램가능한 인터페이스는, 상기 VFE 에 의해 상기 영상 입력 데이터의 캡쳐를 프로그램에 입각하여 초기화하는 캡쳐 명령, 영상 데이터의 캡쳐를 프로그램에 입각하여 제거하는 휴지 명령, 및 상기 영상 데이터의 캡쳐와 프로세싱을 프로그램에 입각하여 제어하는 구성 명령을 지원하는, 장치.
  22. 제 14 항에 있어서,
    상기 VFE 와 상기 외부 장치를 실행하는 장치는 프로그램가능한 프로세서를 구비하고, 상기 VFE 의 상기 프로그램가능한 인터페이스는 상기 외부 장치로부터 명령을 수신하는 프로그램가능한 인터-프로세서 인터페이스를 포함하는, 장치.
  23. 제 22 항에 있어서,
    상기 인터-프로세서 인터페이스는,
    상기 제어기로부터 상기 명령을 수신하는 프로그램가능한 명령 레지스터;
    상기 명령과 관련되는 파라미터를 저장하는 프로그램가능한 명령 버퍼; 및
    상기 VFE 로부터 상기 제어기로 상태를 전달하는 상태 레지스터를 구비하는, 장치.
  24. 제 14 항에 있어서,
    상기 장치는 영상 인코더/디코더 (CODEC) 를 구비하는, 장치.
  25. 제 14 항에 있어서,
    상기 장치는 상기 VFE 의 실행에 관한 상기 동작 환경을 제공하는 디지털 신호 프로세서 (DSP) 를 구비하는, 장치.
  26. 마스터 장치로부터 프로그램에 입각하여 명령을 수신하는 수단;
    상기 명령에 따라 영상 출력 데이터 및 영상 디스플레이 데이터를 생성하기 위해 영상 입력 데이터를 캡쳐링 및 예비-프로세싱하는 수단; 및
    상기 영상 출력 데이터로부터 영상 데이터의 인코딩된 시퀀스를 생성하는 수단을 구비하는, 장치.
  27. 제 26 항에 있어서,
    상기 수신 수단은 제 1 이미지 포맷과 제 2 이미지 포맷을 정의하는 파라미터를 지원하고, 상기 캡쳐링 및 예비-프로세싱하는 수단은 상기 명령에 기초하여 상기 제 1 이미지 포맷에 따른 상기 영상 출력 데이터 및 상기 제 2 이미지 포맷에 따른 상기 영상 디스플레이 데이터를 생성하는, 장치.
  28. 제 26 항에 있어서,
    상기 캡쳐링 및 예비-프로세싱하는 수단은,
    상기 명령에 따라 프로그램가능한 프레임 레이트로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 프레임 레이트 감소 수단;
    상기 명령에 따라 프로그램가능한 이미지 크기로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는, 서브-샘플링 수단;
    상기 명령에 따라 상기 영상 디스플레이 데이터를 나타내는 뷰파인더 드라이버 수단으로서, 상기 프레임 레이트 제어 모듈 및 이미지 크기 제어 모듈을 호출하여 상기 명령에 따라 상기 뷰파인더에 관한 프레임 레이트 또는 이미지 크기로 상기 영상 디스플레이 데이터를 생성하는, 뷰파인더 드라이버 수단; 및
    상기 명령에 기초하여, 상기 VBE 에 의한 프로세싱을 위해 제 1 색 스페이스에 따라 상기 영상 출력 데이터, 및 제 2 색 스페이스에 따라 상기 영상 디스플레이 데이터를 생성하는 색 변환 수단을 구비하는, 장치.
  29. 제 26 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 마스터 장치가, 프레임 행 너비, 단위 행 당 픽셀 수, 프레임 열 높이, 단위 프레임 당 행 수, 및 상기 영상 입력 데이터, 상기 영상 출력 데이터, 상기 영상 디스플레이 데이터 각각에 관한 입력 이미지 포맷을 프로그램에 입각하여 설정하도록 하는, 장치.
  30. 제 26 항에 있어서,
    상기 프로그램가능한 인터페이스는 상기 마스터 장치가, 상기 영상 출력 데이터와 상기 영상 디스플레이 데이터에 관한 색 스페이스를 프로그램에 입각하여 설정하도록 하는, 장치.
  31. 제 26 항에 있어서,
    상기 수신 수단은, 상기 마스터 장치가 상기 영상 디스플레이 데이터를 디스플레이하는 픽셀 카운터 및 라인 카운터, 상기 영상 입력 데이터로부터 드롭하여 상기 영상 출력 데이터를 생성하기 위하여 프레임을 선택하는 비트 패턴, 및 상기 영상 입력 데이터의 각 프레임으로부터 드롭하여 상기 영상 출력 데이터를 생성하기 위하여 X 및 Y 픽셀을 선택하는 것에 관한 비트 패턴을 프로그램에 입각하여 설정하도록 하는, 장치.
  32. 제 26 항에 있어서,
    상기 수신 수단은 인터-프로세서 통신 수단을 구비하고,
    상기 인터-프로세서 통신 수단은,
    상기 마스터 장치로부터의 명령과 관련되는 상기 명령 및 파라미터를 수신하는 수단; 및
    상기 캡쳐링 및 예비-프로세싱하는 수단으로부터 상기 마스터 장치로 상태를 전달하는 수단을 구비하는, 장치.
  33. 인터-프로세서 인터페이스를 통해 마스터 장치로부터 프로그램에 입각하여 명령을 수신하는 단계;
    제 1 이미지 포맷에서 영상 출력 데이터를 생성하고 제 2 이미지 포맷에서 영상 디스플레이 데이터를 생성하기 위해, 상기 명령에 따라 종속 장치를 통해 영상 입력 데이터를 캡쳐링 및 예비-프로세싱하는 단계;
    영상 데이터의 인코딩된 시퀀스의 생성을 위해 상기 영상 출력 데이터를 인코더로 전달하는 단계; 및
    디스플레이를 위해 상기 영상 디스플레이 데이터를 출력 장치로 전달하는 단계를 포함하는, 방법.
  34. 제 33 항에 있어서,
    상기 영상 입력 데이터를 캡쳐링 및 예비-프로세싱하는 단계는, 상기 명령에 따라 프로그램가능한 프레임 레이트 및 프로그램가능한 이미지 크기로 상기 영상 출력 데이터 및 상기 영상 디스플레이 데이터를 생성하는 단계를 포함하는, 방법.
  35. 제 33 항에 있어서,
    상기 영상 입력 데이터를 캡쳐링 및 예비-프로세싱하는 단계는, 상기 명령에 기초하여 상기 VBE 에 의한 프로세싱을 위해 제 1 색 스페이스에 따른 상기 영상 출력 데이터, 및 제 2 색 스페이스에 따른 상기 영상 디스플레이 데이터를 생성하는 단계를 포함하는, 방법.
  36. 제 33 항에 있어서,
    상기 명령을 수신하는 단계는, 상기 마스터 장치 및 상기 종속 장치에 의해 접근가능한 프로그램가능한 레지스터를 통한 상기 명령에 관련되는 상기 명령 및 파라미터를 수신하는 단계를 포함하는, 방법.
  37. 이미지 프로세싱 명령을 발하는 마스터 장치; 및
    상기 명령에 따라 영상 시퀀스를 인코딩 또는 디코딩하는 영상 프론트 엔드 (VFE) 와 영상 백 엔드 (VBE) 에 관한 동작 환경을 제공하는 종속 장치를 구비하고,
    상기 VFE 는 상기 이미지 프로세싱 명령을 수신하는 프로그램가능한 인터페이스를 포함하고, 상기 이미지 프로세싱 명령에 따라, 상기 VBE 에 의해 인코딩에 관한 영상 시퀀스를 캡쳐 및 예비-프로세싱하고, 상기 VBE 로부터 디코딩된 영상 시퀀스를 수신 및 프로세싱하는, 장치.
  38. 제 37 항에 있어서,
    상기 프로그램가능한 인터페이스는 제 1 이미지 포맷 및 제 2 이미지 포맷을 정의하는 파라미터를 지원하고, 상기 VFE 및 상기 VBE 는 상기 제 1 이미지 포맷에 따라 상기 영상 시퀀스를 교환하고, 상기 VFE 는 상기 제 2 이미지 포맷에 따라 상기 영상 시퀀스를 디스플레이하는, 장치.
  39. 제 37 항에 있어서,
    상기 마스터 장치는, 각각의 상기 이미지 포맷에 관한 프레임 행 너비, 단위 행 당 픽셀 수, 프레임 열 높이, 단위 프레임 당 행 수를 프로그램에 입각하여 설정하는, 장치.
  40. 제 37 항에 있어서,
    상기 VFE 는, 상기 명령에 따라 프로그램가능한 프레임 레이트로 상기 교환된 영상 시퀀스 및 상기 디스플레이된 영상 시퀀스를 생성하는 프레임 레이트 제어 모듈을 포함하는, 장치.
  41. 제 37 항에 있어서,
    상기 VFE 는, 상기 명령에 따라 프로그램가능한 이미지 크기로 상기 교환된 영상 시퀀스 및 상기 디스플레이된 영상 시퀀스를 생성하는 이미지 크기 제어 모듈을 포함하는, 장치.
KR1020057014156A 2003-01-30 2004-01-30 디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를구비하는 모듈러 아키텍처 KR20050098287A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/355,814 US8159548B2 (en) 2003-01-30 2003-01-30 Modular architecture having reusable front end for processing digital video data
US10/355,814 2003-01-30

Publications (1)

Publication Number Publication Date
KR20050098287A true KR20050098287A (ko) 2005-10-11

Family

ID=32770633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057014156A KR20050098287A (ko) 2003-01-30 2004-01-30 디지털 영상 데이터 프로세싱용 재사용가능 프론트 엔드를구비하는 모듈러 아키텍처

Country Status (6)

Country Link
US (2) US8159548B2 (ko)
EP (1) EP1588553A1 (ko)
JP (2) JP2006516868A (ko)
KR (1) KR20050098287A (ko)
CN (1) CN100421454C (ko)
WO (1) WO2004068849A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985464B1 (ko) * 2005-11-30 2010-10-06 콸콤 인코포레이티드 이미지 및 비디오 프로세싱을 위한 스케일러 구조
KR20150127166A (ko) * 2013-03-13 2015-11-16 퀄컴 인코포레이티드 비디오 데이터의 통합된 공간 다운샘플링

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8159548B2 (en) 2003-01-30 2012-04-17 Qualcomm Incorporated Modular architecture having reusable front end for processing digital video data
US7577636B2 (en) * 2003-05-28 2009-08-18 Fernandez Dennis S Network-extensible reconfigurable media appliance
KR101022470B1 (ko) * 2004-01-13 2011-03-15 삼성전자주식회사 영상신호를 기록 및 재생할 수 있는 디지털 카메라
US20060002475A1 (en) * 2004-07-02 2006-01-05 Fuchs Robert J Caching data for video edge filtering
US8155703B2 (en) * 2004-10-01 2012-04-10 Broadcom Corporation Wireless device having a configurable camera interface to support digital image processing
JP4944465B2 (ja) * 2006-03-22 2012-05-30 キヤノン株式会社 通信システム及び方法
KR100842573B1 (ko) * 2006-11-21 2008-07-01 삼성전자주식회사 휴대단말기의 카메라부 제어장치 및 방법
US8139632B2 (en) * 2007-03-23 2012-03-20 Advanced Micro Devices, Inc. Video decoder with adaptive outputs
US8479253B2 (en) * 2007-12-17 2013-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for video processing capability communication between a video source device and a video sink device
KR20120067199A (ko) * 2010-12-15 2012-06-25 한국전자통신연구원 비디오 인코딩 장치 및 그 제어 방법
EP2856754A4 (en) * 2012-05-31 2016-01-20 Intel Corp VIDEO POST-PROCESSING ON NON-INTERFACE PLATFORMS TO PROCESS VIDEO POST-PROCESSING REQUEST FROM A VIDEO PLAYER
CN105282600B (zh) * 2014-12-31 2021-11-19 郭磊 高清晰低码率数字视频压缩器
DE102015120369B3 (de) 2015-11-25 2016-11-03 Pilz Gmbh & Co. Kg Trittmatte zum Absichern einer technischen Anlage
BE1024519B1 (fr) * 2016-04-12 2018-03-28 Evs Broadcast Equipment Sa Serveur de production vidéo à base de logiciel modulaire, procédé de fonctionnement du serveur de production vidéo et système de production vidéo distribué

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316881A (ja) * 1988-06-17 1989-12-21 Mitsubishi Electric Corp 画像処理装置
JP3103151B2 (ja) * 1990-09-03 2000-10-23 富士写真フイルム株式会社 電子スチル・カメラおよびその動作制御方法
EP0483745B1 (en) 1990-10-31 1997-10-15 Hitachi, Ltd. Digital colour signal processing with clock signal control for a video camera
JPH06125411A (ja) * 1992-10-09 1994-05-06 Ricoh Co Ltd 画像処理装置
JPH07226911A (ja) * 1994-02-15 1995-08-22 Eastman Kodak Japan Kk 電子スチルカメラ
JP3461194B2 (ja) * 1994-02-28 2003-10-27 キヤノン株式会社 撮像装置及びデータ処理方法
JP3893480B2 (ja) * 1994-09-28 2007-03-14 株式会社リコー デジタル電子カメラ
US6509927B1 (en) 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
TW339418B (en) * 1995-11-30 1998-09-01 Sanyo Electric Co Method for controlling a video camera
US6005613A (en) * 1996-09-12 1999-12-21 Eastman Kodak Company Multi-mode digital camera with computer interface using data packets combining image and mode data
JPH11215426A (ja) 1997-11-19 1999-08-06 Ricoh Co Ltd オートフォーカス装置
US6657668B1 (en) * 1997-11-19 2003-12-02 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling automatic focusing of a digital camera
US6535243B1 (en) * 1998-01-06 2003-03-18 Hewlett- Packard Company Wireless hand-held digital camera
US20020176009A1 (en) * 1998-05-08 2002-11-28 Johnson Sandra Marie Image processor circuits, systems, and methods
US6577336B2 (en) * 1998-05-29 2003-06-10 Agilent Technologies, Inc. Authentication stamping in a digital camera
US6593963B1 (en) * 1998-05-29 2003-07-15 Agilent Technologies, Inc. Programmable control of operational signals in a digital camera
JP4253881B2 (ja) * 1998-07-17 2009-04-15 ソニー株式会社 撮像装置
JP2000115688A (ja) * 1998-09-30 2000-04-21 Canon Inc 印刷機能付きデジタルカメラシステムおよび画像処理方法並びに画像処理用制御プログラムを記録した記録媒体
JP3033575B1 (ja) * 1999-02-17 2000-04-17 日本電気株式会社 画像処理装置
JP2002010277A (ja) * 1999-12-20 2002-01-11 Texas Instr Inc <Ti> デジタルスチルカメラシステムおよび方法
JP2002189993A (ja) 2000-12-21 2002-07-05 Olympus Optical Co Ltd 携帯型情報記録再生装置
JP2002320208A (ja) * 2001-04-20 2002-10-31 Nobuyuki Suzuki 画像伝送システム
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US8159548B2 (en) 2003-01-30 2012-04-17 Qualcomm Incorporated Modular architecture having reusable front end for processing digital video data
KR100486736B1 (ko) * 2003-03-31 2005-05-03 삼성전자주식회사 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치
US7454010B1 (en) 2004-11-03 2008-11-18 Acoustic Technologies, Inc. Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985464B1 (ko) * 2005-11-30 2010-10-06 콸콤 인코포레이티드 이미지 및 비디오 프로세싱을 위한 스케일러 구조
US8009729B2 (en) 2005-11-30 2011-08-30 Qualcomm Incorporated Scaler architecture for image and video processing
KR20150127166A (ko) * 2013-03-13 2015-11-16 퀄컴 인코포레이티드 비디오 데이터의 통합된 공간 다운샘플링

Also Published As

Publication number Publication date
JP5307086B2 (ja) 2013-10-02
EP1588553A1 (en) 2005-10-26
CN100421454C (zh) 2008-09-24
US8804000B2 (en) 2014-08-12
US20120167156A1 (en) 2012-06-28
US8159548B2 (en) 2012-04-17
WO2004068849A1 (en) 2004-08-12
US20040151242A1 (en) 2004-08-05
WO2004068849A8 (en) 2005-10-06
JP2006516868A (ja) 2006-07-06
CN1757226A (zh) 2006-04-05
JP2011010331A (ja) 2011-01-13

Similar Documents

Publication Publication Date Title
US8804000B2 (en) Modular architecture having reusable front end for processing digital video data
US20140244858A1 (en) Communication system and relaying device
US20080101455A1 (en) Apparatus and method for multiple format encoding
US20030086003A1 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
US7593580B2 (en) Video encoding using parallel processors
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
JP2001238190A (ja) 画像処理装置及びその制御処理方法
EP1374553B1 (en) Method and apparatus for down conversion of video data
Talla et al. Using DaVinci technology for digital video devices
US9609215B2 (en) Moving-image recording/reproduction apparatus
CN111741343A (zh) 视频处理方法及装置、电子设备
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
US20040119718A1 (en) Image processing device
CN112887653B (zh) 一种信息处理方法和信息处理装置
US20070008325A1 (en) Method and apparatus providing for high efficiency data capture for compression encoding
EP3954123A1 (en) System and method for implementation of region of interest based streaming
US20110254995A1 (en) Method and system for mitigating seesawing effect during autofocus
US20060215060A1 (en) Video processing apparatus and computer system integrated with the same
US8390664B2 (en) Hand-held electrical communication device and image processing method thereof
KR101102388B1 (ko) 디지털 방송 수신기에서의 정지 영상 캡쳐 장치 및 방법
US20110234918A1 (en) Projector and projecting image adjusting method thereof
KR20240083457A (ko) 디스플레이 장치 및 그 제어 방법
KR100767670B1 (ko) 메모리 카드 출력화면 조정장치 및 그 제어방법
KR101298645B1 (ko) 애플리케이션 그래픽을 이용한 방송 영상의 출력 장치
KR20080113649A (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application