KR100896098B1 - 텔레비전 시각 아트워크 생성 시스템 및 방법 - Google Patents

텔레비전 시각 아트워크 생성 시스템 및 방법 Download PDF

Info

Publication number
KR100896098B1
KR100896098B1 KR1020077002232A KR20077002232A KR100896098B1 KR 100896098 B1 KR100896098 B1 KR 100896098B1 KR 1020077002232 A KR1020077002232 A KR 1020077002232A KR 20077002232 A KR20077002232 A KR 20077002232A KR 100896098 B1 KR100896098 B1 KR 100896098B1
Authority
KR
South Korea
Prior art keywords
pattern
cell
visual effect
signal
matrix
Prior art date
Application number
KR1020077002232A
Other languages
English (en)
Other versions
KR20070047768A (ko
Inventor
마이클 워리
리차드 스토렉
Original Assignee
텔레파이어 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레파이어 엘엘씨 filed Critical 텔레파이어 엘엘씨
Publication of KR20070047768A publication Critical patent/KR20070047768A/ko
Application granted granted Critical
Publication of KR100896098B1 publication Critical patent/KR100896098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/65—Holding-devices for protective discs or for picture masks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Chair Legs, Seat Parts, And Backrests (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

TV 신호를 디스플레이상에서 표시되는 패턴/아트워크로 변환하는 TV 시각 아트워크 생성 시스템 및 방법이 제공된다.

Description

텔레비전 시각 아트워크 생성 시스템 및 방법 {TELEVISION VISUAL ARTWORK GENERATION SYSTEM AND METHOD}
본 출원은 35 U.S.C.119(e) 및 120에 따라 2004년 6월 29일에 접수된, 이 출원의 참고로 포함되어 있는 "텔레비전 시각 아트워크 생성 시스템 및 방법"라는 제목의 미국 예비특허출원 제60/584,465호에 대하여 우선권을 주장한다.
본 발명은 일반적으로 텔레비전에서 패턴을 발생시키는 시스템과 제조 방법에 대한 것이며, 그 중에서 특히 텔레비전 신호를 시각적인 아트워크/패턴으로 변환하는 디지털 시스템과 관련된 것이다.
전통적인 시스템은 텔레비전에서 나오는 광학 신호를 변환하여 시각적인 영상으로 표시하는 것이었다. 도 1에서와 같이, 이러한 시스템은 텔레비전(11)의 스크린 앞에 장착된 프레임(12)을 가지고 있다. 이 프레임(12)은 반투명의 패널(13)을 가지고 있고, 고정대(15)에 의해서 정확한 위치에 고정되어 있다. 패널은 개방된 셀(Cell)의 배열을 정의하기 위한 패턴 속에 있는 작은 방벽(21)으로 구성된 격자(16)를 가지고 있다. 본 시스템에서 텔레비전 튜브에서 방사된 빛은 셀의 뒷편 열린 공간을 통해 들어가고, 셀을 통과하여 전달되어, 반투명의 패널(13)에 영향을 미치게 된다. 본 시스템에서, 셀들의 격자 배열이 바뀜에 따라 시스템에 의해서 발생되는 시각적인 서로 다른 이미지들을 만들어 낼 수 있게 된다. 특히 격자 내의 각 셀의 패턴이 변하게 되는 것이다. 비록 본 시스템에 의하여 텔레비전에서 나온 광학 신호를 시각적인 영상으로 발생시킬 수 있었으나, 본 시스템은 중대한 단점과 한계가 있었다. 첫째로, 본 시스템은 텔레비전에 부착되는 프레임이 있어야 하는데 이는 상당히 성가신 부분이고, 원하는 시각적인 효과를 얻기 위해서는 사용자가 직접 프레임을 텔레비전에 부착하여야하는 문제가 있었다. 둘째, 본 시스템은 텔레비전에서 발생한 광학 신호들을 변화시키는 것이기 때문에, 배열되어 있는 셀들의 격자구조를 사용자가 바꾸지 않는 한 시스템에서 제공할 수 있는 시각적인 효과는 매우 제한적일 수밖에 없었다. 셋째로, 텔레비전을 보기 위해서 사용자는 텔레비전에서 반드시 프레임을 제거해야 했다. 따라서 바람직하게는 시스템에서 디지털 신호를 텔레비전 내부에서 바꾸어서 텔레비전에서 시각적인 아트워크/효과를 발생시키기 위한 시스템을 제공해야 하며, 그렇게 함으로서 시각적인 아트워크/효과가 텔레비전 스크린에 직접적으로 표시될 수 있다. 또한 사용자가 시각적인 효과/아트워크 모드와 일반적인 텔레비전 시청 모드를 빠르고 쉽게 변환할 수 있는 시스템을 제공하는 것도 바람직하다. 그러므로 개선된 텔레비전 비주얼 아트워크 발생 시스템과 그 제조 방법을 제공하는 것이 바람직하며, 그것이 본 발명의 목적이자 지향하는 바이다.
본 시스템은 비디오로 된 내용을 변하기 쉽지만 매력적인 휘도(Luminance)와 색차(Chrominance) 값을 가진 추상적 혹은 구조적인 영상으로 전환시킨다. 시스템은 입력되는 비디오 신호(아날로그 및/또는 디지털)를 중단시키거나 전환시킬 수 있으며, 실시간으로 특이한 격자구조/매트릭스(Matrix)를 표시하기 위한 변형된 비디오 신호를 출력할 수 있다. 시스템은 최소한 수 개의 미리 정해진 매트릭스(각각의 매트릭스는 기하학적인 형태부터 불규칙한 형태까지 서로 다른 패턴을 가진다.)를 가지며, 텔레비전 화면상에 서로 다른 시각적인 효과를 발생시킬 수 있는 시청자의 제어도구를 통해서 매트릭스를 선택할 수 있다. 시청자의 제어도구는 애초에 유선으로 구현되어 있으나, 후에는 적외선(IR)을 통한 무선 조종 혹은 발명이 어느 특정한 제어 기술에 제한되어 있지 않으므로 다른 제어기술 수단에 의해서도 구현될 수 있다. 일반적으로 선호하는 구현기술은, 매트릭스가 텔레비전의 영역을 미리 정해진 숫자, 예를 들면 80개 내지 120개 정도의 경계 없는 셀로 나누는 것인데, 각 셀의 크기와/형태는 일정할 수도 있고 변화할 수도 있다. 각각의 매트릭스 안에 있는 셀들은 각 셀의 영역 안에 있는 유효 픽셀의 전체적인 휘도/색차를 표시하며, 셀의 영역 내에서 유효 픽셀의 휘도를 변화(밝은 곳에서 어두운 곳으로의 그라데이션시키는 것)시킬 수 있도록 조정할 수 있다. 시스템은 서로 다른 매트릭스들 사이에서 전송을 할 수도 있으며, 그 안에서 수동으로 혹은 반자동으로 제어할 수 있는 적절한 시간보다 앞선 전송을 통해서 매트릭스를 선택하여 전송할 수도 있다. 시스템은 텔레비전 수상기 외부에 있는 장치일 수 있고, 수상기 내부의 장치일 수도 있다. 또한 시스템은 전체적인 색차, 색조(Hue), 콘트라스트(Contrast) 혹은 기타 시각적인 수정을 가할 수 있는 부가적인 디스플레이 제어수단을 사용자에게 제공하는데, 이는 현재 존재하는 텔레비전의 제어수단과는 다른 것이다. 시스템에서 사용자는, 활자가 쓰여 있는 것을 포함해서, 미리 프로그램되어 있는 부가적인 혹은 대체적인 매트릭스 패턴을 통해서 시스템으로 들어갈 수 있다. 예를 들어, 본 발명에 의해서 광고주는 회사 로고를 통합하여 시스템에 통합시킬 수 있다.
도 1은 전통적인 시각 표시 시스템을 나타내는 도면.
도 2는 상기 발명에 의해 발생한 시각적인 효과/아트워크의 두 가지 예시를 나타내는 도면.
도 3은 상기 발명에 의한 매트릭스의 일부를 예시한 도면.
도 4는 상기 발명과 관련하여 시각적인 효과를 발생시키는 시스템을 구현하는 방법으로서, 일반적으로 선호하는 구현방법을 나타낸 순서도.
도 5는 상기 발명과 관련하여 시각적인 효과를 발생시키는 시스템을 구현하는 필드 프로그래머블 게이트 어레이(FPGA, Field Programmable Gate Array)의 예를 나타내는 도면.
도 6은 도면 5에서 나타난 입력/제어 부분의 상자를 자세히 설명한 도면.
도 7은 특정한 패턴/매트릭스를 위한 패턴 메모리 내의 데이터를 예시하는 도면.
도 8은 패턴 메모리 내에서 다음 패턴을 지시하는 데이터를 예시하는 도면.
도 9는 도 5에 나타는 디지털 필터를 상세히 나타낸 도면.
도 10과 도 11은 상기 발명에 대하여 평활화(Smoothing) 필터를 사용하여 구현된 평활화 방법을 자세히 나타낸 도면.
도 12는 가중된 평활화 필터의 구현을 예시한 도면.
도 13은 도 5에 나타난 셀 평균화 필터(Cell Averaging Filter, 48)를 자세하게 나타낸 도면.
도 14는 출력/믹싱(Mixing) 부분의 상자를 자세하게 나타낸 도면.
도 15는 두 패턴 사이에서 수행된 모핑(Morphing) 기술의 예를 나타낸 도면.
본 발명은 특히 텔레비전의 시각적인 아트워크/효과를 발생시키는 시스템에 적용되고, 본 명세서에서는 이를 중심으로 기술될 것이다. 하지만 상기 발명과 관련하여, 본 시스템과 그 제조 방법은 더 유용한 점이 있는데, 이를 테면 시각적인 아트워크/효과가 표시될 수 있는 다른 종류의 디지털 혹은 아날로그 표시장치가 그것이다. 따라서 본 발명은 어떤 특정한 종류의 디지털 장치에 국한된 것이 아니다.
본 발명에 따르면, 본 시스템은 전자적인 비디오 전송 시스템으로서, 비디오 컨텐츠(Contents)를 변하기 쉽지만, 매력적인 색차와 휘도 값을 가지는 추상적이거나 구조적인 영상들로 변환시킨다. 본 시스템에 의해서 발생되는 패턴의 예를 도 2에서 볼 수 있다. 시스템은 하나 혹은 그 이상의 하드웨어를 포함하며, 시스템을 구현하는 하드웨어 상에서 작동하는 하나 혹은 그 이상의 소프트웨어도 포함한다. 본 발명과 관련하여, 하드웨어의 출력은 원래의 비디오에 기초하는 실시간이고 디지털로 작동되는 비디오 스트림(Stream)이다. 결과물로 나온 이미지는 필터링되고 서로 인접한 셀의 정의된 매트릭스(혹은 패턴)로 구성되어 있다. 도 3은 많은 수의 셀(22)들이 함께 붙어 있는 매트릭스(20)의 일부를 보여주는 예이다. 이 예에서, 셀(22)들은 서로 다른 형태/크기를 가진다. 일반적으로 선호하는 구현기술은, 매트릭스가 텔레비전의 영역을 미리 정해진 숫자, 예를 들면 60개에서 100개 정도의 경계 없는 방으로 나누는 것인데, 각 셀의 크기와/형태는 일정할 수도 있고 변화할 수도 있다. 각각의 매트릭스 안에 있는 셀들은 각 셀의 영역 안에 있는 유효 픽셀의 전체적인 휘도/색차를 표시하며, 셀의 영역 내에서 유효 픽셀의 휘도를 변화(밝은 곳에서 어두운 곳으로의 그라데이션시키는 것)시킬 수 있도록 조정할 수 있다. 시스템은 서로 다른 매트릭스들 사이에서 전송을 할 수도 있으며, 그 안에서 수동으로 혹은 반자동으로 제어할 수 있는 적절한 시간보다 앞선 전송을 통해서 매트릭스를 선택하여 전송할 수도 있다. 본 발명과 관련하여, 작은 셀(24)들은 일반적으로 그 영역 내에서 비디오 이미지의 평균화된 값을 보유하고, 반면에 큰 셀(26)들은 그들과 연관된 채도(Chroma) 및 루마(Luma) 계조를 가지는 경향이 있다. 결과는 입력되는 비디오 시그널을 처리하는데 사용되는 타일형 셀(Tiled Cell)들의 패턴이다. 셀들 사이의 벽은 어떠한 색깔이 되기도 하고 혹은 처리되지 않은 비디오 신호로 구성된다(특정한 매트릭스에 따라 혹은 시청자의 제어수단의 선택에 따라 달라질 수 있음).
도 4는 본 발명과 관련하여 시각적인 효과를 발생시키는 시스템(30)을 구현하는 일반적인 방법을 예시한 순서도이다. 본 시스템(30)은 서로 다른 다양한 기술로 구현될 수 있다. 예를 들어, 본 시스템은 하드웨어와 내장 소프트웨어의 결합으로 구현되거나 혹은 본 발명과 관련하여 시각적인 아트워크 방법만 이용하는 순수한 소프트웨어만으로도 구현이 가능한데, 이 소프트웨어는 텔레비전 안에 있는 프 로세서와 같은 프로세서에 의해서 수행되는 일련의 명령어들을 말한다. 도 5의 아래 쪽에 나타난 예시에서, 본 시스템은 필드 프로그래머블 게이트 어레이(FPGA), 잘 알려진 메모리인 SRAM이나 DRAM 그리고 잘 알려진 비디오 인코더(Encoder)/디코더(Decoder)를 이용하여 구현되어 있다. 다른 예로서, ASIC(Application Specific Integrated Circuit)를 이용해서 본 시스템을 구현할 수도 있다. 또 다른 예로서, 텔레비전 내에 있는 강력한 프로세서가 있는 텔레비전 시스템의 발전에 따라, 텔레비전의 프로세서가 시각적인 효과를 발생시키는 역할을 하는 상당한 양의 소프트웨어 코드를 실행할 수도 있게 되었다.
본 시스템(30)은 시각 효과 발생장치(32)와 시각 효과 발생 장치에 연결되어 있는 저장 장치(34)로 구성되어 있다. 본 시스템을 하드웨어로 구현함에 있어서 저장 장치는 SRAM이나 DRAM과 같은 전형적인 메모리 장치이다. 본 시스템을 소프트 웨어로 구현함에 있어서, 저장 장치는 프로세서나 데이터 구조와 관련하여 이미 존재하는 메모리 장치이다. 본 시스템은 전형적인 텔레비전 비디오 신호를 받아들이고, 비디오화면을 발생시키는데, 비디오 처리에 의해서 결과적으로 텔레비전 비디오 시그널에 기초한 시스템에 의해서 발생한 시각 효과가 나타나게 된다. 본 시스템(30)은 추가적으로 바이패스(Bypass) 블록(미도시)을 포함하고 있는데, 이 부분은 텔레비전 비디오 신호를 시각 효과 발생장치로 여과 없이 보내어서 사용자가 일반적인 텔레비전 프로그램을 시청할 수 있도록 한다. 예를 들어 본 시스템(30)이 비활성화되면, 보통의 텔레비전 이미지가 보이는 것이다. 또한 본 시스템(30)은 위에서 언급하였던 이전의 시스템과 달리, 본 시스템(30)을 제거/연결해제 하지 않고 일반적인 텔레비전 시청이 가능하다는 장점이 있다. 이제 시각 효과 발생 시스템을 구현하는 예를 들어보겠다.
도 5는 본 발명과 관련하여 시각 효과 발생 시스템(30)의 FPGA에 의한 구현 예를 보여준다. 예를 들어, 텔레비전 비디오 신호는 잘 알려진 BT.656 표준을 사용하여 인코딩(Encoding)/디코딩(Decoding)되는데, BT.656 표준에 대한 자세한 사항은 "Recommendation ITU-R BT.656-4, Interfaces For Digital Component Video Signals in 525-line and 625-line Television System Operating at the 4:2:2 Level of Recommendation ITU-R BT.601 (Part A)"에 기술되어 있으며, 이는 이 출원에 포함되어 있고, http://www.itu.int/rec/recommendation을 통해서 참고할 수 있다. 위에서 살펴본 것과 같이, 입력/제어 블록(42) 내에서 FPGA가 처음으로 입력되는 BT.656 포맷의 비디오 데이터를 받아들이고, 전형적인 비트맵 디자인에서는 부분적인 입력 프레임들을 저장하고 비디오와 출력 프레임들을 평활화하기 위해서 필요한 프레임 버퍼(Buffer)와 디지털 필터를 사용하여 신호를 처리한다. 데이터는 BT.656 포맷의 비디오 인코더에 전송될 때까지 출력 측의 버퍼(44)에 있게 된다. 더 자세히 살펴보면, FPGA는 패턴 메모리(46), 셀 평균화 필터(48), 셀 평활화 필터(Cell Smoothing Filter, 50), 출력 믹싱과 포맷 블록(52), 그리고 시스템에 사용자의 입력을 받아들이는 사용자 인터페이스 블록(56)으로 구성되어 있다. 또한 FPGA는 입력 버퍼(56)와 평활화된 프레임 버퍼(Smoothed Frame Buffer, 58)도 포함하고 있다. 그림에서 보는 것과 같이, 입력/제어 블록(42)은 셀 평균화 필터와 셀 평활화 필터그리고 출력 믹싱 및 포맷 블록의 작동을 모두 제어할 수 있다. 입력/제어 블록은 또한 입력되는 데이터를 입력 버퍼와 셀 평균화 필터에 분배하는 기능도 한다. 셀 평균화 필터는 패턴 메모리(46)으로 부터 특정한 매트릭스를 위한 패턴 데이터를 받아들인다. 패턴 데이터는 셀 평활화 필터(50)와 출력 믹싱 및 포맷 블록(52)의 양 쪽에 제공이 된다. 셀 평균화 필터의 출력은 출력 믹싱 및 포맷 블록(52)에 제공이 된다. 셀 평활화 필터(50)는 입력 버퍼(56)로 부터 데이터를 받아들이고, 평활화된 프레임 버퍼(58)에 저장되어 있다가 출력과 믹싱 및 포맷 블록(52)으로 이동하는 평활화 데이터를 발생시킨다. 사용자 인터페이스 블록(54)을 통하여 사용자는 새로운 매트릭스를 메모리나 제어 업데이트 셀 평활화 필터(50)에 더하는 것과 같은 패턴 메모리(46)를 업데이트/제어할 수 있다. 따라서 본 발명과 관련하여 비디오 신호 프레임은 1) 현재의 입력 픽셀이 그들의 셀에 비례하여 평활화되거나; 2) 픽셀의 값이 그들의 방에 비례하여 축적되거나; 3) 평활화된 프레임이 그들의 셀의 색깔이나 휘도의 값에 따라서 색조를 가지게 된다.
도 5에 나타난 예시에서, 셀 평균화 필터와 셀 평활화 필터의 조합이 사용되었다. 이 효과는 셀의 평균을 내는 개념과 평활화된 셀 디펜던트(Cell Dependent) 색조를 창조하는 접근법을 사용한 평활화 필터를 믹싱하여서 발생하는 것이다. 하지만 본 발명은 필터의 조합에만 제한되는 것이 아니다. 예를 들어, 본 시스템은 모든 픽셀의 휘도와 채도 값을 주어진 셀 안에서 더하여 그 값을 평균내고, 각각의 픽셀에 평균을 낸 픽셀의 휘도/채도 값을 할당하는 셀 평균화 필터만을 사용한다. 본 시스템은 평균 평활화 필터를 사용하는데, 이는 픽셀의 값을 배열하는 역할을 하며, 화면을 가로지르며 픽셀의 가장 가까운 곳에 위치한 픽셀의 값을 계산한다. 이상의 내용은 셀 평균화와 비슷하지만 더 작은 규모에서 이루어지는 점이 다르고, 주어진 셀의 경계와 독립한 배열에 의해 이루어진다는 점이 다르다. 또한 본 시스템은 건너뜀을 사용하고, 픽셀을 떨어뜨리는 평활화 필터를 채워 넣고, 남은 픽셀의 복제를 통하여 떨어진 픽셀들을 대체한다. 이 건너뜀과 평활화 필터를 채워 넣는 것은 이미지의 경계를 강하게 하는 효과를 나타내면서 프레임이나 라인을 건너뛰게 된다. 본 시스템은 가우시안(Gaussian)이나 혹은 가중된 평활화 필터를 사용하는데, 이는 평균 필터(Mean Filter)와 유사하며, 예외적으로 하나의 출력 픽셀을 계산하는 경우를 제외하고는, 주어진 픽셀보다 더 멀리 있는 픽셀이 가까이에 있는 픽셀보다 가중된다. 본 시스템은 평균 필터이거나 평균화 필터 혹은 가중치가 있는 계수가 있는, 셀에 기초한 평활화 필터를 오직 사용하지만, 그것은 오직 주어진 셀의 영역 안에 픽셀에 대해서만 고려될 뿐이다.
도 5에서 본 것과 같이 셀에 기초한 평활화 필터(50)와 휘도 및 채도 셀 평균화 필터(48)는 입력되는 비디오 데이터 흐름과 평행하게 적용이 된다. 평활화 필터(50)는 우선 평균 필터(Mean Filter)나 평균화 필터(Averaging Filter)로 구성되지만 가중치 계수(Weighted Coefficients)에 따라 그 값이 조절될 수 있다. 작은 크기의 셀에 대해서는, 평활화하는 것이 전체 방에 대하여 평균적인 휘도/채도 값을 가지는 결과를 나타낸다. 큰 크기의 방에 대해서는, 방에 대하여 미리 처리된 비디오가 변화하는 휘도/채도 값을 가지는 경우에, 평활화 필터는 전체 셀에 대해서 스펙트럼 형태의 그라디언트(Gradient)를 만들게 된다. 필터의 출력은 사용자의 통제에 따라 셀의 지배적인 색깔과 휘도에 따라 평활화되거나 색조를 띄게 되는 결과를 나타내도록 결합된다. 본 시스템은 어떤 주어진 휘도/채도 값이라도 패턴의 경계에 할당할 수 있으며, 혹은 처리되지 않은 영상이 경계에 직접적으로 공급될 수도 있다.
도 5에서 보이는 시스템으로부터 발생한 패턴의 예를 도 2에서 볼 수 있다. FPGA(40)는 위에서 언급한 것처럼 바이패스 기능을 포함하고 있다. 추가적으로 FPGA(40)는(혹은 더 일반적으로 도 4에 나타난 시스템(30)에서는) 사용자가 새로운 매트릭스(새롭고/다른 패턴을 발생시키는)를 다운로드 받거나 유무선으로 연결된 외부 입력으로부터 시스템에 변화를 가할 수 있다. 예를 들어 시스템(30)을 통하여 사용자는 유무선으로 연결된 인터넷을 통해서 데이터를 다운로드 받을 수 있고, 하드디스크나 플래쉬 메모리타입의 드라이브로부터 데이터를 다운로드 받을 수도 있고, 수직의 귀선소거기간(Blanking Interval)처럼 현존하는 텔레비전 신호에 내장된 데이터를 다운로드 받을 수도 있고, 디렉티비(DirecTV) 수신기와 같은 외부 장치를 통해서 데이터를 다운로드 받을 수도 있으며, USB 포트를 통해서 개인용 PC로부터 시스템에 데이터를 다운로드 받을 수도 있다.
도 6에서 도 5에서 살펴보았던 입력/제어 블록(42)에 대한 더 자세한 내용을 살펴볼 수 있다. 이 블록(42)은 입력 레지스터(Register), 다중송신(Multiplexing) 및 Y,Cr,Cb 디코딩(Decoding) 블록(62), 제어장치 블록(62)으로 구성되어 있다. 본 발명을 일반적으로 구현하는 방법은 셀 평균화 필터, 셀 평활화 필터, 도 5에서 살펴본 출력 믹싱 및 포맷 블록의 작동을 제어하는 유한 상태 기계(Finite State Machine)를 통해서 전체 프로세스의 순서를 통제하는 것이다. 입력 블록(60)은 SOF(Start of Frame), EOF(End of Frame), SOAL(Start of Active Line), EOAL(End of Active Line) 신호를 입력되는 비디오 신호로부터 탐지하고, 그 신호들을 유한 상태 기계로 전송한다. 유한 상태 기계는 이 신호들을 이용하여, 상태에 따라 순서를 정하고, 주어진 과정을 수행하기 위한 다운스트림(Downstream) 블록에 제어 신호를 보내게 된다. 입력 블록(60)은 또한 도 5에서 살펴본 입력 버퍼와 셀 평균화 필터로 전송되는 포맷된 픽셀 데이터를 발생시킨다. 입력 제어장치(60)는 입력 버퍼에 쓰기를 하는 경우에 픽셀, 라인 혹은 프레임을 드로핑(Dropping)함으로써 이미지를 부드럽게 만들 수 있다. 픽셀을 드로핑은 이웃하고 있는 여러 픽셀이 존재하는 메모리 상에서 하나의 픽셀을 복제하는 방법으로 이루어진다. 따라서, 예를 들어, 받아들여진 픽셀은 드롭된 스트림에 있는 픽셀을 대체하기 위해서 두 개 혹은 네 개의 메모리 위치에 쓰기가 이루어지게 되고, 그 효과로서 이미지를 흐릿하게 만들게 된다.
패턴 메모리(Pattern Memory, 46)는 비디오 데이터에 적용되는 패턴들의 정의를 포함한다. 패턴 정보는 각각의 라인에 존재하는 패턴 입구(Entry)의 집합에 저장된다. 메모리 내에는 각각의 라인에서 나타나는 각각의 패턴을 위한 입구가 있다. 예를 들어 525개의 라인을 가지는 프레임은 각각의 라인이 12개의 셀을 통과하게 될 경우, 패턴 메모리 내에 6300개의 입구가 존재하게 되는 것이다.
도 7은 특정한 패턴/매트릭스를 위한 패턴 메모리 내에 있는 데이터의 예를 나타내는 것인데, 그 안에 있는 입구(Entry, 70)는 비디오 신호 라인의 패턴을 위한 것이다. 입구(70)는 하나 혹은 그 이상의 영역으로 나누어져 있다.(예를 들어 이 영역에는 형태 번호 영역(Shape Number Field, 72), 픽셀 카운트 영역(Pixel Conunt Field, 74), 나중에 사용하기 위해 사용되지 않은 영역(Unused Field, 76), 라인 인덱스 영역(Line Index Field, 78), 최종 라인 영역(Last Line Field, 80) 그리고 EOL 영역(End of Line Field, 82)이 포함된다.) 이 영역들은 평활화 필터와 평균화 필터를 사용해서 셀의 경계면에 관한 과정을 제어한다. 형태 번호 영역(Shape Number Field, 72)은 색조 필터에 사용되어서 어떤 셀에 Cy,Cb,Y를 위한 라인의 픽셀 값을 어떻게 할당할 것인가 하는 것을 알 수 있게 한다. 픽셀 카운트 영역(Pixel Count Field, 74)은 셀 내에 있는 전체 픽셀의 숫자를 계산하는 산술적 논리를 만드는데 사용된다. 라인 인덱스 영역(Line Index Field, 80)은 패턴 입구(Entry)를 저장하는 연속적인 위치를 사용하지 않는 패턴 데이터를 발생시키는 소프트웨어에 사용된다. 최종 라인 영역(Last Line Field, 80)은 그 데이터가 최종 라인이라는 것을 지시해주는 플래그(Flag)를 포함하고, EOL 영역(End of Line Field, 82)은 제어장치(62)에 다음의 패턴 메모리의 위치에 접속할 수 있도록 알려주는 역할을 하는 라인의 EOL(End Of Line) 플래그를 포함하고 있다. 최종 라인 플래그(Last Line Flag)와 EOL 플래그가 둘 다 고정이 되면, 프레임이 완성된다. 도 8은 제어장치가 다음 라인의 시작 주소를 결정하도록 하는 패턴 메모리 상의 차기 패턴 인덱스 데이터(Next Pattern Index Data, 90)의 예를 보여주고 있다. 차기 패턴 인덱스 데이터(90)는 차기 형태 번호 영역(Next Shape Number Field, 92), 차기 패턴 인덱스 영역(Next Pattern Index Field, 94) 그리고 EOF 영역(End of File Field, 96)을 포함한다. 패턴 메모리의 값들은 프레임의 각각의 라인들을 스캔하고 마주치게 되는 각 셀의 영역을 위한 입구를 쓰기를 하게 되는 소프트웨어 프로그램으로 패턴을 컴파일링(Compiling)하여 발생하게 된다. 이 프로그램은 라인의 경계에 입구가 도달했을 때, 입구를 발생시킨다. 이제 본 발명과 관련한 디지털 필터들에 대하여 더 자세히 기술해 보도록 하겠다.
도 9는 도 5에 도시된 디지털 필터들(48, 50)을 보다 상세하게 나타내고 있다. 본 발명에 따르면, 디지털 필터들은 Y, Cr, Cb 평면들 상에서 평활화 및 셀 평균화를 수행하고 다음에 혼합 및 출력 로직(100)을 사용하여 혼합한다. 본 발명에 따르면, 각각의 휘도 및 채도 값(Y, Cr 및 Cb)을 위해 평활화 필터 및 셀 평균화 필터가 존재하며 따라서 본 실시예에서는 총 6개의 필터가 존재한다. 필터링된 비디오 데이터 값들은 최종 출력 형태로 다중화된다. 셀 평균화 필터 및 평활화 회로로부터의 출력들의 혼합은 다양한 비율로 이루어질 수 있다.
도 10 및 11은 본 발명에 따른 평활화 필터에서 수행되는 평활화 방법을 보다 상세하게 나타낸다. 평활화 필터(50)는 픽셀에 중심을 두고 있는 어레이에 기초한다. 도 10에 도시된 바와 같이, 단계 102에서, 첫 번째 셀에서 중심 픽셀(110)(2행 2열에 있으며 Pr2c2로 지칭됨)은 그 중심 픽셀 상에 중심을 두고 있는 픽셀들의 어레이(본 실시예에서는 5 × 5 어레이)에 의해 둘러싸여진다. 본 발명에 따르면, 어레이에서의 픽셀 데이터(채도 및 휘도 값들)는 단계 104에서 합산되고 분할되며, 단계 106에서 어레이 영역에 대한 평균값을 산출한다. 단계 106에 도시된 바와 같이, 그 방법은 어레이에 있는 픽셀 휘도 및 채도 값들(본 실시예에서는 25개의 값들)을 합산하고 다음에 그 결과를 값들의 수로 나누어 평균값을 생성한다. 다음에 이 값은 단계 108에 도시된 바와 같이 출력 프레임 버퍼에 저장되는 중심 픽셀로 할당된다. 본 발명에 따르면, 픽셀 값은 각 클럭 마다 계산된다.
프로세싱은 어레이의 깊이 만큼 많은 수의 라인들이 도 5에 도시된 입력 버퍼에 버퍼링되어 유용 가능하도록 될 것을 필요로 한다. 본 발명에 따르면, 어레이의 크기는 구성이 가능하다. 도 11에 도시된 바와 같이, 제 1 어레이(112)가 버퍼로부터 읽혀져 중심 픽셀에 대한 값이 되도록 처리된다. 그러한 처리는 5개 픽셀로 된 다음 열을 읽음으로써 다음 픽셀 어레이(114)에 대해 반복된다. 한 행이 완료되면 그것은 이동된(shifted off) 행렬과 맨 꼭대기 행에 더해진다. 필터는 초기에 평균치로서 즉 평균 필터로서 구성될 수 있다. 그러나, 본 발명에 따르면, 평균 필터는 주어진 가우시안 계수들 또는 어떤 다양한 가중치 함수들 일 수 있다. 게다가, 필터 어레이 크기는 경계 대체 구조로서 조절이 가능하다.
본 발명에 따르면, 평활화 필터는 특정 대역폭 요구들을 만족해야 한다. 특히, 현재의 "표준" 텔레비젼은 NTSC BT.656을 따른다. BT 656에서, 전체 프레임은 액티브 비디오 또는 시청 가능한 비디오인 720×487을 가지는 858×525 픽셀들이 된다. 13.5 Mhz 클럭의 16비트 인터페이스를 사용함으로써, 라인마다 858 클럭 사이클들, 프레임마다 858×525 = 450,450 픽셀들이 존재한다(그러나, 그곳에는 단지 720×487=350,640 액티브 비디오 픽셀들 만이 존재함을 주의해야 함). 실시간 프로세싱을 이루기 위해, 그때 FPGA는 전체 프레임을 유선 속도(Wire Speed)로 처리하여야 하며, 13.5 MHz 클럭 속도 즉 53.3 마이크로초로 라인마다 720개 샘플들을 평균한다. 따라서, 대역폭 표준을 만족시키기 위한 방법으로는 라인들 또는 픽셀들을 건너뛰기(Skipping), 병렬 프로세싱, 비디오 프로세서에서의 클럭 다중화, 파이프라이닝(Pipelining) 및/또는 이중 포트 RAM의 사용을 포함한다. 평활화 회로의 실시간 처리량을 구하기 위한 실시예는 1) 매 4번째 BT.656 픽셀을 수용하는 것을 포함한다. 4:2:2 입력 사양을 사용함으로써, 이것은 각각의 수용된 픽셀에 대한 진정한 Y, Cr 및 Cb 데이터를 줄 것이다(즉, Cr, Cb 보간이 필요없음). 이것은 각 방향에서의 우리의 입력 속도가 1/4이 되도록 하여, 우리의 입력 속도를 1/16로 즉 13.5 Mhz에서 844 Khz로 효과적으로 떨어뜨릴 것이다. 평활화 필터는 또한 15×15 어레이(단지 모든 다른 픽셀이 사용되기 때문에 총계가 60×60 영역이 됨)를 사용할 수 있다. 50 MHz(=20ns)의 FPGA 클럭 주파수가 사용됨으로써 평활화 필터는 844 KHz × 16∼13.5 Mhz FPGA 클럭(= 74ns)을 사용한다. 그러한 제약들이 주어진 상태에서 대역폭은 다음과 같이 계산된다.
최소 대역폭은 반드시 1/(450,450/13.5Mhz) = 1/33.4 ns = 29.94 Hz 보다 훨씬 커야 하며
RAM에서 출력되는 값들을 4.5 us로 읽기 위해 1st 픽셀은 20ns의 15×15개의 클럭들을 필요로 하며
RAM의 값들을 388.500/16×15×20 ns = 7.3 ms로 읽기 위해 5th, 9th … 388,497th 픽셀들은 각각 20 ns의 15개의 클럭들을 필요로 한다.
전체 처리 시간은 대략 7.3 ms이다.
따라서, 대역폭 = 1/7.3 ms = 137 Hz ＞ 29.94 Hz 최소 대역폭 요구.
그러므로, 드롭핑에 의해 각 크기에서 매 4번째의 픽셀을 사용함으로써 그러한 평활화 방법을 계산하고 향후에 보다 복잡한 방법들 및 또한 HDTV와 같은 고해상도 표준들을 고려한 충분한 대역폭을 얻을 수 있다.
도 12는 가중치가 주어진 평활화 필터(120) 수행 즉 5×5 행렬 필터에 대한 예를 나타낸다. 본 발명에 따르면, Y, Cr 및 Cb에 대해 동시에 동작하며 제 1 비디오 유닛(1211), 제 2 비디오 유닛(1212) 및 제 3 비디오 유닛(1213)을 구성하는 이러한 필터들이 3개 존재한다. 프레임 버퍼 메모리를 읽고, 픽셀들을 등록하고, 멀티플렉서들과 산술적 요소들을 동작시키며 그 결과를 평활화된 프레임 버퍼에 저장하는 제어로직은 이 도면에 도시되지 않았다. 본 발명에 따르면, 평활화 필터(120)에 의해 수행되는 방법은 행렬에 있는 픽셀의 값들을 이웃하는 픽셀들의 값들로 평균화함으로써 데이터를 평활화한다. 적어도 5개 라인들이 버퍼에 저장될 때 평활화의 두 번째 단계가 평활화 블럭에 의해 수행될 수 있다. 평활화기는 각 픽셀에 대한 값들을 그것과 바로 이웃하는 8개에 대해 대응되는 값들의 75％ 및 하나의 픽셀이 중심으로부터 훨씬 멀리 떨어진 16개 픽셀들에 대한 값들의 50％와 합산함으로써 각 픽셀들에 대한 Y, Cr 및 Cb의 값들을 평균화한다. 평균화는 조합된 산술 로직으로 픽셀들의 다음 열을 읽고 동시에 모든 25개 값들을 평균화함으로써 각 픽셀에 대해 수행된다. 파이프라이닝을 사용해 시스템은 모든 클럭에서 픽셀들을 처리하게 된다.
행의 마지막에서 프로세스는 최상의 라인을 드롭(Drop)하고 다음 라인을 아래로 가산하는 것을 반복한다. 픽셀들은 어드레스 카운터를 증가시킴으로써 메모리로부터 접근된다. 한 행의 모든 5개 값들이 기 알려진 월리스 트리(Wallace Tree) 가산기(124)에 동시에 도달하도록 하기 위해 픽셀 값을 다중화함으로써 픽셀 계수들이 조정된다. 다음에 그들은 5개 열들의 행 값들과 합산되고 전체 합이 24로 나뉘어진다. 그 값은 평활화 버퍼에 기록된다. 계산의 용이성 때문에 50％ 및 70％의 값들이 사용된다. 첫 번째는 LSB를 드롭시키고, 나머지 비트들을 아래로 이동시키고, MSB에 대해 0을 사용함으로써 쉽게 얻어진다. 75％ 값은 25％를 찾기 위해 이전에 설명된 과정을 다시 반복하고, 다음에 50％ 및 25％를 함께 가산함으로써 얻어진다. 유사한 수단을 사용함으로써 다른 고정된 계수들이 사용될 수 있다. 프로세싱 동안에 셀 경계에 다다르게 되면, 셀 경계들에 대한 평활화가 수행되도록 하기 위해 경계에 걸쳐 놓여있는 픽셀들의 값들에 대해 다중화함으로써 중심 픽셀의 등록된 값이 대체된다. 도 12에는, 픽셀 값에 대한 계산을 수행하는 최하위 레벨에 있는 산술부(Arithmetic Unit)(1221-N)가 계층적으로 구비되어 있는 필터가 도시되어 있다. 5개의 산술부들은 5개의 x축 픽셀들 상에서 동작하는 축부(axis unit)(126)를 형성한다. 그 5개는 월리스 트리 가산기(124)에 의해 합산된다. 첫 번째 축부 위와 아래에 있는 y축 상에서 동작하는 4개의 부가적인 축부들은 그들의 합이 25개 픽셀들의 어레이에 걸친 평균화를 위해 24로 나뉘어지는 비디오 유닛을 형성한다. 이러한 실시예에 있어서, 근사적으로 24가 사용되는데 이는 그것이 보다 적은 로직을 필요로 하기 때문이다. 2개의 추가적인 비디오 유닛들(1212, 1213)은 Y 및 Cb 평면들 상에서 동일한 동작을 지원한다.
도 13은 도 5에 도시된 셀 평균화 필터(48)를 보다 상세하게 나타낸다. 셀 평균화 필터는 평활화 필터와 병렬되게 동작한다. 평균화 필터는 주어진 픽셀 영역에 있는 모든 픽셀들의 휘도/채도 값들을 더하고, 다음에 평균 픽셀 값 또는 그 셀에 대한 색조를 구하기 위해 그 셀에 있는 픽셀들의 수로 나눈다. 이 값은 평활화 동작과 병렬되게 계산되며 평활화되고, 색조를 띠며 경계화된 패턴을 생성하기 위해 사용자의 제어하에서 평활화된 데이터에 적용된다. 본 발명에 따르면, 비디오 데이터는 각 바이트에 대한 Y, Cr 및 Cb에 대해 처리된다. 픽셀들은 셀에 있는 모든 픽셀들에 대한 값들을 합산하는 누산기(130)를 구동시킨다. 평균화 제어기(셀 디코더(131)로 도시됨)는 라인 및 셀에 대한 패턴 메모리 설명자(Descriptor)를 읽으며 그 설명자는 그 라인에 대해 얼마나 많은 픽셀들이 셀에 광범위하게 퍼져있는지를 제어기에게 알려준다. 각 셀 및 각 라인에 있는 픽셀들의 값들은 누산기(130)에서 합산된다. 인커밍(Incoming) 픽셀 카운트가 그 셀에 대한 라인에 있는 픽셀들의 수에 도달하면, 제어기는 그 셀에 대한 레지스터(132)에 누산된 값들을 저장하고 다음 셀을 위해 다시 패턴 메모리를 읽는다. 프로세스는 라인의 끝까지 반복한다. 라인에 대한 최종 패턴 엔트리를 처리한 후 제어기는 다음 라인에 대한 첫 번째 셀 설명자의 어드레스를 알기 위해 다음 위치를 읽는다.
프레임의 셀들에 있는 모든 픽셀들의 수는 셀 픽셀 카운트 레지스터(134)에 저장된다. 프레임이 완료되면, 각 셀에 대해 기록된 컬러 값들은 합산된 셀 값들을 (분할기(136)를 사용하여) 셀 픽셀 레지스터들에 저장된 셀에 있는 전체 픽셀들로 나눔으로써 계산된다. 그 결과는 셀에 적용될 값이며 셀 픽셀 레지스터(138)에 저장된다.
도 14는 출력/혼합 블럭(52)을 보다 상세하게 나타낸다. 출력 블럭(52)은 셀 픽셀 레지스터들(138), 가산기/감산기(140), 색조 블럭(142) 및 멀티플렉서(144)를 더 구비할 수 있다. 평활화된 프레임의 셀들은 셀 픽셀 레지스터(138)에 저장된 셀에 대한 값들에 의해 색조를 띠게 된다. 색조의 양은 사용자의 제어하에서 가산기/감산기 유닛(140)을 사용하여 색조의 양을 가산 또는 감산함으로써 변경이 가능하다. 색조는 평활화된 프레임 버퍼로부터 읽혀지고 출력 버퍼에 기록된 데이터에 적용된다. 셀 경계가 경계에 도달하게 되면 채색되거나 원색의 비디오는 멀티플렉서(144)에 의해 다중화되고 출력/혼합 모듈(52)에 있는 출력 상태 머신에 의해 버퍼에 기록된다. 색조화(Tinting)에 대한 다양한 방법들이 가능하다. 예컨대, 데이터는 혼합된 시간일 수 있으며 또는 평균 색상은 각 픽셀에 기초하여 평활화된 값과 직접 혼합될 수 있다. 만약 하나의 필터링된 출력만이 선택될 수 있다면 혼합은 또한 필요 없을 수도 있다.
처리된 픽셀 데이터는 비디오 엔코더를 향해 진행하게 된다. 그러한 진행 이전에, 사용자는 비디오 데이터의 전달을 변경할 수 있다. 예컨대, 패턴이 사용자 인터페이스를 통해 변경되면, 영상의 점이(漸移) 및 복귀(fade-out-and-back-in) 기능이 발생될 수 있다. 사용자 인터페이스는 또한 바이패스 채널을 선택함으로써 시각 효과 모드를 쓸모없게 할 수도 있다. 전체적인 콘트라스트, 밝기 등과 같은 다른 사용자 인터페이스 혼합은 또한 블럭의 그러한 부분에서 실행될 수 있다. 마지막으로, 픽셀 스트림이 블랭킹(Blanking) 타임으로 다시 포맷되어 BT.656 포맷으로 비디오 엔코더로 전송된다.
상술한 바와 같이, 본 발명에 따른 텔레비전 아트워크 생성 시스템 및 방법은 그 시스템의 다양한 기능들 및 동작들을 수행하기 위해 하드웨어에 의해 실행되는 내장형 소프트웨어 및 펌웨어를 포함하는 하드웨어의 일부분으로서 수행될 수 있다. 예컨대, 시스템은 사용자가 처리된 프레임을 멈추게 하고, 처리된 프레임을 되감고, 사용자들이 처리된 프레임을 다운로드할 수 있도록 해주며, 처리된 프레임의 밑에 있는 이미지를 사용자의 제어하에 디플레이하고, 멈춘 이미지 상에서 필터 패턴을 변경하고, 출력되는 프레임 속도를 조절하며, 출력 프레임을 동일한 패턴으로 평활화하고, 또는 새로운 패턴이나 행렬로 변형하도록 할 수 있다.
처리된 출력 프레임을 멈추도록 하기 위해(그리고 "중지 모드"를 들어가기 위해), 사용자는 적외선 리모콘 또는 다른 제어 장치를 이용해 현재의 텔레파이어(Telefire) 이미지를 멈추거나 중지시킬 수 있다. 그것을 이루기 위해, 그 장치에 있는 제어회로는 텔레파이어 프로세스에서 최종 프레임 버퍼로부터 이미지를 계속해서 출력한다. 사용자가 정지 이미지를 주시하는 동안 인커밍 액티브 비디오는 드롭된다.
시스템은 또한 사용자가 이미지 되감기 또는/및 막 생성된 이미지를 저장하고 검색하도록 할 수 있다. 중지 모드에 있는 동안에, 사용자는 최근에 출력된 텔레파이 프레임들을 통해 되감기 할 수 있다. 이것을 이루기 위해, 바람직한 실시예는 비디오 FIFO를 시스템에 가산한다. 처리된 프레임들이 30Hz 보다 낮은 속도로 출력되기 때문에, 시간 프레임에 대비한 저장된 프레임들에 대한 배수를 얻는 것이 가능하다. 예컨대, 전형적인 30 Hz 프레임 속도에서 저장된 비디오 프레임들의 1/2은 1 Hz 프레임 속도에서 텔레파이어 저장 비디오의 30초를 나타낸다. 비디오 FIFO는 오프-칩 FIFO, 듀얼 포트 메모리를 갖는 DRAM, 또는 잠재적으로 컴팩트 플레시, 메모리 스틱 또는 스마트 미디어 카드와 같은 외장 메모리 인터페이스로서 인스턴트화될 수 있다.
시스템은 또한 사용자가 처리된 프레임 또는 외부 분배를 위한 프레임 시퀀스를 다운로드 하도록 허용할 수 있다. 일 실시예에 있어서, 텔레파이어 유닛은 마케팅을 목적으로 코너에 "Telefire"로 이미지를 워터마크(Watermark)할 수 있다. 그러한 실시예에 따라, 그것은 IP 어웨어 텔레파이어, 플러그인 컴팩트 플레시, 메모리 스틱 또는 스마트 미디어 카드, 또는 외장형 비디오 리코더와의 연결을 통한 인터넷 다운로드가 가능하다.
시스템은 또한 사용자가 처리된 프레임의 밑에 있는 이미지를 사용자 제어하에서 디스플레이하도록 허용할 수 있다. 따라서, 사용자는 적외선 리모콘 또는 다른 제어 장치를 통해 현재의 처리된 프레임을 생성하는 원래의 비디오 소스를 디스플레이할 수 있다. 텔레파이어 프로세스는 인커밍 액티브 비디오를 인커밍 비디오 프레임 버퍼(도 5에서 구성요소 42 참조)로 캡쳐한다. 파이프라인 프로세스를 사용하여, 각 비디오 스틸은 텔레파이어 프로세스를 통해 출력 이미지로 처리된다. 따라서, 소스 또는 처리된 이미지 사이의 전환은 입력 프레임 버퍼 또는 출력 프레임 버퍼로부터 끌어당길 수 있는 비디오 멀티플렉서를 부가함으로써 이룰 수 있다. 그러한 기능은 액티브 비디오 모드 또는 중지 모드에서 사용될 수 있다.
시스템은 또한 사용자가 정지된 이미지 상에서 패턴 필터를 변경하도록 할 수 있다. 예컨대, 사용자가 중지 모드에 있는 동안, 사용자는 텔레파이어 프로세스에서 사용된 패턴, 또는 행렬을 변경할 수 있다. 다음에 사용자는 각각이 어떻게 정지된 이미지에 영향을 주는지를 지켜봄으로써 다양한 패턴들을 통해 순환하거나 "서프(Surf)"한다. 이것은 정지된 소스 이미지를 입력 프레임 버퍼에 유지시키고, 다음에 그것을 패턴이 변화되는 각 시간에 텔레파이어 회로소자를 통해 처리함으로써 성취할 수 있다.
시스템은 또한 사용자가 사진을 캡쳐하거나 입력한 사용자 선택 정지 이미지로부터 서로 다른 종류의 이미지를 생성하고, 스토렉 스튜디오(Storek Studio) 수채화법으로 행해지는 것과 같이 그 이미지 내에 있는 시각적 정보 특히 원래의 이미지를 시각적으로 "확장"한 바깥 영역 및 에지(Edge)들과 주변들을 관찰하는 방법을 사용하여 그것을 처리한다. www.storekstudio.com에 있는 예들을 참조하라. 이것은 텔레비전을 포함하지 않는 PC 기반, 또는 이동기기에서 이루어질 수 있다. 이것은 원래 이미지 에지들로부터 발생되는 이미지와 같은 이산 셀들을 생성할 수 있는 능력을 필요로 한다.
시스템은 또한 사용자가 출력 비디오 프레임 속도를 조절하도록 할 수 있다. 빠른 프레임 속도는 모든 프레임을 캡쳐하는 와이어 속도로 액티브 비디오 소스를 처리하지만, 부조화되거나 명멸하는 처리된 출력을 생성할 수 있다. 일반적으로, 사용자들은 감광도가 낮고 부드러운 출력 화면을 원할 것이다. 그것에 도달하는 가장 간단한 방법은 시스템의 소프트웨어/펌웨어에서 실행될 수 있는 인커밍 액티브 비디오의 프레임들을 간헐적으로 처리하는 것이다.
시스템은 또한 사용자의 선택에 따라 텔레파이어 프로세서가 하나의 처리된 프레임에서부터 다음으로 점이(漸移) 되도록 하기 위해 동일한 패턴을 이용한 출력 프레임에 대한 평활화를 허용할 수 있다. 이것을 이루기 위해서는 2개의 출력 프레임 버퍼들(하나의 프레임 버퍼(44)는 도 5에 도시되었으나, 시스템은 2개의 출력 버퍼들을 가지고 수행될 수 있음)을 필요로 하며, 하나는 가장 최근의 출력 이미지를 보유하고, 다른 하나는 이전의 하나의 처리된 프레임인 이미지를 보유한다. 실제 출력 스트림은 이전 이미지로부터 새로운 이미지로 점이된다. 이것은 잘 알려져 있으며 소프트웨어적으로 처리될 수 있는 휘도 및 채도에 대한 선형 픽셀 점이에 의해 이루어질 수 있다.
시스템은 또한 사용자의 선택에 따라 텔레파이어 프로세스가 하나의 적용된 패턴에서 다른 적용된 패턴으로 전환되도록 하기 위해 새로운 패턴 또는 행렬에 대한 모핑을 허용할 수 있다. 전환은 즉시 치환(Instant Replace), 픽셀 페이드(Pixel Fade), 혹은 패턴 편형(Pattern Morph)으로 이루어질 수 있다. 패턴 변형을 이루기 위해, 새로운 그리고 이전 패턴에 있는 각 셀에 번호가 매겨진다. 프로세스는 현재의 셀들에 대해 새로운 셀의 중복 비율을 계산한다. 어떤 정해진 중복 비율이 넘어서면, 현재의 셀은 새로운 셀로 흡수된다. 새로운 셀은 복수개의 현재의 셀들을 흡수할 수 있다. 만약 현재의 셀이 몇몇 새로운 셀들에 걸쳐 있다면, 그것은 새로운 셀들 사이에서 쪼개지게 될 것이다. 그러한 변형을 이루기 위해, 각 셀은 직선 또는 곡선으로 서로가 연결된 일련의 꼭지점(Vertex)들로 쪼개진다. 흡수된 셀들은 그들의 꼭지점들로 함께 이동하여 큰 개체의 일부가 된다. 쪼개진 셀들은 현재의 셀들을 새로운 복수개의 셀들로 "핀치오프(Pinch Off)"하기 위해 추가적인 꼭지점들을 더한다.
패턴 변형은 7 단계들로 분리되서 이루어진다. 즉, 1) 두 패턴들에 있는 셀들에 번호를 부여하고, 2) 셀들 사이의 중복을 측정하고, 3) 셀 매핑(Mapping)을 결정하고, 4) 각 셀에 대한 원주 꼭지점들을 설정하고, 5) 꼭지점 거리들을 계산하고, 6) 매핑된 꼭지점들을 결정하고, 7) 목적지 2차원 꼭지점들로 소스를 증가시킨다.
도 15는 두 패턴들 사이에서 행해질 수 있는 변형의 예시적 형태들을 나타내고 있다. 패턴 A는 초기 패턴(소스 패턴이라고도 함)이며, 패턴 B는 새로운 패턴(목적 패턴이라고도 함)이다. 텔레파이어는 어느 하나에서부터 다른 것들로의 패턴 변형으로서 중간 패턴 단계들을 계산하고 이러한 셀들에 있는 액티브 비디오 처리를 계속한다.
픽셀 단위를 기초로 하여, 각 소스 패턴 셀들은 목적 패턴 셀들에 대비되게 측정된다. 셀 매핑을 결정하기 위해 중복 비율이 측정된다. 아래의 표는 열들에 목적 셀들이 기재되어 있으며, 행들에 소스셀들은 기재되어 있다. 비율은 소스 셀로부터 발생된 목적 셀의 비율을 나타낸다. 표 1은 예시적인 테이블이며 도 15에 매핑되도록 계산된 것은 아니다.
목적 1 목적 2 목적 3 목적 4
소스 1 100％ 90％
소스 2 80％
소스 3 20％ 50％
소스 4 10％ 50％
일단 중복 비율이 계산되면, 셀 매핑이 결정된다. 셀 매핑은 소스 셀들이 어떻게 목적지로 매핑되는지를 다룬다. 예시적인 목적으로서, 완전하게 단일 소스로부터 발생되는 목적 셀을 나타내기 위해 70％ 이상의 임계치를 사용한다. 표 2에서, 완전하게 단일 소스로부터 발생된 목적 셀은 "X"로 표시되었다.
목적 1 목적 2 목적 3 목적 4
소스 1 X X
소스 2 X
소스 3 X
소스 4 X
표 2의 예에서, 소스 셀 1은 목적 셀 1 및 목적 셀 3으로 쪼개지게 될 것이다. 소스 셀 2는 목적 셀 2로 일대일 매핑된다. 소스 셀 3 및 4는 목적 셀 4 형태로 결합된다.
각 셀은 원주 주변에 있는 꼭지점들로 할당된다. 쪼개질 셀들은 많은 꼭지점들을 가지며 결합될 셀들은 아주 적은 꼭지점들을 갖는다. 각 목적 셀이 128개의 꼭지점들을 갖는 실시예에서, 꼭지점은 표 3에 보여진 것과 같이 카운트될 수 있다.
셀 꼭지점 수 코멘트
목적 1 128
목적 2 128
목적 3 128
목적 4 128
소스 1 256 목적 1 및 목적 3으로 분할
소스 2 128 목적 2로 매핑
소스 3 64 소스 4와 함께 목적 4로 매핑
소스 4 64 소스 3과 함께 목적 4로 매핑
다음에 모든 가능한 목적 꼭지점들에 대한 모든 가능한 소스 꼭지점들의 2차원 행렬을 생성하기 위한 표가 만들어졌다. 거리는 픽셀 단위로 측정되며, 표 4는 그러한 표에 대한 예시이다.
소스 셀 목적 셀 소스 꼭지점 목적 꼭지점 거리
1 1 1 1 5
2 3
...
128 52
2 1 3
2 4
...
128 49
...
256 128 52
1 3 1 1 5
2 3
...
128 10
2 1 4
2 8
...
128 12
...
256 128 15
2 2 1 1 5
기타
표 4에 도시된 바와 같이, 각 소스 셀 꼭지점은 정확하게 하나의 목적 셀 꼭지점에 매핑된다.
모든 꼭지점의 최소 이동을 낳는 매핑을 연산하기 위해 최소 길이 프로세스가 실행된다. 이를 수행할 수 있는 많은 방법이 존재한다. 한가지 방법은 모든 소스 꼭지점의 최소 거리를 연산하고, 오름 차순으로 거리를 분류하며, 최고 수를 취하는 것이다. 이는 가장 멀리 이동해야 하는 꼭지점에게 라우팅의 우선권을 부여한다. 그러면, 목표 꼭지점은 라우팅 리스트에서 제거되고, 그 리스트는 재분류되며, 다음의 쌍에 대하여 동일한 프로세스가 반복된다.
일단 최소 길이 프로세스가 실행되면, 각 소스 꼭지점이 향하는 목표 꼭지점이 어떤 것인지를 정확하게 알게 된다. 그 후, 소정 수의 단계를 거쳐서 소스 x,y 좌표로부터 목표 x,y 좌표로 프로세스가 진행된다.30Hz 리프레쉬 비율과 3초 패턴 변형의 경우, 이는 90 단계가 될 것이다.
TV에 도달하는 NTSC 방송 비디오에 대해서 발명의 개시를 하였지만, 이 프로세스는 광범위한 비디오 표준에 적용 가능하다. 패킷 네트워크에 걸쳐 압축된 스트리밍 비디오의 사용 증가와 함께, MPEG-4와 H.264와 같은 표준이 점차 보급되고 있다. 이들 예시에 있어서, 텔레파이어 프로세스는 코덱을 직접 변환할 수 있는 유일한 기회를 갖는다. 이러한 변환의 이점은, 하드웨어에 대한 필요성이나 프로세스의 추가가 없는 경우, 비교적 작은 코드 변경이 상당한 시각화 기술을 만들어낼 수 있다는 것이다. 이동성 평가, 즉 P 및 B 프레임은 변경하지 않고 남겨둔 상태에서, H.264 스트림의 "I 프레임"을 변환하는 것이 일 실시형태가 될 수도 있다. 다음 I 프레임의 도착 이전에 일시적인 이동 프레임이 점차적이고 시각적으로 흥미로운 정보를 추가하는 한편, I 프레임은 전형적인 텔레파이어 패턴 프로세스와 유사한 방식에 의해 변형 가능하다.
본 시스템은 이미지 확장도 가능하게 한다. 특히, 사용자는 사용자가 선택한 정지 이미지로부터 확장된 새로운 이미지를 생성할 수 있다. 정지 이미지는 비디오의 스트림에서 캡쳐되거나 기존의 정지 이미지로서 선택된 것일 수 있다. 프로세스는 두꺼운 경계선으로 원본 정지 이미지를 둘러싸서 원본 이미지를 새로운 더 큰 이미지의 중앙에서 "시드"로 만든다. 그 후 프로세스는 정지 이미지 내의 시각 정보, 특히 외측 영역과 모서리부를 관찰하며, 원본 이미지를 시각적인 "확장"으로 둘러싼다. 이러한 이미지 확장은 기존의 텔레파이어 임베디드 시스템(Telefire Embedded System) 내에서 예시될 수 있으나, 다른 프로세스 방법이어도 좋다. 또한, 이것이 PC상에서 실행하는 이미지 조작이나 비디오 필터, 혹은 웹사이트가 될 가능성도 있다. 나아가, 카메라 내장형 휴대전화나 PDA에서도 잠재적으로 구현 가능하다. 촬영된 사진은 강화된 시각화를 부여받아 저장되거나 전송될 수 있다.
시스템은 이미지 확장을 구현하기 위해 색상 확장을 사용할 수 있다. 가장 간단한 방법은 낮은 처리 능력을 가진 장치나 추가되는 "경계선"이 비교적 얇은 경우에 적합할 수 있는 원본 이미지의 모시리부에서 색상을 단순 확장하는 것일 수 있다. 이미지 확장을 구현하기 위한 또 다른 방법은 원본 사진의 외측 영역 주위에서 색상, 그래디언트, 혹은 라인 이동을 검출하기 위해 에지 검출 프로세스를 사용하는 것이다. 이들 라인은 추가된 경계선으로 확장되어 잠재적인 추가 프로세스에 대해 분리된 셀의 경계로 사용될 수 있다. 이미지 확장을 구현하기 위한 또 다른 방법에서는, 프로세스가 원본 이미지를 잠재적인 배경의 데이터베이스에 비교한다. 배경은 색상이나 에지 매칭에 기초하여 선택되며, 원본 사진을 확장하는데 조정된다. 사용자는 선택된 사진에 대해 선택된 배경을 고르는 능력을 가질 수도 있다. 예컨대, 사용자는 뒷마당에서 사진을 찍은 후 하와이의 아름다운 해변의 배경을 페이딩해서 지인에게 이메일을 보낼 수 있다. 이미지 확장을 구현하는 또 다른 방법은, 최종 링에서 인접하는 픽셀의 연산에 기초하여 각각의 새로운 링을 유기적으로 키우는 방법으로 새로운 경계선을 채우는 시각화 프로세스이다.
앞서 본 발명의 특정 실시형태를 참조하여 설명하였지만, 첨부된 청구범위에 의해서 정의되는 범위, 발명의 정신과 원칙에서 벗어나지 않으면서 이 실시형태에 변경을 가하는 것을 당업자는 이해할 수 있을 것이다.

Claims (29)

  1. 저장부(34)를 갖는 시각 효과 장치(30)에 있어서,
    상기 저장부(34)에 접속되는 시각 효과 생성기(32)로서, 상기 저장부(34)에 저장되어 디스플레이 장치상에서 디스플레이되는 시각 효과를 생성하도록, 입력 신호를 변경하는 상기 시각 효과 생성기(32)를 구비하고,
    상기 시각 효과 생성기는, 상기 저장부에 저장된 패턴에 기초하여 상기 입력 신호를 변경하는 적어도 하나의 디지털 필터(48 또는 50)를 더 구비하며,
    상기 패턴은, 복수의 인접하는 셀을 갖는 매트릭스를 포함하고, 각각의 셀에 대응하는 신호의 변경된 부분은 해당 셀에만 관련된 상기 입력 신호에 있어서 하나 이상의 픽셀에 기초하여 생성되고, 상기 디스플레이 장치상에서 디스플레이되는 상기 시각 효과는 상기 신호의 복수의 변경된 부분인 것을 특징으로 하는 시각 효과 장치.
  2. 입력 신호를 수신하는 디스플레이 장치에서 시각 효과를 생성하는 방법에 있어서,
    복수의 인접하는 셀을 갖는 매트릭스인 패턴에 기초하여 상기 입력 신호에 대하여 하나 이상의 필터링 동작을 수행하되, 각각의 셀에 대응하는 상기 입력 신호의 변경된 부분은 해당 셀에만 관련된 상기 입력 신호에 있어서 하나 이상의 픽셀에 기초하여 생성되어 변경 신호를 생성하는 단계; 및
    상기 변경 신호를 디스플레이하기 위하여 디스플레이 장치에 상기 변경 신호를 출력하는 단계를 포함하며,
    상기 하나 이상의 필터링 동작은, 각각의 셀에 대한 상기 입력 신호에 있어서 상기 하나 이상의 픽셀의 색차(Chrominance)와 휘도(Luminance)를 평균화하고 상기 셀에 대한 색차와 휘도를 생성하는 셀 평균화 동작(Cell-averaging Operation) 및 상기 복수의 셀에 대한 상기 색차와 휘도를 평활화하도록 동작하는 셀 평활화 동작(Cell-smoothing Operation)을 포함하고, 이들 동작은 상기 신호의 각 픽셀에 대해 동시에 수행되는 것을 특징으로 하는 시각 효과를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 시각 효과 생성기는, 상기 시각 효과 생성기가 활성화되지 않은 경우에 변경 없이 상기 입력 신호가 디스플레이될 수 있도록 하는 바이패스부를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 매트릭스는 전체 디스플레이 장치 시청 영역을 구획(Subdivide)하는 것을 특징으로 하는 시각 효과 장치.
  6. 제 1 항에 있어서,
    상기 매트릭스는 60 내지 100개의 셀을 구비하는 것을 특징으로 하는 시각 효과 장치.
  7. 제 1 항에 있어서,
    상기 매트릭스의 각 셀은 셀 휘도와 셀 색차를 더 포함하며, 상기 셀 휘도는 상기 셀 내에서 상기 입력 신호로부터의 하나 이상의 픽셀의 평균 휘도에 대응하고, 상기 셀 색차는 상기 셀 내에서 상기 입력 신호로부터의 하나 이상의 픽셀의 평균 색차에 대응하는 것을 특징으로 하는 시각 효과 장치.
  8. 제 1 항에 있어서,
    상기 저장부(34)는 상기 매트릭스를 생성하는데 사용되는 패턴을 저장하는 패턴 메모리(46)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  9. 제 8 항에 있어서,
    상기 적어도 하나의 디지털 필터는 상기 매트릭스를 생성하기 위해 상기 패턴 메모리(46)로부터 상기 패턴을 수신하는 것을 특징으로 하는 시각 효과 장치.
  10. 제 9 항에 있어서,
    상기 디지털 필터는 상기 패턴 메모리에 저장된 제 1 패턴과 제 2 패턴 사이를 천이하는 것을 특징으로 하는 시각 효과 장치.
  11. 제 10 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은 상기 제 1 패턴과 상기 제 2 패턴 간의 중첩(Overlap)을 측정하는 단계를 포함하는 것을 특징으로 하는 시각 효과 장치.
  12. 제 10 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은 상기 제 1 패턴과 상기 제 2 패턴 간의 중첩의 양에 기초하여 상기 제 1 패턴을 상기 제 2 패턴에 매핑하는 단계를 포함하는 것을 특징으로 하는 시각 효과 장치.
  13. 제 10 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은,
    상기 제 1 패턴과 상기 제 2 패턴에 대해 꼭지점을 설정하는 단계; 및
    상기 제 1 패턴에 대한 꼭지점 중 하나와 상기 제 2 패턴의 꼭지점 중 하나 사이의 거리를 연산하는 단계를 포함하는 것을 특징으로 하는 시각 효과 장치.
  14. 제 13 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은 모든 꼭지점의 최소 이동을 형성하는 매핑을 선택하는 단계를 더 포함하는 것을 특징으로 하는 시각 효과 장치.
  15. 제 10 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은,
    상기 제 1 패턴과 상기 제 2 패턴에 대해 꼭지점을 설정하는 단계; 및
    리프레쉬 비율에 기초하여 결정된 소정 수의 스텝으로 상기 제 1 패턴에 대한 꼭지점으로부터 상기 제 2 패턴에 대한 꼭지점으로 이동하는 단계를 포함하는 것을 특징으로 하는 시각 효과 장치.
  16. 제 10 항에 있어서,
    상기 제 1 패턴과 상기 제 2 패턴 사이의 천이 동작은,
    상기 제 1 패턴과 상기 제 2 패턴 간의 중첩을 측정하는 단계;
    상기 중첩에 기초하여 상기 제 1 패턴을 상기 제 2 패턴에 매핑하는 단계;
    상기 제 1 패턴과 상기 제 2 패턴에 대해 꼭지점을 설정하는 단계;
    상기 제 1 패턴에 대한 꼭지점 중 하나와 상기 제 2 패턴의 꼭지점 중 하나 사이의 거리를 연산하는 단계;
    모든 꼭지점의 최소 이동을 형성하는 매핑을 선택하는 단계; 및
    리프레쉬 비율에 기초하여 결정된 소정 수의 스텝으로 상기 제 1 패턴의 꼭지점으로부터 상기 제 2 패턴의 꼭지점으로 이동하는 단계를 포함하는 것을 특징으로 하는 시각 효과 장치.
  17. 제 7 항에 있어서,
    상기 적어도 하나의 디지털 필터는 셀의 일부인 픽셀의 색차와 휘도를 평균화하는 셀 평균화 필터(48)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 디지털 필터는 상기 셀 내에서 픽셀 값의 창을 이용하여 상기 셀 휘도와 셀 색차를 결정하는 셀 평활화 필터(50)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  19. 제 3 항에 있어서,
    상기 적어도 하나의 디지털 필터는 평균 평활화 필터(50)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  20. 제 3 항에 있어서,
    상기 적어도 하나의 디지털 필터는 스킵(Skip) 및 필(Fill) 평활화 필터(50)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  21. 제 3 항에 있어서,
    상기 적어도 하나의 디지털 필터는 가중(Weighted) 평활화 필터(50)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  22. 제 3 항에 있어서,
    상기 적어도 하나의 디지털 필터는 셀 평활화 필터(50)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  23. 제 3 항에 있어서,
    새로운 패턴의 다운로드를 가능하게 하는 사용자 인터페이스부(54)를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
  24. 제 23 항에 있어서,
    상기 새로운 패턴은 상기 입력 신호 내에 임베드된(Embedded) 신호로부터 다운로드되는 것을 특징으로 하는 시각 효과 장치.
  25. 제 23 항에 있어서,
    상기 사용자 인터페이스는 상기 시각 효과의 동결(Freezing)을 가능하게 하는 것을 특징으로 하는 시각 효과 장치.
  26. 제 23 항에 있어서,
    상기 사용자 인터페이스는 상기 시각 효과의 되감기를 가능하게 하는 것을 특징으로 하는 시각 효과 장치.
  27. 제 23 항에 있어서,
    상기 사용자 인터페이스(54)는 상기 입력 신호의 디스플레이를 가능하게 하는 것을 특징으로 하는 시각 효과 장치.
  28. 제 1 항에 있어서,
    상기 신호는 텔레비전 신호, 비디오 신호 혹은 정지 이미지를 포함하는 것을 특징으로 하는 시각 효과 장치.
  29. 저장부;
    상기 저장부에 접속되는 시각 효과 생성기로서, 상기 저장부에 저장되어 텔레비전상에서 디스플레이되는 시각 효과를 생성하기 위해 입력 텔레비전 신호를 변경하며, 또한 상기 저장부에 저장된 패턴에 기초하여 상기 입력 텔레비전 신호를 변경하는 디지털 필터를 더 포함하는 상기 시각 효과 생성기; 및
    상기 시각 효과 생성기가 활성화되지 않은 때에는 변경 없이 상기 입력 텔레비전 신호가 디스플레이될 수 있도록 하는 바이패스부를 구비하며,
    상기 시각 효과는 복수의 필터링된 인접하는 셀을 갖는 매트릭스를 포함하고, 상기 저장부는 상기 매트릭스를 생성하는데 사용되는 패턴을 포함한 패턴 메모리를 더 구비하는 것을 특징으로 하는 시각 효과 장치.
KR1020077002232A 2004-06-29 2005-06-29 텔레비전 시각 아트워크 생성 시스템 및 방법 KR100896098B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US58446504P 2004-06-29 2004-06-29
US60/584,465 2004-06-29
US11/170,282 2005-06-28
US11/170,282 US7567297B2 (en) 2004-06-29 2005-06-28 Television visual artwork generation system and method

Publications (2)

Publication Number Publication Date
KR20070047768A KR20070047768A (ko) 2007-05-07
KR100896098B1 true KR100896098B1 (ko) 2009-05-06

Family

ID=35783372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002232A KR100896098B1 (ko) 2004-06-29 2005-06-29 텔레비전 시각 아트워크 생성 시스템 및 방법

Country Status (5)

Country Link
US (1) US7567297B2 (ko)
EP (1) EP1774798A4 (ko)
JP (1) JP2008505556A (ko)
KR (1) KR100896098B1 (ko)
WO (1) WO2006004963A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486828B2 (en) * 2004-11-22 2009-02-03 Motorola, Inc. Method and apparatus for processing an image data for output
KR100631610B1 (ko) * 2004-11-26 2006-10-09 엘지전자 주식회사 휴대단말기의 영상신호 합성장치 및 방법
US8643661B1 (en) * 2006-06-21 2014-02-04 Marvell International Ltd. Non raster row pixel processing
EP1890475A1 (en) * 2006-08-15 2008-02-20 STMicroelectronics (Research & Development) Limited Video frame buffer
KR101314283B1 (ko) * 2010-12-08 2013-10-02 엘지디스플레이 주식회사 액정 표시장치와 이의 구동방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965844A (en) 1985-04-03 1990-10-23 Sony Corporation Method and system for image transformation
US5241372A (en) 1990-11-30 1993-08-31 Sony Corporation Video image processing apparatus including convolution filter means to process pixels of a video image by a set of parameter coefficients
US5282262A (en) * 1992-04-09 1994-01-25 Sony Corporation Method and apparatus for transforming a two-dimensional video signal onto a three-dimensional surface

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2213019B (en) * 1980-08-19 1989-10-25 Elliott Brothers London Ltd Head-up display systems
US5325446A (en) * 1989-05-19 1994-06-28 Sony Corporation Apparatus for image transformation
JPH04137873A (ja) * 1990-09-28 1992-05-12 Toshiba Corp テレビジョン受信機
US5369443A (en) * 1991-04-12 1994-11-29 Abekas Video Systems, Inc. Digital video effects generator
JP3223639B2 (ja) 1993-04-15 2001-10-29 ソニー株式会社 画像メモリのリードアドレス発生方法
JP3570436B2 (ja) * 1994-06-03 2004-09-29 ソニー株式会社 テレビジョン信号の放送システム及びテレビジョン受信装置
US5694260A (en) * 1995-12-11 1997-12-02 Houston; Christopher M. Video visual effects generator
GB2348764B (en) * 1999-04-09 2003-05-28 Sony Uk Ltd Signal generator
US6473114B1 (en) * 2000-04-14 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for indicating change of speaker in a videoconference application
TWI248764B (en) * 2004-09-01 2006-02-01 Realtek Semiconductor Corp Method and apparatus for generating visual effect

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965844A (en) 1985-04-03 1990-10-23 Sony Corporation Method and system for image transformation
US5241372A (en) 1990-11-30 1993-08-31 Sony Corporation Video image processing apparatus including convolution filter means to process pixels of a video image by a set of parameter coefficients
US5282262A (en) * 1992-04-09 1994-01-25 Sony Corporation Method and apparatus for transforming a two-dimensional video signal onto a three-dimensional surface

Also Published As

Publication number Publication date
US7567297B2 (en) 2009-07-28
KR20070047768A (ko) 2007-05-07
WO2006004963A2 (en) 2006-01-12
EP1774798A4 (en) 2007-07-18
EP1774798A2 (en) 2007-04-18
WO2006004963A3 (en) 2006-05-18
US20060104603A1 (en) 2006-05-18
JP2008505556A (ja) 2008-02-21

Similar Documents

Publication Publication Date Title
US8412228B2 (en) Mobile terminal and photographing method for the same
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
CN104702926B (zh) 摄像机
US8170095B2 (en) Faster image processing
US5185666A (en) Digitized film image processing system with bordered split screen display
US5321500A (en) Non-real-time film scanning system
US6795581B1 (en) Continuous gradation compression apparatus and method, continuous gradation expansion apparatus and method, data processing apparatus and electron device, and memory medium storing programs for executing said methods
JP5525201B2 (ja) 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US20190141250A1 (en) Motion video output for multiple displays
CN111263208A (zh) 一种画面合成方法、装置、电子设备及存储介质
US7787023B2 (en) Video signal processing apparatus
CN1745589A (zh) 用于立体图像的视频滤波
JPH05502149A (ja) 高解像度センサのための標準解像度処理装置を用いた分布形ディジタル信号処理システム
JP2006238163A5 (ko)
US5155586A (en) Method and apparatus for flare correction
KR100896098B1 (ko) 텔레비전 시각 아트워크 생성 시스템 및 방법
US20030184675A1 (en) Digital video data scaler and method
US5181100A (en) Digital video processing system with mixing prefilter
US20080297531A1 (en) Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program
US7042489B2 (en) Image processing
WO2005006772A1 (ja) 画像表示装置及び画像表示方法
US20050190270A1 (en) Method and apparatus for processing image signal
US20080260290A1 (en) Changing the Aspect Ratio of Images to be Displayed on a Screen
JPH06225317A (ja) 電子スチルカメラ
JP4923033B2 (ja) ドメインゲイン修正を利用した画像強化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130430

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee