KR20050010828A - 비디오 이미지 포맷팅 기술 - Google Patents

비디오 이미지 포맷팅 기술 Download PDF

Info

Publication number
KR20050010828A
KR20050010828A KR10-2004-7018749A KR20047018749A KR20050010828A KR 20050010828 A KR20050010828 A KR 20050010828A KR 20047018749 A KR20047018749 A KR 20047018749A KR 20050010828 A KR20050010828 A KR 20050010828A
Authority
KR
South Korea
Prior art keywords
image
data
image frame
pan
video
Prior art date
Application number
KR10-2004-7018749A
Other languages
English (en)
Inventor
존 팔머 만닝
Original Assignee
톰슨 라이센싱 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 에스.에이. filed Critical 톰슨 라이센싱 에스.에이.
Publication of KR20050010828A publication Critical patent/KR20050010828A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Abstract

제1 종횡비를 갖는 비디오 이미지 프레임(10)을 포맷팅하여 상이한 종횡비를 갖는 이미지 프레임을 산출하는 것은 포맷팅 목적을 위한 이미지 캡처 윈도우를 정의하는 이미지 내의 팬·스캔 픽셀 좌표(P)를 설정함으로써 용이해진다. 예측기(22)는 주요 액티비티의 위치를 결정하기 위해 이미지 프레임을 검사함으로써 팬·스캔 픽셀 좌표를 결정한다. 예측기(22)는 비디오 데이타, 오디오 데이타 및 폐쇄 캡셔닝 정보와 같은 기타 데이타 중 적어도 하나를 검사함으로써 주요 액티비티의 위치를 결정한다.

Description

비디오 이미지 포맷팅 기술{VIDEO IMAGE FORMATTING TECHNIQUE}
역사상, 동영상 산업이 일찍이, 시청자가 세로보다 가로가 더 넓은 직사각형 이미지를 선호한다고 결정한 후에 영화에 대해 종횡비 4:3을 채용하였기 때문에, 미국의 NTSC(National Television Systems Committee)는 텔레비젼 이미지에 대해 그와 동일한 종횡비를 채용하였다. 나머지 나라들의 텔레비젼 표준 기구도 4:3 종횡비를 채용하였다. 대연합(Grand Alliance)에 의해 제안되고 브로드캐스터 국제 연합의 1994년 회의 논문집 즉, 1994년 3월 20일에서 24일의 48회 연례 브로드캐스트 엔지니어링 회의 논문집에 설명된 고화질 지상 브로드캐스트 시스템과 같은 고화질 텔레비젼의 등장으로, 이제 컨텐츠 제공자는 대형 화면 텔레비젼 디스플레이 장치 상에 디스플레이하기 위한 16:9 종횡비를 갖는 고화질 텔레비젼 프로그래밍을 제공한다.
고화질의 대형 화면 텔레비젼 디스플레이 장치를 위한 시장이 계속해서 성장하고 있지만, 4:3 종횡비를 갖는 이미지만을 디스플레이할 수 있는 표준 텔레비젼 디스플레이 장치의 큰 내재된 기반이 남아 있다. 4:3 종횡비를 갖는 이미지만을 디스플레이할 수 있는 텔레비젼 디스플레이 장치 상에 디스플레이하기 위해 16:9 종횡비를 갖는 대형 화면 비디오 이미지의 포맷팅을 용이하게 하기 위해서는, 대형 화면 컨텐츠의 제공자는 종종 각각의 개별 프레임 내의 픽셀 좌표를 인코딩하여, "팬·스캔(pan and scan)" 동작에 의해 이미지 포맷팅 변환을 가능하게 한다. 마찬가지로, 16:9 종횡비 디스플레이 장치의 내재된 기반이 커지는 지금으로부터 수년 동안, 4:3 종횡비 영역으로부터의 비디오 컨텐츠는 궁극적으로 계속해서 브로드캐스트될 것이다. 따라서, 이와 같이, 4:3 종횡비 이미지를 16:9 종횡비를 갖는 비디오 스크린 내에 맞도록 크로핑(cropping)하는 것에 대한 요구가 존재할 것이다.
용어 "팬·스캔"은 디지털 대형 화면 비디오 이미지 프레임 내의 고정-크기의 윈도우를 그 윈도우 내의 픽처 요소(픽셀)의 행을 효과적으로 패닝(pannig)하고 나서 그 다음의 행으로 스캐닝하여 후속하는 패닝 동작을 개시함으로써 캡처링하기 위한 잘 알려진 기술을 의미한다. 설명된 바와 같이, 팬·스캔 포맷 동작과 관련된 이미지 캡처 윈도우는 규정된 크기를 갖는다. 따라서, 일반적으로 "팬·스캔 픽셀 좌표"라고 불리는 단일 픽셀 좌표는 그러한 윈도우를 정의할 것이다. 실제로, 팬·스캔 픽셀 좌표는 그 윈도우의 중심을 정의한다. 팬·스캔 픽셀 좌표에 대해 설정된 위치는 포맷팅 후에 그 대형 화면 이미지의 어느 부분이 남아있을 지에 영향을 준다. 예를 들면, 팬·스캔 픽셀 좌표의 위치를 대형 화면 이미지의 중심에 설정하는 것은 일반적으로, 이미지의 가장자리에 일어나는 임의의 액티비티를 포함하지 않을 포맷팅된 이미지를 산출한다. 그러한 곤란을 피하기 위하여, 비디오 이미지 컨텐츠의 몇몇 제공자들은 포맷팅이 용이하도록 팬·스캔 픽셀 좌표를 내장한다. 그러나, 비디오 이미지 컨텐츠는 동적이기 때문에, 그러한 컨텐츠 제공자들은 종종, 충실한 포맷팅이 가능하도록 팬·스캔 픽셀 좌표를 각각의 연속적인 이미지 프레임에 내장해야 한다. 그러한 팬·스캔 픽셀 좌표를 제공하는 것은 매우 장황한 프로세스로 판명되어서 실제로 소수의 컨텐츠 제공자들만이 이를 시행한다.
종전의 단점을 극복하는 팬·스캔 픽셀 좌표를 자동적으로 설정하기 위한 기술이 필요하다.
<관련 출원에 대한 상호 참조>
본 출원은 35 U.S.C.119에 근거하여, 명칭이 "비디오 이미지 포맷팅 기술"인 2002년 5월 20일자 미국 국제 가출원 번호 제10/151,599호에 대한 우선권을 주장하는 가출원이며, 그것은 여기서 참조로써 통합된다.
<기술 분야>
본 발명은 상이한 면적을 가진 디스플레이 장치 상에서 프로세싱 또는 디스플레이하기 위하여 비디오 이미지의 면적을 포맷팅하기 위한 기술과 관련된 것이다.
도 1은 대형 화면 비디오 이미지의 프레임을 도시.
도 2는 팬·스캔 픽셀 좌표의 위치를 설정하여 도 1의 이미지의 포맷팅을 용이하게 하기 위한 본 원리에 따른 장치의 블록 개략도.
간략하게, 본 원리를 따르면, 이미지 프레임 내에서, 그 이미지 프레임을 제1 종횡비(즉, 제1 면적)에서 제2 종횡비(즉, 제2 면적)로 포맷팅하기 위해 이미지 캡처 윈도우를 정의하는 픽셀 좌표(예를 들어, "팬·스캔" 픽셀 좌표)를 설정하기 위한 방법이 제공된다. 이 방법에 따라, 주요 액티비티(most pertinent activity)의 위치를 확정하기 위해 이미지 프레임에 대한 검사가 시행된다. 이미지 프레임 내에 주요 액티비티의 위치를 설정하기 위한 몇몇 가능한 기술이 존재한다. 예를들면, MPEG 인코딩된 비디오 이미지 프레임의 경우에, 가장 큰 변화를 나타내는 I, P 및 B 픽처 내의 매크로 블록과 관련된 좌표, 또는 가장 큰 변화를 나타내는 모션 벡터의 위치는 그 이미지 내의 주요 액티비티의 좌표를 정의할 수 있다.
대안적으로, 비트 레이트가 최대 변화율을 나타내는 픽셀의 비디오 이미지 프레임 내의 위치도 주요 액티비티의 위치를 구성할 수 있다. 비디오 데이타에만 의존하는 것보다, 사운드, 사운드 효과 또는 이미지 내의 소스와 관련된 서라운드 사운드에 대응하는 오디오 데이타도 주요 액티비티의 위치를 설정할 수 있다. 대안적으로, 또는 비디오 데이타 및/또는 오디오 데이타를 사용하는 것에 더하여, 폐쇄된 캡션 정보의 위치와 같은 기타 데이타도 이미지 내의 주요 액티비티의 위치를 설정할 수 있다. 실제로, 이미지 내의 주요 액티비티의 위치는 비디오 데이타, 오디오 데이타 및 기타 데이타의 가중된 합계에 의해 주어질 수 있다. 이미지 내의 주요 액티비티의 위치를 설정하였다면, 팬·스캔(pan and scan) 픽셀 좌표가 이미지 내의 주요 액티비티의 위치와 일치하도록 설정된다.
본 발명의 다른 양태에 따르면, 제1 종횡비를 갖는 이미지를 포맷팅하여 제2 종횡비를 갖는 이미지를 산출하기 위한 기술이 제공된다. 이 방법에 따라 팬·스캔 픽셀 좌표가 설정된다. 즉, 이 좌표는 주요 액티비티의 이미지 내의 위치에 따라 위치된다. 실제로, 텔레비젼 이미지에 있어서, 비디오 이미지 데이타, 오디오 데이타 및/또는 기타 데이타 중 하나 이상의 조합이 처리되어 그 이미지 내의 주요 액티비티의 위치를 산출한다. 팬·스캔 픽셀 좌표는 그 이미지 내의 주요 액티비티의 위치와 일치하도록 위치된다. 팬·스캔 픽셀 좌표는 이미지 캡처 윈도우의위치를 정의하고, 이것은 팬·스캔 포맷팅 동작과 관련하여 사용될 때, 요구되는 종횡비를 갖는 이미지의 캡처를 용이하게 한다.
도 1은 대형 화면 텔레비젼 디스플레이 장치(도시되지 않음) 상에 디스플레이하기 위한 16:9 종횡비를 갖는 일반적인 대형 화면 비디오 이미지 프레임(10)을 도시한다. 표준 텔레비젼 디스플레이 장치(도시되지 않음) 상에 디스플레이하기 위한 4:3 종횡비를 갖는 "표준" 프레임 이미지와 크기 상 대응하는 제2 이미지 프레임(12)이 이미지 프레임(10) 상에 겹쳐진다. 포맷팅하지 않고서는, 대형 화면 이미지 프레임(10)은 표준 텔레비젼 디스플레이 장치 상에 디스플레이하기에 확실히 너무 크다. 따라서, 대형 화면 비디오 이미지 프레임(10)은 표준 크기의 비디오 이미지(12)를 산출하는 포맷팅 처리를 거쳐야 한다.
대형 화면 비디오 이미지 프레임(10)을 포맷팅하여 표준 크기(4:3 종횡비)의 비디오 이미지 프레임(12)를 산출하기 위해 존재하는 다양한 기술 가운데, "팬·스캔(pan and scan)" 기술이 있다. 팬·스캔 기술은 표준 이미지 프레임(12)과 크기 상 동일한 공간에 걸친 이미지 캡처 윈도우를 설정함으로써 대형 화면 이미지 프레임{즉, 이미지 프레임(10)}의 포맷팅을 가능하게 한다. 이미지 캡처 윈도우 내의각 행의 픽셀들이 연속적으로 패닝되고, 그 후에, 후속하는 패닝 동작을 위해 다음 행의 픽셀들로 점프하는 스캐닝 동작이 일어난다. 팬·스캔 포맷팅 동작과 관련된 이미지 캡처 윈도우는 고정된 크기를 갖기 때문에, 단일 픽셀 좌표(이후로는 "팬·스캔 픽셀 좌표")가 그 윈도우를 정의할 수 있다. 실제로, 팬·스캔 픽셀 좌표는 이미지 캡처 윈도우의 중심을 정의한다.
이전에는, 대형 화면 비디오 이미지 컨텐츠의 몇몇 제공자들은 팬·스캔 기술에 의한 포맷팅을 용이하게 하기 위하여 팬·스캔 픽셀 좌표를 내장하였다. 대형 화면 비디오 이미지(10) 내의 컨텐츠가 동적이기 때문에, 팬·스캔 픽셀 좌표의 위치는 포맷팅 후에 얻어지는 결과하는 이미지가 대형 화면 이미지와 관련된 컨텐츠를 충실하게 반영하는 것을 보장하도록 변해야 한다. 몇몇 예에서, 팬·스캔 좌표는 매 프레임마다 변해야하고, 이러한 이유로, 다수의 컨텐츠 제공자들은 그렇게 하는 데 드는 시간과 노력 때문에 팬·스캔 좌표를 제공하지 않는다.
도 2는 팬·스캔 포맷팅 동작에 의해 도 1의 대형 화면 이미지(10)와 같은 이미지를 포맷팅하는 것을 용이하게 하기 위하여 팬·스캔 픽셀 좌표를 자동적으로 설정하기 위한 본 원리에 따른 장치(20)를 도시한다. 장치(20)는 이미지 내의 주요 액티비티(most pertinent activity) 위치에 따라 그 이미지에 대한 팬·스캔 픽셀 좌표를 결정하도록 서비스하는 예측기(22)를 포함한다. 예측기(22)는 일반적으로, 비디오 데이타, 오디오 데이타 또는 폐쇄 캡셔닝(closed captioning) 데이타와 같은 기타 데이타 중 하나 이상으로부터 그 이미지 내의 주요 액티비티 위치를 설정하기 위해 그러한 데이타를 처리하기 위한 프로세서, 디지털 신호 프로세서(DSP), 또는 PAL(programmable Array Logic) 또는 FPGA(Field Programmable Gate Array)와 같은 고정 논리 배열 또는 그러한 소자들의 조합을 포함한다. 이미지 내의 주요 액티비티의 위치를 알면, 팬·스캔 픽셀 좌표는 그 위치와 일치하도록 설정된다.
예를 들어, MPEG 인코딩된 비디오 데이타의 경우에, 예측기(22)는 I, P 및 B 픽처 내의 매크로 블록의 좌표에 따라 팬·스캔 픽셀 좌표를 설정할 수 있다. 대안적으로, MPEG 인코딩된 비디오 이미지 데이타의 경우에, 예측기(22)는 모션 벡터가 가장 큰 변화를 나타내는 위치에 따라 팬·스캔 픽셀 좌표를 설정할 수 있다. 또다른 대안적인 접근에 따르면, 예측기(22)는 최고의 비트 레이트를 갖는 이미지 내의 픽셀의 위치에 따라 팬·스캔 픽셀 좌표를 설정할 수 있다.
팬·스캔 픽셀 좌표를 결정하는 데 비디오 데이타를 사용하기 보다, 예측기(22)는 이러한 목적으로 오디오 데이타를 사용할 수 있다. 예를 들어, 예측기(22)는 사운드의 위치(왼쪽 또는 오른쪽) 또는 최대 크기를 갖는 사운드 효과의 위치에 대응하는 이미지 내의 주요 액티비티 위치를 결정하는 데 디지털 및/또는 아날로그 오디오 데이타를 사용할 수 있다. 예측기(22)는 또한, 이미지 내의 주요 액티비티 위치를 결정하고 팬·스캔 픽셀 좌표의 위치를 그 위치와 일치하도록 설정하는 데 서라운드 사운드의 위치(중앙, 왼쪽, 오른쪽 또는 서라운드 왼쪽/오른쪽)를 사용할 수 있다.
예측기(22)는 또한, 주요 액티비티의 이미지 내의 위치를 결정하는 데 폐쇄 캡셔닝 정보의 좌표와 같은 기타 데이타를 사용할 수 있다. 일반적으로, 폐쇄 캡셔닝 정보는 비디오 이미지 내에서 사람과 매우 근접하게 나타나며, 그 사람의 대사가 폐쇄된 캡션에 텍스트로서 나타난다. 따라서, 폐쇄 캡셔닝 정보의 좌표는 보통, 주요 액티비티의 이미지 내의 위치에 대하여 좋은 예측을 제공한다.
실제로, 예측기(22)는 일반적으로, 이미지 내의 주요 액티비티의 위치를 결정하여 팬·스캔 픽셀 좌표를 설정하는 데 비디오 데이타, 오디오 데이타 및 기타 데이타의 조합을 사용한다. 이 때문에, 예측기(22)는 팬·스캔 픽셀 좌표 P를 설정하는 데 다음의 관계를 사용할 수 있다.
P= X1*F(V) + X2*F(A) + X3*F(D).
이 때, X1 = 비디오 데이타에 할당된 가중 인자(0<X1<1)
X2 = 오디오 데이타에 할당된 가중 인자(0<X2<1)
X3 = 기타 데이타에 할당된 가중 인자(0<X3<1)
F(V) = 비디오 데이타를 사용하여 예측된 좌표
F(A) = 오디오 데이타를 사용하여 예측된 좌표
F(D) = 기타 데이타를 사용하여 예측된 좌표
단, X1 + X2 + X3 = 1.
가중 인자 X1, X2 및 X3는 경험적으로 결정될 수 있다.
예측기(22)의 출력 P(즉, 팬·스캔 픽셀 좌표)는 인코더, 디코더, 또는 비디오 이미지 상에서 팬·스캔 포맷팅 동작을 수행하는 기능을 갖는 기타 장치의 형태를 취할 수 있는 비디오 프로세서(24)로 전달된다. 다시 말하면, 프로세서(24)는팬·스캔 이미지 캡처 윈도우의 위치를 결정하는 데 예측기(22)에 의해 설정되는 팬·스캔 좌표 P를 사용한다. 팬·스캔 이미지 캡처 윈도우의 위치를 설정하면, 프로세서(24)는 요구되는 종횡비로 비디오 이미지를 포맷할 수 있다. 실제로, 프로세서(24)는 매사추세츠 말보로 미디어 100의 "Media 100 CineStream" 소프트웨어, 또는 로드 아일랜드 프로비던스 매쓰메티컬 테크놀로지사의 MTI IntelliDeck® 소프트웨어와 같은 몇몇 잘 알려진 비디오 편집 프로그램 중 하나와 컴퓨터 프로그램되는 형태를 취할 수 있다.
실제로, 장치(20)에 의해 수신된 입력 비디오 데이타 내의 프레임들은 대형 화면 비디오 이미지 데이타에 대응하는 16:9 종횡비를 갖고, 프로세서(24)는 팬·스캔 포맷팅 동작을 수행하여 4:3 종횡비를 갖는 이미지를 산출한다. 그러나, 입력 비디오 데이타 내의 프레임들은 표준 이미지 폭과 여분의 이미지 폭을 갖는 영화 전용의 비디오 이미지의 경우에 5.5:3 또는 7:3과 같은 다른 종횡비를 가질 수 있다. 사실상, 입력 비디오 이미지 데이타 내의 프레임은 4:3 종횡비를 가질 수 있고, 프로세서(24)는 예측기(22)에 의해 예측된 픽셀 좌표에 따라 팬·스캔 동작을 수행하여, 그 종횡비를 16:9로 변경하도록 그 이미지 프레임을 크로핑(cropping)할 수 있다.
지금까지, 비디오 이미지 프레임 내에서 이미지 종횡비를 변경하도록 이미지를 포맷팅하기 위해 이미지 캡처 윈도우를 정의하는 팬·스캔 픽셀 좌표 위치를 설정하기 위한 기술을 설명하였다.
본 기술은 포스트-프로덕션(post-production) 액티비티 즉, 최초에 이미 캡처링된 이미지 프레임의 포맷팅의 관점에서 설명되었지만, 본 기술은 프리-프로덕션 액티비티에도 적용된다. 사실상, 예측기(20)는 "라이브(live)" 비디오 이미지 데이타를 쉽게 처리하여, 대안적인 종횡비를 위한 후속적인 편집 이전에 팬·스캔 픽셀 좌표를 산출할 수 있다.

Claims (22)

  1. 제1 종횡비를 갖는 이미지(10)를 포맷팅하여 제2 종횡비를 갖는 이미지를 산출하는 데 유용한 이미지 캡처 윈도우를 정의하는 팬·스캔 픽셀 좌표(pan and scan pixel coordinate; P)를 설정하기 위한 방법에 있어서,
    입력 이미지 프레임 내의 주요 액티비티(most pertinent activity)의 위치를 확정하기 위해 상기 입력 이미지 프레임을 검사하는 단계; 및
    상기 입력 이미지 프레임 내의 주요 액티비티의 위치에 따라 상기 팬·스캔 픽셀 좌표를 설정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지 프레임은 비디오 이미지를 포함하는 방법.
  3. 제2항에 있어서,
    상기 비디오 이미지 내의 주요 액티비티의 위치는 상기 비디오 이미지가 MPEG 인코딩될 때, I, P 및 B 픽처 내의 매크로 블록의 좌표에 따라 확정되는 방법.
  4. 제2항에 있어서,
    상기 비디오 이미지 내의 주요 액티비티의 위치는 상기 비디오 이미지가 MPEG 인코딩될 때, 그러한 MPEG 인코딩과 관련된 모션 벡터가 최대 변화를 나타내는 위치로부터 확정되는 방법.
  5. 제2항에 있어서,
    상기 비디오 이미지 내의 주요 액티비티의 위치는 픽셀이 최대 비트 레이트를 나타내는 이미지의 위치로부터 확정되는 방법.
  6. 제1항에 있어서,
    상기 이미지 프레임을 검사하는 단계는 그와 관련된 오디오 데이타를 검사하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 오디오 데이타를 검사하는 단계는 그러한 오디오 데이타의 소스와 관련된 이미지 데이타 내의 위치를 결정하는 단계를 포함하는 방법.
  8. 제6항에 있어서,
    상기 오디오 데이타를 검사하는 단계는 최대 사운드 크기와 관련된 이미지 프레임 내의 위치를 결정하는 단계를 포함하는 방법.
  9. 제6항에 있어서,
    상기 오디오 데이타를 검사하는 단계는 서라운드 사운드 기점과 관련된 이미지 내의 위치를 결정하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 이미지를 검사하는 단계는 폐쇄 캡셔닝 정보(closed captioning information)가 상기 이미지의 어디에 나타나는 지를 결정하는 단계를 포함하는 방법.
  11. 제1항에 있어서,
    상기 이미지를 검사하는 단계는 비디오 데이타, 오디오 데이타 및 이미지와 관련된 기타 데이타를 검사하는 단계를 포함하는 방법.
  12. 제11항에 있어서,
    상기 팬·스캔 픽셀 좌표(P)가 관계 P = X1*F(V) + X2*F(A) + X3*F(D)
    - X1 = 비디오 데이타에 할당된 가중 인자(0<X1<1),
    X2 = 오디오 데이타에 할당된 가중 인자(0<X2<1),
    X3 = 기타 데이타에 할당된 가중 인자(0<X3<1),
    F(V) = 비디오 데이타를 사용하여 예측된 좌표,
    F(A) = 오디오 데이타를 사용하여 예측된 좌표,
    F(D) = 기타 데이타를 사용하여 예측된 좌표이고,
    X1 + X2 + X3 = 1 -
    에 따라 상기 비디오, 오디오 및 기타 데이타로부터 결정되는 방법.
  13. 제11항에 있어서,
    상기 기타 데이타는 폐쇄 캡셔닝 정보를 포함하는 방법.
  14. 제1 종횡비로부터 제2 종횡비로 이미지를 포맷팅하는 데 유용한 이미지 캡처 윈도우를 정의하는 팬·스캔 픽셀 좌표(P)를 설정하기 위한 장치에 있어서,
    이미지 프레임 내의 주요 액티비티의 위치를 확정하기 위해 상기 이미지 프레임을 검사하기 위한 수단; 및
    상기 이미지 내의 주요 액티비티의 위치에 따라 상기 팬·스캔 픽셀 좌표를 설정하기 위한 수단
    를 포함하는 장치.
  15. 제14항에 있어서,
    상기 검사 수단은 비디오 데이타, 오디오 데이타 및 상기 이미지와 관련된 기타 데이타 중 적어도 하나를 검사하는 수단을 포함하는 장치.
  16. 제15항에 있어서,
    상기 결정 수단은 관계 P = X1*F(V) + X2*F(A) + X3*F(D)
    - X1 = 비디오 데이타에 할당된 가중 인자(0<X1<1),
    X2 = 오디오 데이타에 할당된 가중 인자(0<X2<1),
    X3 = 기타 데이타에 할당된 가중 인자(0<X3<1),
    F(V) = 비디오 데이타를 사용하여 예측된 좌표,
    F(A) = 오디오 데이타를 사용하여 예측된 좌표,
    F(D) = 기타 데이타를 사용하여 예측된 좌표이고,
    X1 + X2 + X3 = 1 -
    에 따라 상기 팬·스캔 픽셀 좌표(P)를 설정하는 수단을 포함하는 장치.
  17. 제1 종횡비를 갖는 입력 이미지 프레임을 포맷팅하여 제2 종횡비를 갖는 포맷팅된 이미지 프레임을 산출하기 위한 방법에 있어서,
    상기 이미지 프레임 내에서, 주요 액티비티와 관련된 이미지 프레임 내의 위치와 충분히 일치하는 팬·스캔 픽셀 좌표(P)를 설정하는 단계; 및
    이미지 캡처 윈도우의 중심을 상기 팬·스캔 픽셀 위치로 함과 함께, 상기 입력 이미지 프레임을 패닝(panning)하고 스캐닝(scanning)하는 단계
    를 포함하는 방법.
  18. 제17항에 있어서,
    상기 주요 액티비티를 갖는 이미지 프레임 내의 위치는 비디오 데이타, 오디오 데이타 및 상기 이미지 프레임과 관련된 기타 데이타 중 적어도 하나를 검사함으로써 결정되는 방법.
  19. 제18항에 있어서,
    상기 팬·스캔 픽셀 좌표(P)는 관계 P = X1*F(V) + X2*F(A) + X3*F(D)
    - X1 = 비디오 데이타에 할당된 가중 인자(0<X1<1),
    X2 = 오디오 데이타에 할당된 가중 인자(0<X2<1),
    X3 = 기타 데이타에 할당된 가중 인자(0<X3<1),
    F(V) = 비디오 데이타를 사용하여 예측된 좌표,
    F(A) = 오디오 데이타를 사용하여 예측된 좌표,
    F(D) = 기타 데이타를 사용하여 예측된 좌표이고,
    X1 + X2 + X3 = 1 -
    에 따라 결정되는 방법.
  20. 제1 종횡비를 갖는 입력 이미지 프레임을 포맷팅하여 제2 종횡비를 갖는 포맷팅된 이미지 프레임을 산출하기 위한 장치에 있어서,
    상기 이미지 프레임 내에서, 주요 액티비티와 관련된 이미지 프레임 내의 위치와 충분히 일치하는 팬·스캔 픽셀 좌표(P)를 설정하기 위한 수단;
    이미지 캡처 윈도우의 중심을 상기 팬·스캔 픽셀 위치로 함과 함께, 상기 입력 이미지 프레임을 패닝하고 스캐닝하여, 상기 입력 이미지 프레임을 포맷팅하여 상기 포맷팅된 이미지 프레임을 산출하기 위한 수단
    을 포함하는 장치.
  21. 제20항에 있어서,
    상기 설정 수단은 비디오 데이타, 오디오 데이타 및 상기 이미지 프레임과 관련된 기타 데이타 중 적어도 하나를 검사함으로써, 상기 주요 액티비티를 갖는 이미지 프레임 내의 위치를 설정하는 장치.
  22. 제21항에 있어서,
    상기 설정 수단은 관계 P = X1*F(V) + X2*F(A) + X3*F(D)
    - X1 = 비디오 데이타에 할당된 가중 인자(0<X1<1),
    X2 = 오디오 데이타에 할당된 가중 인자(0<X2<1),
    X3 = 기타 데이타에 할당된 가중 인자(0<X3<1),
    F(V) = 비디오 데이타를 사용하여 예측된 좌표,
    F(A) = 오디오 데이타를 사용하여 예측된 좌표,
    F(D) = 기타 데이타를 사용하여 예측된 좌표이고,
    X1 + X2 + X3 = 1 -
    에 따라 상기 팬·스캔 픽셀 좌표(P)를 설정하는 장치.
KR10-2004-7018749A 2002-05-20 2003-05-19 비디오 이미지 포맷팅 기술 KR20050010828A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/151,599 2002-05-20
US10/151,599 US7184093B2 (en) 2002-05-20 2002-05-20 Video image formatting technique
PCT/US2003/015802 WO2003101093A1 (en) 2002-05-20 2003-05-19 Video image formatting technique

Publications (1)

Publication Number Publication Date
KR20050010828A true KR20050010828A (ko) 2005-01-28

Family

ID=29419466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7018749A KR20050010828A (ko) 2002-05-20 2003-05-19 비디오 이미지 포맷팅 기술

Country Status (9)

Country Link
US (1) US7184093B2 (ko)
EP (1) EP1506670A4 (ko)
JP (1) JP2005526467A (ko)
KR (1) KR20050010828A (ko)
CN (1) CN100352266C (ko)
AU (1) AU2003241513A1 (ko)
MX (1) MXPA04011536A (ko)
MY (1) MY135055A (ko)
WO (1) WO2003101093A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US7173666B1 (en) * 2002-08-22 2007-02-06 Smal Camera Technologies System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor
DE10327083A1 (de) * 2003-02-11 2004-08-19 Giesecke & Devrient Gmbh Sicherheitspapier und Verfahren zur Herstellung desselben
US7388620B2 (en) * 2003-10-23 2008-06-17 Sony Corporation Method and system for pan-scan using motion vectors presentation
WO2005120882A1 (en) * 2004-06-07 2005-12-22 Sharp Kabushiki Kaisha Display system for vehicle and vehicle
US7375768B2 (en) * 2004-08-24 2008-05-20 Magix Ag System and method for automatic creation of device specific high definition material
US9738225B1 (en) * 2005-01-07 2017-08-22 Kammy Au Electronic display panels for buses
JP2006203821A (ja) * 2005-01-24 2006-08-03 Sony Corp 自動送出システム
US8089567B2 (en) * 2005-07-29 2012-01-03 Optoma Technology, Inc. Methods and systems for displaying video on an adjustable screen
DE602005022125D1 (de) * 2005-11-15 2010-08-12 Nds Ltd Digitales video-zoom-system
US20070201833A1 (en) * 2006-02-17 2007-08-30 Apple Inc. Interface for defining aperture
KR100736095B1 (ko) * 2006-02-24 2007-07-06 삼성전자주식회사 실시간 동영상 스트림의 화면 크기를 제어하는 장치 및방법
CN101461005B (zh) * 2006-06-12 2012-05-30 汤姆森许可贸易公司 通过数据调制规则变化将第二码嵌入光盘数据的方法和装置
US8819556B1 (en) 2007-02-02 2014-08-26 Adobe Systems Incorporated Methods and systems for displaying format properties of crop areas
US7831901B1 (en) 2007-02-16 2010-11-09 Adobe Systems Incorporated Systems and methods employing multiple crop areas
US20120086723A1 (en) * 2010-10-08 2012-04-12 John Fairfield Dynamic Cropping of Visual Content
USD729808S1 (en) 2013-03-13 2015-05-19 Nagrastar Llc Smart card interface
US9485533B2 (en) 2013-03-13 2016-11-01 Nagrastar Llc Systems and methods for assembling and extracting command and control data
US9888283B2 (en) 2013-03-13 2018-02-06 Nagrastar Llc Systems and methods for performing transport I/O
US9647997B2 (en) 2013-03-13 2017-05-09 Nagrastar, Llc USB interface for performing transport I/O
USD759022S1 (en) 2013-03-13 2016-06-14 Nagrastar Llc Smart card interface
USD758372S1 (en) * 2013-03-13 2016-06-07 Nagrastar Llc Smart card interface
USD780763S1 (en) 2015-03-20 2017-03-07 Nagrastar Llc Smart card interface
USD864968S1 (en) 2015-04-30 2019-10-29 Echostar Technologies L.L.C. Smart card interface
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8701770D0 (en) 1987-01-27 1987-03-04 Thorn Emi Home Electron Video processing
JPH0372796A (ja) * 1989-04-28 1991-03-27 Matsushita Electric Ind Co Ltd テレビジョン信号処理装置
JP2578984B2 (ja) * 1989-07-06 1997-02-05 松下電器産業株式会社 映像信号変換回路
US5504536A (en) * 1990-03-26 1996-04-02 Canon Kabushiki Kaisha Image display apparatus
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
KR960010487B1 (ko) * 1993-08-18 1996-08-01 엘지전자 주식회사 움직임 벡터를 이용한 순차주사식 영상포맷변환장치
US5400077A (en) * 1993-10-29 1995-03-21 Time Warner Entertainment Co., L.P. System for generating multiple aspect ratio video signals from motion picture disk recorded in a single aspect ratio
GB2286500B (en) * 1994-02-04 1997-12-03 Sony Uk Ltd Motion compensated video signal processing
US5635929A (en) * 1995-02-13 1997-06-03 Hughes Aircraft Company Low bit rate video encoder and decoder
KR100204478B1 (ko) * 1996-05-09 1999-06-15 배순훈 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US5999220A (en) * 1997-04-07 1999-12-07 Washino; Kinya Multi-format audio/video production system with frame-rate conversion
US5973740A (en) * 1997-10-27 1999-10-26 International Business Machines Corporation Multi-format reduced memory video decoder with adjustable polyphase expansion filter
US6400852B1 (en) * 1998-12-23 2002-06-04 Luxsonor Semiconductors, Inc. Arbitrary zoom “on -the -fly”
US6694311B1 (en) * 1999-01-25 2004-02-17 International Business Machines Corporation Method and apparatus for fast query approximation using adaptive query vector projection
US6437787B1 (en) * 1999-03-30 2002-08-20 Sony Corporation Display master control
US6407775B1 (en) * 1999-04-16 2002-06-18 Avid Technology, Inc. Image resizer and frame rate converter with pulldown controller
US6518974B2 (en) * 1999-07-16 2003-02-11 Intel Corporation Pixel engine
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
WO2002019309A1 (en) * 2000-09-01 2002-03-07 Mixed Signals Technologies, Inc. System and method for displaying closed captions in an interactive tv environment
US7388620B2 (en) * 2003-10-23 2008-06-17 Sony Corporation Method and system for pan-scan using motion vectors presentation

Also Published As

Publication number Publication date
US20030214603A1 (en) 2003-11-20
MXPA04011536A (es) 2005-02-14
CN1656796A (zh) 2005-08-17
WO2003101093A8 (en) 2004-11-25
WO2003101093A1 (en) 2003-12-04
JP2005526467A (ja) 2005-09-02
CN100352266C (zh) 2007-11-28
AU2003241513A1 (en) 2003-12-12
US7184093B2 (en) 2007-02-27
MY135055A (en) 2008-01-31
EP1506670A4 (en) 2009-01-21
EP1506670A1 (en) 2005-02-16

Similar Documents

Publication Publication Date Title
KR20050010828A (ko) 비디오 이미지 포맷팅 기술
JP3729863B2 (ja) 劣化した垂直クロミナンス遷移部を有するテレビジョン信号の垂直解像度を高めるための方法および装置
US7719547B2 (en) Video and graphics system with square graphics pixels
KR20050000956A (ko) 비디오 포맷 변환 장치
US6208382B1 (en) Color video processing system and method
US20070040943A1 (en) Digital noise reduction apparatus and method and video signal processing apparatus
JP2005244980A (ja) 撮像信号を処理する装置及びその方法
JP2003338991A (ja) 画像表示装置及び画像表示方法
US20020140852A1 (en) Method of decreasing delay through frame based format converters
US7190408B2 (en) TV-receiver, image display apparatus, TV-system and method for displaying an image
US7262811B2 (en) System and method for automatic zoom
JP2010171876A (ja) 通信装置及び通信システム
JP5004680B2 (ja) 画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体
WO2021192096A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20020054933A (ko) 액티브 크기를 가변시킬 수 있는 영상 처리 장치 및 그의액티브 크기 가변 방법
JP2006121568A (ja) 画像処理装置及び画像処理方法
JPH0564184A (ja) Ｔｖ会議システムの画面構成方式
CA2594304C (en) System and method for automatic zoom
KR20060081950A (ko) 화면 회전 기능을 구비한 ｔｖ 및 ｔｖ의 화면 회전 방법
JPH04334279A (ja) 水平ブランキング補正装置
JPH08307893A (ja) カラー動画・静止画変換機構
JP2001086531A (ja) 画像録画システム及び画像再生システム
Dong Hdtv Digital Format Translator
JPH0451684A (ja) テレビジョン受像機
KR19990028006A (ko) 줌(ｚｏｏｍ)을 위한 영상신호 디스플레이장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application