KR100700262B1 - 시축을 따라 변화하는 영상 데이터를 사용하여 새로운영상을 발생시키는 방법 및 장치 - Google Patents

시축을 따라 변화하는 영상 데이터를 사용하여 새로운영상을 발생시키는 방법 및 장치 Download PDF

Info

Publication number
KR100700262B1
KR100700262B1 KR1020057004990A KR20057004990A KR100700262B1 KR 100700262 B1 KR100700262 B1 KR 100700262B1 KR 1020057004990 A KR1020057004990 A KR 1020057004990A KR 20057004990 A KR20057004990 A KR 20057004990A KR 100700262 B1 KR100700262 B1 KR 100700262B1
Authority
KR
South Korea
Prior art keywords
image
frame
value
pixel
time
Prior art date
Application number
KR1020057004990A
Other languages
English (en)
Other versions
KR20050062558A (ko
Inventor
토모카주 카케
아키오 오오바
아키라 스즈키
Original Assignee
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 가부시키가이샤 소니 컴퓨터 엔터테인먼트
Publication of KR20050062558A publication Critical patent/KR20050062558A/ko
Application granted granted Critical
Publication of KR100700262B1 publication Critical patent/KR100700262B1/ko

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Abstract

직육면체 형태(박스 공간)는 가상 공간을 사용하여 동영상을 표현한다. 동영상에 포함된 복수의 프레임은 시축을 따라서 계속 나타난다. 박스 공간은 원하던 표면을 통해 잘려지고, 이 잘린 표면에 투영된 영상은 시축과 평행한 면에 투영된다. 이 표면에 순차적으로 투영된 영상은 새로운 동영상으로 출력된다.
박스 공간, 영상, 프레임, 영상 발생 방법, 영상 발생 장치

Description

시축을 따라 변화하는 영상 데이터를 사용하여 새로운 영상을 발생시키는 방법 및 장치 {Method and apparatus for generating new images by using image data that vary along time axis}
본 발명은 영상을 발생시키는 방법 및 장치에 관한 것으로, 더욱 상세하게는 카메라에 의해 동영상 화면이 처리되어 그 동영상이 새롭게 출력되는 기술에 관한 것이다.
최근 컴퓨터 기술의 급격한 발전으로, 컴퓨터로 제공되는 영상 처리 능력은 상당히 향상되어 왔다. 심지어 일반 소비자를 위한 가정용 컴퓨터(개인 컴퓨터)와 게임 기구도 영상 처리와 함께 배타적 사용(exclusive-use)을 위한 고성능 워크스테이션(high-end workstation)만이 가능했던 다양한 처리 영역을 쉽게 실현할 수 있다.
개인 컴퓨터에 의한 영상 처리의 수행 및 능력이 향상되면서, 가정용 컴퓨터와 게임 기구의 용도가 다양해졌다. 즉, 영화 편집, 영상 처리, 저술(authoring) 및 그와 같은 것을 위해 사용된 다양한 도구는 이제 저렴한 가격으로 일반 소비자가 사용할 수 있다. 따라서, 복잡한 영상 처리를 다루는데 더 이상 전문성이 필요하지 않게 되어, 아마추어라도 이러한 용이한 도구를 사용함으로써 동영상의 처리 를 쉽게 할 수 있게 되었다.
종래의 관점에서, 본 발명의 발명자들은 소설과 특수 효과와 같은 영상을 얻을 수 있는 혁신적인 영상 처리 방법을 연구해 왔다. 본 발명의 발명자들은 상기된 종래 기술에 기초하였고, 본 발명의 목적은 엔터테이닝(entertaining) 영상을 얻는 것이다. 또한, 본 발명은 본 명세서의 기술을 통해 다른 목적들도 이해되도록 만들어졌다. 즉, 본 발명의 목적은 영상 처리 효율의 향상, 영상 처리로 야기된 작업량 감소, 영상 처리 기술의 향상을 위한 새로운 제안 등이다.
본 발명에 따른 실시예는 영상 발생 방법에 관한 것이다. 이 방법은 원래의 동영상을 시축을 따라 변화하는 이차원 영상으로 간주하고, 가상으로 동영상이 이차원 영상 및 시축으로 형성된 박스 공간에 표현될 때 서로 다른 시간값을 갖는 복수의 점을 포함하는 표면에 의해 박스 공간을 자르는 단계, 시축의 방향으로 평면의 잘린 표면에 나타나는 상을 투영하는 단계 및 잘린 표면을 변화시켜 새로운 동영상으로서 평면에 나타나는 영상을 출력하는 단계를 포함한다. 변화의 내용은 다양한 방법으로 표면을 설정하여 결정되고, 원래의 동영상과 다른 새로운 동영상이 출력된다.
여기서, "원래의 동영상"은 카메라로 지금 찍힌 영상일 수 있고 또는, MPEG 포맷이나 그와 같은 것으로 코드화된 영상과 같이 기록 매체에 미리 저장된 영상일 수도 있다. "평면 위에 투영하는 단계"는, 만약 시축의 평면에 투영된다면 이 평면에 투영될 수 있는 영상이 "평면 위에 투영하는 단계"의 결과일 것이다. 즉, 잘린 표면이 시축의 방향에서 바로 보여질 때, 이 잘린 표면에 투영될 수 있는 영상은 평면 위에 투영된 영상과 같다는 것이다.
예를 들어, "잘린 표면을 시간에따라 변화시키는 것"은 잘린 표면의 형태가 유지되는 동안 시축을 따라 잘린 표면을 이동시킴으로써 이루어질 수 있다. 시간이 경과하면서 잘린 표면을 이동시킴으로써, 순조롭고 계속적으로 새로운 동영상을 얻게 된다. 표면 형태는 시간이 경과하면서 변화될 수 있다. 만약 시축에서 표면의 점 위치가 t로 나타나고 이차원 영상의 점 좌표가 (x, y)로 나타난다면, t는 일반 방정식으로 표현되는 t=f(x,y)의 함수로 정의될 수 있다. 표면은 평면일 수 있고, 투영된 영상은 표면 형태의 종류가 설정되는 곳에 의하여 변화한다.
본 발명에 따른 다른 실시예는 영상 발생 장치에 관한 것이다. 이 장치는 시축을 따라 원래의 동영상을 순차적으로 저장하는 영상 메모리, 영상 메모리에 저장된 원래의 동영상을 시축을 따라 변화하는 이차원 영상으로 간주하고, 동영상이 가상으로 이차원 영상과 시축으로 형성된 박스 공간으로서 표현될 때, 서로 다른 시간값을 갖는 복수의 점을 포함하는 표면에 의해 박스 공간을 자르고, 잘린 표면에 나타나는 영상을 시축의 방향에서 평면상에 투영하는 영상 변환 유닛 및 영상 변환 유닛에서 잘린 표면을 시간에 따라 변화시킴으로써 얻게된 평면 위에 나타나는 영상을 새로운 동영상 프레임으로 설정하는 영상 데이터 출력 유닛을 포함한다. 프레임이 원래의 동영상에 포함될 때까지의 시간때문에 복수의 프레임을 일시적으로 저장하는 버퍼와 같이 영상 메모리 함수들은 새로운 프레임으로 변환된다.
영상 발생 장치는 원래의 동영상으로서, 카메라로 찍힌 영상을 수집하고 이 수집된 영상을 영상 메모리로 보내는 영상 입력 유닛을 더 포함한다. 그것으로 인해, 찍힌 영상은 실시간으로 영상 처리되어 객체의 실제 상태와 다른, 독특하거나 모호하거나 특수 효과와 같은 영상이 스크린에 나타날 수 있다.
영상 변환 유닛은 이차원 영상을 구성하는 영상 영역 좌표의 함수로 정의된 표면에 의해 박스 공간을 자른다. 여기서, "영상 영역"은 픽셀 블럭을 포함하는 영역 또는 하나의 픽셀을 포함하는 영역일 수 있다. 그것의 표면은 수평 방향에서 이차원 영상의 좌표에 의존하지 않는 함수로 정의될 수 있다. "수평 방향"은 스캐닝 라인의 방향일 수 있다. 영상 변환 유닛은 이차원 영상을 구성하는 영상 영역의 속성값과 관계된 함수로 정의되는 표면에 의해 박스 공간을 자른다. "속성값"은 픽셀 값, 깊이 값(depth value), 특정 영상 패턴의 근사값 정도, 다른 프레임과의 변화 정도 또는 그와 같은 것으로 각 픽셀을 위한 디스플레이 내용을 결정하는 다양한 매개 변수일 수 있다. 이 속성값은 영상 영역에서 평균값 또는 중심값이 될 수 있다.
상기 표면에 포함된 점의 시간값은 픽셀 값, 깊이 값, 근사값 정도 및 변화의 정도 중에서 어떤 매개 변수에 따라서 결정될 수 있다. 또한, 영상 영역이 상기 기술된 평면에 투영되는 것은 픽셀 값, 깊이 값, 근사값 정도 및 변화의 정도 중에서 어떤 매개 변수에 따라서 결정될 수 있다.
본 발명에 따른 다른 실시예는 영상 발생 방법에 관한 것이다. 이 방법은 원래의 동영상에 포함된 적어도 하나의 복수의 프레임으로부터 원래의 동영상에서 대상 프레임에 포함된 영상의 각 화면 속 위치에 대해, 화면 속 위치에 해당하는 데이터를 해독하는 단계, 해독된 데이터를 합성하는 단계 및 합성으로 형성된 프레임을 순차적으로 출력하여 새로운 동영상을 형성하는 단계를 포함한다. 데이터는 과거 프레임으로부터 픽셀이나 픽셀 라인의 유닛에서 각각 해독되고 합성되어져서, 원래의 동영상과 다른 영상이 얻어진다. 이것은 픽셀이나 픽셀 라인의 유닛에서 혼합된 다른 데이터를 일시적으로 포함하는 이른바 일시적인 (patched-up) 영상이다, 따라서 현실에서 존재할 수 없는 독특하고 모호한 영상을 얻을 수 있다.
"대상 프레임"은 디스플레이 시간에서 참조하여 제공하는 프레임이고, 시간이 경과함으로 변화한다. 일반 스캐닝에서, 예를 들어, 이 "대상 프레임"은 현 시점에 출력되는 현재 프레임에 해당한다. 이 대상 프레임에 기초하여, 평가되는 것은 실제 데이터가 프레임에서 해독되고 출력되는 것이다. "화면 속 위치"는 스캐닝 라인인 픽셀 라인의 위치이거나 픽셀의 위치일 수 있다. 프레임으로부터, 거기에 해당하는 각 데이터는 픽셀 라인 또는 픽셀의 유닛으로 해독되거나 합성될 수 있다. "합성하는 것"은 영상 중복, 혼합, 치환 및 접합 중에서 어떤 하나일 수 있다.
본 발명에 따른 또 다른 실시예는 영상 메모리, 영상 변환 유닛, 영상 데이터 출력 유닛을 포함하는 영상 발생 장치에 관한 것이다. 영상 메모리는 각 프레임을 위한 원래의 동영상을 순차적으로 기록한다. 영상 변환 유닛은 대상 프레임에 포함된 영상의 각 화면 속 위치에 따른 것으로, 적어도 하나의 영상 메모리에 기록된 프레임으로부터 화면 속 위치에 해당하는 데이터를 해독하고, 그 데이터를 합성한다. 영상 데이터 출력 유닛은 영상 변환 유닛에 의해 합성되고 재생된 프레임을 순차적으로 출력한다. 원래의 동영상에 포함된 프레임이 새로운 프레임으로 변환되고, 그 프레임이 더이상 사용되지 않을때까지, 소정의 시기에 복수의 프레임을 일시적으로 저장하는 버퍼로서 영상 메모리 함수는 그 프레임들을 더이상 사용하지 않는다. "픽셀"은 스크린에 나타나는 영상을 구성하는 점(dot)이고, RGB 세트에 의해 색깔이 표현될 수 있다.
컴퓨터 프로그램, 데이터 구조 등을 저장하는 기록 매체, 컴퓨터 프로그램, 시스템, 장치 및 방법 사이에서 변화된 상기 기술된 구조적 내용과 표현의 임의적 합성은 본 실시예로 인해 설명된다.
도 1은 본 발명에 따른 제1실시예에서, 가상으로 원래의 동영상 프레임이 시축을 따라 계속 나타나는 상태를 도시하고 표현한다.
도 2A와 2B는 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다.
도 3은 제1실시예에 따라서, 영상 발생 장치의 함수를 도시한 블럭도이다.
도 4는 제1실시예에 따라서, 원래의 동영상을 새로운 동영상으로 변환시키는 단계를 도시한 흐름도이다.
도 5는 제2실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다.
도 6A와 6B는 제2실시예에 따라서, 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다.
도 7은 제2실시예에서, z값에 따라서 프레임으로부터 데이터를 해독함으로써 새로운 동영상을 발생하는 단계를 도시한 흐름도이다.
도 8은 제3실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다.
도 9A와 9B는 제3실시예에 따라서, 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다.
도 10은 제3실시예에 따라서, 원하던 색상 성분을 끄집어낸 동영상을 원래의 동영상으로부터 발생하는 단계를 도시한 흐름도이다.
도 11은 제4실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다.
도 12는 영상 발생 장치의 구조를 도시한 기능적 블럭도이다.
도 13은 입력 설정 유닛으로 결정된 함수의 그래프를 나타내는 모니터 스크린의 예를 도시한다.
도 14는 지시 및 조종 객체의 발생 단계를 도시한 흐름도이다.
도 15는 지시 및 조종 효과가 현재 프레임에 적용되는 단계를 도시한 흐름도이다.
본 발명은 본 발명의 범위를 제한하려는 것이 아니라 예가 되도록 실시예에 기초하여 하기될 것이다. 실시예에서 기술된 모든 구조와 합성은 본 발명에 꼭 필요한 것은 아니다.
제1 실시예
본 발명의 제1실시예에 따라서, 원래의 동영상에 포함된 복수의 프레임은 링 버퍼(ring buffer)에 순차적으로 저장되고(도 3에 도시됨), 각 스캐닝 라인을 위해서 데이터는 다른 프레임으로부터 해독된다. 따라서 해독된 데이터는 새로운 프레임으로 스크린에 나타난다. 구체적으로, 스크린 하부 끝에 위치한 스캐닝 라인의 픽셀 데이터는 시간에 따라 더 오래된 이전 프레임으로부터 해독되는데 반하여, 스크린의 상부 끝에 위치한 것은 더 새로운 프레임으로부터 해독된다. 스크린에 나타난 것은 실제 객체와 다른 이상하고 모호한 영상이다.
도 1은 본 발명에 따른 제1실시예에서, 가상으로 원래의 동영상 프레임이 시축을 따라 계속 나타나는 상태를 도시하고 표현한다. 원래의 동영상은 시축을 따라서 변하는 이차원 영상으로 간주된다. 직육면체 공간(10;"박스 공간"으로서 또한 하기됨)은 시간이 경과함으로써 시축 t의 방향으로 연장한다. 시축 t에 수직인 단면도는 프레임을 나타낸다. 프레임은 x축과 y축으로 형성된 평면 좌표로 나타나는 픽셀 세트(set)이다. 이 박스 공간(10)은 원하던 형태를 가지는 표면에 의해 잘린다. 제1실시예에 따른 박스 공간(10)은 도 1에 도시된 바와 같이 시간 t0에서 t1까지 시간이 경과함으로써 x축 위에서 라인 아래쪽 방향으로 x축에 평행인 경사면에 의해 잘린다. 잘린 표면(14)에 나타난 영상이 시축의 방향으로 평면에 투영될 때, 시축의 평면에 투영된 영상은 현재 프레임(12)이 아닌 실제 프레임으로서 출력된다.
잘린 표면(14)은 시간이 경과함으로써 시축 t를 따라서 이동한다. 잘린 표면(14)은 가상으로, 시축 t의 방향으로 계속 일정한 폭을 가진다. 일정한 폭에 포함된 영상은 합성되고, 이 합성된 영상은 스크린에 실제로 나타나는 프레임으로서 제공된다.
현재 프레임(12)은 일반적으로 디스플레이 도면에 바로 스캔되는 시간의 프레임에 해당한다. 시축에서 현재 프레임(12)의 현재 위치를 시간 t0에 놓아둔다. 그리고, 예를 들어, 시간 t0 이전의 프레임인 t1, t2, t3 및 t4의 각각의 프레임은 일반적인 디스플레이 시간에서 이미 나타난 프레임에 해당한다. 그러나, 제1실시예에서, 시간 t0 이전의 프레임의 디스플레이는 실제로 나타난다. 각각의 프레임에 포함된 픽셀의 데이터는 각 픽셀 라인을 위해 데이터의 출력이 수평 방향으로 순차적으로 나타나도록 출력된다. 하나의 픽셀 라인에 포함된 각 픽셀의 데이터는 같은 스캐닝 시간에 해독되어 나타난다.
가장 높은 점에서 픽셀 라인은 일반적인 스캐닝 시간에 출력된다. 그 후에, 가장 높은 점보다 하나 아래에 있는 픽셀의 픽셀 라인은 한 프레임이 지연되어 출력된다. 따라서, 픽셀 라인의 순서(order)가 낮으면 더 지연된 시간에 출력된다.
스크린의 각 픽셀 데이터는 과거 프레임으로부터 해독되고, 이 프레임이 과거에서 얼마나 멀리 되돌아 왔는지는 t=t0-y 와 같이 픽셀 좌표의 함수로 표현된다. 함수 t=t0-y는 픽셀 라인의 x좌표에 의존하지 않는 y좌표만의 함수이다.
현재 프레임(12)의 해상도가 720×480인 경우, 상부 왼쪽 픽셀의 좌표는 (0,0)으로 놓고, 하부 오른쪽 픽셀의 좌표는 (719,479)로 놓자. 이 경우에, y좌표의 최대값은 479이고, 최저위(the lowest-order) 픽셀 라인의 스캐닝 시간은 479 프레임으로 지연된다. 박스 공간(10)에는 시간 t0와 t2 사이에 480개의 프레임이 놓여진다.
도 2A와 2B는 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다. 도 2A는 영상 사진을 보여주고, 이 객체의 영상은 현재 프레임(12)과 같다. 여기서, 객체는 자신의 손(16)을 천천히 흔든다. 도 2B는 도 1에 도시된 잘린 표면(14)에 나타나는 영상이고, 도 2A의 객체가 실제로 스크린에 나타나는 영상이다. 따라서, 자연적이고 적합한 모습의 객체와는 다른 형태를 가지는 객체가 스크린에 나타난다. 즉, 현재 프레임을 통한 과거 프레임에 따라서, 손(16)의 위치는 왼쪽에서 중심점, 오른쪽, 중심점 및 왼쪽으로 변하여, 왼쪽 위치에서 손(16)의 영상과 오른쪽 위치에서 손(16)의 영상은 다른 과거 프레임으로부터 각 스캐닝 라인을 위해서 데이터를 해독하는 것으로 인해 교대로 나타난다. 같은 스캐닝 라인의 데이터는 일시적으로 같은 스캐닝 시간의 프레임으로부터 해독되기 때문에, 수평 방향에서 굴곡이나 변형이 야기되지 않는다. 그러나, 수직 방향에서, 손(16)은 손(16)의 형태가 왼쪽과 오른쪽에서 구부러져서 나타난다.
한편, 손(16)을 흔드는 객체는 손(16)을 제외하고는 거의 움직이지 않는다. 따라서, 비록 영상이 일시적으로 다른 프레임으로부터 해독되더라도, 굴곡이나 변 형은 그것의 디스플레이 위치의 차이가 없기 때문에 거의 나타나지 않는다.
도 3은 제1실시예에 따라서, 영상 발생 장치의 함수를 도시한 블럭도이다. 하드웨어에서, 영상 발생 장치(50)의 구조는 CPU와 임의 컴퓨터(arbitrary computer)와 같은 원리로 이루어질 수 있다. 소프트웨어에서, 그것은 데이터 기억장치, 영상 처리와 그리기의 기능을 갖는 프로그램 또는 그와 같은 것들로 이루어지지만, 도 3에서 기술되고 도시된 것은 그것들과 함께 이루어지는 기능적 블럭들이다. 따라서, 이 기능적 블럭들은 하드웨어, 소프트웨어, 또는 결합의 다양한 형태로 이루어질 수 있다.
영상 발생 장치(50)는 원래의 동영상으로서 카메라로 찍힌 영상을 수집하고 원래의 동영상에 포함된 프레임을 이미지 메모리로 보내는 영상 입력 유닛(52), 시축을 따라서 원래의 동영상을 순차적으로 저장하는 영상 메모리로서 제공하는 링 버퍼(56), 링 버퍼(56)로부터 및 링 버퍼(56)에서 프레임의 기록과 판독을 제어하는 버퍼 제어 유닛(54), 링 버퍼(56)에 저장된 프레임이 디스플레이와 함께 사용하도록 프레임으로 변환하는 영상 변환 유닛(60), 프레임의 변환 시간에서 언급된 함수를 저장하는 함수 기억 장치(70) 및 디스플레이와 함께 사용하도록 프레임을 저장하는 디스플레이 버퍼(74)를 구성한다.
영상 입력 유닛(52)은 디지털 영상을 캡쳐하는 CCD와 A-D변환으로 디지털 영상을 얻는 변환 유닛을 포함할 수 있다. 영상 입력 유닛(52)은 분리할 수 있게 외부에 제공되고, 영상 발생 장치(50)에 설치된 장치로 이루어질 수 있다. 버퍼 제어 유닛(54)은 영상 입력 유닛(52)으로 입력된 원래의 동영상 프레임을 링 버퍼(56)의 기록 포인터(pointer)로 지시된 영역에 순차적으로 기록한다.
현재 프레임(12)에 포함된 각 픽셀을 위해서, 영상 변환 유닛(60)은 링 버퍼(56)에 기록된 프레임에서 픽셀에 해당하는 데이터를 해독하고, 그 데이터를 합성한다. 영상 변환 유닛(60)은 프레임으로부터 데이터가 각 픽셀을 위해 해독되는 것을 결정하는 처리 결정 유닛(62), 처리 결정 유닛(62)으로 결정된 프레임의 데이터를 해독하는 데이터 수집 유닛(64) 및 각 해독 픽셀 라인을 위해서 데이터를 합성함으로써 프레임을 형성하는 영상 형성 유닛(66)을 포함한다.
처리 결정 유닛(62)에서, 프레임의 데이터가 해독되는 것과 같은 결정은 하기 방정식 (1)에 기초하여 정의된다.
PFr(x, y, t0) = p(x, y, t0-y) --- (1)
여기서 도 1에 도시된 바와 같이 x와 y는 현재 프레임(12)에 해당하는 픽셀이고 t0는 시축 t에서의 시간값이다. PFr은 실제 출력된 프레임에서 각 픽셀의 픽셀값이다. 방정식 (1)에서 출력된 프레임의 시간값은 y 좌표의 함수이다. 따라서, 프레임의 데이터가 링 버퍼(56)에 저장된 복수의 프레임 사이에서 해독되는 것과 같은 결정은 각 픽셀 라인을 위해 만들어지고, x 좌표의 함수가 아니다.
방정식 (1)로 표현되는 함수는 함수 기억 장치(70)에 저장된다. 다른 임의의 함수는 또한 함수 기억 장치(70)에 저장된다. 사용자는 명령 수집 유닛(72)을 통해 사용할 수 있는 함수를 채택하여 설정될 수 있다.
데이터 수집 유닛(64)으로 해독된 각 픽셀을 위한 데이터는 그래픽 쉽 (graphic ship)의 함수를 가지는 영상 형성 유닛(66)으로 디스플레이 버퍼(74)에 순차적으로 기록되어서, 프레임이 구성된다.
영상 발생 장치(50)는 사용자로부터 명령을 받는 명령 수집 유닛(72), 디스플레이 버퍼(74)에 저장된 프레임을 출력하는 영상 데이터 출력 유닛(76) 및 스크린에 출력된 프레임을 나타내는 모니터(78)를 더 포함한다. 모니터(78)는 영상 발생 장치(50)의 외부에 제공되는 디스플레이일 수 있다.
영상 데이터 출력 유닛(76)은 한 프레임을 위해 영상 데이터를 저장하는 디스플레이 버퍼(74)로부터 영상 데이터를 해독하여, 아날로그 신호로 그것을 변환하고 모니터(78)에 보낸다. 영상 데이터 출력 유닛(76)은 디스플레이 버퍼(74)에 저장된 프레임을 순차적으로 출력하여서, 새로운 동영상을 출력한다.
도 4는 제1실시예에 따라서, 원래의 동영상을 새로운 동영상으로 변환시키는 단계를 도시한 흐름도이다. 먼저, 링 버퍼(56)에서 다음 기록 위치를 지시하는 기록 포인터 t가 t=0으로 초기화되어서(S10), 프레임은 링 퍼버(56)의 윗 영역에서부터 저장을 시작한다. 원래의 동영상에 포함된 프레임은 링 버퍼(56)의 t번째 영역에 기록된다(S12). 따라서, 한 프레임을 위한 모든 T0 영역이 제공된다.
디스플레이 버퍼(74)에서 픽셀 라인 수 n이 n=0으로 초기화되어서(S14), 스크린의 윗 라인에서 시작하는 데이터는 디스플레이 버퍼(74)에 순차적으로 복사된다. 라인 수 n에 해당하는 데이터의 해독 위치를 지시하는 해독 포인터 T가 계산된다(S16). 여기서, T는 T=t-n으로 설정된다. 라인 수 n이 증가함에 따라, 해독 포인 터 T는 과거 프레임으로 더 되돌아간다. 따라서, 처음에, T=0-0=0인 해독 포인터 T는 0번째 영역을 지시한다.
만약 해독 포인터 T가 0보다 작다면(S18Y), 그 해독 포인터는 실제로 존재하지 않는다. 따라서, 해독 포인터 T는 링 버퍼(56)의 말단으로 이동된다(S20). 더 구체적으로, 링 버퍼(56)의 T0 영역들이 해독 포인터 T에 가산된다. 데이터 수집 유닛(64)은 링 버퍼(56)의 해독 포인터 T 영역에 저장된 프레임으로부터 라인 수 n을 해독하고, 영상 형성 유닛(66)은 디스플레이 버퍼(74)의 라인 수 n의 영역에 이 해독 숫자에 해당하는 데이터를 복사한다.
라인 수 n이 디스플레이 버퍼(74)의 마지막 라인이 아닐 때(S24N), "1"은 라인 수 n에 가산된다(S26). 라인 수 n은 계속 증가하고, S16에서 S24의 처리는 라인 수 n이 마지막 라인에 도달할 때까지 반복된다. 라인 수 n이 마지막 라인의 숫자가 될 때, 한 프레임을 위한 영상 데이터는 디스플레이 버퍼(74)에 저장되고(S24Y), "1"은 기록 포인터 t에 가산된다(S28). 기록 포인터 t가 링 버퍼(56)의 끝 영역을 지시할 때(S30Y), 기록 포인터 t는 링 버퍼(56)의 윗 영역으로 귀환한다(S32).
영상 데이터 출력 유닛(76)은 디스플레이 버퍼(74)로부터 프레임을 해독하고, 비디오 데이터로서 프레임을 출력하며, 스크린에 프레임을 나타내는 모니터(78)를 가진다(S34). S12에서 S34의 처리는 디스플레이의 종료가 지시될 때까지(S36) 반복된다. 이 방법으로, 데이터는 픽셀 라인의 유닛에서 같은 프레임으로부터 해독되어서, 디스플레이 버퍼에 기록된다. 그러나, 픽셀 라인은 본질적으로 수 평 방향에 배열된 스캐닝 라인과 같은 복수의 픽셀 세트이므로, 그 픽셀 라인은 일반적인 설정에서 스캐닝 시간이 같을 때 해독되는 데이터이다. 따라서, 판독과 기록은 스캐닝 과정에서 효과적으로 처리되고, 본 실시예에서 영상 변환으로 인한 과도한 작업량의 증가를 막을 수 있다.
본 실시예의 수정된 예로서, 처리 결정 유닛(62)은 x죄표로 해독되는 프레임을 결정할 수 있다. 예를 들어, 스크린의 왼손 끝에 위치한 픽셀 라인을 위한 것으로, 그것의 데이터는 현재 프레임(12)의 왼손 끝으로부터 해독되지만, 스크린의 오른손 끝에 위치한 픽셀을 위한 것으로는, 도 1에 도시된 시간 t2에서 프레임의 오른손 끝 픽셀 라인으로부터 해독된다. 따라서, 그것의 잘린 표면은 이 경사면이 y축에 평행이 되는 시간 t0에서 t2의 경사면으로 표면이 잘려질 것이다.
다른 수정된 예로서, 처리 결정 유닛(62)은 x와 y좌표로 해독되는 프레임을 결정할 수 있다. 예를 들어, 스크린 상부 왼쪽 끝의 픽셀을 위한 것으로, 그것의 데이터는 현재 프레임(12)의 상부 왼쪽 끝으로부터 해독되지만, 스크린의 하부 오른쪽 끝의 픽셀을 위한 것으로는, 도 1에 도시된 바와 같이, 시간 t2에서 프레임의 하부 오른쪽 끝 픽셀로부터 해독된다.
또 다른 수정된 예로서, 스캐닝 라인은 수평 방향이 아닌 수직 방향에서 설정될 수 있다. 그 경우에, 더 효과적인 영상 변환은 x 좌표로부터 해독된 프레임을 결정함으로써 이해될 수 있다.
제2실시예
제2실시예에서, 데이터는 각 픽셀을 위해서 지정된 깊이값(z값)에 따른 다른 프레임으로부터 해독된다. 그 때문에, 이 점에서 제2실시예로 실행되는 처리는 프레임이 픽셀의 y좌표에 따라서 결정되는 제1실시예와 다르다. 예를 들어, 원래의 동영상의 객체 사진 사이에서 카메라에 더 가까운 위치에 있는 객체의 데이터는 더 오래된 프레임으로부터 해독된다. 따라서, 카메라와 객체 사이에서의 거리가 더 짧아지면, 그것의 디스플레이 시간은 더 지연된다.
도 5는 제2실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다. 현재 프레임(12)의 객체 사진 사이에서, 첫 번째 영상(20)의 z값은 두 번째 영상(24)의 z값이 "60"으로 설정될 때, "120"으로 설정된다. z값이 더 커지면, 객체는 카메라에 더 가까이 위치한다는 의미이다. 디스플레이 시간의 지연값은 z 값에 비례하여 증가한다. 스크린에 실제로 나타나는 프레임의 각 픽셀은 하기 방정식 (2)로 정의된다.
PFr(x, y, t0) = P(x, y, t0-z(x, y, z)) --- (2)
여기서 z(x, y, t0)은 현재 픽셀 유닛의 z값이다. z값이 커질수록, 픽셀로부터 데이터가 해독되는 프레임은 시축 t에서 t0부터 t1과 t2의 방향으로 더 되돌아간다. 첫 번째 영상(20)에 해당하는 데이터는 시간 t2의 프레임에서 세 번째 영상(22)으로 지시된 영역으로부터 해독된다. 두 번째 영상(24)에 해당하는 데이터는 시간 t1의 프레임에서 네 번째 영상(26)으로 지시되는 영역으로부터 해독된다.
박스 공간(10)의 잘린 표면에서, 세 번째 영상(22)의 영역은 t2의 시간값이지만, 네 번째 영상(26)의 영역은 t1의 시간값이다. 다른 영역은 t0의 시간값이다. 따라서, 잘린 표면에 포함된 점들은 t0, t1 및 t2에서 분산되어서, 그것의 잘린 표면은 시축의 방향에서 분리된 폭을 가진다.
첫 번째 영상(20)을 구성하는 픽셀들은 두 번째 영상(24)보다 더 큰 z값을 가지고, 그것의 데이터는 더 오래된 프레임으로부터 시간에 따라 해독된다. 즉, 두 번째 영상(24)을 구성하는 픽셀이 첫 번째 영상(20)보다 더 작은 z값을 가지기 때문에, 더 오래된 프레임으로 되돌아가기 위해 요구된 존속 기간은 더 짧아진다.
도 6A와 6B는 제2실시예에 따라서, 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다. 도 6A는 객체 사진을 나타내고, 객체 사진은 자신의 손을 오른쪽과 왼쪽으로 천천히 흔드는 사람(30)과 뒤에서 달리는 자동차(32)이다. 도 6B는 도 6A에 도시된 객체가 스크린에 실제로 투영되는 영상을 나타낸다. 객체는 일반 설정이 아닌 상태로 스크린에 나타난다. 즉, 그것의 영역이 카메라에 더 가까울수록, 디스플레이 시간은 더 지연된다. 여기서, 사람(30)이 카메라에 가장 가까운 객체이므로, 디스플레이 시간에서 지연값이 특히 제일 크다. 거의 움직이지 않는 부분과 영역때문에, 객체와 거의 같은 영상이 픽셀을 위한 오래된 영상으로 나타날 것이다. 반면에, 좌-우 또는 상-하 방향에서 자주 또는 크게 움직이는 영역의 영상 때문에, 프레임에서 그것의 디스플레이 위치는 이동된다. 따라서, 데이터가 도 6에서 해당하는 좌표에서 오래된 프레임으로부터 해독될 때, 그 영역의 영상은 도 6B에 보여진 바와 같이 투명하게 되거나 투과된 상태에 있게 된다. 사람(30)은 자주 움직이는 손의 부분이 도 6B에서 없어진 상태로 스크린에 나타난다. 뒤에 있는 자동차(32)는 카메라에서 비교적 멀리 위치해 있고, z값이 작기때문에, 도 6A에 보여진 자동차의 디스플레이 상태와 도 6B에 보여진 자동차의 디스플레이 상태 사이에 약간의 차이가 있다.
제2실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 장치와 같이 기본적으로 같은 구조를 가진다. 상기 방정식 (2)에 따라서, 처리 결정 유닛(62)은 각 z값에 따라서 과거로 되돌아가기 위한 시간을 계산하여서, 각 픽셀 기억 소자(cell)를 위해서, 데이터가 해독되는 것으로부터 프레임을 결정한다. 하기에, 데이터가 해독되는 것으로부터 프레임 또는 프레임들이 소스 프레임 또는 소스 프레임들로 또한 참조될 것이다. 제2실시예에 따른 영상 입력 유닛(52)은 각 픽셀 기억 소자의 z값이 검출되는 것에 의한 거리 측정 센서(distance-measuring sensor)를 포함한다. 거리 측정 방법은 레이저 방법, 적외선 조명 방법(infrared illumination method), 위상 검출 방법(phase detection method) 또는 그와 같은 것이 될 수 있다.
도 7은 제2실시예에서, z값에 따라서 프레임으로부터 데이터를 해독함으로써 새로운 동영상을 발생하는 단계를 도시한 흐름도이다. 먼저, 링 버퍼(56)에서 다음 기록 위치를 지시하는 기록 포인터 t가 t=0으로 초기화되어서(S100), 프레임은 링 버퍼(56)의 윗 영역으로부터 시작을 저장한다. 원래의 동영상에 포함된 프레임은 링 버퍼(56)의 t 번째 영역에 기록된다(S102).
대상 픽셀의 x와 y위치는 디스플레이 버퍼(74)에서 x=0과 y=0으로 초기화되어서(S104), 스크린의 윗 라인에서 시작하는 픽셀은 디스플레이 버퍼(74)에 순차적으로 복사된다. 픽셀 x와 y에 해당하는 데이터의 해독 위치를 지시하는 해독 포인터 T가 계산된다(S106). 처리 결정 유닛(62)은 각 픽셀을 위한 z값에 따른 해독 포인터 T를 계산한다. 데이터 수집 유닛(64)은 링 버퍼(56)에서 해독 포인터 T의 영역에 저장된 프레임으로부터 픽셀 Px,y의 데이터를 해독한다. 그 후, 영상 형성 유닛(66)은 디스플레이 버퍼(74)에서 픽셀 Px,y의 영역으로 이 해독된 데이터를 복사한다(S108).
Px ,y가 디스플레이 버퍼(74)에서 마지막 픽셀이 아닐 때, 즉, 픽셀 Px ,y가 하부 오른쪽 끝의 픽셀이 아닐 때(S110N), 픽셀 Px ,y는 다음 픽셀로 이동된다(S112). S106에서 S112의 처리는 픽셀 Px ,y가 마지막 픽셀이 될 때까지 반복된다. 픽셀 Px ,y가 마지막 픽셀이 될 때, 하나의 프레임을 위한 영상은 디스플레이 버퍼(74)로 기록되고(S110Y), 이것은 영상 형성 유닛(66)에 의해 그려진다(S114).
"1"은 기록 포인터 t에 가산된다(S116). 기록 포인터 t가 링 버퍼(56)의 끝 영역을 지시할 때(S118Y), 기록 포인터 t는 링 버퍼(56)의 윗 영역으로 복귀한다(S120). 영상 데이터 출력 유닛(76)은 모니터(78)에 그려진 영상을 출력한다(S122). S102에서 S122의 처리는 디스플레이의 결과가 지시될 때까지 반복된다 (S124). 여기서, 데이터는 픽셀의 유닛에서 분리된 프레임으로부터 해독되어서, 디스플레이 버퍼(74)에 기록된다. 데이터가 해독되는 프레임은 각 픽셀을 위해 개별적으로 결정되고, 다른 프레임 또는 같은 프레임으로부터 해독될 수 있다.
제3실시예
본 발명에 따른 제3실시예는, 영상이 복수의 프레임으로부터 원하던 속성값을 가지는 픽셀의 데이터를 해독하여 합성되는 제1 및 제2실시예와 다르다. 상기 기술된 속성값은, 예를 들어, 영상이 단지 붉은색 성분만을 가지는 영상값을 해독함으로써 합성될 때, 모호하고 특수 효과와 같은 영상은 원하던 색상만이 마치 잔상과 같이 머무르게 되는 픽셀값이다.
도 8은 제3실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다. 박스 공간(10)에서 시간 t0, t1, t2 및 t3에서 프레임에 투영된 사람(30)은 붉은색 물체를 잡고, 좌,우로 천천히 손을 흔든다. 각 프레임에 투영된 붉은색 물체의 영상(34, 35, 36 및 37)의 각 디스플레이 위치는 서로 다르다.
제3실시예에 따라서, 영상 혼합과 영상 합성을 위해서 이용된 프레임은 링 버퍼(56)에 저장된 복수의 오래된 프레임 사이에서 먼저 결정된다. 도 8의 경우, 시간 t0, t1, t2 및 t3에서 네 개의 프레임은 영상 혼합을 위해 사용된다. 이 네 개의 프레임은 박스 공간(10)에서 지정된 시간 간격에 배열된 복수의 표면이다.
도 9A와 9B는 제3실시예에 따라서, 실제로 나타나는 스크린과 객체 사진을 비교하는 것이 제공된다. 도 9A는 객체 사진을 나타낸다. 도 9B는 도 9A에 도시된 객체가 실제로 스크린에 투영되는 영상을 나타낸다. 붉은색 성분만이 이 스크린에서 추출되고 합성되어서, 붉은 물체의 영상(34, 35, 36 및 37)만이 나타나게 되고, 그것의 배경은 흰색 또는 검은색이 된다.
스크린에 실제로 나타나는 프레임의 각 픽셀은 하기 방정식 (3)으로 정의된다.
PFr(x,y,t0) = ∑αP(x,y,t0-const*i) --- (3)
여기서 혼합 비율을 지시하는 α또는 알파값은 하기 방정식 (4)로 표현된다.
α = PR(x,y,t0-const*i) --- (4)
여기서 PR은 붉은색 성분의 픽셀값이다.
데이터 수집 유닛(64)은 방정식 (3)에 기초한 각 픽셀을 위해서 데이터를 판독하고, 영상이 합성되었는지 아닌지를 결정한다. 여기서, 색상에 의한 픽셀 추출이 이루어진다. 비록 붉은색 성분의 픽셀값이 방정식 (4)에서 알파값과 같이 설정되더라도 거기에 제한되지 않는다. 만약 알파값이 PG 또는 PB로 설정된다면, 초록색과 파란색 성분만이 추출되고 합성된다. 따라서, 만약 어떤 특정 색상 성분이 객체에 포함된다면, 특정 색상 성분만을 포함하는 각 부분은 마치 잔상을 남겨 두는것 과 같이 나타난다.
제3실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 장치와 같이 기본적으로 같은 구조를 가진다. 상기 방정식 (3)과 (4)에 따라서, 처리 결정 유닛(62)은 지정된 시간 간격에서 복수의 프레임을 선택한다. 데이터 수집 유닛(64)과 영상 형성 유닛(66)은 각 픽셀을 위해서, 픽셀값으로 결정된 비율로 해독된 데이터를 합성한다.
도 10은 제3실시예에 따라서, 원하던 색상 성분을 끄집어 낸 동영상을 원래의 동영상으로부터 발생하는 단계를 도시한 흐름도이다. 먼저, 링 버퍼(56)에서 다음 기록 위치를 지시하는 기록 포인터 t는 t=0으로 초기화되고(S50), 합성한 프레임 숫자 i는 i=0으로 초기화되어서(S51), 그 프레임은 링 버퍼(56)의 윗 영역에 저장된다. 원래의 동영상에 포함된 프레임은 링 버퍼(56)의 t 번째 영역에 기록된다(S52).
대상 픽셀의 x와 y의 위치는 디스플레이 버퍼(74)에서 x=0과 y=0으로 초기화되어서(S54), 스크린의 상부 왼쪽 끝에서 시작하는 픽셀은 디스플레이 버퍼(74)에 순차적으로 복사된다. 링 버퍼(56)에서 해독 포인터 T의 위치는 픽셀 x와 y에 해당하는 데이터의 해독된 위치로 계산된다(S56). 이 해독 포인터 T는 T=t0-const*i로 얻어진 시간값이고, 지정된 시간 간격에서 시축을 따라 되돌아감으로써 복수의 과거 프레임을 지시한다. 데이터 수집 유닛(64)은 링 버퍼(56)에서 해독 포인터 T의 영역에 저장된 프레임으로부터 픽셀 Px ,y의 데이터를 해독한다. 그리고, 영상 형성 유닛(66)은 디스플레이 버퍼(74)에서 픽셀 Px,y의 영역에 이 해독 데이터를 복사한다(S58).
픽셀 Px ,y의 알파값 αx,y이 계산되고 설정된다(S60). 픽셀 Px ,y가 디스플레이 버퍼(74)에서 마지막 픽셀이 아닐 때, 즉, 픽셀 Px ,y가 하부 오른쪽 끝의 픽셀이 아닐 때(S62N), 픽셀 Px ,y은 다음 픽셀로 이동한다(S64). S56에서 S62의 처리는 픽셀 Px,y가 디스플레이 버퍼(74)에서 마지막 픽셀이 될 때까지 반복된다. 픽셀 Px ,y가 디스플레이 버퍼(74)에서 마지막 픽셀이 될 때, 하나의 프레임을 위한 영상은 디스플레이 버퍼(74)에 기록되고(S62Y), 이것은 영상 형성 유닛(66)에 의해 그려진다(S66).
만약 합성 프레임 숫자 i가 소정의 숫자 I에 도달하지 못한다면(S68N), "1"은 숫자 i에 가산되고(S69), S54에서 S66의 처리는 반복된다. 이 제3실시예에서, 소정의 숫자 I는 "3"이고, 합성 프레임의 숫자 i가 "0"에서 "3"이 될 때까지 합성은 4번 반복된다. 합성 프레임의 숫자 i가 소정의 숫자 I에 도달할 때(S68Y), "1"이 기록 포인터 t에 가산된다(S70). 기록 포인터 t가 링 버퍼(56)의 끝 영역을 지시할 때(S74), 기록 포인터 t는 링 버퍼(56)의 윗 영역으로 복귀한다(S74). 영상 데이터 출력 유닛(76)은 그려진 영상 데이터를 모니터(78)에 출력한다(S76). S52에서 S76의 처리는 디스플레이의 결과가 지시될 때까지 반복된다(S78). 여기서, 원하던 색상 성분만의 데이터는 픽셀의 유닛에서 과거 프레임으로부터 해독되어서, 디스플레이 버퍼에 기록된다.
제3실시예의 수정된 예로서, 합성 숫자 i=0에 해당하는 프레임을 위한 알파값, 즉, 현재 프레임(12)를 위한 알파값은 PR 대신에 P로 설정될 수 있다. 이 경우에, 세 가지 색상(RGB)은 함께 추출되어서, 붉은색 물질 영상(34-37)뿐만 아니라 사람(30)도 도 9B에 도시된 스크린에 동시에 나타난다.
제4실시예
본 발명에 따른 제4실시예는, 제4실시예에서 속성값은 원하던 영상 패턴과 실제 영상 사이에서 근사의 순서를 지시하는 값이라는 점에서 제3실시예와 다르다. 패턴 일치의 결과로서, 원하던 영상 패턴에 더 근사하고, 더 가까운 영상의 데이터는 더 오래된 프레임으로부터 해독된다. 따라서, 원래의 동영상에 단독으로 포함된 원하던 부분적 영상은 지연된 시간에 나타날 수 있다.
도 11은 제4실시예에 따라서, 가상으로 박스 공간과 같은 원래의 동영상을 도시한다. 박스 공간(10)에 포함된 현재 프레임(20)은 첫 번째 영상(40)을 포함한다. 여기서, 첫 번째 영상(40)을 근사함으로써 일치하는 것이 영상 패턴으로 계산된다고 가정하면, 첫 번째 영상(40)을 구성하는 픽셀은 다른 영역과 비교되는 영상 패턴에서 근사의 더 높은 순서를 가진다. 따라서, 그것에 해당하는 데이터는 시축을 따라서 더 되돌아가는 근사의 순서에 따라서 과거 프레임으로부터 해독된다. 여기서, 시축을 따라서 시간 t2로 되돌아감으로써, 데이터는 시간값 t2를 갖는 프레임에서 두 번째 영상(42)의 위치로부터 해독된다. 박스 공간(10)의 잘린 표면은 두 번째 영상(42)의 영역에서만 t2의 시간값을 갖고, 다른 영역에서는 t1의 시간값을 갖는다. 따라서, 잘린 표면은 시축의 방향으로 분리된 폭을 갖는다.
제4실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 장치와 기본적으로 같은 구조를 갖는다. 사용자는 명령 수집 유닛(72)을 거쳐 영상 패턴을 지정하고, 처리 결정 유닛(62)은 영상 패턴과 프레임의 영상 사이에서 일치하는 것을 처리한다. 그 결과로서, 영상 패턴에서 근사의 순서는 픽셀 대 픽셀로 검출된다. 처리 결정 유닛(62)은 각 픽셀을 위해서, 그것의 근사 순서에 따라서 데이터가 해독되는 것으로부터 프레임을 결정한다.
제4실시예에 따른 처리의 흐름은 도 7에 참조하여 기술될 것이다. 먼저, S100 단계 이전에, 일치하는 것은 계산된 객체로서 영상 패턴이 사용자에 의해 지정되고, 각 픽셀을 위해 "s"로 표시된 근사의 순서를 검출함으로써 현재 프레임(12)과 영상 패턴 사이에서 계산된다. 즉, 영상 패턴에 근사한 영상 영역에서 픽셀을 위해서 영상 영역의 근사 순서가 설정된다. S100에서 S104의 단계는 제2실시예의 그것과 같다. S106에서, 해독 포인터 T는 근사 "s"의 순서에 따라서 결정된다. 예를 들어, 해독 포인터 T는 T=t-s(x,y)로 얻어진다. 그 단계는 제2실시예의 그것과 또한 같다.
제5실시예
이 제5실시예에서, 또한 데이터는 분리된 프레임으로부터 해독되고 픽셀의 속성값에 따라서 합성된다. 이 속성값은 영상 영역의 일시적 변화의 정도를 지시하는 값으로 제3 및 제4실시예와 다르다. 예를 들어, 객체들 사이에서, 빠르게 또는 크게 움직이는 영역은 시간에 따라 큰 영상 변화를 가져서, 데이터는 더 오래된 프레임으로부터 해독된다. 따라서, 큰 영상 변화를 갖는 원래의 동영상에 포함된 영역의 디스플레이는 지연될 수 있고, 더 큰 영상 변화는 객체의 영역의 디스플레이를 더 지연시킬 것이다.
제5실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 장치와 기본적으로 같은 구조를 가진다. 처리 결정 유닛(62)에 의해서 대상 프레임 바로 이전의 프레임과 대상 프레임 사이에서 시간에 따른 변화의 정도는 각 픽셀을 위해서 검출된다. 처리 결정 유닛(62)은 변화의 정도에 따라서 데이터로부터 프레임이 해독되는 것을 결정한다.
제5실시예에 따른 처리의 흐름은 도 7에 참조하여 기술될 것이다. S106 단계에서, 링 버퍼(56)의 T 번째 프레임과 (T-1) 번째 프레임은 픽셀 대 픽셀로 비교되고, "c"로 표시되는 변화의 정도가 검출된다. 해독 포인터 T는 변화의 정도 "c"에 따라서 결정된다. 예를 들어, 해독 포인터 T는 T=t-c(x,y)로 얻어진다. 변화의 정도 "c"가 증가할수록, 시축을 따라서 과거로 시간이 얼마나 되돌아갔는지를 지시함으로써 시간값은 증가한다.
제6실시예
본 발명에 따른 제6실시예는 프레임으로부터 데이터가 각 스캐닝 라인을 위해 해독된 스크린에 접속 장치를 사용함으로써, 사용자가 자유롭게 결정하고 정의할 수 있다는 점에서 제1실시예와 다르다. 제6실시예는 제1실시예와 다른 점들에서 강조하여 하기될 것이다.
도 12는 영상 발생 장치의 구조를 도시한 기능적 블럭도이다. 영상 발생 장 치(50)는 도 12에서 도시된 장치가 입력 설정 유닛(80)을 포함하는 점에서 도 3에 도시된 제1실시예에 따른 영상 발생 장치(50)와 대부분 다르다. 입력 설정 유닛(80)은 사용자에 의해 조종된 명령 수집 유닛(72)을 통해서, 도 1의 잘린 면(14)을 정의하는 설정값의 입력을 수집한다. 제6실시예에서, 프레임으로부터 각 픽셀 라인의 데이터가 해독되는 것을 정의하는 함수로서, t=t0-y는 디폴트(default) 설정값인 소정의 값이다. 즉, 이 함수는 프레임이 과거로 얼마나 멀리 되돌아가는지를 정의한다. 입력 설정 유닛(80)은 t=t0-y에서 시간값과 픽셀 라인의 y 좌표의 관계를 도시하는 그래프에 의해 나타난 영상을 디스플레이 버퍼(74)에 보낸다. 영상 데이터 출력 유닛(76)은 입력 설정 유닛(80)으로 발생된 그래프를 모니터(78)에 나타내고, 시간 t와 y 좌표 사이의 관계를 도시한다. 모니터(78)에 그래프가 나타나는 동안, 사용자는 명령 수집 유닛(72)을 조종하고, t=t0-y의 함수를 다른 함수로 변화시키는 그래프의 형태를 수정한다. 예를 들어, 명령 수집 유닛(72)은 모니터(78)의 스크린에 부착된 접촉 패널(touch panel)일 수 있다. 이 경우에, 사용자가 누른 접촉 패널의 위치를 지시하는 값은 조종 내용으로 입력된다.
명령 수집 유닛(72)은 모니터(78)에 나타난 그래프를 변화시키기도록 사용자의 조종 내용을 입력 설정 유닛(80)으로 보낸다. 명령 수집 유닛(72)으로부터 수집된 조종 내용에 기초하여, 입력 설정 유닛(80)은 새로운 함수를 설정함으로써 t=t0-y의 함수를 변화시키고, 함수 기억 장치(70)에 새롭게 설정된 함수를 기록한다. 처리 결정 유닛(62)은 함수 기억 장치(70)로부터 입력 설정 유닛(80)에 의해 설정된 함수를 해독하고, 이 새로운 함수에 기초한 각 픽셀 라인을 위해서 프레임으로부터 해독되는 데이터를 결정된다. 결과로서, 도 1에 도시된 박스 공간(10)은 입력 설정 유닛(80)으로 설정되는 함수로 정의된 표면으로 잘려지고, 잘린 표면에 나타난 영상은 현재 프레임(12) 대신에 실제 프레임으로 출력된다. 상기 구조의 실행으로, 사용자는 저작 도구(authoring tool)로서 영상 발생 장치(50)를 이용할 수 있고, 스크린에 나타난 다양한 그래프들로 모호하고 독특한 영상을 발생할 수 있다.
도 13은 입력 설정 유닛으로 결정된 함수의 그래프를 나타내는 모니터 스크린의 예를 도시한다. 먼저, 함수 t=t0-y에서 시간 t와 좌표 y 사이의 관계를 지시하는 직선(84)은 설정 스크린(82)에 나타난다. 사용자는 직선(84)을 베지에(Bezier) 곡선(86)으로 변화시킬 수 있다. 베지에 곡선(86)은 첫 번째 종점(endpoint;88)과 두 번째 종점(90)을 연결하는 곡선이고, 이 곡선의 형태는 첫 번째 제어점(96)과 두 번째 제어점(98)의 위치로 결정된다. 첫 번째 제어점(96)과 두 번째 제어점(98)의 위치는 사용자의 첫 번째 핸들(handle;92)이나 두 번째 핸들(94)의 다양한 길이와 위치로 결정된다. 만약 입력 설정 유닛(80)으로 설정된 함수가 베지에 곡선(86)으로 지정되면, 현재와 가까운 프레임으로부터 해독된 데이터의 영상을 얻게되고, 과거 프레임으로부터 해독된 데이터는 각 픽셀 라인을 위해서 함께 혼합된다. 예를 들어, 입력 설정 유닛(80)을 통해서, 사용자는 베지에 곡선(86)으로 사인 곡선(sinusoidal wave curve)과 같은 주기 곡선을 지정할 수 있다. 비록 본 실시예에서 함수가 베지에 곡선(86)으로 지정되지만, 수정된 예로서, 함수가 B-스플라인 (spline) 곡선과 그와 같은 다른 곡선으로 지정되는 구조가 제공될 수 있다.
제7실시예
본 발명에 따른 제7실시예는 설정값의 하나로서 입력 설정 유닛(80)이 현재 프레임(12)에서 지표점(characteristic point)의 좌표를 수집하고, 함수가 이 지표점의 좌표로 정의되는 점에서 제6실시예와 다르다. 제7실시예는 제6실시예와 다른 점에서 강조하여 하기될 것이다.
명령 수집 유닛(72)은 또한 모니터(78)의 스크린에 첨부된 접촉 패널이다. 사용자가 원하던 위치에 접촉 패널을 누르고 원을 그리듯이 누른 점을 이동할 때, 누른 점의 좌표를 나타내는 복수의 연속값은 입력 설정 유닛(80)으로 보내어 진다. 따라서 얻어진 좌표값에 기초하여, 입력 설정 유닛(80)은 복수의 누른 점에 의해 둘러싸이고, 구부러진 영역을 인식하며, 함수 기억 장치(70)에 기록됨으로써 둘러싸인 영역을 결정하기 위한 함수를 발생한다. 함수 기억 장치(70)로부터 해독된 함수에 기초하여, 픽셀이 둘러싸인 영역에 포함되지 않음으로써 데이터가 현재 프레임(12)으로부터 해독되는 동안, 둘러싸인 영역에 포함된 픽셀로서 데이터는 과거 프레임으로부터 해독된다. 그 결과로, 도 1에 도시된 박스 공간(10)은 입력 설정 유닛(80)으로 수집된 좌표의 함수로 정의된 표면으로 잘려지고, 잘린 표면에 나타나는 영상은 현재 프레임(12)이 아닌 실제 프레임으로 출력된다. 상기 구조를 실행함으로써, 사용자는 저작 도구로 영상 발생 장치(50)를 이용할 수 있고 접촉 패널에서 임의의 영역을 지정함으로써 모호하고 독특한 영상을 발생할 수 있다.
제8실시예
본 발명에 따른 제8실시예는, 함수가 소정의 다양한 형태가 스크린에 나타나는 방법으로 정의되고, 데이터가 이 함수에 기초하여 결정된 프레임으로부터 해독된다는 점에서 다른 실시예들과 다르다. 제8실시예에 따라서, 함수는 워터 링(water ring)이 스크린에 나타나는 것과 같이 파동의 다양한 형태의 방법으로 먼저 정의된다.
처리 결정 유닛(62)은 현재 프레임(12)에서 지표점을 결정한다. 제6 및 제7실시예와 비슷하게, 지표점은 명령 수집 유닛(72)으로서 제공하는 모니터(78)의 스크린에 첨부된 접촉 패널을 통해서 사용자에 의해 지시된다. 처리 결정 유닛(62)은 소스(source) 프레임과 픽셀 좌표를 결정하여서, 워터 링의 파동과 같은 형태가 그것의 중심인 지표점으로부터 나타난다. 여기서, 소스 프레임은 데이터가 해독되는 프레임이다. 예를 들어, 워터 링의 입체 구조를 표현하기 위해서, 원 또는 원들이 지표점으로부터 방사(radical) 방향으로 나타나고, 처리 결정 유닛(62)은 각각의 방사원(radial circle)을 위해서 점차 다른 시간값으로 소스 프레임을 결정한다. 점차 다른 시간값의 변화는 주기적으로 변하게 된다. 이로 인해, 워터 링에서 얼룩이 표현될 수 있다. 게다가, 처리 결정 유닛(62)은 소정의 방향으로 소정의 픽셀량에 의해 해독된 픽셀 좌표를 시프트(shift)한다. 그것으로 인해, 워터 링으로 야기된 빛의 굴절이 표현될 수 있다.
제9실시예
본 발명에 따른 제9실시예는 접촉 패널이 현재 프레임(12)에 포함된 정보에 기초하여 결정된 지표점을 입력하는 명령 수집 유닛(72)으로 사용된 제7 및 제8실시예와 다르다.
제9실시예에 따른 처리 결정 유닛(62)은 현재 프레임(12)에 포함된 각 픽셀의 픽셀값에 기초하여 지표점을 결정한다. 예를 들어, 고감도 점멸(flickering) LED는 객체의 일부로 포함되고, 처리 결정 유닛(62)은 현재 프레임(12)에 계속 입력된 두 값 사이에서 픽셀값이 주기적으로 변하는 영역을 지시함으로써 점멸 위치를 인식한다. 처리 결정 유닛(62)은 지표점의 좌표를 점멸 위치로 결정한다. 수정된 예로서, 처리 결정 유닛(62)은 지정된 좌표를 사용하는 지표점을 결정할 수 있다. 다른 수정된 예로서, 처리 결정 유닛(62)은 만약 픽셀값, z값, 원하던 패턴을 위한 근사 순서 및 픽셀의 픽셀값 변화 중에서 어떤 하나가 소정의 한계로 떨어진다면, 지표점이 되도록 픽셀을 결정한다.
제10실시예
본 발명에 따른 제10실시예는 영상 입력 유닛(52)이 원래의 동영상 뿐만 아니라 음성 데이터도 수집한다는 점에서 다른 실시예들과 다르다. 영상 입력 유닛(52)이 수집하는 음성 데이터는 링 버퍼(56)에 보내어짐으로 원래의 동영상과 동조시켜서 입력된다. 도수 분포, 음향 크기의 변화 및 음성 데이터와 같은 것에 기초하여, 처리 결정 유닛(62)은 적어도 하나의 소스 프레임, 해독 시간, 알파값 및 지 표점을 결정한다. 예를 들어, 음성 데이터의 음향 크기의 변화가 문턱값(threshold value)을 초과할때, 처리 결정 유닛(62)은 제8실시예에서 기술된 스크린에 나타나는 형태로 소스 프레임과 해독 픽셀을 결정한다. 예를 들어, 만약 음향 크기의 변화가 주파수 영역의 일부에서 문턱값을 초과한다면, 처리 결정 유닛(62)은 주파수 영역에 따라서 제8 및 제9실시예에서의 지표점을 결정할 수 있다.
제11실시예
본 발명에 따른 제11실시예에서 소정의 그래픽은 대상 프레임에 포함된 픽셀의 속성값에 따른 픽셀 위치에 근접하여 구성된다. 여기서, 속성값은 영상 영역의 일시적 변화의 정도를 지시하는 숫자값이다. 예를 들어, 빠르게 또는 크게 움직이는 객체의 영역이 계속 나타나서, 예술적이거나 극적으로 표현되고 파티클(particle)의 형태를 갖는 객체는 일시적으로 더 크게 변화하는 픽셀에서 시작하여 그것의 외부로 확산하는 방법으로 변형된다. 이 방법에서, 종이 강설(paper-snowfall-like)과 같은 효과로서 스크린에 나타나는 지시 및 조종 효과는 움직이는 영역이나 면과 같이 원래의 영상에서 주 객체의 주변에 생성될 수 있다.
제11실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 장치와 비슷한 구조를 가진다. 각 픽셀을 위해서, 처리 결정 유닛(62)은 시간에 따라 현재 프레임(12)의 앞 프레임인 이전 프레임과 현재 프레임(12) 사이에서 프레임을 구성하는 영상 영역의 픽셀값의 일시적 변화 정도를 검출한다. 처리 결정 유닛(62)은, 만약 이 픽셀의 변화 정도가 소정의 문턱값을 초과한다면, 지시 및 조종 객체를 위해서 중심 위치로 픽셀을 간주한다. 그리고 만약 변화의 정도가 문턱값을 초과하는 복수의 픽셀이 존재하고 다른 인접한 곳에 배치된다면, 가장 큰 변화의 정도를 가지는 픽셀은 중심 위치가 되도록 결정될 수 있고, 복수의 지시 및 조종 객체는 중심 위치 주위로 확산하는 방법으로 나타날 수 있다. 게다가, 처리 결정 유닛(62)은 각각의 두 픽셀이 각각에서 가장 큰 변화의 정도를 가지는 이전 프레임에서 픽셀과 현재 프레임(12)에서 픽셀 사이의 차이에 기초하여 지시 및 조종 객체의 움직임 방향을 결정한다.
도 14는 지시 및 조종 객체의 발생 단계를 도시한 흐름도이다. 먼저, 현재 프레임(12)은 처리 객체로서 입력된다(S150). 만약 재생 처리가 현재 프레임(12)의 입력 시작 후에 즉시 수행되지 않는다면(S152N), 픽셀값의 변화는 현재 프레임(12)과 그것의 바로 이전 프레임 사이에서 시간에 따라 추출되고(S154), 픽셀값의 변화가 가장 큰 위치가 검출되며(S156), 픽셀값의 변화가 가장 큰 위치의 벡터가 지시 및 조종 객체의 움직임 방향이 되도록 결정된다(S158). 만약 재생 처리가 현재 프레임(12)의 입력 시작 후에 즉시 수행된다면, 그것의 바로 이전 프레임과 같은 것은 없고, 그래서 S154에서 S158의 처리는 넘어가게 된다(S152Y). 현재 프레임(12)은 다음 프레임과 비교됨으로써 구별하여 저장된다(S160). 나타나도록 하는 지시 및 조종 객체의 영상은 중심으로서, S156에 검출된 위치의 외부 주위에서 발생된다(S162). 따라서, 발생된 지시 및 조종 객체와 현재 프레임(12)은 중복 발생되어서, 나타난 그림을 처리한다(S164). 디스플레이의 종료까지 S150에서 S164의 상기 처리를 반복함으로써(S166Y), 지시 및 조종 객체는 S158로 결정된 움직임 방향에서 움직이는 동안 나타난다(S166N).
상기 예에서, 지시 및 조종 객체를 나타내는 위치는 그것의 바로 이전 프레임과 픽셀값의 변화에 따라서 결정되는 구조이다. 다른 예로서, 처리 결정 유닛(62)은 색상 구성, 윤곽, 휘도(luminance), z값, 움직임의 위치 및 그와 같은 것들에 따라서 지시 및 조종 효과를 수행하도록 위치를 결정할 수 있다. 예를 들어, 지시 및 조종 효과가 생성되는 위치는 "영상에서 대다수 붉은색 구성을 포함하는 위치"와 같이 픽셀값의 크기에 따라서 결정될 수 있고, 또는 한 프레임에 인접한 외곽 사이에서 그것의 픽셀값의 차이가 최대인 외곽선은 지시 및 조종 위치로 결정될 수 있다. 여기서, "지시 및 조종 효과가 생성되는 위치"는 또한 "지시하는 위치"로서 하기에 간단히 참조될 것이다. 게다가, 예를 들어, 인접한 "붉은 외곽"이 문턱값보다 더 크고 색상 구성이 문턱값보다 더 큰 것 사이에서 그것의 픽셀값 차이는 지시하는 위치로서 결정될 수 있다. 게다가, 휘도가 문턱값보다 더 큰 부분은 지시하는 위치로 결정될 수 있고, z값의 특정 한계를 가지는 부분은 지시하는 위치로 결정될 수 있다. 만약 복수의 과거 프레임이 지정된 시간 영역에 제한되어 저장된다면, 특정 기준에 기초하여 추출한 지표점의 위치는 검출될 수 있다. 따라서, 지시 및 조종 효과는 그 위치를 따라서 생성될 수 있다. 지시 및 조종 효과로서, 처리 결정 유닛(62)은 빛나는 색상이나 그와 같은 것이 적용되는 일차원적 객체나 형질, 또는 부호와 같은 객체를 나타낸다. 또한 처리 결정 유닛(62)은 과거 프레임에 중복됨으로써 현재 프레임(12)으로부터 추출된 지표 영역의 투명도가 반투명 상태로 변하는 지시 및 조종 효과를 생성할 수 있다.
처리 결정 유닛(62)은 픽셀값에서 변화율과 원하던 영상 패턴의 근사 순서, 각 픽셀의 픽셀값과 z값 및 좌표와 같은 속성값에 기초하여 나타나는 지시 및 조종 객체의 크기와 움직임 속도를 결정할 수 있다. 지시 및 조종 객체를 구성하는 알파값은 각 픽셀을 위한 지정된 값이거나 다른 값일 수 있다. 예를 들어, 알파값은 좌표, 각 픽셀의 z값과 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값에서 변화의 정도 등과 같은 속성값에 따라서 설정될 수 있다.
도 15는 지시 및 조종 효과가 현재 프레임에 적용되는 단계를 도시한 흐름도이다. 먼저, 현재 프레임(12)에 적용된 지시 및 조종 효과의 형태는 사용자의 명령에 기초하여 결정된다(S200). 그리고, 지시 및 조종 효과가 생성되는 현재 프레임(12)이 입력된다(S202). 그리고, 현재값(12)에서 서로 인접한 픽셀의 값의 차이가 문턱값을 초과하는 부분은 윤곽으로서 추출되고(S204), 픽셀값의 차이가 최고가 되는 부분은 지시 및 조종 효과가 생성되는 위치가 되도록 결정된다(S206). 따라서, 지시 및 조종 효과는 결정된 위치에 적용되고(S208), 지시 및 조종 효과가 생성된 영상을 나타내기 위한 그림이 처리된다(S210). S202에서 S210의 처리는 디스플레이의 종료까지(S212Y), 거기에 지시 및 조종 효과를 적용함으로써 현재 프레임(12)에 반복적으로 수행된다(S212N).
제12실시예
제12실시예에 따른 재생 프레임 비율은 대상 프레임에 포함된 픽셀의 속성값의 변화에 따라서 위치적으로 변화된다. 즉, 잘린 표면(14)은 이차원 마법사(mage)을 구성하는 영상 영역의 속성값에 따라서 각 영상 영역을 위한 다른 비율로 변화되어서, 영상 데이터 출력 유닛(76)으로부터 출력되도록 하는 새로운 동영상의 프레임 비율은 부분적으로 변화된다. 예를 들어, 시간에 따른 픽셀값의 변화 정도가 문턱값보다 더 큰 부분때문에, 프레임으로부터 해독된 데이터는 재생 프레임 비율을 더 낮게 함으로써 시간 간격은 더 길어진다. 이로 인해, 모호하고 독특한 영상은 영역이 실제로 더 빠르게 움직일수록 더 느리게 나타나는 움직임이 생성되고, 따라서 동영상에서 객체의 일부가 일반적인 속도와 다른 비율로 움직인다.
제12실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 것과 기본적으로 같은 구조를 가진다. 본 실시예에 따른 처리 결정 유닛(62)은 픽셀-대-픽셀 구조에서 프레임 비율을 변화시킬 수 있고, 또는 추출된 객체의 유닛에서 픽셀값에 기초하여프레임을 변화시킬 수 있다. 처리 결정 유닛(62)은 픽셀 주위의 몇가지 픽셀들이 문제점에서 영역의 일부로서 포함된 방법으로 객체를 추출한다. 이 경우에, 픽셀값은 점차 변하는 객체의 가장자리와 같은 영역이 또한 객체의 부분으로서 포함되고 처리될 수 있다.
프레임 비율이 변화되는 영역으로서, 처리 결정 유닛(62)은 이 변화 후에 프레임 비율을 결정한다. 예를 들어, 프레임 비율은 영역의 픽셀값에서 일시적 변화의 정도에 따라 설정될 수 있고, 변화율이 더 큰 영역의 프레임 비율은 더 낮은 값으로 설정될 수 있다. 결정된 프레임 비율에 따라서, 처리 결정 유닛(62)는 각 픽셀을 위해서, 해독되는 다음 프레임과 소스 프레임 사이에서 시간 간격을 결정한다. 처리 결정 유닛(62)은 시간과 함께 프레임 비율을 변화시킬 수 있다. 예를 들어, 처리 결정 유닛(62)은 첫 번째 프레임 비율을 낮게 설정하고, 이 비율을 점차 증가시켜서, 이 픽셀을 둘러싼 다른 픽셀의 디스플레이 시간으로 접근한다.
수정된 예로서, 도 12에 도시된 명령 수집 유닛(72)을 통해서, 처리는 객체의 가장자리가 객체의 영역에 포함되는 방법으로 수행될 것인지 아닌지를 사용자가 설정할 수 있는 구조이다. 현재 프레임(12)에서 z값의 소정의 한계를 가지는 픽셀의 프레임 비율은 변화될 수 있다. 현재 프레임에서 원하던 영상 패턴과 함께 소정의 근사 순서를 가지는 위치의 프레임 비율은 변화될 수 있다. 즉, 프레임 비율은 여기서 픽셀-대-픽셀 구조로 제어된다.
제13실시예
본 발명의 제13실시예에 따라서, 대상 프레임에서 소정의 속성값을 갖는 픽셀의 데이터는 대상 프레임이 아닌 이전 프레임으로부터 시간에 따라 해독된다. 예를 들어, 검은색에 해당하는 픽셀값의 데이터는 오래된 프레임으로부터 해독되어서, 마치 부분적인 과거 영상이 균형잡힌 형태의 창문을 통해 보여지듯이, 효과적인 표현이 제공될 수 있다.
제13실시예에 따른 영상 발생 장치(50)는 도 3에 도시된것과 기본적으로 같은 구조를 가진다. 본 실시예에 따른 처리 결정 유닛(62)은 픽셀값의 소정의 한계를 갖는 영역을 현재 프레임(12)으로부터 추출하고, 동시에 그 영역의 소스 프레임을 결정한다. 소스 프레임은 미리 지정된 지속 시간을 위해 시축을 따라서 되돌아감으로써 얻어진 과거 프레임일 수 있고 또는 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서, 픽셀값에서 변화의 크기 또는 그와 같은 것으로서 속성 값에 따라서 결정될 수 있다.
수정된 예로서, 더 오래된 프레임은 서서히 변하는 것과 같이 되어서, 아주 오래된 것은 강조될 수 있고, 효과적으로 표현될 수 있다. 처리 결정 유닛(62)은 몇 가지 둘러싼 픽셀을 또한 포함하는 영역을 추출할 수 있다. 예를 들어, 입을 둘러싸는 몇 가지 픽셀과 함께 입에 해당하는 영역은 사람 얼굴로부터 추출되어서, 픽셀값이 점차 변하는 객체의 끝과 같은 부분은 실패없이 추출된다. 데이터는 상기 실시예에서 이전 프레임으로부터 시간에 따라 해독된다. 그러나, 만약 미래 프레임이 또한 시간에 따라 링 버퍼(56)에 저장된다면, 데이터는 이 미래 프레임으로부터 해독될 수 있다.
제14실시예
본 발명의 제14실시예에서, 픽셀값은 색상을 변화시킴으로 대상 프레임에 포함된 픽셀 속성값의 변화에 따라서 픽셀에 가산된다. 예를 들어, 지시 및 조종 효과는 객체에서 크게 움직이는 영역이 붉은색 또는 그와 같은 색으로 나타나는 방법으로 원래의 영상에 적용될 수 있다.
제14실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 것과 기본적으로 같은 구조를 가진다. 본 실시예에 따른 처리 결정 유닛(62)은 픽셀의 픽셀값에 소정의 값을 가산하여서, 현재 프레임(12)에서 변화 정도가 큰 픽셀이 붉은색으로 나타난다. 그 후에, 소정의 값은 가산된 픽셀로서, 픽셀값은 이 픽셀이 시간과 함께 점차 감소되도록 가산하여, 그 결과로 붉은색의 자국을 남기는 잔상이 나타날 수 있 다.
영상 발생 장치(50)의 수정된 예로서, 시간에 따라 크게 변화하는 픽셀 데이터가 픽셀이 한 번 나타난 이후에 스크린에 남겨지는 방법으로 소정의 알파값과 합성될 수 있는 구조이다. 픽셀값은 합성된 데이터에 더 가산되어져서, 그것의 영상은 원하던 색상으로 나타날 수 있다. 그 후에, 합성된 데이터의 알파값은 시간과 함께 점차 감소되고, 그 결과로 자국을 남기는 잔상이 나타난다. 다른 수정된 예로서, 소정의 알파값을 사용함으로써 변화의 정도가 큰 픽셀 데이터는 스크린의 모든 픽셀을 위한 알파값이 0으로 설정된 스크린과 함께 합성되고, 전체 스크린이 점차 나타나는 구조가 된다. 또 다른 수정된 예로서, 각 픽셀에 가산된 픽셀값은 변화될 수 있고, 픽셀의 색상은 축적된 방법으로 이 픽셀의 픽셀값에 가산함으로써 시간과 함께 변화될 수 있다.
제15실시예
본 발명의 제15실시예에서, 대상 프레임은 미래의 프레임에 포함된 픽셀의 속성값에 따른 소정의 객체와 합성된다. 즉, 제11실시예와 같이, 작은 형태의 객체는 이전에 저장된 원래의 동영상에 포함된 프레임 사이에서 시간에 따라, 이후에 나타나는 프레임에서 소정의 영상 패턴을 위해서 근사 영역에 나타난다. 이로 인해, 선언과 같은 지시 효과가 생성될 수 있다. 예를 들어, 종이 강설 영상이나 그와 같은 것이 스크린에 보여진 객체인 주(main) 사람 앞에 나타난다.
제15실시예에 따른 영상 발생 장치(50)는 도 3에 도시된 것과 기본적으로 같은 구조를 가진다. 본 실시예에 따른 처리 결정 유닛(62)은 링 버퍼(56)에 먼저 저장된 원래의 동영상에 포함된 프레임 사이에서 시간에 따라, 이후에 나타나는 프레임에서 소정의 영상 패턴과 관계되어 근사 순서의 소정의 한계로 떨어지는 영역을 검출한다. 처리 결정 유닛(62)은 검출된 영역에 근접하여 작은 형태의 객체를 합성한다. 영상을 합성하고 결합하는 방법은 제11실시예에서 설명된 것과 유사하다.
수정된 예에서, 객체의 합성은 영상의 현재 재생과 함께 사진을 찍는 실시간 동영상에 적용될 수 있다. 즉, 사진을 찍은 후에 바로 얻어지는 동영상이 버퍼에 일시적으로 저장되고, 그 후 각 프레임은 사진을 찍는 시간으로부터 지연된 시간에 재생된다. 소정의 영상 패턴은 사진을 찍은 후에 즉시 얻어지는 현재 프레임으로부터 추출되고, 같은 시간에 그것의 프레임은 사진을 찍는 시간으로부터 지연된 시간에서 재생되어서, 선언과 같은 지시 효과가 생성될 수 있다.
본 발명은 전형적인 실시예에만 기초하여 기술되어진다. 각 구성의 결합과 상기 기술된 과정의 다양한 다른 조합이 존재하고 본 발명의 한계로 포함된 것이 당업자에 의해 이해된다.
제2실시예에서, 프레임으로 부터 데이터가 해독되는 것은 z값에 따라서 결정된다. 그러나, 수정된 예에서, 복수의 프레임은 소스 프레임으로 일정한 시간 간격에서 설정되고, 복수의 프레임은 z값에 따른 비율로 합성될 수 있다. 여기서 소스 프레임은 데이터가 해독되도록 하는 것임을 기억해라. 이 경우에, 알파값은 z값에 따라서 결정되어질 것이다. 객체나 객체들에서 각각 큰 z값을 가지는 영역이나 영역들, 즉, 카메라에 더 가까운 영역은 알파값이 더 크게 설정될 수 있다. 이 경우 에, 카메라에 더 가까이 위치한 영역은 더 명백하고 뚜렷하게 투영될 것이고, 크게 움직이는 영역은 마치 잔상과 같이 느린 방법으로 나타나게될 것이다.
제3실시예에서, 알파값은 픽셀값에 따라서 설정된다. 그러나, 다른 수정된 예에서, 소스 프레임은 픽셀값에 따라서 결정될 수 있다. 예를 들어, 붉은색 구성을 가지는 픽셀값이 추출될 때, 더 붉은색 구성을 가지는 영역에서 데이터는 더 오래된 프레임으로부터 해독되어서, 더 붉은색 구성을 포함하는 영역의 디스플레이는 더 지연된다.
제4실시예에서, 소스 프레임은 원하던 영상 패턴과 함께 근사 순서에 따라서 결정된다. 그러나, 다른 수정된 예에서, 알파값은 근사 순서에 따라서 설정될 수 있다. 이 경우에, 영상 패턴에 더 근사하는 영역은 더 명백하고 뚜렷하게 나타나고, 빠르게 또는 크게 움직이는 영역은 더 느린 잔상으로 나타난다. 게다가, 복수의 다른 영상 패턴은 미리 준비되고, 소스 프레임은 각 패턴이 근사 순서로 사용되는 것에 따라서 해독될 수 있다. 또는, 알파값은 각 패턴이 근사 순서로 사용되는 것에 따라서 결정될 수 있다. 영상의 인식은 프레임당 인식뿐만 아니라 복수의 프레임당 제스쳐(gesture)의 인식일 수 있다.
제5실시예에서, 소스 프레임은 영상 영역에서 일시적인 변화의 정도에 따라서 결정된다. 그러나, 다른 수정된 예에서, 알파값은 변화의 정도에 따라서 설정될 수 있다. 이 경우에, 변화의 더 큰 정도를 가지는 영역은 더 명백하고 뚜렷하게 나타나고, 또한 느린 잔상의 방법으로 나타난다.
제1 내지 제15실시예에서, 복수의 프레임 사이에서 픽셀의 일치 관계는 같은 좌표 (x, y)로 판단된다. 그러나, 다른 수정된 예에 따라서, 일치 관계는 특정 픽셀로서 좌표를 시프트함으로 판단될 수 있고, 또는 시프트하는 것은 픽셀의 속성이나 폭에 따라서 만들어지는지, 아닌지를 판단할 수 있다.
제2 내지 제5실시예에는, 각 소스 프레임은 각 하나의 속성값이나 알파값에 따라서 결정된다. 그러나, 다른 수정된 예에서, 소스 프레임이나 알파값은 z값, 픽셀값, 근사 순서 및 변화의 정도 사이에서 복수의 속성값에 기초하여 결정될 수 있다. 예를 들어, 소스 프레임이 그것의 z값에 따라서 특정 픽셀을 위해 결정된 후에, 패턴 일치는 상기 프레임과 현재 프레인(12) 사이에서 계산될 수 있고, 그 후에 복수의 프레임은 그것의 근사 순서에 해당하는 알파값에 따라서 합성될 수 있다. 이 경우에, 만약 객체가 카메라에 더 가까이 있다면, 데이터는 더 오래된 프레임으로부터 해독되고, 게다가, 크게 움직이는 영역은 느린 잔상으로 나타난다.
제1 내지 제15실시예에는, 특정 시기에 해당하고, 링 버퍼(56)에 먼저 저장된 원래의 동영상에 포함된 소스 프레임과 같은 구조가 제공된다. 그러나, 다른 수정된 예에서, 영상 입력 유닛(52)은 MPEG 포맷에서 압축된 원래의 동영상으로부터 처리 결정 유닛(62)으로 인해 결정된 프레임을 해독할 수 있고, 버퍼 제어 유닛(54)은 링 버퍼(56)에 이 프레임을 저장할 수 있게 야기할 수 있다. 저장된 이 프레임들 버퍼 제어 유닛(54)으로 해독될 수 있다. 게다가, 버퍼 제어 유닛(54)은 그 프레임 이전과 이후 프레임에 참조될 수 있다.
수정된 예가 더 하기된다.
1-1. 제1실시예에서, 데이터가 각 픽셀 라인을 위해서 다른 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 1-1은, 소스 프레임인 몇 개의 과거 프레임이 설정되고, 각 픽셀 라인을 위해서 데이터가 이 설정된 프레임으로부터 해독되는 구조이다. 예를 들어, 두 프레임 A와 B는 소스 프레임으로서 설정되고, 데이터는 픽셀 라인의 순서가 홀수인지 짝수인지에 따라서 A또는 B로부터 해독되는 구조이다. 예를 들어, 여섯 개의 프레임 A, B, C, D, E 및 F가 소스 프레임으로서 설정되고, 0 번째에서 79 번째 픽셀 라인의 데이터는 프레임 A로부터 해독되고, 80번째에서 159 번째 픽셀 라인의 데이터는 프레임 B 및 그 이상으로부터 해독되는 구조이다. 즉, 픽셀 라인은 다른 과거 프레임으로부터 해독되는 나누어진 라인의 각 픽셀을 위해서 데이터와 80개 라인의 유닛에서 나누어진다. 데이터는 스크린에서 50개의 픽셀 라인으로 구성되는 각 유닛을 위해서 각각 다른 프레임으로부터 해독될 때, 밴딩(banding) 패턴이나 그와 같은 것들은 움직임과 함께 영역에 나타난다.
1-2. 제2실시예에는, 데이터가 z값에 따라서 다른 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 1-2는, z값의 소정의 한계를 갖는 픽셀만의 데이터는 과거 프레임으로부터 해독되는 구조이다. 예를 들어, z값의 적어도 하나의 상부와 하부의 제한이 먼저 설정되고, 하나 또는 그 이상의 과거 프레임으로부터 해독되는 데이터가 또한 먼저 설정된다. 상부 제한의 아래와 하부 제한의 위에 설정된 한계로 떨어지는 z값을 갖는 픽셀을 위해서, 데이터는 설정된 과거 프레임으로부터 해독된다. 설정된 한계로 떨어지지 않는 z값을 갖는 픽셀을 위해서, 데이터는 현재 프레임(12)으로부터 해독된다. 여기서, 설정된 많은 소스 프레임은 하나 또는 그 이상의 프레임으로 지정될 수 있고, 또는 소스 프레임은 소스 프레임의 픽셀의 좌 표에 따라서 과거 프레임이 될 수 있다.
1-3. 제3실시예에서, 소정의 픽셀 값을 갖는 픽셀의 데이터는 복수의 과거 프레임으로부터 해독되고, 현재 프레임(12)과 합성되는 구조가 제공된다. 이 수정된 실시예 1-3는, 소정의 픽셀값을 갖는 현재 프레임(12)의 픽셀을 위해서 데이터가 소정의 과거 프레임으로부터 해독되는 것인 반면, 다른 픽셀을 위해서는 데이터가 현재 프레임(12)으로부터 해독되는 구조이다. 게다가, 소스 프레임으로서 제공하는 과거 프레임은 지정된 방법으로 설정될 수 있고, 또는 소스 프레임은 그것의 픽셀값에 따라서 과거 프레임이 될 수 있다.
1-4. 제4실시예에서, 원하던 영상 패턴을 위한 근사 순서에 해당하는 과거 프레임으로부터 해독되는 데이터의 구조가 제공된다. 이 수정된 예 1-4는, 소정의 한계내에 원하던 영상 패턴을 위한 픽셀만의 근사 순서를 위한 데이터는 과거 프레임으로부터 해독되는 반면, 다른 픽셀을 위한 데이터는 현재 프레임(12)으로부터 해독되는 구조이다. 근사 순서의 한계로서, 그것의 적어도 하나의 상부 또는 하부의 제한이 먼저 설정될 수 있다. 소스 프레임으로 제공하는 과거 프레임은 지정된 방법으로 설정될 수 있고, 또는 소스 프레임은 근사 순서에 따라서 시축을 따라 되돌아감으로써 얻어지는 과거 프레임일 수 있다.
1-5. 제5실시예에서, 데이터는 픽셀값의 변화에 따라서 과거 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 1-5는, 소정의 한계에 픽셀값의 변화가 놓이는 픽셀만을 위한 데이터는 과거 프레임으로부터 해독되는 반면 다른 픽셀을 위한 데이터는 현재 프레임(12)으로부터 해독되는 구조이다. 소스 프레임으로서 제 공하는 과거 프레임은 지정된 방법으로 설정될 수 있고, 또는 소스 프레임은 픽셀값의 변화에 따라서 시축을 따라 되돌아감으로써 얻어진 과거 프레임일 수 있다.
1-6. 제1실시예에서, 함수 t=t0-y는 픽셀 좌표 y와 시간값 t로 정의된다. 이 수정된 예 1-6에서, 시간 t와 픽셀 좌표 y사이의 관계는 t=sin y와 삼각함수와 같은 함수로 정의될 수 있다. 도 13에 도시된 그래프에서, 데이터가 시축을 따라 더 되돌아간 과거 프레임으로부터 해독되는 픽셀 라인과, 데이터가 더 새로운 프레임으로부터 해독되는 다른 픽셀 라인이 주기적으로 혼합된다. 게다가, 수정된 예 1-1과 같이, 소스 프레임인 몇 개의 과거 프레임이 먼저 설정되는 구조이고, 각 픽셀 라인을 위한 데이터는 시간값 t에 해당하는 설정된 프레임으로부터 해독된다.
2-1. 제1실시예에서, 데이터는 각 픽셀 라인을 위한 과거 프레임으로부터 해독되고, 이 데이터가 한 프레임을 구성함으로써 수직 방향으로 배열되는 구조가 제공된다. 이 수정된 예 2-1에서, 각 픽셀 라인을 위한 과거 프레임으로부터 해독되는 데이터는 한 프레임을 형성함으로써 현재 프레임(12)과 합성된 구조이다. 이 경우에, 알파값은 지정된 값일 수 있고, 또는 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
2-2. 제2실시예에서, 데이터는 z값에 따라서 다른 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 2-2에서, z값에 따라서 다른 프레임으로 부터 해독되는 데이터가 한 프레임을 형성함으로써 현재 프레임(12)과 합성된 구조이다. 또 는, 현재 프레임(12)에서 z값의 소정의 한계를 갖는 픽셀만을 위한 데이터가 과거 프레임으로부터 해독되고, 그 데이터는 한 프레임을 형성함으로써 현재 프레임(12)과 합성된다. 이런 경우에서 알파값은 지정된 값일 수 있고, 또는 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
2-3. 제3실시예에서, 복수의 과거 프레임 사이에서 소정의 픽셀값을 갖는 픽셀의 데이터가 현재 프레임(12)과 합성됨으로써 해독되는 구조가 제공된다. 수정된 예 2-3에서, 현재 프레임(12)에서 소정의 픽셀값을 갖는 픽셀을 위해서 데이터는 소정의 과거 프레임으로부터 해독되고, 그 데이터는 현재 프레임(12)과 합성된 구조이다. 그 경우에서 알파값은 지정된 값일 수 있고, 또는 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
2-4. 제4실시예에서, 데이터가 원하던 영상 패턴의 근사 순서에 해당하는 과거 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 2-4에는, 현재 프레임(12)과 합성된 원하던 영상 패턴의 근사 순서에 해당하는 과거 프레임으로부터 해독되는 구조가 제공된다. 또는, 원하던 영상 패턴의 근사 순서가 소정의 한계의 픽셀만을 위한 데이터는 과거 프레임으로부터 해독되고, 그 데이터는 현재 프레임(12)과 합성된다. 그 경우에서 알파값은 고정된 값이거나 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정된다.
2-5. 제5실시예에서, 데이터가 픽셀값의 변화에 따라서 시축을 따라 되돌아가는 과거 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 2-5는, 현재 프레임(12)과 합성된 픽셀값의 변화에 따라서 과거 프레임으로부터 해독되는 구조이다. 또는 미리 결정된 한계에서 픽셀값의 변화가 놓이는 픽셀만을 위한 데이터는 과거 프레임으로부터 해독되고, 그 데이터는 현재 프레임(12)과 합성된다. 그 경우에서 알파값은 고정된 값일 수 있고, 또는 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
2-6. 수정된 예 1-6에서, 시간 t와 픽셀 좌표 y사이의 관계는 t=sin y등의 삼각 함수와 같은 함수로 정의된다. 이것의 더 수정된 예로서, t=sin y와 같은 삼각 함수를 사용하는 함수에 기초하여 현재에서 과거 프레임으로 해독되는 데이터가 현재 프레임(12)과 합성된다. 그 경우에 알파값은 지정된 값이거나 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정된다.
2-7. 제6실시예에서, 데이터가 사용자에 의해 설정 스크린(82)에 설정된 베지에 곡선(86)에 해당하는 프레임으로부터 해독되는 구조가 제공된다. 이 수정된 예 2-7은, 사용자에 의해 설정 스크린(82)에 설정된 베지에 곡선(86)에 기초한 프레임으로부터 해독된 데이터가 현재 프레임(12)과 합성된 구조이다. 그 경우에서 알파값은 지정된 값일 수 있고, 또는 각 픽셀라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상 패턴의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
3-1. 이 수정된 예에서, 둘 또는 그 이상의 데이터 조각이 적어도 두 실시예에서 각 픽셀을 위해 해독되고, 또는 제1 및 제15실시예 사이에서 수정된 예, 1-1에서 1-6에서 수정된 예, 2-1에서 2-7에서 수정된 예가 합성되는 구조이다. 그 경우에서 알파값은 고정된 값이거나 각 픽셀 라인과 다를 수 있다. 예를 들어, 알파값은 좌표, z값, 각 픽셀의 픽셀값, 원하던 영상의 근사 순서 및 픽셀값의 변화 등에 따라서 설정될 수 있다.
비록 본 발명이 실시예로 설명되어졌지만, 많은 변화와 대체가 첨부된 청구항으로 정의된 본 발명의 범위에서 벗어나지 않고 당업자에 의해 더 만들어질 수 있다.

Claims (42)

  1. 원래의 동영상을 시축을 따라 변화하는 이차원 영상으로 간주하고, 가상으로 상기 동영상이 상기 이차원 영상 및 상기 시축으로 형성된 박스 공간에 표현될 때 서로 다른 시간값을 갖는 복수의 점을 포함하는 표면에 의해 박스 공간을 자르는 단계;
    시축의 방향으로 평면의 잘린 표면에 나타나는 상을 투영하는 단계;및
    잘린 표면을 변화시켜 새로운 동영상으로서 평면에 나타나는 상기 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 영상 발생 방법.
  2. 제 1항에 있어서, 상기 잘린 표면을 시간에 따라 변화시키는 것은 상기 시축을 따라 상기 표면을 이동시킴으로써 이루어지는 것을 특징으로 하는 영상 발생 방법.
  3. 제 1항에 있어서, 상기 표면은 이차원 영상에 포함된 점 좌표의 함수로 정의되는 것을 특징으로 하는 영상 발생 방법.
  4. 시축을 따라 원래의 동영상을 순차적으로 저장하는 영상 메모리;
    상기 영상 메모리에 저장된 상기 원래의 동영상을 시축을 따라 변화하는 이차원 영상으로 간주하고, 상기 동영상이 가상으로 상기 이차원 영상과 시축으로 형성된 박스 공간으로서 표현될 때, 서로 다른 시간값을 갖는 복수의 점을 포함하는 표면에 의해 박스 공간을 자르고, 상기 잘린 표면에 나타나는 영상을 상기 시축의 방향의 평면상에 투영하는 영상 변환 유닛;및
    상기 영상 변환 유닛에서 상기 잘린 표면을 시간에 따라 변화시킴으로써 얻게된 상기 평면 위에 나타나는 영상을 새로운 동영상 프레임으로 설정하는 영상 데이터 출력 유닛을 포함하는 것을 특징으로 하는 영상 발생 장치.
  5. 제 4항에 있어서, 상기 영상 변환 유닛은 시축을 따라 표면을 이동시킴으로써 잘린 표면을 시간에 따라 변화시키는 것으로 이루어지는 것을 특징으로 하는 영상 발생 장치.
  6. 제 4항에 있어서, 상기 표면은 시축의 방향으로 연속적 또는 불연속적인 폭을 갖는 것으로 정의되고, 상기 영상 변환 유닛은 상기 폭안에 포함된 영상을 합성하는 것을 특징으로 하는 영상 발생 장치.
  7. 제 4항에 있어서, 상기 영상 변환 유닛은 상기 이차원 영상을 구성하는 영상 영역 좌표의 함수로 정의된 표면에 의해 상기 박스 공간을 자르는 것을 특징으로 하는 영상 발생 장치.
  8. 제 7항에 있어서, 상기 표면은 상기 이차원 영상의 수평 좌표에 의존하지 않는 함수로 정의되는 것을 특징으로 하는 영상 발생 장치.
  9. 제 4항에 있어서, 상기 영상 변환 유닛은 이차원 영상을 구성하는 영상 영역에 대해 속성값의 함수로 정의되는 표면에 의해 박스 공간을 자르는 것을 특징으로 하는 영상 발생 장치.
  10. 제 4항에 있어서, 사용자 명령을 통해서 상기 표면을 정의하는 설정값의 입력을 수집하는 입력 설정 유닛을 더 포함하고,
    상기 영상 변환 유닛이 상기 입력 설정 유닛으로 수집된 상기 설정값의 함수로 정의되는 표면에 의해 박스 공간을 자르는 것을 특징으로 하는 영상 발생 장치.
  11. 제 10항에 있어서, 상기 입력 설정 유닛으로 수집된 상기 설정값의 함수는 상기 이차원 영상에 포함된 점좌표들과 상기 함수의 변수와 상기 설정값의 함수 사이의 관계가 스크린에 나타날 때의 시간값 사이의 관계를 나탸내는 곡선으로 표현되는 것을 특징으로 하는 영상 발생 장치.
  12. 제 10항에 있어서, 상기 입력 설정 유닛은 설정값으로서 상기 이차원 영상에서 지표점(characteristic point)의 좌표를 수집하고, 상기 영상 변환 유닛은 상기 지표점 좌표의 함수로 정의된 곡선에 의해 박스 공간을 자르는 것을 특징으로 하는 영상 발생 장치.
  13. 제 4항에 있어서, 상기 영상 변환 유닛은 상기 이차원 영상을 구성하는 영상 영역의 속성값에 따라서, 상기 영상 데이터 출력 유닛으로부터 출력되도록 새로운 동영상 프레임의 비율을 부분적으로 변화시키고, 상기 잘린 표면이 상기 각 영상 영역에 대해 시간에 따라 다른 속도로 변화되는 것을 특징으로 하는 영상 발생 장치.
  14. 제 4항에 있어서, 상기 표면을 정의하는 상기 시간값은 그것의 중심인 현재 시간과 함께 적어도 하나의 과거 또는 미래 시간을 포함하는 것을 특징으로 하는 영상 발생 장치.
  15. 원래의 동영상에 포함된 적어도 하나의 복수의 프레임으로부터 상기 원래의 동영상에서 대상 프레임에 포함된 영상의 각 화면 속 위치에 따라서, 화면 속 위치에 해당하는 데이터를 해독하는 단계;
    상기 해독된 데이터를 합성하는 단계;및
    상기 합성으로 형성된 프레임을 순차적으로 출력하여 새로운 동영상을 형성하는 단계를 포함하는 것을 특징으로 하는 영상 발생 방법.
  16. 제 15항에 있어서, 적어도 하나의 복수의 프레임으로부터 데이터가 해독되는 상기 해독하는 단계는 그것의 좌표에 따라서 각 화면 속 위치를 따라 결정되는 것을 특징으로 하는 영상 발생 방법.
  17. 제 15항에 있어서, 상기 합성하는 단계는 상기 해독된 데이터가 적어도 하나 의 복수의 프레임에 포함된 상기 영상의 속성값에 따른 비율로 합성되는 것을 특징으로 하는 영상 발생 방법.
  18. 영상 메모리, 영상 변환 유닛 및 영상 데이터 출력 유닛을 포함하는 영상 발생 장치에서,
    상기 영상 메모리는, 각 프레임에 대해 원래의 동영상을 순차적으로 기록하고,
    상기 영상 변환 유닛은, 대상 프레임에 포함된 영상의 각 화면 속 위치에 대해 상기 영상 메모리에 기록된 적어도 하나의 프레임으로부터 상기 화면 속 위치에 해당하는 데이터를 해독 및 합성하고,
    상기 영상 데이터 출력 유닛은 상기 영상 변환 유닛에 의해 합성되고 재생된 상기 프레임을 순차적으로 출력하는 것을 특징으로 하는 영상 발생 장치.
  19. 제 18항에 있어서, 상기 영상 변환 유닛은 각 화면 속 위치에 대해 그것의 좌표에 따라서 상기 적어도 하나의 프레임을 결정하는 것을 특징으로 하는 영상 발생 장치.
  20. 제 19항에 있어서, 상기 좌표는 스캐닝 라인에 수직인 것을 특징으로 하는 영상 발생 장치.
  21. 제 18항에 있어서, 상기 영상 변환 유닛은, 각 화면 속 위치에 대해 그것의 속성값에 따라서 상기 적어도 하나의 프레임을 결정하는 것을 특징으로 하는 영상 발생 장치.
  22. 제 18항에 있어서, 상기 영상 변환 유닛은 소정의 시간 간격에서 상기 적어도 하나의 프레임으로 복수의 프레임을 결정하고, 상기 영상 변환 유닛은 각 화면 속 위치에 대해 그것의 속성값에 따른 비율로 상기 복수의 프레임을 합성하는 것을 특징으로 하는 영상 발생 장치.
  23. 제 18항에 있어서, 상기 대상 프레임에 포함된 상기 영상의 각 화면 속 위치에 대해 상기 영상 변환 유닛은 그것의 상기 위치의 속성값에 따른 지시 효과를 적용하는 것을 특징으로 하는 영상 발생 장치.
  24. 제 21항에 있어서, 상기 영상 변화 유닛은, 각 화면 속 위치에 대해, 그것의 속성값에 따른 시간 간격을 구별하도록 상기 결정된 프레임의 시간 간격을 설정하는 것을 특징으로 하는 영상 발생 장치.
  25. 제 18항에 있어서, 상기 대상 프레임이나 상기 적어도 하나의 프레임은 상기 영상 메모리로부터 상기 영상 데이터 출력 유닛에 의해 자연적으로 출력되는 기준 프레임에 관해서는 시간에 따라 적어도 하나의 순차 프레임이나 이전 프레임인 것을 특징으로 하는 영상 발생 장치.
  26. 제 18항에 있어서, 상기 대상 프레임에 포함된 상기 영상의 각 화면 속 위치에 대해, 상기 영상 변환 유닛은 그것의 속성값에 따른 소정의 픽셀 값을 가산하는 것을 특징으로 하는 영상 발생 장치.
  27. 제 9항에 있어서, 상기 속성값은 깊이값(depth value)인 것을 특징으로 하는 영상 발생 장치.
  28. 제 21항에 있어서, 상기 속성값은 깊이값인 것을 특징으로 하는 영상 발생 장치.
  29. 제 9항에 있어서, 상기 속성값은 소망의 영상 패턴에 관계된 근사 순서(order)를 지시하는 값인 것을 특징으로 하는 영상 발생 장치.
  30. 제 21항에 있어서, 상기 속성값은 소망의 영상 패턴에 관계된 근사 순서를 지시하는 값인 것을 특징으로 하는 영상 발생 장치.
  31. 제 9항에 있어서, 상기 속성값은 시간에 따른 영상 영역의 변화 정도를 지시하는 값인 것을 특징으로 하는 영상 발생 장치.
  32. 제 21항에 있어서, 상기 속성값은 시간에 따른 영상 영역의 변화 정도를 지시하는 값인 것을 특징으로 하는 영상 발생 장치.
  33. 제 9항에 있어서, 상기 속성값은 픽셀값인 것을 특징으로 하는 영상 발생 장치.
  34. 제 21항에 있어서, 상기 속성값은 픽셀값인 것을 특징으로 하는 영상 발생 장치.
  35. 제 4항에 있어서, 상기 원래의 동영상으로서, 카메라로 찍힌 영상을 수집하고 상기 영상을 상기 영상 메모리로 보내는 영상 입력 유닛을 더 포함하는 것을 특징으로 하는 영상 발생 장치.
  36. 제 18항에 있어서, 상기 원래의 동영상으로서, 카메라로 영상 사진을 수집하고 상기 영상 메모리로 상기 영상을 보내는 영상 입력 유닛을 더 포함하는 것을 특징으로 하는 영상 발생 장치.
  37. 제 18항에 있어서, 사용자 명령을 통해서, 상기 적어도 하나의 프레임을 결정하는 설정값의 입력을 수집하는 입력 설정 유닛을 더 포함하고, 상기 영상 변환 유닛이 상기 입력 설정 유닛으로 수집된 상기 설정값에 따른 적어도 하나의 프레임을 결정하는 것을 특징으로 하는 영상 발생 장치.
  38. 제 28항에 있어서, 상기 입력 설정 유닛으로 수집된 상기 설정값은 그것의 상기 이차원 영상에 포함된 점 좌표와 화면에 나타날 때의 시간값 사이의 관계를 나타내는 곡선으로 표현되는 것을 특징으로 하는 영상 발생 장치.
  39. 제 28항에 있어서, 상기 설정값으로서, 상기 입력 설정 유닛은 상기 이차원 영상에서 지표점의 좌표를 수집하고, 상기 영상 변환 유닛은 상기 지표점의 좌표에 따른 상기 적어도 하나의 프레임을 결정하는 것을 특징으로 하는 영상 발생 장치.
  40. 원래의 동영상을 시축을 따라 변하는 이차원 영상으로 간주하고 가상으로 상기 동영상이 상기 이차원 영상 및 상기 시축으로 형성된 박스 공간에 표현될 때, 서로 다른 시간값을 갖는 복수의 점을 포함하는 표면에 의해 박스 공간을 자르는 단계;
    잘린 표면에 나타나는 상을 상기 시축의 방향의 평면 상에 투영하는 단계; 및
    잘린 표면을 변화시켜 평면에 나타나는 상기 영상을 새로운 동영상으로서 시간에 따라 출력하는 단계;의 함수를 포함하는 것을 특징으로 하는 컴퓨터로 실행될 수 있는 프로그램을 저장하는 기록 매체.
  41. 각 프레임에 대해, 원래의 동영상 데이터를 메모리에 순차적으로 기록하는 단계;
    프레임에 출력될 수 있게 포함된 영상의 각 화면 속 위치에 대해, 상기 메모리에 기록된 적어도 하나의 복수의 프레임으로부터 상기 화면 속 위치에 해당하는 데이터를 해독하는 단계;
    상기 프레임과 함께 출력될 수 있도록 상기 해독된 데이터를 합성하는 단계; 및
    상기 합성된 프레임을 순차적으로 출력하여 새로운 동영상을 형성하는 단계;의 함수들을 포함하는 것을 특징으로 하는 컴퓨터로 실행될 수 있는 프로그램을 저장하는 기록 매체.
  42. 원래의 동영상에 포함된 적어도 하나의 복수의 프레임으로부터 상기 원래의 동영상에서 대상 프레임에 포함된 영상의 각 화면 속 위치에 대해, 화면 속 위치에 해당하는 데이터를 해독하는 단계;
    상기 해독된 데이터를 합성하는 단계;및
    상기 합성하는 단계에서 형성된 프레임을 순차적으로 출력하여 새로운 동영상을 형성하는 단계의 함수를 포함하는 것을 특징으로 하는 컴퓨터로 실행될 수 있는 프로그램을 저장하는 기록 매체.
KR1020057004990A 2002-10-25 2003-10-22 시축을 따라 변화하는 영상 데이터를 사용하여 새로운영상을 발생시키는 방법 및 장치 KR100700262B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00311631 2002-10-25
JP2002311631 2002-10-25
JP2003326771A JP4114720B2 (ja) 2002-10-25 2003-09-18 画像生成方法および画像生成装置
JPJP-P-2003-00326771 2003-09-18

Publications (2)

Publication Number Publication Date
KR20050062558A KR20050062558A (ko) 2005-06-23
KR100700262B1 true KR100700262B1 (ko) 2007-03-26

Family

ID=32179106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057004990A KR100700262B1 (ko) 2002-10-25 2003-10-22 시축을 따라 변화하는 영상 데이터를 사용하여 새로운영상을 발생시키는 방법 및 장치

Country Status (7)

Country Link
US (1) US7990385B2 (ko)
EP (2) EP1554871B1 (ko)
JP (1) JP4114720B2 (ko)
KR (1) KR100700262B1 (ko)
AT (1) ATE542367T1 (ko)
TW (1) TWI238977B (ko)
WO (1) WO2004039067A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US7456904B2 (en) * 2005-09-22 2008-11-25 Pelco, Inc. Method and apparatus for superimposing characters on video
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP4627052B2 (ja) 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP4227639B2 (ja) * 2006-10-26 2009-02-18 株式会社テンヨー 手品補助玩具
US8405661B2 (en) * 2007-02-23 2013-03-26 International Business Machines Corporation Method for modeling and animating object trajectories in three-dimensional space
WO2009031200A1 (ja) * 2007-09-04 2009-03-12 Fujitsu Limited データ記録プログラム、データ記録装置、データ記録方法および記録媒体
CN102356407B (zh) * 2009-03-31 2013-09-25 三菱电机株式会社 动画编辑装置、动画再现装置以及动画编辑方法
JP2011139276A (ja) * 2009-12-28 2011-07-14 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
WO2011093013A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 情報処理装置及び情報処理方法
US8811801B2 (en) * 2010-03-25 2014-08-19 Disney Enterprises, Inc. Continuous freeze-frame video effect system and method
US8391604B2 (en) * 2010-07-22 2013-03-05 Sharp Laboratories Of America, Inc. Camera-vision systems, used in collaboration whiteboards, for pre-formatted, reusable, annotatable, movable menus and forms
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9609236B2 (en) 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP6341814B2 (ja) * 2014-09-08 2018-06-13 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP6415330B2 (ja) * 2015-01-15 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
WO2018106608A1 (en) 2016-12-05 2018-06-14 Ring Inc. Passing vehicle filters for audio/video recording and communication devices
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459830A (en) 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
EP0684059A1 (en) * 1994-05-24 1995-11-29 Texas Instruments Incorporated Method and apparatus for the display of video images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4240113A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Picture manipulation in video systems
GB9109999D0 (en) * 1991-05-09 1991-07-03 Quantel Ltd Improvements in or relating to keying systems and methods for television image processing
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
US5926186A (en) * 1992-09-10 1999-07-20 Fujitsu Limited Graphic editing apparatus and method
JP2591424B2 (ja) 1993-05-17 1997-03-19 日本電気株式会社 画像メモリ装置
JPH0935040A (ja) * 1995-07-19 1997-02-07 Atr Ningen Joho Tsushin Kenkyusho:Kk 物体移動軌跡抽出のための画像処理方法
JP3499729B2 (ja) 1996-10-04 2004-02-23 日本電信電話株式会社 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JP4462654B2 (ja) * 1998-03-26 2010-05-12 ソニー株式会社 映像素材選択装置及び映像素材選択方法
US6351557B1 (en) * 1998-04-03 2002-02-26 Avid Technology, Inc. Method and apparatus for color manipulation
JPH11331795A (ja) 1998-05-14 1999-11-30 Nec Corp Ｔｖ会議画像データ制御システム
EP0961230A3 (en) * 1998-05-29 2001-03-28 Canon Kabushiki Kaisha Image processing method and apparatus therefor
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459830A (en) 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
EP0684059A1 (en) * 1994-05-24 1995-11-29 Texas Instruments Incorporated Method and apparatus for the display of video images

Also Published As

Publication number Publication date
EP2334051B1 (en) 2013-03-13
JP2004166246A (ja) 2004-06-10
US7990385B2 (en) 2011-08-02
KR20050062558A (ko) 2005-06-23
TWI238977B (en) 2005-09-01
TW200419466A (en) 2004-10-01
EP2334051A1 (en) 2011-06-15
EP1554871A1 (en) 2005-07-20
WO2004039067A1 (en) 2004-05-06
EP1554871B1 (en) 2012-01-18
US20040130637A1 (en) 2004-07-08
JP4114720B2 (ja) 2008-07-09
ATE542367T1 (de) 2012-02-15

Similar Documents

Publication Publication Date Title
KR100700262B1 (ko) 시축을 따라 변화하는 영상 데이터를 사용하여 새로운영상을 발생시키는 방법 및 장치
US6208360B1 (en) Method and apparatus for graffiti animation
AU662947B2 (en) Apparatus and methods for automerging images
US7852370B2 (en) Method and system for spatio-temporal video warping
JP4661866B2 (ja) ゲーム装置において実行される表示制御プログラム
US6271875B1 (en) Three-dimensional image processing apparatus and three-dimensional image processing method
JP2005122320A (ja) 撮影装置、その画像処理方法及びプログラム
JPH11108633A (ja) ３次元形状計測装置及びそれを用いた３次元彫刻装置
TWI464705B (zh) 產生合成影像之方法
KR100411760B1 (ko) 애니메이션 영상 합성 장치 및 방법
US20040004615A1 (en) Method and apparatus for generating pseudo-three-dimensional images
JPH11250273A (ja) 画像合成装置
JP4363154B2 (ja) 撮影装置、その画像処理方法及びプログラム
JPH10126687A (ja) すり替え編集システム
CN101123692A (zh) 使用沿时间轴改变的图像数据产生新图像的方法和装置
JP3380979B2 (ja) 映像生成装置及び方法並びに記録媒体
JP4363153B2 (ja) 撮影装置、その画像処理方法及びプログラム
JP2005115011A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよびこのプログラムを記録した記録媒体
Kakuho et al. Motion Reproduction of Sky and Water Surface From an Omnidirectional Still Image
JP5111739B2 (ja) 質感表示装置
Davis et al. Cinematographic and Geometric Criteria for Virtual Camera Path Generation for the Visualization of Shipwreck Data.
JPH02100768A (ja) イラスト作成装置
Berry Investigation of layered depth images
JP2000152079A (ja) 画像列生成方法
JP2009237454A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 14