KR100313713B1 - 화소샘플링을이용한시각율동생성방법 - Google Patents

화소샘플링을이용한시각율동생성방법 Download PDF

Info

Publication number
KR100313713B1
KR100313713B1 KR1019980056144A KR19980056144A KR100313713B1 KR 100313713 B1 KR100313713 B1 KR 100313713B1 KR 1019980056144 A KR1019980056144 A KR 1019980056144A KR 19980056144 A KR19980056144 A KR 19980056144A KR 100313713 B1 KR100313713 B1 KR 100313713B1
Authority
KR
South Korea
Prior art keywords
image
shot
visual
pixel
frame
Prior art date
Application number
KR1019980056144A
Other languages
English (en)
Other versions
KR20000040485A (ko
Inventor
이진호
김혁만
허문행
최동휘
송문호
Original Assignee
이계철
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계철, 한국전기통신공사 filed Critical 이계철
Priority to KR1019980056144A priority Critical patent/KR100313713B1/ko
Priority to US09/453,689 priority patent/US6549245B1/en
Publication of KR20000040485A publication Critical patent/KR20000040485A/ko
Application granted granted Critical
Publication of KR100313713B1 publication Critical patent/KR100313713B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 화소 샘플링을 이용한 시각율동 생성방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 영상시스템 등에서 화소 샘플링을 이용하여 영상의 내용변화를 요약한 한 장의 이미지인 시각율동(Visual Rhythm)을 생성하고, 이러한 시각율동을 이용하여 샷 경계 검출 및 샷 검증 등과 같은 디지털 영상 관련 작업시에 영상을 재생하지 않고도 눈으로 쉽고 빠르게 미검출 및 오검출된 샷 경계 등을 찾아내기 위한 시각율동 생성방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 영상시스템에 적용되는 시각율동 생성방법에 있어서, 화소값들로 이루어지는 임의의 영상의 각 프레임에서 부분적으로 화소를 샘플링하는 제 1 단계; 및 샘플링된 상기 화소들을 이용하여 상기 임의의 영상에 대한 영상의 내용 변화(장면 변화)를 요약한 시각율동(Visual Rhythm)을 생성하는 제 2 단계를 포함하되, 상기 시각율동(Visual Rhythm)은 2차원 프레임의 화소들을 부분적으로 샘플링하여 일차원에 배열함으로써 삼차원 공간의 영상 내용을 이차원 공간의 이미지로 요약한, 삼차원 축소영상의 화소값의 일부분을 샘플링한 이차원 이미지인 것을 특징으로 함.
4. 발명의 중요한 용도
본 발명은 디지털 영상관련 각종 소프트웨어 도구 등에 이용됨.

Description

화소 샘플링을 이용한 시각율동 생성방법
본 발명은 영상시스템 등에서 화소 샘플링을 이용하여 영상의 내용변화를 요약한 한 장의 이미지인 시각율동(Visual Rhythm)을 생성하고, 이러한 시각율동을이용하여 다양한 디지털 영상 응용분야 및 디지털 영상에 관련된 각종 소프트웨어의 기본 요소로 사용 가능하도록 한 시각율동 생성방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
현재, 방송용 디지털 영상 편집, 디지털 라이브러리, 영상 데이터베이스, 멀티미디어 영상 컨텐츠 제작, 인터넷에서의 영상 스트리밍 등과 같이 디지털 영상을 이용한 응용 분야가 확대됨에 따라, 영상 색인(Video Indexing)에 관한 연구가 매우 활발히 진행되고 있다.
일반적으로, 영상은 프레임의 집합이라는 균일한 요소로 이루어져 있기 때문에 재생, 빨리 감기, 되감기, 일시 정지 등의 순차적인 비디오 카트리지 녹화기(VCR : Video Cartridge Recoder) 제어 기능을 통해서만 전체적인 내용을 파악할 수 있으며, 특정 부분으로의 임의 접근이 매우 힘든 구조를 갖고 있다. 반면에, 일반적인 텍스트 관련 응용에서는 특정 단어나 문장, 문단 또는 차례에서 제공하는 장이나 절 단위로 특정 부분을 편하게 임의 접근할 수 있다.
영상 색인은 영상에 관련된 응용에서도 영상의 특정 부분으로 임의 접근이 가능한 메카니즘을 의미한다.
이러한 영상 색인 방법은 크게 "주석에 기반한 색인"과 "영상 자체의 내용에 기반한 색인"으로 구분할 수 있다.
"주석 기반 색인"은 영상의 특정 구간을 주석 작성자가 인지하는 키워드 또는 텍스트로 기술하여, 이 주석을 통해 영상의 특정 구간을 검색하는 방법을 말한다.
반면에, "내용 기반 색인"은 영상의 신호 특성을 분석하여 내제된 시각 정보들을 검출하므로써, 영상의 특정 부분에 대한 임의 접근을 제공하는 방법을 말한다.
이중, 가장 효과적인 영상 색인은 내용 기반 색인의 결과 자동 검출된 특정 구간에 대해 주석 기반 색인 방법을 적용하는 형태이다.
내용 기반 영상 색인에서 가장 중요한 것은 샷 경계 검출(Shot Change Detection) 이다.
영상은 제작시 샷 단위로 편집되어 구성된다. 여기서, 샷이란 촬영시에 카메라가 멈춤없이 한 번에 기록한 연속적인 프레임을 의미한다.
일반적으로, 샷은 1-10초 정도이며, 장면은 광고나 영화 등과 같이 영상의 내용에 따라 그 편차가 상당히 크다.
따라서, 영상 제작자는 편집시에 이미 샷을 정의하여 영상을 제작하므로, 이 샷 단위로 영상을 색인 및 검색하는 것이 제작자 및 시청자의 입장에서 가장 자연스러울 것이다.
영상 색인을 위해 샷 경계를 검출 하는 작업은 수작업으로 할 경우에, 시간과 노력이 매우 많이 드는 고비용의 작업이다. 따라서, 이를 자동화하는 소프트웨어의 도움이 필수적이다.
그러나, 자동화된 소프트웨어 도구로 모든 샷을 100% 완벽하게 자동 검출하기란 거의 불가능한 일이다. 이는 샷 경계 검출 알고리즘들이 샷 경계가 아닌 경우를 샷 경계로 오판(False Positive Shots)하거나, 존재하는 샷 경계를 검출 못하는경우(Missing Shots)가 매우 많기 때문이다. 이러한 미검출과 오검출의 주원인은 영상 제작시 사용되는 편집 효과에 의해서 발생한다.
영상은 촬영한 원시 테이프에 있는 샷들을 선택하여 연결하는 편집 과정을 통해 제작된다.
편집시 샷을 연결하는 기법으로는 크게 컷(Cut), 디졸브(Dissolve), 그리고 와이프(Wipe) 등의 편집 효과를 사용한다.
컷(Cut)은 인접한 샷을 단순히 잇는 것을 말하며, 이를 급진적 전환(Abrupt Change)이라 한다.
반면에, 디졸브(Dissolve)와 와이프(Wipe)는 인접한 샷을 몇 개의 프레임에 걸쳐 동시에 보여줌으로써, 연결을 보다 자연스럽게 만드는 방법으로서, 점진적 전환(Gradual Change)이라 한다.
그리고, 디졸브(Dissolve)는 사라지는 샷의 끝 부분은 페이드-아웃(Fade-out)하고, 새로 나타나는 샷의 시작 부분을 페이드-인(Fade-in)하면서 두 샷을 오버랩(Overlap)시키는 방법을 말한다.
한편, 와이프(Wipe)는 새로 나타나는 샷이 사라지는 샷을 화면에서 밀어내는 방식을 말한다.
최근에는, 디지털 편집 장비가 발달함에 따라 설명한 2차원 편집 효과 외에 롤링(Rolling), 플라잉(Flying), 도플러(Doppler) 효과 등과 같은 점진적 3차원 편집 효과도 보편화되었다.
샷 경계 검출이란, 이미 제작된 영상에서 역으로 편집시에 연결해 놓은 샷경계를 찾아내는 것이다.
그런데, 컷(Cut)과 같은 급진적 전환은, 일반적으로 전혀 다른 내용의 프레임이 인접하여 있으므로, 샷 경계가 비교적 분명하다. 따라서, 인접 프레임간의 픽셀 단위 신호 특성, 프레임간의 평균 신호 특성, 히스토그램, 모션 등의 차이를 이용하는 방법만으로도 어느 정도의 경계 검출이 가능하다. 그러나, 이 경우에도 패닝(Panning), 줌밍(Zooming) 등과 같은 카메라 동작이 많이 사용된 경우, 아주 밝거나 어두운 배경, 빠른 물체의 움직임이 있는 경우 등에서는 검출 정확도가 많이 떨어진다.
한편, 디졸브(Dissolve) 및 와이프(Wipe), 3차원 편집 효과와 같은 점진적 전환은 여러 프레임에 걸쳐 연속적으로 일어나기 때문에 샷 경계가 불분명하여 경계 검출이 매우 어렵다.
지금까지의 샷 경계 검출 알고리즘들은 영상에 디졸브와 와이프와 같은 점진적 전환이 많지 않다면, 각각 약 10 내지 20% 내외의 미검출 및 오검출율을 보인다.
현재의 연구로는 샷 경계의 완전한 자동 검출이 이뤄지지 않고 있으므로, 정확한 샷 경계 검출을 원할 경우에 수작업에 의한 검증이 필요하다. 즉, 오검출된 샷들을 제거하고 미검출된 샷들을 찾아내는 것이다.
이처럼, 종래에는 컷, 디졸브, 와이프 등의 영상 편집 효과 및 줌밍(Zooming), 패닝(Panning) 등과 같은 카메라 동작, 플래시 라이트, 객체의 움직임 등을 표현하면서 영상의 전체 내용을 요약할 수 있는 방법이 존재하지 않았다.
따라서, 수작업으로 검증하는 영상을 담은 테이프 또는 파일을 반복적으로 재생(Playback)하면서 눈으로 미검출 및 오검출된 샷들을 찾는 것 이외에는 특별한 방법이 없었다.
즉, 종래에는 영상을 단순히 재생하면서 미검출 및 오검출을 찾기 위해서 영상 재생기의 빨리감기, 되감기, 재생, 일시정지 등과 같이 VCR 기능을 이용해 자동 검출된 결과를 일일이 확인해야 하였다.
그러나, 일반적으로 매우 짧은 시간에 샷 경계가 변하기 때문에, 종래에는 확인을 위해서 같은 구간을 계속 반복적으로 재생하는 경우가 많았다. 이는 처음부터 수작업으로 하는 것보다 더 많은 시간과 노력을 필요로 할 때도 있었다.
따라서, 샷 검증을 효율적으로 하기 위해, 미검출 및 오검출된 샷 경계라고 의심되는 부분을 영상을 재생하지 않고도 눈으로 빠르고 정확하게 찾을 수 있는 방안이 필수적으로 요구된다. 또한, 이러한 방안을 통하여 쉽고 편하게 오검출된 샷들을 제거하고, 미검출된 샷들을 찾아내는 소프트웨어 도구가 필수적으로 요구된다.
본 발명은 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로서, 영상시스템 등에서 화소 샘플링을 이용하여 영상의 내용변화를 요약한 한 장의 이미지인 시각율동(Visual Rhythm)을 생성하고, 이러한 시각율동을 이용하여 샷 경계 검출 및 샷 검증 등과 같은 디지털 영상 관련 작업시에 영상을 재생하지 않고도 눈으로 쉽고 빠르게 미검출 및 오검출된 샷 경계 등을 찾아내기 위한 시각율동 생성방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 이용되는 시각율동 생성을 위한 화소 샘플링 방법에 대한 설명도.
도 2 는 본 발명에 이용되는 시각율동 생성을 위한 각 화소 샘플링 방법의 시각율동 예시도.
도 3 은 본 발명에 따른 시각율동 생성방법에 대한 일실시예 흐름도.
도 4a 내지 4d 는 본 발명의 실시예에 따른 시각율동에서의 편집 효과를 나타낸 설명도.
도 5 는 본 발명의 실시예에 따른 시각율동 예시도.
도 6 은 본 발명의 실시예에 따른 시각율동의 확대 및 축소를 나타낸 예시도.
도 7 은 본 발명의 실시예에 따른 샷 검증기의 사용자 인터페이스를 나타낸 설명도.
상기 목적을 달성하기 위한 본 발명은, 영상시스템에 적용되는 시각율동 생성방법에 있어서, 화소값들로 이루어지는 임의의 영상의 각 프레임에서 부분적으로 화소를 샘플링하는 제 1 단계; 및 샘플링된 상기 화소들을 이용하여 상기 임의의 영상에 대한 영상의 내용 변화(장면 변화)를 요약한 시각율동(Visual Rhythm)을 생성하는 제 2 단계를 포함하되, 상기 시각율동(Visual Rhythm)은 2차원 프레임의 화소들을 부분적으로 샘플링하여 일차원에 배열함으로써 삼차원 공간의 영상 내용을 이차원 공간의 이미지로 요약한, 삼차원 축소영상의 화소값의 일부분을 샘플링한 이차원 이미지인 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 시각율동 생성 장치에, 프로세서를 구비한 시각율동 생성 장치에, 임의의 영상내의 각 프레임의 화소 블록들에 대해, 역호프만(Huffman) 변환, 역 런-렌스(Run-length) 변환, 그리고 디씨(DC)상수에 대한 역 양자화(Quantization) 변환을 순차적으로 수행하여 디씨(DC) 계수만을 복원하여, 화소값들로 이루어지는 임의의 영상의 각 프레임에서 부분적으로 화소를 샘플링하는 제 1 기능; 및 상기 각 프레임의 화소 블록들에서 복원시킨 디씨(DC) 계수들을 이용하여, 상기 임의의 영상에 대한 영상의 내용 변화(장면 변화)를 요약한 시각율동(Visual Rhythm)을 생성하는 제 2 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명은 디지털 영상에 관련된 멀티미디어 서비스 구현에 필요한 핵심 기술인 영상 색인에 관한 것으로서, 시각율동을 사용하여 디지털 영상 관련 각종 도구들의 성능 향상을 기하고자 한다.
시각율동은 영상의 내용 변화를 요약한 한 장의 이미지이다. 특히, 대각선 샘플링을 사용한 시각율동은 컷, 와이프, 디졸브와 같은 영상 편집 효과가 적용된 부분을 수직선, 사선, 곡선, 색상의 점진적 변화 등 눈으로 쉽게 인지 가능한 형태로 나타내는 특성을 갖는다. 뿐만 아니라, 시각율동은 영상 편집 효과 이외에도 카메라 동작, 플래시 라이트, 객체 동작 등을 시각적으로 표현할 수 있다. 또한, 시각율동은 시간축으로 확대/축소가 가능하여, 한 화면에 많은 분량의 영상 내용 변화를 디스플레이 할 수 있다.
본 발명에서는 시각율동의 유용성을 보이기 위한 실시예로서, 샷 검증기를 설명하였다. 시각율동의 특성을 이용한 샷 검증기는 시각율동을 이용해 샷 경계 여부가 의심스러운 부분을 쉽게 판별하고, 커서를 이용한 임의 접근 기능으로 그 부분으로 용이하게 이동하며, 대부분의 경우 재생하지 않고도 축소화면만으로 샷 경계 여부를 판별할 수 있으므로 샷 검증에 소요되는 시간과 노력을 크게 단축할 수 있다.
시각율동은 영상 색인, 디지털 영상 편집, 디지털 영상 라이브러리, 영상 데이터베이스, 멀티미디어 영상 컨텐츠 제작 등 다양한 디지털 영상 응용 분야에서 유용하게 사용될 수 있다. 특히, 이 분야에서 공통적으로 사용되는 디지털 영상 편집기, 영상 브라우저, 샷 경계 검출기 및 샷 검증기, 영상 색인기 등 디지털 영상에 관련된 각종 소프트웨어 도구의 기본 요소로 사용할 경우 작업 효율을 크게 향상시킬 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 이용되는 시각율동 생성을 위한 화소 샘플링 방법에 대한 설명도이다.
도 1을 참조하면, 시각율동 생성을 위한 화소 샘플링 방법은 크게 다섯 가지로 나눌 수 있는데, 이는 화소를 수평(1a), 수직(1b), 대각선(1c), 교차(1d), 그리고 지역(1e)으로 나누어 샘플링하는 방법이다.
시각율동은 영상의 내용 변화를 요약한 한 장의 이미지이다. 특히, 대각선(1c) 샘플링을 사용한 시각율동은 컷, 와이프, 디졸브 등과 같은 영상 편집 효과가 적용된 부분을 수직선, 사선, 곡선, 색상의 점짐적 변화 등과 같이 눈으로 쉽게 인지 가능한 형태로 나타내는 특성을 갖는다. 뿐만 아니라, 시각율동은 영상 편집 효과 이외에도 카메라 동작, 플래시 라이트, 객체 동작 등을 시각적으로 표현할 수 있고, 시간축으로 확대/축소가 가능하여 한 화면에 많은 분량의 영상내용을 디스플레이할 수 있다.
본 실시예는 샷 검증시 영상을 재생하지 않고도 눈으로 쉽고 빠르게 미검출 및 오검출된 샷 경계를 찾아낼 수 있는 방법인 시각율동(Visual Rhythm)과, 시각율동의 특성을 이용한 샷 검증 기능과 이를 소프트웨어 도구화한 샷 검증기에 관한 것이다. 이러한 시각율동과 샷 검증기는 다양한 디지털 영상 응용 분야에서 유용하게 사용될 수 있고, 시각율동의 우수한 표현 능력은 샷 검증기 외에도 디지털 영상 관련 작업에 필요한 영상 편집기, 영상 브라우저, 영상 색인기 등의 여러 도구들에서 유용하게 사용될 수 있다.
이제, 샷 검증시에 영상을 재생하지 않고도 눈으로 쉽고 빠르게 미검출 및 오검출된 샷 경계를 찾아낼 수 있는 방법인 시각율돌(Visual Rhythm)에 대해 보다 상세히 설명한다.
임의의 영상(V)의 각 화소(Pixel)값을 fV(x,y,t)라 가정하여, 임의의 영상(V)을 수학식으로 표현하면 (수학식 1)과 같다.
[수학식 1]
V = { fV(x,y,t) },
단, x,y,t∈{0,1,2,....}
(수학식 1)에서, 영상(V)의 각 프레임을 가로와 세로 모두 r배로 줄인 축소영상(VThumbnail)의 화소값을 fThumbnail(x,y,t)로 가정하여, 축소영상(VThumbnail)을 수학식으로 표현하면 (수학식 2)와 같다.
[수학식 2]
VThumbnail= {fThumbnail(x,y,t)},
단, x,y,t∈{0,1,2,....}
(수학식 1) 및 (수학식 2)를 참조하여, 영상(V)과 영상(V)의 각 프레임을 가로와 세로 모두 r배로 줄인 축소영상(VThumbnail)의 관계를 화소값을 통하여 정의할 수 있는데, 이를 수학식으로 표현하면 (수학식 3)과 같다.
[수학식 3]
fThumbnail(x,y,t) = fV(rx+kx, ry+ky, t),
단, x,y,t∈{0,1,2,....}, kx,ky∈{0,1,...., r-1}
여기서, kx,ky는 샘플링 오프셋(Offset)을 의미한다.
(수학식 3)에서 정의한 축소영상(fThumbnail(x,y,t))을 사용하여 임의의 영상(V)에 대한 시각율동(VR)을 수학식으로 표현하면 (수학식 4)와 같다.
[수학식 4]
VR = { fvr(z,t) } = { fThumbnail(x(z), y(z), t) }
(수학식 4)를 참조하면, 시각율동(VR)은 삼차원 축소영상의 화소값 fThumbnail(x,y,t)의 일부분을 샘플링하여 생성한 이차원 이미지임을 알 수 있다. 즉, 시각율동이란 2차원 프레임의 화소들을 부분적으로 샘플링하여 1차원에 배열하므로써, 3차원 공간의 영상 내용을 2차원 공간의 이미지로 요약한 것이다.
도 1에 도시된 바와 같이, 화소를 샘플링하는 방법(1a 내지 1e)에 따라 다양한 시각율돌을 만들 수 있다.
예를 들면, 임의의 평면(y = y0)에 대해 (x(z), y(z)) = (z, y0)를 사용하여시각율동(VR)을 만들면, 이는 y = y0에서의 수평 샘플링을 의미하고, (x(z), y(z)) = (x0, z)는 수직 샘플링, (x(z), y(z)) = (z, αz)는 대각선 샘플링을 의미한다.
화소 샘플링 방법의 선택 기준은 영상 내용 변화의 표현 정도에 따라 결정할 수 있는데, 도 1의 방법중 대각선(1c), 교차(1d) 그리고 지역(1e) 샘플링 방법을 이용해 동일 영상에서 만든 시각율돌의 예가 도 2에 도시되었다.
도 2 는 본 발명에 이용되는 시각율동 생성을 위한 각 화소 샘플링 방법의 시각율동 예시도이다.
도 2를 참조하면, 지역 샘플링(2c)은 신호 처리 측면에서 프레임의 전체 내용을 대표할 수는 있으나, 수평으로 나타나는 줄 때문에 눈으로 보기에는 불편하다. 또한, 교차 샘플링(2b) 역시 가운데의 수평줄이 판독에 지장을 주며, 한쪽 대각선의 내용이 너무 짧아 눈으로의 판독이 어려운 경향이 있다.
반면에, 대각선 샘플링(2a)은 프레임 전체 내용을 대표하지는 못하나, 다음에 설명할 눈으로 검증하는데 편한 여러 특성을 갖고 있다.
본 실시예에서는 대각선 샘플링(2a)을 이용한 시각율돌을 사용한다.
이제, 시각율동을 효율적으로 생성하는 방법에 대해 보다 상세히 설명한다.
영상이 단순히 디지털화되어 파일로 저장되어 있다면, 화소 샘플링은 매우 간단한 문제이다. 그러나, 압축 저장되어 있다면 복원 과정이 필요하므로, 시각율동을 생성하는 방법이 필요하다.
영상 압축 포맷중 엠제이펙(M-JPEG : Motion Joint Photographics ExpertGroup) 또는 엠펙(MPEG : Moving Picture Expert Group)의 인트라(I : Intra) 프레임과 같이 이산여현변환(DCT : Discrete Cosine Transform) 방식으로 압축된 영상일 경우에는 화소 샘플링을 효과적으로 할 수 있다.
DCT에서는 입력 프레임을 8x8 블록으로 작게 나누어, 각 블록에 DCT를 적용하여 1개의 디씨(DC : Direct Current) 계수(Coefficient)와 63개의 에이씨(AC : Alternative Current) 계수를 생성한다. 여기서, DC 계수는 블록에 속한 64개 화소에 대응하는 신호의 평균(정확히는 평균의 8배)이다. 따라서, 각 프레임의 DC 계수만으로 이미지를 만들면, 1/64로 축소된 DC 이미지를 얻을 수 있다.
만약, DC 이미지를 축소화면으로 사용할 경우에, 상기한 바와 같은 축소영상(fThumbnail(x,y,t))과 영상(V)의 화소값은 하기의 (수학식 5)와 같은 특성을 갖는다.
[수학식 5]
fThumbnail(x,y,t) =
단, x,y,t∈{0,1,2,3....}
DC 이미지를 축소화면으로 사용하면, 가장 시간이 많이 걸리는 역이산여현변환(IDCT : Inverse DCT) 복원 과정없이 압축된 영상에서 DC 계수만 읽어내어 시각율돌을 생성할 수 있다.
도 3 은 본 발명에 따른 시각율동 생성방법에 대한 일실시예 흐름도로서, M-JPEG(또는 I 프레임만으로 이루어진 MPEG) 영상에서 시각율동을 생성하는 절차를나타낸다.
M-JPEG 영상은 영상의 각 프레임을 JPEG 이미지 압축 방식으로 압축한다.
JPEG에서는 이미지를 8x8 화소 블록으로 나누어, 각각의 화소 블록에 순서대로 DCT 변환 및 양자화(Quantization), 런-렌스(Run-length), 호프만(Huffman) 변환을 적용한다.
그 결과, 하나의 8×8 화소 블록에 속하는 64개의 화소에 대한 신호 특성이 1개의 DC 개수 및 63개의 AC 계수로 변환되어 압축된다. 여기서, DCT 변환으로 만들어지는 DC 계수는 대응하는 64개 화소 신호특성의 평균값(정확히는 평균의 8배)을 가지는 특성이 있다.
따라서, M-JPEG 압축 영상에서 시각율동을 생성하려면, 각 프레임을 복원해야 한다. 즉, JPEG으로 압축된 각 프레임을 복원하려면, 압축의 역순으로 역 호프만 변환, 역 런-렌스 변환, 역 양자화 변환, 그리고 역 DCT 변환을 순차적으로 수행해야 한다. 이러한 변환순서에서 역 DCT 변환은 시간이 매우 많이 소요되는 변환으로 이를 생략하면, 시각율동을 생성하는 시간을 현저히 줄일 수 있다.
본 실시예에서는 시각율동 생성을 위한 화소 샘플링 방법중 대각선 샘플링에 대해 살펴보기로 한다. 여기서, 역 DCT 변환은 시각율동을 생성하는 시간을 줄이기 위해 생략하기로 한다.
도 3에 도시된 바와 같이, 본 발명에 따른 시각율동 생성방법은, 먼저 영상내의 프레임을 읽는다(301).
이후, 하나의 프레임내의 모든 대각선 DCT 블록에 대해, 각 대각선 DCT 블록을 읽어(302) 역 호프만(Huffman) 변환, 역 런-렌스(Run-length) 변환, 그리고 DC 상수에 대한 역 양자화(Quantization) 변환을 순차적으로 수행하여(302 내지 306) 8x8 화소 블록에서 DC 계수를 생성한다.
다음으로, 모든 프레임에 대해, 상기의 변환 과정(302 내지 305)을 통해 각 프레임에 대한 DC 계수를 생성 및 누적한다(306,307). 즉, 각 프레임의 대각선 화소 블록들에서 추출한 DC 계수들을 이용하여 전체 영상에 대한 시각율동을 생성한다.
M-JPEG(또는 I 프레임만으로 이루어진 MPEG) 영상에서의 시각율동 생성방법은, JPEG으로 압축된 프레임의 복원시 8x8 화소 블록의 모든 화소를 복원하지 않고, 각 화소 블록의 DC 계수만을 구하여 시각율동을 생성한다. 즉, 역 DCT 변환을 수행하지 않고, 역 호프만 변환, 역 런-렌스 변환, DC 계수에 대한 역 양자화만을 수행하여 DC 계수만을 복원하므로 수행시간을 현저히 줄일 수 있다. 또한, 본 발명은 모든 8x8 화소 블록에 대해 DC 계수를 복원하지 않고, 시각율동의 생성에 필요한 화소 블록의 DC 계수만을 복원하여 수행시간을 감소시킨다.
한편, 모션 벡터를 사용하는 MPEG-1과 MPEG-2의 P(Predictive coded picture), B(Bidirectional predictive coded picture) 프레임에서도 최소한의 복원만으로 빠르게 DC 이미지를 생성하는 방법이 이미 개발되어 있으므로, 이를 이용하면 MPEG에서의 시각율돌도 효과적으로 생성할 수 있다.
이제, 시각율동의 특성과 샷 검증에 대해 보다 상세히 설명한다.
시각율동은 전체 영상의 내용 변화를 표현하는 한 장의 이미지이다.
시각율동에서 수직으로의 한 줄에 속한 화소들은 원시 프레임에서 추출된 축소화면의 대각선 화소이므로, 특정 샷에 속한 프레임들에서 추출된 대각선 화소들은 거의 비슷한 시각적 특성을 갖는다.
따라서, 시각율동의 샷 경계 부근에서는 두드러진 시각적 변화가 나타난다. 이러한 변화들은 쉽게 눈으로 감지되므로, 이를 이용해 수작업에 의한 오검출 및 미검출된 샷들의 교정이 가능하다.
도 4a 내지 4d 는 본 발명의 실시예에 따른 시각율동에서의 편집 효과를 나타낸 설명도로서, 편집 효과가 시각율돌에서 어떻게 나타나는지를 보여준다.
도 4a를 참조하면, 컷으로 연결된 샷 경계의 경우에 시각율동에서는 수직선으로 나타난다. 만약, 시각율동에서 인접한 두 개의 줄이 서로 다른 샷에 속한다면, 이들은 시각적으로 두드러진 차이를 보일 것이다. 이 차이가 시각율동에서는 수직선으로 나타난다.
도 4b를 참조하면, 새로운 샷이 이전의 샷을 화면의 왼쪽에서 오른쪽으로 밀어내는 수평 와이프(Horizontal, Left-to-right Wipe)의 경우에, 시각율동에서는 사선으로 나타난다.
그리고, 화면의 위에서 아래로 새로운 샷이 나타나는 수직 와이프(Vertical, Top-to-bottom Wipe)도 같은 형태의 사선으로 나타난다. 또한, 새로운 샷이 오른쪽에서 왼쪽으로 나타나는 수평 와이프나, 아래에서 위로 나타나는 수직 와이프의 경우에는 사선의 방향만 180도 바뀐 형태의 시각율동이 생성된다.
도 4c를 참조하면, 새로운 샷이 화면의 중앙에서 나타나 이전의 샷을 주변으로 밀어내는 확장 와이프(Expanding, Center-to-outskirts Wipe)의 경우에 시각율동에서는 위에서 아래로 연결된 곡선으로 나타난다.
만약, 새로운 샷이 시간축에 비해 일정 크기로 증가하면 곡선이 아니라, 180도 방향이 서로 다른 두 개의 사선이 만나 각을 이루는 형태의 선으로 나타난다.
한편, 새로운 샷이 화면의 주변에서 나타나 이전 샷을 중앙으로 밀어내는 흡수 와이프(Absorbing, Outskirts-to-center Wipe)의 경우에는 곡선의 방향만 180도 바뀐 형태의 시각율돌이 생성된다.
디졸브에서는 새로운 샷과 이전 샷의 대응하는 두 프레임이 오버랩되어 새로운 프레임이 만들어지므로, 오버랩된 구간에 속한 프레임의 각 화소들은 두 샷의 신호 특성을 모두 갖는다. 따라서, 컷이나 와이프와 같이 시각율돌에서 시각적으로 인식 가능한 선의 형태를 나타내지는 못한다. 그러나, 디졸브는 도 4d에 도시된 바와 같이, 시각율동에서 색상의 변화가 점진적으로 꾸준히 나타나므로, 주의 깊게 살펴보면 디졸브 여부를 판단할 수 있다.
도 5 는 본 발명의 실시예에 따른 시각율동 예시도로서, 실제 영상으로부터 생성한 시각율돌이다.
도 5를 참조하면, 전술한 바대로 영상을 재생하지 않고도 시각율동만으로 다양한 형태의 편집 효과를 쉽게 판별할 수 있다. 즉, 와이프(Wipe) 및 컷(Cut)에 대한 시각율동(5a)과, 디졸브(Dissolve) 및 컷(Cut)에 대한 변화를 한자의 이미지인 시각율동(5b)을 통해 쉽게 판별할 수 있다.
그리고, 오검출의 주요 원인인 줌-인(Zoom-in)/줌-아웃(Zoom-out)과 같은 카메라 동작, 카메라 플래시, 특정 객체의 움직임 등과 같은 다양한 내용 변화를 한 장의 이미지인 시각율동(5c)을 통해 볼 수 있다.
본 실시예에서는 시각율동의 유용성을 보이기 위한 예로서 샷 검증기를 설명한다.
시각율동의 특성을 이용한 샷 검증기는 시각율동을 이용해 샷 경계여부가 의심스러운 부분을 쉽게 판별하고, 커서를 이용한 임의 접근 기능으로 그 부분을 용이하게 이동하며, 대부분의 경우에 재상하지 않고도 축소화면만으로 샷 경계여부를 판별할 수 있으므로 샷 검증에 소요되는 시간과 노력을 크게 단축할 수 있다.
이제, 상기한 바와 같은 시각율동과 그 특성을 이용한 소프트웨어 도구의 실시예로서 샷 검증기를 보다 상세히 설명한다.
샷 검증기는 샷 경계 검출 알고리즘의 결과에 포함된 미검출 및 오검출된 샷을 눈으로 찾아내고, 이를 수작업으로 교정하는 검증 과정을 위한 소프트웨어 도구로서, 샷 경계 검출 알고리즘을 도구화한 샷 검출기와 함께 사용할 수도 있으며, 샷 검출기없이 단독으로 사용할 경우에는 수작업만으로 샷 경계를 검출할 수도 있다.
단순히 영상 재생기의 VCR 기능만으로 영상을 반복적으로 재생하면서 검증하는 기존 방식 보다 샷 검증기를 사용하는 것이 훨씬 빠르고 편해야 한다.
이를 위해서 샷 검증기에는 전체 영상의 내용을 요약하는 기능, 편집 효과를 시각적으로 보여주는 기능, 특정 구간의 영상을 프레임 단위로 보여주는 기능, VCR 기능, 샷 경계 수동 설정 및 해제 기능등이 필요하다.
본 실시예에서는 720x480 M-JPEG 영상의 샷 경계 검출 결과를 시각율돌을 이용하여 검증하는 샷 검증기를 구현한다.
전술한 바와 같이, 대각선 샘플링을 이용한 시각율동은 컷, 와이프, 디졸브 등의 편집 효과를 수직선, 사선, 곡선 또는 색상의 점진적 변화 등과 같이 눈으로 쉽게 인식 가능한 형태로 보여준다. 또한, 시각율동은 한 장의 이미지이므로, 디스플레이할 때, 이 이미지를 시간축으로 적절히 확대/축소하므로써, 전체 또는 부분적 내용을 쉽게 파악할 수 있다. 이러한 시간축의 변화에 따른 시각율동의 확대 및 축소 예로서, 8분 분량 영상으로 만든 시각율동의 시간축 변화가 도 6에 도시되었다.
시각율동에서 특정 구간의 편집 효과 사용 여부가 의심스러우면 그 부분을 프레임 단위로 살펴보거나, 재생할 수 있다.
본 실시예에 따라 구현된 샷 검증기에서는 각 프레임을 1/64로 줄인 축소화면을 이용해 특정 구간의 연속한 프레임을 보여주며, 사용자의 요구에 따라 원래 크기의 프레임도 디스플레이 가능하다. 또한, 샷 검증기는 일반적인 VCR 기능을 이용한 영상 재생과 함께 샷 단위의 재생도 가능하다.
따라서, 이러한 샷 검증 기능들을 이용해 의심스러운 구간들을 살펴보므로써, 미검출 및 오검출된 샷 경계들을 교정할 수 있도록 수동으로 샷 경계를 설정 또는 해제하는 작업이 가능하다.
도 7 은 본 발명의 실시예에 따른 샷 검증기의 사용자 인터페이스를 나타낸 설명도이다.
도 7을 참조하면, 구현된 샷 검증기의 사용자 인터페이스는 크게 시각율동부, 축소화면부, 그리고 제어부로 나눌 수 있다. 여기서, 인터페이스 상단에 있는 시각율동부는 생성한 시각율동과 샷 검출기에서 찾아낸 샷 경계를 함께 디스플레이한다.
도 7에 도시된 바와 같이, 검출된 샷 경계는 시각율동의 해당 위치 상단에 조그만 삼각형으로 표시한다. 여기서, 시각율동의 우측 상단에 있는 버튼은 시각율동을 시간축으로 확대/축소하는 기능을 제공하고, 시각율동위의 커서(Cursor)는 축소화면부의 중앙에서 보고있는 프레임의 위치를 나타낸다.
인터페이스 중앙 부분은 커서가 위치하고 있는 프레임과 전후로 인접한 각각의 열 개 프레임을 축소화면으로 나타낸다.
그리고, 축소화면부의 중앙 좌측에 홀로 있는 축소화면이 현재 커서가 위치한 프레임이고, 그 위와 아래의 열 개 프레임이 커서가 위치한 프레임에 전후로 인접한 프레임들이다.
한편, 인터페이스 하단에 있는 제어부는 왼쪽의 영상 제어부와 오른쪽의 프레임 제어부로 나눌 수 있는데, 프레임 제어부는 커서의 위치를 프레임 단위로 제어하는 기능을 제공한다. 즉, 현재의 커서 위치에서 전후로 1, 5, 30 프레임 단위로 세밀하게 이동하는 기능을 제공한다.
만약, 임의의 위치로 이동하려면, 시각율동부의 커서를 직접 드래그 및 드롭(Drag & Drop)할 수도 있다. 이때, 커서의 위치가 바뀌면, 이와 대응하여 축소화면부에도 새로운 축소화면이 디스플레이된다.
영상 제어부는 샷 단위의 영상 재생 기능을 제공한다.
만약, 재생 버튼을 누르면, 새로운 창이 생성되어 영상이 재생된다. 이때, 커서의 위치 이동은 시각율돌부에서 가능하므로 빨리감기나 또는 되감기 기능은 제공하지 않는다.
샷 검증기를 이용한 검증 과정은 다음과 같다.
먼저, 시각율돌부의 시각율돌을 살펴보다 의심스러운 부분이 있으면 커서를 그 부분으로 이동시킨다.
본 실시예에서는 시각율동부에서 컷으로 의심되는 직선위에 컷 표시가 없으므로 커서를 해당 위치로 옮긴다. 이후에, 축소화면부에 해당 프레임과 전후의 20개 프레임이 나타난다. 따라서, 이들을 살펴보므로써, 샷 경계 여부를 거의 대부분 판별할 수 있다.
그리고, 축소화면부의 네 번째 프레임부터 새로운 샷이 시작됨을 알 수 있다. 이때, 만일 그 이상의 프레임들을 보거나 영상을 재생하려면 제어부의 기능을 이용하고, 미검출 및 오검출된 샷 경계를 찾아내면 축소화면부의 해당 프레임위에서 마우스를 클릭한다.
본 실시예에서는 네 번째 프레임위에서 마우스를 클릭한다. 그러면, 작은 메뉴 창이 나타난다. 이러한 창에서는 미검출된 샷을 새로운 샷으로 정의하고, 오검출된 샷을 제거하는 기능이 제공된다.
미검출된 샷을 정의하면, 시각 율동의 해당 위치에 작은 삼각형 표시가 나타나고, 축소화면부의 해당 프레임위에 샷 시작 표시가 나타난다. 그리고, 만일 오검출된 샷을 제거하면, 시각율동의 해당 위치에 있는 삼각형 표시가 사라지고, 축소화면부의 해당 프레임위에 있는 샷 시작 표시가 사라진다.
이처럼, 시각율돌을 사용하면 영상을 재생시키지 않고도 대부분의 미검출 및 오검출된 샷 경계를 교정할 수 있다. 실제, 이러한 도구를 사용하므로써, 예를 들어 한 시간의 영상 내용을 불과 몇 분만에 검증하는 것이 가능하다.
이상에서와 같이, 시각율등은 영상의 내용 변화를 요약한 한 장의 이미지이다. 특히, 대각선 샘플링을 사용한 시각율동은 컷, 와이프, 디졸브와 같은 영상 편집 효과가 적용된 부분을 수직선, 사선, 곡선, 색상의 점진적 변화 등과 같이 눈으로 쉽게 인지 가능한 형태로 나타난다. 뿐만 아니라, 시각율동은 영상 편집 효과 이외에도 카메라 동작, 플래시 라이트, 객체 동작 등을 시각적으로 표현할 수 있다. 또한, 시각율동은 시간축으로 확대/축소가 가능하여, 한 화면에 많은 분량의 영상 내용 변화를 디스플레이할 수 있다.
이러한 시각율동은 영상색인, 디지털 영상 편집, 디지털 영상 라이브러리, 영상 데이터베이스, 멀티미디어 영상 컨텐츠 제작 등과 같이 다양한 디지털 영상 응용 분야에서 유용하게 사용할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램. 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기한 바와 같은 본 발명은, 각종 영상 편집 효과 및 카메라 동작 등을 시각적으로 뚜렷하게 표현하면서 전체 영상의 내용을 한 장의 이미지로 표현함으로써, 디지털 영상 편집기, 영상 브라우저, 샷 검출기, 샷 검증기, 영상 색인기, 영상 모델링 작업 등과 같이 디지털 영상 관련 소프트웨어 도구의 기본 요소로 사용할 경우에 쉽고 빠르게 원하는 작업을 수행할 수 있고, 디지털 영상 관련 산업의 각종 작업에 광범위하게 사용되어 작업 효율을 크게 향상시킬 수 있는 효과가 있다.

Claims (8)

  1. 영상시스템에 적용되는 시각율동 생성방법에 있어서,
    화소값들로 이루어지는 임의의 영상의 각 프레임에서 부분적으로 화소를 샘플링하는 제 1 단계; 및
    샘플링된 상기 화소들을 이용하여 상기 임의의 영상에 대한 영상의 내용 변화(장면 변화)를 요약한 시각율동(Visual Rhythm)을 생성하는 제 2 단계를 포함하되,
    상기 시각율동(Visual Rhythm)은 2차원 프레임의 화소들을 부분적으로 샘플링하여 일차원에 배열함으로써 삼차원 공간의 영상 내용을 이차원 공간의 이미지로 요약한, 삼차원 축소영상의 화소값의 일부분을 샘플링한 이차원 이미지인 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  2. 제 1 항에 있어서,
    상기 제 1 단계는,
    상기 임의의 영상내의 각 프레임의 화소 블록들에 대해, 역 호프만(Huffman) 변환, 역 런-렌스(Run-length) 변환, 그리고 디씨(DC) 상수에 대한 역 양자화(Quantization) 변환을 순차적으로 수행하여 디씨(DC) 계수만을 복원하는 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  3. 제 2 항에 있어서,
    상기 제 2 단계는,
    상기 각 프레임의 화소 블록들에서 복원시킨 디씨(DC) 계수들을 이용하여 전체 영상에 대한 시각율동을 생성하는 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시각율동(Visual Rhythm)은,
    실질적으로, 컷(Cut), 와이프(Wipe), 디졸브(Dissolve), 에니메이션을 포함한 3차원 효과와 같은 영상 편집 효과가 적용된 부분을 수직선, 사선, 곡선을 포함한 임의의 모든 선, 색상의 점진적인 변화를 눈으로 쉽게 인지 가능한 형태로 나타내는 것을 특징으로 하는 화소 샘플링을 이용하 시각율동 생성방법.
  5. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,
    상기 시각율동(Visual Rhythm)은,
    실질적으로, 영상 편집 효과, 카메라 동작, 플래시 라이트, 그리고 객체동작을 시각적으로 표현하고, 시간축으로 확대/축소가 가능하여 하나의 화면에 많은 분량의 영상 내용 변화를 디스플레이할 수 있는 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시각율동(Visual Rhythm)은,
    실질적으로, 샷 검증기에 사용되어 샷 경계여부가 의심스러운 부분을 쉽게 판별하고, 커서를 이용한 임의 접근 기능으로 상기 부분으로 용이하게 이동하며, 재생하지 않고도 축소화면만으로 샷 경계여부를 판별할 수 있도록 하는 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시각율동(Visual Rhythm)은,
    영상 색인, 디지털 영상 편집, 디지털 영상 라이브러리, 영상 데이터베이스, 멀티미디어 영상 컨텐츠 제작과 같이 다양한 영상 응용 분야에 사용되되, 디지털 영상 편집기, 영상 브라우저, 샷 경계 검출기 및 샷 검증기, 영상 색인기와 같이 영상 관련 소프트웨어 도구의 기본 요소로 사용되는 것을 특징으로 하는 화소 샘플링을 이용한 시각율동 생성방법.
  8. 프로세서를 구비한 시각율동 생성 장치에,
    임의의 영상내의 각 프레임의 화소 블록들에 대해, 역 호프만(Huffman) 변환, 역 런-렌스(Run-length) 변환, 그리고 디씨(DC) 상수에 대한 역 양자화(Quantization) 변환을 순차적으로 수행하여 디씨(DC) 계수만을 복원하여, 화소값들로 이루어지는 임의의 영상의 각 프레임에서 부분적으로 화소를 샘플링하는 제 1 기능; 및
    상기 각 프레임의 화소 블록들에서 복원시킨 디씨(DC) 계수들을 이용하여, 상기 임의의 영상에 대한 영상의 내용 변화(장면 변화)를 요약한 시각율동(Visual Rhythm)을 생성하는 제 2 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1019980056144A 1998-12-18 1998-12-18 화소샘플링을이용한시각율동생성방법 KR100313713B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019980056144A KR100313713B1 (ko) 1998-12-18 1998-12-18 화소샘플링을이용한시각율동생성방법
US09/453,689 US6549245B1 (en) 1998-12-18 1999-12-03 Method for producing a visual rhythm using a pixel sampling technique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980056144A KR100313713B1 (ko) 1998-12-18 1998-12-18 화소샘플링을이용한시각율동생성방법

Publications (2)

Publication Number Publication Date
KR20000040485A KR20000040485A (ko) 2000-07-05
KR100313713B1 true KR100313713B1 (ko) 2002-02-28

Family

ID=19563716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980056144A KR100313713B1 (ko) 1998-12-18 1998-12-18 화소샘플링을이용한시각율동생성방법

Country Status (2)

Country Link
US (1) US6549245B1 (ko)
KR (1) KR100313713B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7471834B2 (en) 2000-07-24 2008-12-30 Vmark, Inc. Rapid production of reduced-size images from compressed video streams
US7548565B2 (en) 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US7624337B2 (en) 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
EP1246469A3 (fr) * 2001-03-27 2005-04-13 Koninklijke Philips Electronics N.V. Procédé de réduction de format et de décodage similtanés de signaux vidéo codés
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US7526725B2 (en) * 2005-04-08 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Context aware video conversion method and playback system
CA2552062C (en) 2005-07-22 2016-06-28 4121856 Canada Inc. System and methods for enhancing the experience of spectators attending a live sporting event
KR101319888B1 (ko) * 2007-02-12 2013-10-18 엘지전자 주식회사 이동통신 단말기의 영상 저장 방법
WO2009129542A1 (en) 2008-04-18 2009-10-22 Visible World Corporation System and method for condensed representation of long video sequences
US8369407B2 (en) * 2008-05-23 2013-02-05 Advestigo Method and a system for indexing and searching for video documents
US8422731B2 (en) * 2008-09-10 2013-04-16 Yahoo! Inc. System, method, and apparatus for video fingerprinting
CN112019851A (zh) * 2020-08-31 2020-12-01 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉节奏的镜头变换检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6377284A (ja) * 1986-09-20 1988-04-07 Sony Corp 映像信号処理装置
JPH06113253A (ja) * 1992-09-30 1994-04-22 Sony Corp 画像表示方法
JPH08336134A (ja) * 1995-04-06 1996-12-17 Sanyo Electric Co Ltd 動画像圧縮符号化方法、動画像圧縮符号化装置、動画像復号方法、動画像復号装置、及び、記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6377284A (ja) * 1986-09-20 1988-04-07 Sony Corp 映像信号処理装置
JPH06113253A (ja) * 1992-09-30 1994-04-22 Sony Corp 画像表示方法
JPH08336134A (ja) * 1995-04-06 1996-12-17 Sanyo Electric Co Ltd 動画像圧縮符号化方法、動画像圧縮符号化装置、動画像復号方法、動画像復号装置、及び、記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7471834B2 (en) 2000-07-24 2008-12-30 Vmark, Inc. Rapid production of reduced-size images from compressed video streams
US7548565B2 (en) 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US7624337B2 (en) 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files

Also Published As

Publication number Publication date
KR20000040485A (ko) 2000-07-05
US6549245B1 (en) 2003-04-15

Similar Documents

Publication Publication Date Title
EP2127368B1 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US10956749B2 (en) Methods, systems, and media for generating a summarized video with video thumbnails
JP4666784B2 (ja) ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置
Yeung et al. Video visualization for compact presentation and fast browsing of pictorial content
CA2135938C (en) Method for detecting camera-motion induced scene changes
US9628673B2 (en) Near-lossless video summarization
KR100252538B1 (ko) 부호하된 영상 데이터로부터 직접 얻은 아이콘을사용하는 영상 편집 기술
KR100313713B1 (ko) 화소샘플링을이용한시각율동생성방법
JP2002084488A (ja) ビデオ生成システム及びカスタムビデオ生成方法
EP1132812A1 (en) Method of detecting dissolve/fade in mpeg-compressed video environment
JP2000516434A (ja) 可視索引付けシステム
EP0976089A1 (en) Method and apparatus for efficiently representing, storing and accessing video information
JPH0993588A (ja) 動画像処理方法
JP2009124298A (ja) 符号化映像再生装置及び符号化映像再生方法
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
Kim et al. Visual rhythm and shot verification
WO1999005865A1 (en) Content-based video access
Yeo On fast microscopic browsing of MPEG-compressed video
JP2008166895A (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JPH10276388A (ja) 画像処理装置および画像処理方法、画像再生装置および画像再生方法、並びに記録媒体
KR20010035099A (ko) 장면 전환 자동 검출을 이용한 스트리밍 하이퍼비디오시스템 및 그 제어 방법
JP2001119661A (ja) 動画編集システムおよび記録媒体
JP2000175149A (ja) 映像検出装置、及び要約映像生成装置
Kim et al. An efficient graphical shot verifier incorporating visual rhythm
JP2010097246A (ja) シーン類似判定装置、そのプログラム及びサマリ映像生成システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121008

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20131004

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20161005

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee