KR100652703B1 - 휴대단말기의 동영상 검색장치 및 방법 - Google Patents

휴대단말기의 동영상 검색장치 및 방법 Download PDF

Info

Publication number
KR100652703B1
KR100652703B1 KR1020040103140A KR20040103140A KR100652703B1 KR 100652703 B1 KR100652703 B1 KR 100652703B1 KR 1020040103140 A KR1020040103140 A KR 1020040103140A KR 20040103140 A KR20040103140 A KR 20040103140A KR 100652703 B1 KR100652703 B1 KR 100652703B1
Authority
KR
South Korea
Prior art keywords
frame
value
candidate
scene
pixel
Prior art date
Application number
KR1020040103140A
Other languages
English (en)
Other versions
KR20060064328A (ko
Inventor
이은상
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040103140A priority Critical patent/KR100652703B1/ko
Priority to EP05024657A priority patent/EP1670244A3/en
Priority to JP2005353065A priority patent/JP4644108B2/ja
Priority to CN2005101290816A priority patent/CN1787635B/zh
Priority to US11/298,179 priority patent/US7821528B2/en
Publication of KR20060064328A publication Critical patent/KR20060064328A/ko
Application granted granted Critical
Publication of KR100652703B1 publication Critical patent/KR100652703B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대단말기에 기록된 동영상을 신속하고 용이하게 검색하는 것으로, 휴대단말기가 기록저장한 영상신호를 제어에 의하여 입력하고 압축 해제하여 출력하는 비디오 디코더부; 비디오 디코더부로부터 인가되는 영상신호를 분석하여 장면과 밝기 변화가 소정 기준 이상인 프레임을 지정된 숫자로 설정하고 출력하는 장면검출부; 장면검출부가 설정한 장면 프레임의 영상신호를 제어에 의하여 입력하고 출력하는 표시부; 장면검출부의 장면 프레임 검출과 설정을 제어하고 감시하며 휴대단말기 전체의 운용을 감시하는 제어부가 포함되는 구성을 특징으로 하고, 또한, 휴대단말기의 장면검출부에 의하여 프레임 단위로 입력되는 영상신호의 현재 프레임과 기준 프레임의 픽셀 모션값을 대비 연산하여 차이값을 구하고, 설정된 소정의 마진 기준값보다 큰 경우에 후보 모션 프레임으로 등록하는 모션과정; 상기 등록된 후보 모션 프레임의 픽셀 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하고 설정된 소정마진의 기준값보다 큰값 인지를 판단하는 밝기과정; 상기 연산된 픽셀의 밝기 차이값이 마진 기준값보다 큰 값이면 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록하는 예비과정으로 이루어지는 것을 특징 등등으로 하므로, 동영상 검색을 신속하고 용이하게 하고, 배터리 소모를 줄이어 멀티미디어 휴대단말기의 신뢰도를 제고하는 효과가 있다.

Description

휴대단말기의 동영상 검색장치 및 방법{METHODS AND A APPARATUS OF SEARCHING VIDEO FOR MOBILE PHONE}
도1 은 종래 기술에 의한 휴대단말기의 동영상 장면 검색방법 순서도,
도2 는 본 발명에 의한 휴대단말기의 동영상 검색장치 기능 구성도,
도3 은 본 발명에 의한 장면 검출부 상세 기능 구성도,
도4 는 본 발명 휴대단말기의 모션검출부 및 전환추출부 동영상 검색방법 순서도,
도5 는 본 발명 휴대단말기의 프레임 설정부 동영상 검색방법 순서도,
도6 은 본 발명 휴대단말기의 장면결정부 동영상 검색방법 순서도,
도7 은 본 발명 휴대단말기의 장면결정부 프레임 줄임과정 설명도.
** 도면의 주요 부분에 대한 부호 설명 **
100 : 비디오 디코더부 200 : 장면검출부
210 : 모션검출부 220 : 전환추출부
230 : 타이머부 240 : 프레임설정부
250 : 장면결정부 260 : 프리뷰부
270 : 마킹부 300 : 표시부
본 발명은 휴대단말기에 녹화된 동영상으로부터 원하는 장면을 검출하는 프레임 검색에 관한 것으로, 특히, 프레임 단위 픽셀의 모션차이와 밝기 차이를 연산하여 장면전환 프레임으로 설정하고, 상기 설정된 프레임 숫자를 임의 조정하여 검색을 용이하게 하는 휴대단말기의 동영상 검색장치 및 방법에 관한 것이다.
이동통신 시스템은, 휴대단말기(UE: USER EQUIPMENT)를 이용하여 가입 등록된 시스템의 해당 기지국(RAN: RADIO ACCESS NETWORK)이 형성하는 서비스 영역(SERVICE AREA) 안을 자유롭게 이동하면서 이동교환국(MSC: MOBILE SWITCHING CENTER)의 감시와 제어와 스위칭(SWITCHING)에 의하여 설정된 통신경로를 경유하여, 언제 어디서나 원하는 상대방과 즉시 무선접속하고 통신하는 것으로, 개인이 항상 직접 휴대하면서 이동하는 첨단 무선통신장비 이다.
상기 휴대단말기(UE)는, 통신기능 이외에 실생활에 응용되어 편리성을 높이고 통신의 활용성을 높이는 다양한 부가서비스가 개발 제공되고 있다.
상기 부가서비스는, 기본 이동통신 서비스 이외에 제공되는 것으로, 생산업자가 내장상태로 제공하는, 카메라, 블루투스, 라디오, 폰북 등과, 서비스 사업자가 제공하는 문자메시지, 영상 메시지, 무선인터넷 접속, 온라인 게임 등이 있다.
상기와 같이 부가서비스는, 휴대단말기에 해당 하드웨어 구성이 있어야 하거나 또는, 필요하지 않는 것이 있으며, 그 종류가 매우 다양하고, 계속 새로운 것이 개발되어 추가되고 있으며, 영상을 촬영 출력하는 카메라 기능의 선호도가 높다.
이동통신 시스템은, 초기 1 세대(1G)의 아날로그 음성급 신호를 이용하는 방식에서, 2 세대(2G)는 디지털 처리에 의한 문자메시지급 신호를 이용하는 방식으로 발전하고, 3 세대(3G)에서는 음성급 신호와 문자메시지급 신호와 영상급 신호를 포함하는 멀티미디어 통신 방식으로 발전하고 있으며, 상기 멀티미디어 통신을 위하여 영상신호를 촬영하는 카메라는, 통신에 사용하지 않는 경우, 부가서비스로, 동영상을 촬영한다.
상기 멀티미디어 휴대단말기는, 멀티미디어 통신을 하는 동시에, 동영상을 촬영하여 기록저장하고 출력하는 기능이 지원되며, 카메라폰(CAMERA-PHONE)이라고도 하고, 상기 촬영된 동영상 신호의 녹화 시간은 계속 늘어나는 추세로 반도체 기술의 발달에 의하여 1 시간이 넘는 경우도 많다.
상기와 같이 휴대단말기에 녹화된 동영상 파일로부터 특정한 장면의 영상을 확인하고자 하는 경우, 해당 장면을 임의 선택하지 못하고, 처음부터 검색하여 해당 장면을 찾아내어야 하므로, 검색시간과 배터리의 소모가 길어지는 동시에 사용자에게 불편함을 주는 문제가 있었다.
따라서, 휴대단말기에 녹화된 영상파일로부터 특정한 부분의 영상 장면을 용이하게 찾는 기술을 개발할 필요가 있다.
이하, 종래 기술에 의한 휴대단말기의 동영상 장면검색 방식을 첨부된 도면을 참조하여 설명한다.
종래 기술을 설명하기 위하여 첨부된 것으로, 도1 은 종래 기술에 의한 휴대단말기의 동영상 장면 검색방법 순서도 이다.
상기 도1을 참조하여, 종래 기술에 의한 휴대단말기의 동영상 장면 검색방법을 설명하면, 멀티미디어 휴대단말기로 촬영되어 기록저장된 동영상(VIDEO)으로부터 특정 장면을 검색(SEARCH)하고자 하는 경우(S10), 해당 동영상 파일(VIDEO FILE)의 처음부터 순서대로 재생(REPLAY)한다(S20).
상기와 같이 순서대로 재생하여 해당 표시부에 출력되는 영상신호로부터 찾고자 하는 장면이 검색되는지 판단하고(S30), 상기 판단(S30)에서 장면이 검색되지 않은 경우는 재생이 완료되었는지 판단하며(S50), 상기 판단(S50)에서 재생이 완료되지 않았으면 상기 검색단계(S30)로 궤환하여 장면검색을 반복한다.
상기 검색판단(S30)에서 장면검색이 정상적으로 이루어지면, 검색된 장면을 출력하여 검색 목적의 해당 처리를 한다(S40).
상기와 같은 구성의 종래 기술에 의한 것으로, 휴대단말기에서 촬영된 영상신호로부터 특정 장면을 검색하는 경우, 해당 영상파일을 처음부터 순서대로 재생하여 검색하여야 하므로, 시간이 많이 소요되고 제한된 배터리의 소모를 촉진하며 사용상 불편한 문제가 있다.
특히, 반도체 기술이 발달하면서, 휴대단말기에 1 시간 이상 촬영된 동영상 신호를 파일로 기록저장하며, 상기와 같은 파일로부터 원하는 장면을 검색하기 위하여서는 검색시간과 배터리의 소모가 더욱 커지는 문제가 있다.
본 발명은 휴대단말기가 촬영한 동영상 신호의 신속한 전환이 이루어지는 장면 프레임을 연산하여 임의 개수로 설정하고, 상기 설정된 장면 프레임을 검색하므 로 동영상 검색을 신속하고 용이하게 하며 배터리의 소모를 줄이는 휴대단말기의 동영상 검색장치 및 방법을 제공하는 것이 그 목적이다.
상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기의 카메라로 촬영 압축하여 기록저장된 영상신호를 제어에 의하여 입력하고 압축 해제하여 출력하는 비디오 디코더부와; 상기 비디오 디코더부로부터 인가되는 영상신호를 분석하여 장면과 밝기 변화가 소정 기준 이상인 프레임을 지정된 숫자로 설정하고 출력하는 장면검출부와; 상기 장면검출부가 설정한 장면 프레임의 영상신호를 제어에 의하여 입력하고 출력하는 표시부와; 상기 장면검출부의 장면 프레임 검출과 설정을 제어하고 감시하며 휴대단말기 전체의 운용을 감시하는 제어부가 포함되어 이루어지는 구성을 특징으로 한다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기의 장면검출부에 의하여 프레임 단위로 입력되는 영상신호의 현재 프레임과 기준 프레임의 픽셀 모션값을 대비 연산하여 차이값을 구하고, 설정된 소정의 마진 기준값보다 큰 경우에 후보 모션 프레임으로 등록하는 모션과정과; 상기 과정에서 등록된 후보 모션 프레임의 픽셀 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하고 설정된 소정마진의 기준값보다 큰값 인지를 판단하는 밝기과정과; 상기 과정에서 연산된 픽셀의 밝기 차이값이 마진 기준값보다 큰 값이면 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록하는 예비과정으로 이루어지는 것을 특징으로 한다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기 장면검출부의 프레임 설정부에 의하여 장면 예비후보 프레임으로부터 타임 플래그를 검출하고 이전에 결정된 프레임의 타임 플래그와 대비 연산하여 시간 차이값을 구하는 타임과정과; 상기 과정에서 연산한 시간 차이값이 설정된 최소 마진 시간값보다 큰 값인지를 판단하고, 최소 마진 기준값보다 작은값인 경우는 후보 프레임에서 삭제하는 판단과정과; 상기 과정에서 연산한 시간값이 최소마진 기준 시간값보다 크면 장면 후보 프레임으로 결정하고 프레임 후보 숫자를 누적 증가하는 결정과정으로 이루어지는 것을 특징으로 한다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기 장면검출부의 장면결정부에 의하여 장면 후보 프레임 숫자를 확인하고 설정 요청 프레임 숫자와 같은지를 판단하는 숫자과정과; 상기 숫자과정에서 후보숫자와 설정 요청 프레임 숫자가 다른 경우에 후보 숫자가 설정 요청 숫자보다 작은값인지를 판단하는 후보과정과; 상기 후보과정에서 후보 프레임의 숫자가 작으면 프레임을 추가하여 늘리고, 후보 프레임 숫자가 크면 프레임을 제거하여 줄이고 상기 숫자과정으로 궤환하는 조정과정과; 상기 숫자과정에서 후보숫자와 설정요청 숫자가 같은 값의 숫자이면 현재 설정 요구하는 프레임들을 모두 장면 프레임으로 확정 설정하는 확정과정으로 이루어지는 것을 특징으로 한다.
이하, 본 발명에 의한 것으로, 휴대단말기의 동영상 검색장치 및 방법을 첨부된 도면을 참조하여 설명한다.
본 발명을 설명하기 위하여 첨부된 것으로, 도2 는 본 발명에 의한 휴대단말 기의 동영상 검색장치 기능 구성도 이며, 도3 은 본 발명에 의한 장면 검출부 상세 기능 구성도 이고, 도4 는 본 발명에 의한 휴대단말기의 모션검출부 및 전환추출부 동영상 검색방법 순서도 이며, 도5 는 본 발명에 의한 휴대단말기의 프레임 설정부 동영상 검색방법 순서도 이고, 도6 은 본 발명에 의한 휴대단말기의 장면결정부 동영상 검색방법 순서도 이며, 도7 은 본 발명에 의한 휴대단말기의 장면결정부 프레임 줄임과정 설명도 이다.
상기 도2와 도3을 참조하여 본 발명에 의한 휴대단말기의 동영상 검색장치를 설명하면, 멀티미디어 휴대단말기의 카메라로 촬영 압축하여 기록저장된 영상신호를 제어에 의하여 입력하고 압축 해제하여 출력하는 비디오 디코더부(100)와,
상기 비디오 디코더부(100)로부터 인가되는 영상신호를 분석하여 장면과 밝기 변화가 소정 기준 이상인 프레임(FRAME)을 지정된 숫자로 설정하고 출력하는 것으로, 비디오 디코더부(100)와 접속하고 후보 모션 프레임의 픽셀 밝기를 기준 프레임과 대비 연산한 차이값이 해당 기준값보다 큰 경우에 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록하는 전환 추출부(220); 상기 전환추출부(220)와 접속하고 상기 비디오 디코더부(100)로부터 인가되는 프레임 단위 비디오 스트림 데이터의 영상신호를 기준 프레임과 대비 연산하여 픽셀의 모션 차이값이 해당 기준값보다 큰 경우 후보 모션 프레임으로 등록하여 상기 전환추출부에 인가하는 모션검출부(210); 상기 전환추출부(220)에 접속하여 각 프레임 단위의 발생 시간 정보를 타임 플래그로 출력하는 타이머부(230); 상기 전환추출부(220)에 접속하고 장면 예비후보 프레임의 타임 플래그(TIME FLAG)를 검출하여 각 프레임과의 시간 차이가 해당 기준 시간보다 작은 프레임을 후보 프레임으로부터 삭제하고 결정된 장면 후보 프레임과 누적 숫자를 증가 연산하여 출력하는 프레임 설정부(240); 상기 프레임 설정부(240)에 접속하고 장면 후보 프레임의 누적 숫자를 설정 요청된 숫자로 결정하는 장면결정부(250); 상기 장면결정부(250)가 결정한 장면 프레임을 제어에 의하여 프리뷰(PREVIEW) 신호로 표시부에 출력하는 프리뷰부(260); 상기 프리뷰부(260)와 접속되고 영상신호로부터 설정된 장면 프레임의 검색을 용이하게 하는 마킹(MARKING) 신호를 발생하여 기록하는 마킹부(270)가 포함되어 이루어지는 장면검출부(200)와,
상기 장면검출부(200)가 설정한 장면 프레임의 영상신호를 제어에 의하여 입력하고 출력하는 표시부(300)와,
상기 장면검출부(200)의 장면 프레임 검출과 설정을 제어하고 감시하며 휴대단말기 전체의 운용을 감시하는 제어부(400)가 포함되어 이루어지는 구성이다.
또한, 상기 모션검출부(210)는, 다음과 같은 수식을 이용하여 기준 프레임 대비 현재 프레임의 픽셀(PIXEL) 모션(MOTION) 차이값을 연산하고 소정마진의 기준값보다 큰 값인지를 판단한다.
(수 식 1)
Figure 112004057848459-pat00001
(수 식 2)
Figure 112004057848459-pat00002
Vdiff_sum : 차이 값
Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
또한, 상기 전환추출부(220)는, 다음과 같은 수식을 이용하여 기준 프레임 대비 현재 프레임의 픽셀 밝기 차이값을 연산하고 소정마진의 기준값보다 큰 값이면 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록한다.
(수 식 3)
Figure 112004057848459-pat00003
(수 식 4)
Figure 112004057848459-pat00004
(수 식 5)
Figure 112004057848459-pat00005
Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
Bdiff_sum : 밝기 값의 차이
또한, 상기 장면결정부(250)는, 프레임 설정부(240)로부터 입력되는 장면 후보 프레임 숫자와 설정되어 입력되는 프레임 숫자가 상이한 경우, 각 장면 후보 프레임의 시간 간격을 연산하고 인접한 프레임과 시간간격이 가장 작은 프레임을 선택하여 제거하므로 장면 프레임을 줄이거나, 또는, 상기 결정된 각 장면 후보 프레임의 시간 간격을 연산하고 인접한 프레임과 시간간격이 가장 긴 두 개 프레임 사이의 중간 프레임을 선택하여 장면 프레임으로 설정하므로 장면 프레임을 늘리어 설정된 프레임 숫자를 맞춘다.
또한, 상기 마킹부는 설정된 각 장면 프레임 데이터의 시작부분에 검색을 용이하게 하는 헤더 신호를 부가하여 표시한다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 동영상 검색장치를 첨부된 도면을 참조하여 상세히 설명한다.
멀티미디어 휴대단말기는, 일체로 내장된 카메라를 이용하여 지정된 상대방과 멀티미디어 통신하며, 상기 통신을 하지 않는 경우는 동영상을 촬영하여 기록저 장하고 필요할 때 검색하여 감상 또는 확인할 수 있다.
최근의 반도체 기술 발달과 관련 생산성 기술 향상 등에 힘입어, 휴대단말기에서 1 시간 이상 촬영한 동영상 신호를 파일(FILE)로 기록저장할 수 있게 되었으며, 상기와 같은 동영상 신호 중에서 필요로 하는 장면은 일부분이다.
따라서, 상기와 같은 장시간 동영상 신호로부터 필요한 장면을 신속하고 용이하게 검색하는 것이 본 발명 기술이다.
상기 휴대단말기는, 촬영된 영상신호를 압축하여 해당 메모리 또는 저장부에 기록저장하고, 재생 확인하는 경우에는, 압축 상태를 풀어야 하며, 상기 비디오 디코더부(100)에서 압축된 영상신호의 압축을 해제하여 비디오 스트리임 데이터로 장면검출부에 출력한다.
상기 장면검출부(200)는, 모션검출부(210)와, 전환추출부(220)와, 타이머부(230)와, 프레임 설정부(240)와, 장면결정부(250)와, 프리뷰부(260)와, 마킹부(270)를 포함하여 구비하고, 제어부(400)의 제어와 감시를 받으며, 영상신호의 검색을 위한 장면 프레임을 최종 확정하여 결정하고, 상기 결정된 프레임은 표시부(300)에 출력 표시하므로 확인하며, 최종 검색하는 영상신호는 비디오 신호로 출력한다.
상기 장면검출부(200)의 전환추출부(220)는, 입력되는 프레임(FRAME) 단위 영상신호를 모션검출부(210)에 인가하며, 상기 모션검출부(210)는 매 15 프레임 마다 하나의 프레임을 선택하고, 선택된 기준 프레임과 픽셀의 위치 또는 모션 정보를 대비한다.
상기 15 프레임 마다 선택된 하나의 프레임은, 현재 입력되는 프레임이며, 상기 프레임을 구성되는 영상신호의 화소 또는 픽셀(PIXEL)의 모션 정보를 기준 프레임의 픽셀과 해당 위치 또는 모션정보와 대비 연산하여 차이값을 구한다.
상기 프레임 단위의 모든 픽셀에 대한 모션정보 차이값을 연산하면, 연산량이 많아지고, 휴대단말기의 부하가 증가하므로, 4개 픽셀 단위로 1개의 픽셀에 대한 위치정보 또는 모션 정보를 검출하여 연산하므로, 연산량을 1/4로 줄이었다.
상기와 같이 현재 입력되는 프레임의 픽셀 모션 정보와 기준 프레임의 해당 픽셀 모션 정보를 각각 구하고, 다음 수학식에 의하여 차이값을 연산한다.
(수 식 1)
Figure 112004057848459-pat00006
상기 수식을 이용하여 연산한 프레임 단위 픽셀의 차이값, 즉, 기준 프레임과 현재 입력된 프레임의 픽셀 차이값이 설정된 소정마진의 기준값보다 큰값 인지 아니면, 작은 값 인지를 다음과 같은 수식으로 판단한다.
(수 식 2)
Figure 112004057848459-pat00007
Vdiff_sum : 차이 값
Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
상기 수식을 이용하여 연산한 픽셀 모션 값의 차이가 소정마진에 의한 기준값보다 큰 값이면, 장면 변화가 많은 부분이므로, 해당 프레임을 검색용 후보 모션 프레임으로 등록한다.
상기 수식을 이용한 픽셀 연산값이 상기의 기준값보다 작으면, 상기 현재 프레임을 기준 프레임(REFERENCE FRAME)으로 설정하고, 다음 순서로 입력되는 프레임의 픽셀 모션 값을 연산하는 과정을 반복한다.
상기와 같이 모션검출부(210)에서 후보 모션 프레임으로 등록된 프레임은, 전환추출부(220)에 인가되며, 상기 전환추출부(220)에 의하여 픽셀(PIXEL)의 밝기값을 연산하고, 기준 프레임의 픽셀 밝기값과 대비하여 차이값을 연산하며, 상기 차이값은 다음의 수학식에 의하여 연산한다.
(수 식 3)
Figure 112004057848459-pat00008
(수 식 4)
Figure 112004057848459-pat00009
Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
Bdiff_sum : 밝기 차이 값
상기 전환추출부(220)의 픽셀 밝기 값 연산에서도 4개 단위마다 하나의 픽셀에 대한 밝기값을 연산하고 기준 프레임과 대비하여 차이값을 연산 출력하므로, 전체 연산량을 1/4로 줄이어 휴대단말기의 부하를 줄인다.
상기와 같이 연산된 것으로, 기준 프레임과 후보 모션 프레임의 해당 픽셀 밝기 차이값은 소정마진의 기준값과 대비하여 큰 값을 갖는지, 아니면 작은값을 갖는지 비교 판단하고, 작은값을 갖는 경우는 장면변환이 작은 것으로 무시하는 동시에, 상기 모션과정(S100)으로 궤환하므로 다음 프레임의 상기와 같은 연산 과정을 반복한다.
상기 밝기값의 비교 판단에는 다음과 같은 수식을 사용한다.
(수 식 5)
Figure 112004057848459-pat00010
B diff_sum : 밝기 차이 값
B diff_margin : 소정마진의 밝기 값
상기 연산에서 밝기 차이값이 소정마진의 기준값보다 크면, 장면변환 발생 프레임이 확실하므로, 타이머부(230)로부터 인가되는 타임 플래그를 부가하여 동영상 검색을 위한 장면 예비후보 프레임으로 등록하고, 상기 프레임 설정부(240)로 출력한다.
상기 프레임 설정부(240)는, 입력되는 장면 후보 프레임으로부터 타임 플래그를 검출하고, 이전 순서에서 먼저 결정된 프레임의 해당 타임 플래그에 의한 시간값과의 차이값을 연산한다.
상기와 같이 연산된 타임 플래그의 시간 차이값이 최소마진에 의한 시간값보다 큰값 인지를 판단하고, 큰 값으로 판단되면 장면후보 프레임으로 결정하며, 작은값이면 후보 프레임에서 삭제한다.
즉, 후보 프레임이 인접하여 발생하는 경우, 검색의 효율이 저하되므로, 소정의 최소마진 시간 보다 작은 시간 차이를 갖는 프레임은 제외시키는 것이다.
상기와 같이 발생 시간 차이를 검증하여, 장면 후보 프레임으로 결정되면, 장면 후보 프레임의 누적 숫자에 1의 값을 추가 누적 증가하고, 상기 누적된 값과 장면 후보 프레임들의 해당 정보를 상기 장면결정부(250)에 출력한다.
상기 장면결정부(250)는, 입력되는 후보 프레임의 누적값을 분석하여 숫자를 확인하고, 사용자가 입력하는 것으로 설정 요청하는 숫자 값과 상기 확인된 후보 숫자 값이 동일한 값을 갖는지 비교 판단한다.
즉, 사용자가 영상신호를 검색하는데 있어서, 몇 개의 장면으로 구분하여 검색하고자 하는 숫자를 입력하고, 현재 후보로 등록된 장면 후보 프레임의 숫자가 동일한지를 비교 판단한다.
상기 비교 판단에서 동일한 값이면 현재 등록된 후보 프레임을 장면 프레임으로 설정하고, 동일한 값이 아니면, 후보 숫자와 요청 숫자를 대비하여 어느 값이 더 큰지를 판단한다.
상기 판단에서, 설정 요청하는 숫자가 더 큰 경우는, 장면 프레임을 더 추가하고, 설정 요청하는 숫자가 더 작은 경우는, 현재 등록된 후보 프레임의 숫자를 줄이어야 한다.
상기에서 프레임의 숫자를 늘이는 방법은, 현재 후보로 등록된 프레임의 타임 플래그를 비교 검토하여 차이값이 가장 긴 프레임의 사이에 위치하는 중간 프레임을 새로운 후보 프레임으로 설정하여 등록하는 방법이다.
또한, 상기에서 프레임을 줄이는 방법은, 상기 첨부된 도7에 도시된 것과 같이, 후보로 등록된 프레임의 타임 플래그를 비교 검토하여, 인접 프레임과의 시간 차이값이 가장 작은 프레임을 삭제하는 방법이다.
상기와 같은 방법을 반복하므로, 사용자가 설정 요청하는 검색 프레임의 숫 자로 일치시킨다.
상기와 같이 검색을 위한 프레임의 숫자가 결정되고 확정되면, 해당 프레임을 프리뷰부(260)에 출력하므로, 표시부(300)를 통하여 확인하고, 상기 프레임은 마킹부(270)에 인가되어 헤더 신호가 부가되어 표시되며, 상기와 같이 마킹된 영상신호가 비디오 신호로 출력되므로, 휴대단말기 사용자의 영상신호 검색을 용이하게 한다.
상기 프레임의 명칭을 요약 정리하면, 큰 모션 차이값에 의하여 등록된 것이 후보 모션 프레임이고, 밝기 차이값에 의하여 등록된 것이 장면 예비후보 프레임이며, 최소마진 시간 이상 떨어진 프레임으로 선별 된 것이 장면 후보 프레임이고, 최종적으로 확정된 것이 장면 프레임이다.
따라서, 상기와 같은 구성의 본 발명은, 영상신호의 검색을 용이하게 하는 프레임을, 모션 변화와 밝기 값 변화를 이용하여 후보 프레임을 설정하고, 타임 플래그에 의하여 확인된 시간 정보를 이용하여 적정 숫자의 프레임으로 설정하는 장점이 있다.
이하, 상기 첨부된 도4를 참조하여 본 발명에 의한 휴대단말기의 모션검출부 및 전환추출부 동영상 검색방법을 설명한다.
이동통신용 휴대단말기의 장면검출부에 의하여 프레임 단위로 입력되는 영상신호의 현재 프레임과 기준 프레임의 픽셀 모션 값을 대비 연산하여 차이값을 구하고, 설정된 소정의 마진 기준값보다 큰 경우에 후보 모션 프레임으로 등록하는 것으로, 휴대단말기가 촬영한 영상신호를 비디오 스트리임 데이터로 입력하는 장면검 출부(200)에 의하여 현재 입력되는 프레임 단위 각 픽셀의 모션 값과 기준 프레임의 각 픽셀 모션 값을 대비 연산하여 차이값을 구하는 과정(S100); 상기 과정(S100)에서 연산된 픽셀 모션 차이값이 소정 마진의 기준값보다 큰 값인지를 판단하며 작은값인 경우는 현재 프레임을 기준 프레임(REFERENCE FRAME)으로 설정 등록하고 처음(S100)으로 궤환하는 과정(S110); 상기 과정(S110)에서 연산된 픽셀 모션 차이값이 상기 기준값보다 큰 경우에 현재 입력된 프레임을 후보 모션 프레임으로 등록하는 과정(S120)으로 이루어지는 모션과정과,
상기 모션과정에서 등록된 후보 모션 프레임의 픽셀 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하고 설정된 소정마진의 기준값보다 큰값 인지를 판단하는 것으로, 상기 모션과정에서 등록된 후보 모션 프레임의 픽셀 밝기값을 연산하는 과정(S130); 상기 과정에서 연산된 픽셀의 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하는 과정(S140); 상기 과정(S140)의 밝기 차이값이 소정마진의 밝기 기준값보다 큰지를 판단하는 과정(S150)으로 이루어지는 밝기과정과,
상기 밝기과정에서 연산된 픽셀의 밝기 차이값이 마진 기준값보다 큰 값이면 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록하는 예비과정(S160)으로 구성된다.
또한, 상기 현재 프레임은, 입력되는 비디오 스트리밍 데이터의 매 15개 프레임마다 하나씩 선정하며, 픽셀은 매 4개 픽셀마다 하나씩 선정하므로, 연산량을 줄인다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 모션검출부 및 전환추출부 동영상 검색방법을 첨부된 도면을 참조하여 상세히 설명한다.
상기 휴대단말기의 장면 검출부(200)를 구성하는 모션검출부(210)는, 입력되는 현재 프레임의 픽셀 모션 값을 연산하는 동시에, 기준 프레임의 해당 픽셀 모션 값을 연산하며, 상기와 같이 연산된 픽셀의 모션 차이값은, 상기 수식 1을 이용하여 연산하므로 구한다(S100).
상기 현재 프레임과 기준 프레임의 연산되는 픽셀은, 영상에서 동일한 이미지를 나타내는 것으로, 최소 15 프레임 전의 기준 프레임과 현재 프레임에서의 동일한 이미지의 위치변화를 확인 할 수 있는 것으로, 상기 모션 차이값이 크면, 기준 프레임 대비 현재 프레임의 장면 변화가 큰 것이므로, 검색을 위한 프레임으로 설정할 대상이 된다.
상기와 같이 검출되고 연산된 픽셀 모션 차이값이 소정마진의 기준값보다 큰 값인지 또는 아닌지를 상기 수식 2를 이용하여 비교 연산 판단하고(S110), 상기 비교 판단(S110)에서 소정마진의 기준값보다 큰 값이면 후보 모션 프레임으로 등록한다(S120).
상기와 같이 등록된 후보 모션 프레임은, 전환추출부(220)에 인가되고 상기 수식 3을 이용하여, 4개 픽셀(PIXEL) 단위마다 하나의 픽셀에 대한 밝기값을 연산한다(S130).
상기와 같이 연산된 픽셀의 밝기값은, 상기 수식 4를 이용하여, 기준 프레임의 픽셀 밝기값과 대비 연산하므로 밝기 차이값을 구한다(S140).
즉, 후보 모션 프레임과 기준 프레임의 픽셀 4 개마다 하나씩의 밝기값을 대비하여 연산하므로, 밝기 차이값을 구한다.
상기와 같이 연산한 밝기 차이값이 소정마진의 밝기기준 값보다 큰 값인지 또는 작은 값 인지를 상기 수식 5를 이용하여 연산하고, 상기 연산한 결과 소정마진의 밝기기준 값보다 작으면 후보 모션 프레임에서 삭제하고, 소정마진의 밝기기준 값보다 큰 값이면, 타이머부(230)로부터 인가되는 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록한다(S160).
따라서, 상기와 같은 구성의 본 발명은, 현재 입력되는 프레임의 15 프레임 전의 프레임을 기준 프레임으로 설정하고, 상기 현재 입력되는 프레임의 픽셀 모션 값을 기준 프레임의 픽셀 모션 값과 비교하여 차이값을 구하고, 상기 구한 모션 차이값이 소정마진의 기준값보다 큰 경우에 후보 모션 프레임으로 등록한다.
상기와 같이 후보 모션 프레임으로 등록된 경우, 픽셀의 밝기값을 구하고, 해당 기준 프레임의 픽셀 밝기값과 비교하여 차이값을 구하며, 상기와 같이 구한 밝기 차이값이 소정마진의 기준값보다 큰 경우에 해당 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록한다.
이하, 상기 첨부된 도5를 참조하여, 본 발명에 의한 휴대단말기의 프레임 설정부 동영상 검색방법을 설명한다.
이동통신용 휴대단말기 장면검출부(200)의 프레임 설정부(240)에 의하여 장면 예비후보 프레임으로부터 타임 플래그를 검출하고 이전에 결정된 프레임의 타임 플래그와 대비 연산하여 시간 차이값을 구하는 것으로, 프레임 설정부(240)가 전환 추출부(220)로부터 입력되는 현재의 장면 예비후보 프레임으로부터 타임 플래그(TIME FLAG)를 분리검출하는 과정(S200); 상기 과정(S200)에서 분리검출된 타임 플래그와 이전에 후보 프레임으로 결정된 프레임으로부터 검출된 타임 플래그를 대비 연산하여 시간 차이값을 연산하는 과정(S210)으로 이루어지는 타임과정과,
상기 타임과정에서 연산한 시간 차이값이 설정된 최소 마진 시간값보다 큰 값인지를 판단하고, 최소 마진 기준값보다 작은값인 경우는 후보 프레임에서 삭제하는 것으로, 상기 연산된 시간 차이값이 설정된 최소마진의 기준값보다 큰 값인지를 판단하는 과정(S220); 상기 과정(S220)에서 연산된 시간 차이값이 최소마진 기준값보다 작으면 현재 입력되는 프레임을 후보 프레임으로부터 삭제하고 상기 타임과정(S210)으로 궤환하는 과정(S250)으로 이루어지는 판단과정과,
상기 판단과정에서 연산한 시간값이 최소마진 기준 시간값보다 크면 장면 후보 프레임으로 결정하고 프레임 후보 숫자를 누적 증가하는 것으로, 상기 연산된 시간 차이값이 최소마진 기준값보다 큰 값이면 현재 입력된 프레임을 장면 후보 프레임으로 결정하는 과정(S230); 상기 과정(S230)에서 후보 프레임으로 결정된 숫자를 포함하여 누적 증가하는 과정(S240)으로 이루어지는 결정과정으로 구성된다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로 휴대단말기의 프레임 설정부 동영상 검색방법을 첨부된 도면을 참조하여 상세히 설명한다.
상기 휴대단말기 장면 검출부(200)를 구성하는 프레임 설정부(240)는, 전환추출부(220)로부터 인가되는 장면 예비후보 프레임으로부터 타임 플래그를 검출하여 시간 정보를 확인한다(S200).
상기 과정(S200)에서 검출 확인된 시간값을, 이전 단계에 장면후보 프레임으로 결정된 프레임의 타임 플래그의 시간값과 대비하여 차이 시간값을 연산한다(S210).
상기 과정(S210)에서 시간 차이를 구한 연산 시간값을 소정의 최소마진 시간값과 대비하여, 상기 최소마진 시간값보다 큰 시간값인지 작은 시간값인지를 판단한다(S220).
상기 과정(S220)의 판단에서, 연산된 시간값이 최소마진 시간값보다 작은 시간값이면, 이전에 장면후보 프레임으로 결정된 프레임과의 시간적 거리가 가까우므로 활용도가 없는 것으로서, 후보프레임으로부터 삭제하고 상기 타임과정(S210)으로 궤환하여 다음 순서로 입력되는 후보 프레임에 대한 해당 연산을 한다(S250).
상기 과정(S220)에서 판단하여 연산된 시간값이 최소마진 시간값보다 큰 시간값이면, 상기 장면 예비후보 프레임을 장면후보 프레임으로 결정하고(S230), 현재까지 누적된 장면 후보 프레임의 숫자 값에 1의 값을 추가 또는 증가하여 누적한다(S240).
이하, 상기 첨부된 도6을 참조하여, 본 발명에 의한 휴대단말기의 장면결정부 동영상 검색방법을 설명한다.
이동통신용 휴대단말기 장면검출부(200)의 장면결정부(250)에 의하여 장면 후보 프레임 숫자를 확인하고 설정 요청 프레임 숫자와 같은지를 판단하는 것으로, 상기 장면결정부(250)에 의하여 프레임 설정부(240)로부터 인가되는 장면 후보 프레임의 숫자를 확인하는 과정(S300); 상기 과정(S300)의 장면 후보 프레임 숫자와 검색을 위하여 설정 요청하는 프레임의 숫자가 같은 값인지를 판단하는 과정(S310)으로 이루어지는 숫자과정과,
상기 숫자과정에서 후보숫자와 설정 요청 프레임 숫자가 다른 경우에 후보 숫자가 설정 요청 숫자보다 작은값인지를 판단하는 후보과정(S330)과,
상기 후보과정(S330)에서 후보 프레임의 숫자가 작으면 프레임을 추가하여 늘리고, 후보 프레임 숫자가 크면 프레임을 제거하여 줄이고 상기 숫자과정으로 궤환하는 것으로, 상기 후보 프레임 숫자가 작으면, 각 프레임의 타임 플래그 값을 비교하여 차이가 가장 많은 프레임들 사이의 중간 프레임을 새로운 후보 프레임으로 추가 등록하여 늘리고 상기 숫자과정(S310)으로 궤환하는 과정(S340); 상기 후보과정(S330)에서 후보 프레임의 숫자가 많으면, 각 프레임의 타임 플래그 값을 비교하여 인접 프레임과 가장 차이가 작은 프레임을 제거하여 후보 프레임으로부터 삭제하고 상기 숫자과정(S310)으로 궤환하는 과정(S350)으로 이루어지는 조정과정과,
상기 숫자과정에서 후보숫자와 설정요청 숫자가 같은 값의 숫자이면 현재 설정 요구하는 프레임들을 모두 장면 프레임으로 확정 설정하여 동영상 검색을 위한 프리뷰 출력하는 확정과정(S320)으로 구성된다.
이하, 상기와 같은 구성에 의한 것으로, 본 발명 휴대단말기의 장면결정부 동영상 검색방법을 첨부된 도면을 참조하여 상세히 설명한다.
상기 멀티미디어 휴대단말기의 장면검출부(200)를 구성하는 장면결정부(250)는, 상기 프레임 설정부(240)로부터 인가되는 장면후보 프레임 누적 숫자를 분석 확인하고(S300), 상기 확인된 후보 프레임의 누적 숫자가 소정의 설정요청 숫자와 같은 값인지를 대비 판단한다(S310).
상기 설정요청 숫자는 휴대단말기 사용자에 의하여 입력되는 임의 숫자 값으로, 사용자의 동영상 검색편리를 위하여 선택입력된다.
상기 판단(S310)에서 확인된 후보 누적숫자 값과 설정요청 숫자 값이 동일하지 않고 서로 다른 값인 경우, 상기 장면 결정부(250)는 후보숫자가 설정요청 숫자보다 큰 값인지 또는, 작은값인지를 대비 판단한다(S330).
상기 대비판단(S330)에서 사용자가 입력한 설정요청 숫자 값보다 장면후보 누적 숫자 값이 작은 경우, 프레임을 추가하고(S340), 상기 장면후보 누적 숫자 값이 큰 경우, 프레임을 삭제 제거한다(S350).
상기 프레임을 추가 과정(S340)을 좀더 상세히 설명하면, 현재 후보 프레임으로 결정된 각 프레임의 타임 플래그에 의한 시간값을 비교 연산하고, 각 프레임 사이의 시간 간격이 가장 큰 해당 프레임과 프레임 사이의 중간 프레임을 새로운 후보 프레임으로 설정하여 결정하므로, 추가 또는 증가하고, 상기 숫자과정(S310)으로 궤환하여 상기의 과정을 반복하므로, 후보 프레임의 누적 숫자와 사용자가 입력한 설정요청 숫자의 값이 동일한지를 반복 판단한다.
상기 프레임 제거 과정(S350)을 상기 첨부된 도7을 참조하여 좀더 상세히 설명하면, 후보 프레임으로 결정된 각 프레임의 타임 플래그에 의한 시간값을 비교연산하고, 프레임과 프레임 사이의 시간 간격이 가장 작은 프레임을 분류하고, 인접 프레임과의 시간 간격이 제일 작은 프레임을 선택하여 후보프레임으로부터 제거하 여 삭제한다.
즉, 상기 도7에서 4번째 후보프레임이 인접 프레임과 각각 3의 시간 차이값과 6의 시간 차이값을 갖으며, 상기 시간 차이값이 가장 작은 시간 차이 값이므로, 후보 프레임으로부터 제거한다.
상기 과정(S350)에서 프레임을 제거하고, 상기 숫자과정(S310)으로 궤환하여, 후보 프레임의 누적 숫자와 사용자가 입력한 설정요청 숫자가 동일한 지를 비교 판단하고, 상기 판단(S310)에서 동일한 값이면, 현재 후보로 등록 결정된 프레임을 검색용 장면 프레임으로 최종 설정한다(S320).
상기와 같은 구성의 본 발명은, 동영상의 검색에 필요한 프레임을 모션 차이값과 밝기 차이값과 타임 플래그에 의한 시간 차이값을 분석하고 처리하며 사용자가 선택입력한 숫자로 조정하므로, 최종적인 검색용 프레임을 결정하게 된다.
상기와 같이 동영상 검색을 위하여 최종 결정된 프레임은 상기 표시부(300)를 통하여 출력되므로 시각 확인하고, 상기 각 프레임에는 마킹 표시가 부가되어 동영상의 검색을 용이하게 한다.
즉, 상기 장면 프레임을 검색하고, 상기 검색에서 선택된 장면 프레임의 다음 순서에 의한 영상신호를 정상적으로 재생하므로, 검색의 속도가 빠르고, 용이하며, 휴대단말기의 배터리 소모를 절약한다.
상기와 같은 구성의 본 발명은 멀티미디어 휴대단말기가 촬영한 영상신호를 분석하여 모션과 밝기가 급격하게 변하는 프레임을 선별하고 발생 시간이 일정한 간격을 유지하도록 하여 선택된 프레임으로 동영상을 구분 검색하므로, 동영상 검색을 신속하고 용이하게 하는 산업적 이용효과가 있다.
또한, 동영상 검색이 신속하게 이루어지므로, 배터리 소모를 줄이어 멀티미디어 휴대단말기의 신뢰도를 제고하는 사용상 편리한 효과가 있다.

Claims (27)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 휴대단말기의 장면검출부에 의하여 프레임 단위로 입력되는 영상신호의 현재 프레임과 기준 프레임의 픽셀 모션 값을 대비 연산하여 차이값을 구하고, 설정된 소정의 마진 기준값보다 큰 경우에 후보 모션 프레임으로 등록하는 모션과정과,
    상기 과정에서 등록된 후보 모션 프레임의 픽셀 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하고 설정된 소정마진의 기준값보다 큰값 인지를 판단하는 밝기과정과,
    상기 과정에서 연산된 픽셀의 밝기 차이값이 마진 기준값보다 큰 값이면 타임 플래그를 부가하여 장면 예비후보 프레임으로 등록하는 예비과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  11. 제10 항에 있어서, 상기 모션과정은,
    상기 휴대단말기가 촬영한 영상신호를 비디오 스트리임 데이터로 입력하는 장면검출부에 의하여 현재 입력되는 프레임 단위 각 픽셀의 모션 값과 기준 프레임 의 각 픽셀 모션 값을 대비 연산하여 차이값을 구하는 과정과,
    상기 과정에서 연산된 픽셀 모션 차이값이 소정 마진의 기준값보다 큰 값인지를 판단하며 작은값인 경우는 현재 프레임을 기준 프레임으로 설정 등록하고 처음으로 궤환하는 과정과,
    상기 과정에서 연산된 픽셀 모션 차이값이 상기 기준값보다 큰 경우에 현재 입력된 프레임을 후보 모션 프레임으로 등록하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  12. 제11 항에 있어서,
    상기 픽셀의 모션 차이값 연산은 다음 수식을 이용하여 구하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
    Figure 112004057848459-pat00016
    Vdiff_sum : 차이 값
    Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
    Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
  13. 제11 항에 있어서,
    상기 픽셀 모션 차이값이 기준 마진 값보다 큰 값인지를 판단하는 연산은 다 음 수식을 사용하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
    Figure 112004057848459-pat00017
    Vdiff_sum : 차이 값
    Vdiff_margin : 기준 값
  14. 제11 항에 있어서,
    상기 현재 프레임은, 입력되는 비디오 스트리밍 데이터의 매 15개 프레임마다 하나씩 선정하며, 픽셀은 매 4개 픽셀마다 하나씩 선정하여 연산하므로 연산부하를 줄이는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  15. 제10 항에 있어서, 상기 밝기 과정은,
    상기 모션과정에서 등록된 후보 모션 프레임의 픽셀 밝기값을 연산하는 과정과,
    상기 과정에서 연산된 픽셀의 밝기값과 기준 프레임의 픽셀 밝기값을 대비 연산하여 차이값을 구하는 과정과,
    상기 과정의 밝기 차이값이 소정 마진의 밝기 기준값보다 큰지를 판단하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  16. 제15 항에 있어서,
    상기 픽셀의 밝기 값 연산은, 매 4개의 픽셀마다 하나씩 선정하여 연산하므로 연산량을 1/4로 줄이고,
    상기 기준 프레임은 현재 프레임의 15 개 이전 프레임 인 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  17. 제15 항에 있어서,
    상기 모션 프레임의 픽셀 밝기 값 연산은 다음 수식을 이용하여 연산하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
    Figure 112004057848459-pat00018
    Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
  18. 제15 항에 있어서,
    상기 연산된 현재 프레임 픽셀 밝기와 기준 프레임 픽셀 밝기의 차이는 다음의 수식을 이용하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
    Figure 112004057848459-pat00019
    Vcurr(i,j): 현재 프레임 픽셀 i,j의 모션 값
    Vref(i,j) : 기준 프레임 픽셀 i,j의 모션 값
    Bdiff_sum : 밝기 차이값
  19. 제15 항에 있어서,
    상기 밝기 차이값이 소정 기준값보다 큰지는 다음의 수식을 이용하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
    Figure 112004057848459-pat00020
    Bdiff_sum : 밝기 차이 값
    Bdiff_margin : 밝기 기준 값
  20. 휴대단말기 장면검출부의 프레임 설정부에 의하여 장면 예비후보 프레임으로부터 타임 플래그를 검출하고 이전에 결정된 프레임의 타임 플래그와 대비 연산하여 시간 차이값을 구하는 타임과정과,
    상기 과정에서 연산한 시간 차이값이 설정된 최소 마진 시간값보다 큰 값인지를 판단하고, 최소 마진 기준값보다 작은값인 경우는 후보 프레임에서 삭제하는 판단과정과,
    상기 과정에서 연산한 시간값이 최소마진 기준 시간값보다 크면 장면 후보 프레임으로 결정하고 프레임 후보 숫자를 누적 증가하는 결정과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  21. 제20 항에 있어서, 상기 타임과정은,
    상기 프레임 설정부에 의하여 현재 입력되는 장면 예비후보 프레임으로부터 타임 플래그를 분리검출하는 과정과,
    상기 과정에서 분리검출된 타임 플래그와 이전에 후보 프레임으로 결정된 프레임으로부터 검출된 타임 플래그를 대비 연산하여 시간 차이값을 연산하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  22. 제20 항에 있어서, 상기 판단과정은,
    상기 연산된 시간 차이값이 설정된 최소마진의 기준값보다 큰 값인지를 판단하는 과정과,
    상기 과정에서 연산된 시간 차이값이 최소마진 기준값보다 작으면 현재 입력되는 프레임을 후보 프레임으로부터 삭제하고 상기 타임과정으로 궤환하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  23. 제20 항에 있어서, 상기 결정과정은,
    상기 판단과정에서 연산된 시간 차이값이 최소마진 기준값보다 큰 값이면 현재 입력된 프레임을 장면 후보 프레임으로 결정하는 과정과,
    상기 과정에서 후보 프레임으로 결정된 숫자를 포함 누적 증가하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  24. 휴대단말기 장면검출부의 장면결정부에 의하여 장면 후보 프레임 숫자를 확인하고 설정 요청 프레임 숫자와 같은지를 판단하는 숫자과정과,
    상기 숫자과정에서 후보숫자와 설정 요청 프레임 숫자가 다른 경우에 후보 숫자가 설정 요청 숫자보다 작은값인지를 판단하는 후보과정과,
    상기 후보과정에서 후보 프레임의 숫자가 작으면 프레임을 추가하여 늘리고, 후보 프레임 숫자가 크면 프레임을 제거하여 줄이고 상기 숫자과정으로 궤환하는 조정과정과,
    상기 숫자과정에서 후보숫자와 설정요청 숫자가 같은 값의 숫자이면 현재 설정 요구하는 프레임들을 모두 장면 프레임으로 확정 설정하는 확정과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  25. 제24 항에 있어서, 상기 숫자과정은,
    상기 장면결정부에 의하여 프레임 설정부로부터 인가되는 장면 후보 프레임의 숫자를 확인하는 과정과,
    상기 과정의 장면 후보 프레임 숫자와 검색을 위하여 설정 요청하는 프레임의 숫자가 같은 값인지를 판단하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  26. 제24 항에 있어서, 상기 조정과정은,
    상기 후보과정에서 후보 프레임 숫자가 작으면, 각 프레임의 타임 플래그 값 을 비교하여 차이가 가장 많은 프레임들 사이의 중간 프레임을 새로운 후보 프레임으로 추가 등록하여 늘리고 상기 숫자과정으로 궤환하는 과정과,
    상기 후보과정에서 후보 프레임의 숫자가 많으면, 각 프레임의 타임 플래그 값을 비교하여 인접 프레임과 가장 차이가 작은 프레임을 제거하여 후보 프레임으로부터 삭제하고 상기 숫자과정으로 궤환하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
  27. 제24 항에 있어서, 상기 확정과정은,
    상기 장면 후보 프레임을 모두 최종 확정된 프레임으로 결정하고, 프리뷰 출력하여 동영상 검색에 이용하는 것을 특징으로 하는 휴대단말기의 동영상 검색방법.
KR1020040103140A 2004-12-08 2004-12-08 휴대단말기의 동영상 검색장치 및 방법 KR100652703B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020040103140A KR100652703B1 (ko) 2004-12-08 2004-12-08 휴대단말기의 동영상 검색장치 및 방법
EP05024657A EP1670244A3 (en) 2004-12-08 2005-11-11 Video trick play method for a mobile communications terminal
JP2005353065A JP4644108B2 (ja) 2004-12-08 2005-12-07 移動通信端末機、移動通信端末機の動画検索装置及び動画像検索方法
CN2005101290816A CN1787635B (zh) 2004-12-08 2005-12-08 用于搜索移动通信终端视频的装置和方法
US11/298,179 US7821528B2 (en) 2004-12-08 2005-12-08 Apparatus and method for video searching in a mobile communications terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040103140A KR100652703B1 (ko) 2004-12-08 2004-12-08 휴대단말기의 동영상 검색장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060064328A KR20060064328A (ko) 2006-06-13
KR100652703B1 true KR100652703B1 (ko) 2006-12-01

Family

ID=36190476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040103140A KR100652703B1 (ko) 2004-12-08 2004-12-08 휴대단말기의 동영상 검색장치 및 방법

Country Status (5)

Country Link
US (1) US7821528B2 (ko)
EP (1) EP1670244A3 (ko)
JP (1) JP4644108B2 (ko)
KR (1) KR100652703B1 (ko)
CN (1) CN1787635B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199796B2 (en) * 2006-12-22 2012-06-12 Newport Media, Inc. Physical layer aware video encoding for mobile TV applications
JP4420085B2 (ja) * 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
WO2010011344A1 (en) * 2008-07-23 2010-01-28 Ltu Technologies S.A.S. Frame based video matching
KR101050255B1 (ko) * 2009-08-25 2011-07-19 주식회사 노매드커넥션 동영상 장면 분할 시스템 및 방법
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
JP6273352B2 (ja) * 2014-03-24 2018-01-31 株式会社日立製作所 物体検出装置、物体検出方法、および移動ロボット
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
KR20160084635A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 영상 출력을 위한 디스플레이 장치 및 방법
US9800825B2 (en) * 2015-03-02 2017-10-24 Chih-Ta Star Sung Semiconductor display driver device, mobile multimedia apparatus and method for frame rate conversion
US10945014B2 (en) * 2016-07-19 2021-03-09 Tarun Sunder Raj Method and system for contextually aware media augmentation
CN110336943B (zh) * 2019-07-03 2021-05-25 北京迈格威科技有限公司 一种场景识别方法和装置
CN112839257B (zh) * 2020-12-31 2023-05-09 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010005451A (ko) * 1999-06-17 2001-01-15 윤종용 디지털 영상 분할 방법 및 그 장치
KR20010057144A (ko) * 1999-12-18 2001-07-04 윤종용 모션 검출장치
KR20010104547A (ko) * 2000-05-15 2001-11-26 구자홍 부가정보를 이용한 영상신호의 재생 장치 및 방법
KR20060030270A (ko) * 2004-10-05 2006-04-10 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554085A (ja) * 1991-08-28 1993-03-05 Fuji Xerox Co Ltd 動画像検索支援装置
JP3472659B2 (ja) * 1995-02-20 2003-12-02 株式会社日立製作所 映像供給方法および映像供給システム
JPH10243352A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像情報記録再生装置
JP3926497B2 (ja) * 1999-01-13 2007-06-06 シャープ株式会社 インデックス画像表示装置
CA2442637A1 (en) * 1999-02-05 2000-08-10 Samsung Electronics Co., Ltd. Digital video processing method and apparatus thereof
US6807306B1 (en) * 1999-05-28 2004-10-19 Xerox Corporation Time-constrained keyframe selection method
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP4100939B2 (ja) * 2002-03-15 2008-06-11 三洋電機株式会社 放送視聴記録再生装置
JP3936666B2 (ja) * 2003-02-20 2007-06-27 日本電信電話株式会社 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
US7127127B2 (en) * 2003-03-04 2006-10-24 Microsoft Corporation System and method for adaptive video fast forward using scene generative models
JP2004320646A (ja) * 2003-04-18 2004-11-11 Matsushita Electric Ind Co Ltd 代表画像表示方法及び代表画像表示装置
US7552387B2 (en) * 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
KR100565309B1 (ko) * 2003-11-25 2006-03-30 엘지전자 주식회사 캠코더 기능을 가진 이동통신 단말기의 마이크 전환 장치및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010005451A (ko) * 1999-06-17 2001-01-15 윤종용 디지털 영상 분할 방법 및 그 장치
KR20010057144A (ko) * 1999-12-18 2001-07-04 윤종용 모션 검출장치
KR20010104547A (ko) * 2000-05-15 2001-11-26 구자홍 부가정보를 이용한 영상신호의 재생 장치 및 방법
KR20060030270A (ko) * 2004-10-05 2006-04-10 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법

Also Published As

Publication number Publication date
EP1670244A2 (en) 2006-06-14
US20060120670A1 (en) 2006-06-08
JP4644108B2 (ja) 2011-03-02
JP2006185439A (ja) 2006-07-13
EP1670244A3 (en) 2011-12-07
CN1787635B (zh) 2010-11-03
CN1787635A (zh) 2006-06-14
US7821528B2 (en) 2010-10-26
KR20060064328A (ko) 2006-06-13

Similar Documents

Publication Publication Date Title
US11704771B2 (en) Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image
Cernekova et al. Information theory-based shot cut/fade detection and video summarization
KR100652703B1 (ko) 휴대단말기의 동영상 검색장치 및 방법
CN112069952B (zh) 视频片段提取方法、视频片段提取装置及存储介质
US8131014B2 (en) Object-tracking computer program product, object-tracking device, and camera
US8599316B2 (en) Method for determining key video frames
US20170032219A1 (en) Methods and devices for picture processing
EP3327590A1 (en) Method and device for adjusting video playback position
KR20090127442A (ko) 움직임 및 이미지 품질 감시기
EP2031594A2 (en) Information processing device and information processing method
KR20210110499A (ko) 샘플 이미지 세트 획득 방법 및 장치
CN110557547A (zh) 镜头位置调整方法及装置
EP2998960A1 (en) Method and device for video browsing
US8619150B2 (en) Ranking key video frames using camera fixation
JP2010148037A (ja) 動画像再生装置、動画像再生方法および動画像再生プログラム
US20090115857A1 (en) Image capturing apparatus providing image blur information and method thereof
KR101336951B1 (ko) 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법
CN112333238A (zh) 数据的处理方法、装置、设备及存储介质
JP2006094082A (ja) 画像撮影装置およびプログラム
CN113891018A (zh) 拍摄方法、装置及电子设备
JP2005039359A (ja) 画像再生装置及びプログラム
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
KR20090119640A (ko) 이미지의 선호도 표시 장치 및 방법
JP3993003B2 (ja) 表示指示装置、表示システム、表示指示プログラム、端末、及びプログラム
CN114299427A (zh) 目标对象关键点的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee