KR100215586B1 - 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 - Google Patents

다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 Download PDF

Info

Publication number
KR100215586B1
KR100215586B1 KR1019930023427A KR930023427A KR100215586B1 KR 100215586 B1 KR100215586 B1 KR 100215586B1 KR 1019930023427 A KR1019930023427 A KR 1019930023427A KR 930023427 A KR930023427 A KR 930023427A KR 100215586 B1 KR100215586 B1 KR 100215586B1
Authority
KR
South Korea
Prior art keywords
image
cut
information
recording
motion
Prior art date
Application number
KR1019930023427A
Other languages
English (en)
Other versions
KR940013196A (ko
Inventor
유키에 고토
마코토 후지모토
히로시 아카호리
에구사요
Original Assignee
모리시타 요이찌
마츠시타 덴키 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP92-298742 priority Critical
Priority to JP4298742A priority patent/JPH06149902A/ja
Priority to JP31726792A priority patent/JP3286360B2/ja
Priority to JP92-317267 priority
Priority to JP31726292A priority patent/JP3230858B2/ja
Priority to JP92-317262 priority
Priority to JP14733793A priority patent/JP3404803B2/ja
Priority to JP93-147337 priority
Priority to JP92-147337 priority
Application filed by 모리시타 요이찌, 마츠시타 덴키 산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR940013196A publication Critical patent/KR940013196A/ko
Application granted granted Critical
Publication of KR100215586B1 publication Critical patent/KR100215586B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/328Table of contents on a tape [TTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9206Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal
    • H04N5/9208Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal involving the use of subcodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/65Solid state media wherein solid state memory is used for storing indexing information or metadata
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/65Solid state media wherein solid state memory is used for storing indexing information or metadata
    • G11B2220/652Solid state media wherein solid state memory is used for storing indexing information or metadata said memory being attached to the recording medium
    • G11B2220/657Memory in disc [MID]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/90Tape-like record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00Facsimile and static presentation processing
    • Y10S358/906Hand-held camera with recorder in a single unit

Abstract

본 발명은 비디오카메라 등으로 촬영된 영상의 내용을 단시간에 간단하게 파악하기 쉬운 비디오영상의 다이제스트화상을 생성하기 위한 장치 및 움직임화상기록매체를 제공하는 것을 목적으로 한 것으로서, 그 구성에 있어서, 움직임화상기록매체는, 이 매체에 기록된 움직임화상을 관리하기 위한 정보를 격납하는 움직임화상관리정보격납부(3)를 구비하고, 움직임화상관리정보는, 움직임화상에서 커트가절환되는 화상이 기록된 움직임화상매체상의 기록어드레스와, 상기 커트가 절환되는 화상의 중요도를 표시하는 커트중요도와, 동일커트로 간주되는 커트내의 중요도를 표시하는 커트내중요도를 구비하고 있으며, 또 움직임화상기록장치는 움직임화상의 커트체인지를 검출하는 커트체인지검출수단(10)과, 상기 커트체인지검출수단(10)에 의해 검출된 각 커트의 시간길이를 구하는 커트시간길이검출수단(11)과, 각커트내의 화상의 변화정도를 검출하는 커트내화상변화정도검출수단(12)을 구비하고, 움직임화상기록매체에 움직임화상을 기록하는 동시에, 상기 커트체인지검출수단(10)에 의해서 검출한 커트체인지가 생성하는 화상을 기록한 움직임화상기록매체상의 기록어드레스와, 상기 커트시간길이검출수단(11)에 의해서 구한 각 커트의 시간길이와 상기 커트내화상변화정도검출수단(12)에 의해 구한 각 커트내에서의 화상의 변화정도를 기록하는 것이며, 또 다이제스트화상생성장치는, 사용자가 희망하는 요약움직임화상의 시간길이를 입력하는 요약움직임화상시간길이입력수단(16)과, 움직임화상기록매체에 기록된 움직임화상관리정보를 판독하는 수단(17)과, 움직임화상관리정보와 요약움직임화상시간길이로부터 필요한 커트를 추출하는 커트추출수단(18)과, 움직임화상관리정보와 요약움직임화상시간길이로부터 각 커트의 재생프레임수를 결정하는 재생프레임수 결정수단(19)과, 커트추출수단과 재생프레임수결정수단에 의해서 선택한 화상을 검색하는 검색수단(20)을 구비하여, 사용자에 지정된임의 시간길이의 요약움직임화상을 자동생성하는 것을 특징으로 한 것이다.

Description

다이제스트화상자동생성장치 및 다이제스트화상자동생성방법

제 1 도는 본 발명의 제 1실시예에 의한 움직임화상기록매체를 표시한 도면,

제 2 도는 본 발명의 제 1실시예에 의한 동작을 설명하기 위한 도면,

제 3 도는 본 발명의 제 2실시예에 의한 움직임화상기록매체를 표시한 도면,

제 4도는 본 발명의 제 3실시예에 의한 움직임화상기록장치의 구성을 표시한 블록도,

제 5도는 본 발명의 제 3실시예에 의한 커트체인지검출부와 커트내의 화상변화정도검출부의 상세구성을 표시한 블록도,

제 6도는 본 발명의 제 3실시예에 의한 커트체인지검출부의 상세구성을 표시한 블록도,

제 7도는 본 발명의 제 4실시예에 의한 다이제스트화상생성장치의 구성을 표시한 블록도,

제 8도는 본 발명의 제 5실시예에 의한 다이제스트화상생성장치의 구성블록

제 9도(a)는 본 발명의 제 5실시예에 의한 다이제스트화상생성장치의 녹화시의 동작을 표시한 구성블록도,

제 9도(b)는 본 발명의 제 5실시예에 의한 다이제스트화상생성장치의 재생시의 동작을 표시한 구성블록도,

제 10도는 움직임화상격납매체와 우선도정보격납매체에 있어서의 기록방법의설명도,

제 11도(a)는 재생시에 우선도를 산출하는 다이제스트화상생성장치의 녹화시의 동작을 표시한 구성블록도,

제 11도(b)는 재생시에 우선도를 산출하는 다이제스트화상생성장치의 재생시의 동작을 표시한 구성블록도,

제 12도는 본 발명의 제 6실시예에 의한 다이제스트화상자동생성방식으로서,제12도(a)는 녹화버튼집합에 대한 모우드천이도면,

제 12도(b)는 줌버튼집합에 대한 모우드천이도면,

제 13도는 본 발명의 제 6실시예의 다이제스트화상자동생성방식의 우선도산출부의 구성블록도,

제 14도는 모우드의 계속프레임수에 의해서 우선도를 변화시키는 경우의 섬령도,

제 15도는 함수L의 설명도,

제 16도는 본 발명의 제 7실시예에 의한 다이제스트화상자동생성방법의 복수의 버튼의 모우드가 중복하는 경우의 설명도,

제 17도는 본 발명의 제 7실시예에 의한 다이제스트화상자동생성방법의 우선도산출부의 구성블록도,

제 18도는 본 발명의 제 8실시예에 의한 다이제스트화상생성장치의 구성블록도,

제 19도(a)는 움직임벡터검출부에서 움직임벡터를 검출하는 격자점(格子点)의 위치를 표시한 설명도,

제 19도(b)는 1개의 격자점에 대한 대표점의 위치를 표시한 설명도,

제 20도는 본 발명의 제 8실시예에 의한 다이제스트화상생성장치의 움직임벡터검출부의 구성블록도,

제 21도는 카메라의 촬상면과 피사체의 위치관계를 표시한 설명도,

제 22도(a)는 주밍의 경우의 카메라의 촬상면과 피사체의 위치관계의 변화를표시한 설명도,

제 22도(b)는 틸팅의 경우의 카메라의 촬상면과 피사체의 위치관계의 변화를 표시한 설명도,

제 23도는 본 발명의 제 8실시예에 의한 다이제스트화상생성장치의 쇼트구분짓기검출부의 구성블록도,

제 24도(a)는 줌요소f와 그 변동량의 일예를 표시한 설명도,

제 24도(b)는 회전벡터 P의 x성분 px와 그 변동량의 일예를 표시한 설명도,

제 24도(c)는 회전벡터 P의 y성분 py와 그 변동량의 일예를 표시한 설명도,

제 24도(d)는 쇼트의 구분짓기점을 표시한 설명도,

제 24도(e)는 다이제스트로서 선택되는 화상의 기간을 표시한 설명도,

제 25도는 본 발명의 제 8실시예에 의한 다이제스트화상생성장치의 다이제스트 표시제어부의 구성블록도,

제 26도는 본 발명의 제 9실시예에 의한 움직임화상기록매체를 표시한 도면,

제 27도는 본 발명의 제 10실시예에 의한 다이제스트화상생성장치의 구성을 표시한 도면,

제 28도는 본 발명의 제 11실시예에 의한 다이제스트화상생성장치에 있어서의 대표화상정보추출장치의 구성을 표시한 도면,

제 29도는 본 발명의 제 11실시예에 의한 정지화상자동추출장치에 있어서의 프레임간차분치검출부의 다른 구성을 표시한 블록도,

제 30도는 본 발명의 제 12실시예에 의한 움직임화상기록장치의 구성을 표시한 도면,

제 31도는 본 발명의 제 13실시예에 의한 다이제스트화상자동생성방법의 대표화상추출정보평가부의 구성을 표시한 도면,

제 32도는 본 발명의 제 13실시예에 의한 다이제스트화상자동생성방법의 게이트신호발생부의 동작을 설명하는 도면,

제 33도는 본 발명의 제 14실시예에 의한 다이제스트화상자동생성방법의 대표화상추출정보평가부의 구성을 표시한 도면,

제 34도는 본 발명의 제 15실시예에 의한 다이제스트화상자동생성방법의 대표화상추출정보평가부의 구성을 표시한 도면,

도면의 주요부분에 대한 부호

(1),(4) : 광디스크 (10) : 커트체인지검출부

(11) : 커트시간길이검출부 (12) : 커트내화상변화정도검출부

(13) : 어드레스검출부 (18) : 커트추출부

(19) : 재생프레임수결정부 (201) : 카메라

(202) : 데이터베이스 (203) : 움직임화상격납매체

(204) : 우선도정보격납매체 (205) : 우선도산출부

(206) : 버튼입력신호격납매체 (210) : START/STOP입력부

(211) : 화상선택부 (212) : 임계치변경부

(213) : 임계치기록부 (214) : 판정·동기부

(215) : 출력장치 (220) : 상태검출부

(221) : 모우드축적부 (222) : 모우드판정부

(223) : 카운터 (224) : 우선도변환부

(231) : 모우드판정유니트 (232) : 가중치산출부

(233) : 우선도결정부 (234) : 버튼조작상태검출부

(235) : 변환부 (301) : 다이제스트작성·표시선택부

(302) : 데이터베이스 (303) : 움직임화상격납매체

(304) : 움직임벡터검출부 (305) : 카메라조작추정부

(306) : 카메라조작격납매체 (307) : 쇼트구분짓기검출부

(308) : 다이제스트표시제어부 (309) : 출력장치

(331) : BPF (332) : 대표점치기억부

(333) : 매칭부 (334) : 대표점위치기억부

(361) : 조작량기억부 (362) : 변동검출부

(363) : 판정부 (364) : 임계치설정부

(381) : 카운터제어부 (382) : 카운터

(383) : 화상선택부 (384) : 동기부

(401) : 재생신호입력부 (402),(428) : 카메라조작정보획득부

(403),(429) : 화상처리정보획득부 (404),(430) : 촬영상태정보획득부

(405),(431) : 영상신호획득부

(406),(432) : 대표화상추출정보평가부

(407) : 대표화상관리부 (408) : 대표화상기억부

(409) : 출력장치 (433) : 정지화상정보기록부

(436) : 가중가산부 (437) : 게이트신호발생부

(438),(441) : 게이트부 (439) : 최대치검출부

(440) : 타이머 (442) : 평가부

(443) : 중간프레임검출부

[발명의 상세한 설명]

본 발명은, 비디오카메라등에 의해서 촬영된 영상의 내용을 단시간내에 또한 간단하게 파악하기 위한 비디오영상의 다이제스트화상생성에 관한 것이다.

종래, 움직임화상의 내용을 단시간내에 파악하는 수단으로서는, VTR의 금속재생에서 프레임을 등간격으로 삭제하여 표시하거나, 가변속도재생을 사용해서 표시속도를 수동으로 조절하는 방법이 있었다.

또, TV프로그램등의 다이제스트화상을 작성하는 방법으로서는, 예를 들면, 일본국 특개평 3-90968호에 개시되어 있는 바와 같이, 미리 사용자가 화상을 보고, 판단한 우선도를 프레임마다 할당함으로써, 지정시간내에 화상의 다이제스트를 표시하는 다이제스트의 작성기법이 제안되어 있다. 여기서 우선도는, 어느 화상을 다이제스트로서 우선적으로 표시하고 싶은 정도, 다이제스트로서 장시간 표시하고 싶은 정도 등의 사용자가 느끼는 중요정도의 척도이다.

그러나, 급속재생은 화상내용에 관계없이, 프레임을 등간격으로 삭제하기 위하여, 필요한 프레임이 생략되거나, 반대로 필요없는 프레임이 표시되거나 한다는 문제점이 있었다.

한편, 가변속재생에서는, 사용자의 흥미나 이해도에 적응한 속도로 화상을 표시할 수 있으나, 장시간에 걸치는 움직임화상도 모두 수동으로 조작하지 않으면 안된다고 하는 문제점이 있었다.

또, 미리 사용자가 판단한 우선도를 프레임마다 할당하는 기법은, 다른 사람에게 개요를 설명하는 목적에는 유익하나, 테이프에 무엇이 녹화되어 있었는지 알고싶다고 하는 용도에 대해서는, 할당작업중에 목적을 달성해버리므로, 다이제스트를 만드는 의미가 없게된다.

본 발명은 이러한 점을 감안하여, 화상내용을 파악하기 쉬운 영상의 다이재생성하기 위한 장치 및 움직임화상기록매체를 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여 하기와 같은 구성으로 한다.

본 발명의 제 1, 제 2측면에 따른 움직임화상기록매체는, 움직임화상기록매체에 기록된 움직임화상을 관리하기 위한 정보를 격납하는 움직임화상관리정보격납부를 구비하고, 움직임화상관리정보는, 움직임화상에서 거트가 절환되는 화상이 기록된 움직임화상매체상의 기록어드레스와, 상기 커트가 절환되는 화상의 중요함을 표시한 커트중요도와, 동일 커트라고 간주되는 커트내의 중요도를 표시한 커트내중 요도를 구비하고 있다.

또, 본 발명의 제 3측면에 따른 움직임화상기록장치는, 움직임화상의 커트체인지를 검출하는 커트체인지검출수단과, 상기 커트체인지검출수단으로 검출된 각 커트의 시간길이를 구하는 커트시간길이검출수단과, 각 거트내의 화상의 변화정도를 검출하는 커트내화상변화정도검출수단을 구비하고, 움직임화상기록매체에 움직임화상을 기록하는 동시에 상기 커트체인지검출수단으로 검출한 커트체인지가 발생하는 화상을 기록한 움직임화상기록매체상의 기록어드레스와, 상기 커트시간길이검출수단으로 구한 각 저트의 시간길이와, 상기 커트내화상변화정도검출수단으로 구한 각 커트내에서의 화상의 변화정도를 기록한다.

또, 본 발명의 제 4측면에 따른 다이제스트화상생성장치는, 사용자가 희망하는 요약움직임화상의 시간길이를 입력하는 요약움직임화상시간길이입력수단과, 움직임화상기록매체에 기록된 움직임화상관리정보를 판독하는 수단과, 움직임화상관리정보와 요약움직임화상시간길이로부터 필요한 커트를 추출하는 커트추출수단과, 움직임화상관리정보와 요약움직임화상시간길이로부터 각 커트의 재생프레임수를 결정하는 재생프레임수결정수단과, 커트추출수단과 재생프레임수결정수단으로 선택한 화상을 검색하는 검색수단을 구비하고, 사용자에 지정된 임의시간길이의 요약움직 임화상을 자동생성한다.

또, 본 발명의 제 5, 제 6측면에 따른 다이제스트화상재생장치와 본 발명의 제 7측면 내지 제 10측면에 따른 다이제스트화상자동생성방식은, 비디오카메라에 의해 촬상된 화상을 축적하는 움직임화상격납 수단과, 상기 촬상시에 행하여진 버튼 조작으로부터 상기 촬상된 화상의 주요정도를 나타내는 우선도를 구하는 우선도산출수단과, 상기 우선도산출수단의 출력을 축적하는 우선도정보격납수단과, 상기 우선도정보격납수단으로부터의 우선도에 의거하여, 상기 움직임화상격납수단으로부터의 재생화상을 선택하는 화상선택수단과, 상기 선택된 화상을 표시하는 디스플레이 또는 기록하는 기록장치로 이루어진 출력수단으로 이루어진다.

또, 본 발명의 제 11측면에 따른 다이제스트화상생성장치는, 다이제스트의 작성·표시의 모우드를 사용자의 입력에 의해서 설정하는 다이제스트 작성·표시선택수단과, 카메라에 의해 촬상된 화상을 축적하는 움직임화상격납 수단과, 상기 다이제스트작성·표시선댁수단에서 작성모우드가 설정되어 있을 때, 상기 움직임화상격납수단으로부터의 영상신호를 사용해서 화면내의 움직임벡터를 구하는 움직임벡터검출 수단과, 상기 움직임벡터검출 수단의 출력을 사용해서 입력화상의 촬영시의 카메라조작을 추정하는 카메라조작추정수단과, 상기 카메라조작추정수단의 출력을 축적하는 카메라조작격납수단과, 상기 다이제스트작성·표시선택수단에서 표시모우드가 설정되어 있을 때, 상기 카메라조작격납 수단으로부터 카메라조작의 정보를 판나독입력하고 조작의 구분짓기를 검출하는 쇼트구분짓기검출수단과, 상기 쇼트구분짓기검출수단의 출력에 의거하여 다이제스트로서 표시하는 화상의 선택 또는 표시방법의 결정을 행하는 다이제스트표시제어수단과, 선택된 화상을 다이제스트로서 표시하는 출력으로 이루어진다.

또, 본 발명의 제 12측면에 따른 움직임화상기록매체는, 움직임화상을 촬영할 때에 촬영자가 카메라를 조작한 카메라조작정보를 기억하는 카메라조작정보기억부와, 촬상한 화상을 처리해서 얻어진 화상처리정보를 기억하는 화상처리정보기억부와, 센서로 부터의 신호를 처리해서 얻어진 촬영중의 촬영상태정보를 기억하는 촬영상태정보기억부중 적어도 1개의 기억부를 구비한다.

또, 본 발명의 제 13측면에 따른 다이제스트화상생성장치는, 움직임화상을 촬영할때에 촬영자가 카메라를 조작한 카메라조작정보를 도입하는 카메라조작정보획득수단과, 촬상된 화상을 처리해서 얻어진 화상처리정보를 도입하는 화상처리정복획득수단과, 센서로부터의 신호를 처리해서 얻어진 촬영중의 촬상상태정보를 도입하는 촬영상태정보획득수단과, 상기 카메라조작정보획득 수단으로 부터의 카메라조작정보와 상기 화상처리정보획득 수단으로 부터의 화상처리정보와 상기 촬영상태정보 획득수단으로부터의 촬영상태정보중 적어도 1개의 정보에 의거해서, 촬영자가 촬영개시 조작을 한 다음에 촬영종료조작을 하기까지의 사이에 촬영된 움직임화상 중에서 적어도 1개의 정지화상을 추출하는 정지화상추출 수단을 구비한다.

또, 본 발명의 제 14측면에 다른 움직임화상기록장치는, 촬상장치에 의해서 촬영한 움직임화상을 움직임화상기록매체에 기록하는 동시에, 상기 정지화상추출 수단으로부터 추출한 정지화상의 정보를 기록하는 정지화상정보기록 수단을 구비한다.

본 발명의 제 1, 제 2측면에 따른 움직임화상기록매체와 본 발명의 제 4측면에 따른 다이제스트화상생성장치의 구성에 의하면, 사용자로부터 요구된 요약움지임화상의 시간길이와, 움직임화상기록매체에 구비된 움직임화상관리정보중의 커트 중요도 및 커트내의 중요도에 의거하여 추출해야할 움직임화상어드레스를 결정하고, 결정된 움직인화상어드레스의 움직임화상정보를 재생함으로써, 움직임화상의 내용에 따른 다이제스트화상을 생성할 수 있다.

또, 본 발명의 제 3측면에 따른 움직임화상기록장치의 구성에 의하면, 움직임화상기록매체에 움직임화상정보를 기록할때에 움직임화상의 커트체인지를 자동검출하고 커트의 길이와 동일커트내의 화상의 변화정보를 화상관리정보로서 커트체인지부분의 화상어드레스와 함께 움직임화상관리정보격납부에 자동적으로 격납한다. 이에 의해서, 움직임화상중의 화상내용이 변화하는 모든 부분에 대해서, 사람 손을 개재하는 일없이 자동적으로 관리정보를 부여할 수 있다.

또, 본 발명의 제 5, 제 6측면에 따른 다이제스트화상생성장치와 본 발명의 제 7측면 내지 제 10측면에 따른 화상자동생성방법의 구성에 의하면, 촬영시에 사용하는 줌등의 버튼입력신호로부터 화상의 상태를 추정하고, 화상의 상태에 따른 우선도를 설정해서 표시화상의 선택이나 표시속도의 조정을 행함으로써, 사용자의 촬영의도를 반영한 표시가 가능하게 되고, 내용을 파악하기 쉬운 다이제스트를 표시할 수 있다.

또, 버튼입력신호로부터 자동적으로 우선도를 계산함으로써, 미리 우서도를 할당하거나, 다이제스트의 표시시에 수동으로 우선도를 조작하는 등의 번거로움이 없고, 급속재생과 마찬가지로 손쉽게 화상내용을 알 수 있다.

또, 본 발명의 제 11측면에 따른 다이제스트화상생성장치의 구성에 의하면, 화상의 영상신호로부터 촬영시의 주밍, 패닝등의 카메라조작을 추정하고, 카메라 조작에 따라서 표시화상을 선택함으로써, 예를 들면 카메라조작을 절환할때마다 화상을 소정시간동안 표시하게 하고, 사용자의 촬영의도를 반영한 표시가 가능하게 되고, 내용을 파악하기 쉬운 다이제스트를 표시할 수 있다.

또, 영상신호로부터 자동적으로 표시화상의 선택을 행할 수 있으므로, 미리 우선도를 할당하거나, 다이제스트의 표시시에 수동으로 우선도를 조작하는 등의 번거로움이 없이, 급속재생과 마찬가지로 손쉽게 화상내용을 알 수 있다.

또, 본 발명의 제 13측면에 따른 다이제스트화상생성장치와 본 발명의 제 15내지 제 18측면에 따른 다이제스트화상자동생성방법의 구성에 의하면, 촬영시에 있어서의 촬영자의 줌등의 카메라조작정보나, 화상처리를 행하여 얻어진 예를 들면 포커스나 아이리스의 신뢰성이나 피사체의 위치나 장해물의 존재상항등의 화상처리정보나, 센서로부터 얻어지는 예를 들면 패닝등의 촬영상태정보에 의거하여, 화상의 평가를 행하고, 평가치가 높거나 또는 일정한 조건을 만족하는 화상을 움직임화상중에서 추출한다. 이와 같이 추출된 정지화상은 움직임화상의 내용을 충분히 표현한 것으로 된다.

또, 본 발명의 제 12측면에 따른 움직임화상기록매체와 본 발명 제 14측면에 따른 움직임화상기록장치의 구성에 의하면, 추출한 정지화상의 정보를 움직임화상과 함께 기록함으로써, 정지화상정보에 의거하여 대표화상을 용이하게 검색하거나 또는 출력하는 것이 가능하게 된다.

이하, 본 발명의 실시예에 대해서 첨부도면을 참조하여 상세히 설명한다.

먼저, 본 발명의 제 1실시예에 의한 움직임화상기록매체에 대해서 설명한다.

제 1실시예에 의한 움직임화상기록매체를 제 1도에 표시한다. (1)은 움직임화상정보나 움직임화상관리정보를 기록하는 광디스크이며, (2)는 광디스크상에서 움직임화상정보를 기록하는 움직임화상정보기록트랙이며, (3)은 움직임화상관리정보를 격납하는 움직임화상관리정보격납트랙이다. 움직임화상관리정보격납트랙에 있어서의 움직임화상관리정보는, 커트체인지어드레스, 커트중요도, 커트내 중요도의 3개를 구비하고 있다.

움직임화상은 제 2도에 표시한 바와 같이 1프레임마다의 정지화상으로 구성되어 있으며, 이들 화상을 애널로그신호나 디지틀신호로서 광디스크(1)상의 움직임화상정보기록트랙(2)에 기록되어 있다. 제 2도에 있어서 좌측으로부터 3프레임째와 4프레임째, 7프레임째와 8프레임째에서는 화상내용이 변화하고 있고, 4프레임째와 8프레임째의 화상을 커트체인지화상이라 정의한다. 이들 커트체인지화상이 기록되어 있는 움직임화상정보기록트랙(2)의 어드레스를 커트체인지어드레스라 호칭한다. 또, 커트체인지화상에서부터 다음의 커트체인지화상의 1프레임앞의 화상까지를 1커트로 하고, 각 커트의 중요도를 커트의 길이, 즉 각 커트의 프레임수에 의해서 정의한다. 예를 들면 제 2도에 있어서 제 1커트의 중요도는 3, 제 2커트의 중요도는 4, 제 3커트의 중요도는 2로 가정할 수 있다. 또 각 커트내에서의 커트내 중요도를, 각 커트내에서의 화상의 변화정도에 의해서 정의한다. 커트내에서의 화상의 변화정도란, 예를 들면 동일커트내에서 프레임간의 차이분의 평균치를 사용한다. 프레임간의 차이분을 구하는 신호는 화상의 휘도를 사용하여, 연속하는 프레임사이에서 동일위치에 있어서의 화소의 휘도치의 차이의 총합을 구한다. 동일커트에 의해서 연속하는 모든 프레임간에서 프레임간 차이분을 구하고, 이들의 평균치를 구함으로써 커트내 중요도로 한다. 이 커트내 중요도는 거트내에서의 평균적인 화상의 변화정도를 나타내고 있으며, 커트내 중요도의 값이 클수록 변화가 격심한 커트인 것을 의미하고 있다.

이와 같은 움직임화상관리정보를 움직임화상기록매체에 구비함으로써, 움직임화상기록매체에 기록된 움직임화상에의 액세스가 용이하게 된다. 예를 들면, 움직임화상관리정보에 의거하여 커트길이가 어느 일정한 길이이상의 커트만을 선택해서 디스플레이장치에 표시함으로써, 움직임화상기록매체에 기록되어 있는 움직임화상의 대충내용을 즉석에서 파악할 수 있고, 이에 의거하여 움직임화상중에서 회망하는 장면을 용이하게 발견하는 것이 가능하다. 즉, 커트길이가 긴 커트는 움직임화상전체를 대표하는 화상내용인 것으로 생각되고, 커트길이가 긴 커트에서부터 1프레임씩을 추출해서 표시함으로써 전체의 내용파악이 가능하다. 또, 커트내 중요도가 어느 일정치이상의 커트만을 선택해서 디스플레이장치에 표시함으로써, 움직임화상기록매체에 기록되어 있는 움직임화상중에서, 움직임이 격심한 부분을 알 수 있다.

이상과 같이, 본 발명의 움직임화상기록매체는 움직임화상의 내용을 관리하는것이 가능한 움직임화상관리정보를 구비하고 있기 때문에, 사용자가 보고싶은 장면을 용이하게 색출할 수 있다고 하는 특징을 가지고 있다. 또한, 본 실시예에서는 커트내 중요도를 동일커트내에서의 프레임간 차이분의 평균치로 하고, 또 프레임간의 차이분에는 휘도치를 사용하였으나, 프레임간의 차이분이외의 방법이나 휘도치이외의 것이어도 된다. 예를 들면 화면을 복수의 영역으로 분할해서 각 영역마다 움직임벡터를 구하고, 구한 움직임벡터의 불균일 정도를 커트내중요도로 하여도 된다. 또, 본 실시예에서는 움직임화상기록매체로서 광디스크를 사용한 예로 설정하였으나, IC등의 고체메모리나 자기테이프 등이어도 된다.

본 발명의 제 2실시예에 의한 움직임화상기록매체를 제 3도에 표시한다. 본 실시예의 한움직임화상기록매체는, 움직임화상정보를 기록하는 매체와 움직임화상관리정보를 기록하는 매체를 별도로 가진 점이 제 1실시예와 상이하다. 제 3도에서 (4)는 움직임화상정보를 기록하는 광디스크, (5)는 움직임화상관리정보를 격납하는 IC메모리, (6)은 광디스크와 IC메모리를 수납하는 카트리지이다. IC메모리에 기록되는 움직임화상관리정보나 그 상세내용은 제 1실시예와 마찬가지이므로, 이에 대한 설명을 생략하다. 상기한 본 발명의 제 2실시예에서는, 움직임화상을 기록하는 매체와는 다른 기록매체에 움직임화상관리정보를 기록해둠으로써, 화상재생시의 액세스의 고속화를 도모하는 것이 가능하게 된다.

다음에 본 발명의 제 3실시예에 의한 움직임화상기록장치에 대해서 설명한다. 제 3실시예에 의한 움직임화상기록장치의 구성을 제 4도에 표시한다. 제 4도에서, (7)은 움직임화상입력부, (8)은 화상신호처리부, (9)는 움직임화상정보기록수단, (10)은 커트체인지 검출부, (11)은 커트시간길이 검출부, (12)는 커트내화상변화정도검출부, (13)은 어드레스검출부, (14)는 움직 임화상관리 정보기록수단이다.

이상의 구성에 의한 움직임화상기록장치의 동작을 설명한다. 움직임화상입력부(7)에 입력된 움직임화상신호는, 화상신호처리부(8)에서 움직임화상기록매체에 적합한 변조를 행하고, 움직 임화상정보기록수단(9)에 의해서 움직 임화상기록매체상의 움직임화상정보기록부에 기록된다. 한편, 움직임화상신호는 커트체인지검출부(10)에 입력되어, 움직임화상에서 커트가 절환되는 커트체인지화상을 검출하다.

커트시간길이검출부(11)에는 커트체인지검출부(10)에서 검출한 커트체인지화상에 의거하여 1커트의 길이를 검출한다. 즉, 커트체인지화상에서부터 다음의 커트체인지화상으로서 1프레임 앞의 화상까지의 프레임수를 계수해서 커트시간의 길이로하다. 커트내화상변화정도검출부(12)에서는 1커트내에서 화상의 변화정도를 검출한다. 어드레스검출부(13)에서는 커트체인지검출부(10)에서 검출한 커트체인지 화상을 기록하는 움직임화상기록매체상의 기록어드레스를 검출한다. 움직임화상관리정보기록수단(14)은 거트체인지화상의 기록어드레스와 커트시간길이와 커트내화상변화정도를 움직임화상기록매체상의 움직임화상관리정보기록부에 기록한다.

이하, 더욱 상세한 동작에 대해서 설명한다. 제 5도에 커트체임지거출부(10)와 커트내화상변화정도검출부(12)의 상세한 구성을 표시한다. (101)은 움직임화상신호를 1프레임 지연시키기 위한 프레임메모리, (102)는 연속하는 프레임사이에서 움직임화상신호의 차이분을 구하는 프레임간차이분검출부, (103)은 프레임간차이분값과 소정의 값을 비교해서 소정의 값이상이면 커트체인지가 있었다고 판단하는 커트체인지 판단부이다. 또 (121)은 프레임간의 차이분값을 동일커트내에서 가산하는 프레임간차이분가산부, (122)는 동일커트내에서 가산한 프레임간의 차이분값을 커트시간길이검출부(11)에서 검출한 1커트의 프레임수로 나누어서 커트내의 평균적인 프레임간의 차이분값을 구하는 프레임간차이분평균치산출부이다. 여기서, 움직임화상의 연속하는 2프레임간의 차이를 구하는 신호는 휘도치나 rgb치등을 사용한다. 제 5도의 구성에 있어서, 프레임간의 차이분에 의해서 연속하는 2프레임사이에서 화상의 변화정도를 구하고, 프레임간의 차이분값이 큰값이면 2개의 프레임사이에서 화상내용이 크게 변화하고 있는 것으로 고려해서, 그 부분에서 커트체인지가 있었다고 판단한다. 커트내화상변화정도검출부에서는 연속하는 프레임간의 변화정도를 표시한 프레임간의 차이분의 평균치를 1커트내에서 구하고 있다.

커트체인지검출부(10)의 다른 구성을 제 6도에 표시한다. (104)는 움직임화상신호의 1프레임에 대한 색히스토그램을 구하는 색히스토그램검출부, (105)는 구한 히스토그램을 기억하는 히스토그램메모리, (106)은 연속하는 프레임사이에서 갯히스토그램의 차이를 검출하는 히스토그램차이분검출부, (107)은 히스토그램차이분값과 소정의 값을 비교해서 소정의 값이상이면 커트체인지가 있었다고 판단하는 커트체인지판단부이다. 제 6도의 구성에서는 커트체인지를 검출하는 신호로서 1프레임에 있어서의 색히스토그램을 사용하고 있기 때문에, 화상의 움직임에는 영향을 주기 어렵다고 하는 특징을 가지고 있다.

이와 같은 움직임화상기록장치를 사용함으로써, 움직임화상기록매체에 움직임화상정보를 기록하는 동시에, 움직임화상을 관리하기 위한 정보를 자동적으로 기록할 수 있다. 즉, 움직임화상기록매체에 기록하는 움직임화상으로부터 커트체인지화상을 자동적으로 검출하고, 커트체인지화상을 기록한 움직임화상기록매체상의 기록어드레스, 각 커트의 시간길이, 각 커트내에서의 화상의 변화정도를 움직임화상관리정보로서 기록한다. 이에 의해서 사람손을 개재할 필요가 없고, 대량의 움직임화상데이터에 대해서도 관리정보를 부여하는 것이 가능하다.

다음에 본 발명의 제 4실시예에 의한 다이제스트화상생성장치에 대해서 설명한다. 제 4실시예에 의한 다이제스트화상생성장치의 구성을 제 7도에 표시한다.

제 7도에서,(15)는 움직임화상기록매체, (16)은 요약움직임화상시간길이입력부, (17)은 움직임화상관리정보판독부, (18)은 커트추출부, (19)는 재생프레임수결정부, (20)은 재생화상검색부이다.

이상의 구성에 의한 다이제스트화상생성장치의 동작을 설명한다. 움직임화상기록매체(15)는 본 발명의 제 1실시예 또는 제 2실시예에서 설명한 바와 같이, 움직임화상정보와 함게 움직임화상관리정보가 기록되어 있다. 본 실시예는 이와 같이 움직임화상관리정보를 가진 움직임화상기록매체로부터, 사용자가 임의로 지정하는 시간길이의 요약움직임화상을 생성하는 것이다. 이 때문에 움직임화상관리정보판독부(17)는 움직임화상관리정보로서 커트체인지화상을 기록하고 있는 어드레스, 커트시간길이, 커트내화상변화정도를 판독한다. 한편, 사용자는 요약움직임화상시간길이입력부(16) 로부터 희망하는 시간길이를 입력한다. 커트추출부(18)에서는 움직임화상관리정보와 요약움직임화상시간길이로부터 필요한 커트를 추출한다. 또, 재생프레임수결정부(19)에서는 움직임화상관리정보와 요약움직임화상시간길이로 부터 각 커트의 재생프레임수를 결정한다. 재생화상검색부(20)에서는 커트추출부에서 추출한 커트 또는 재생프레임수결정부에서 결정한 각 커트의 재생프레임수에 따라서 재생하는 화상을 움직임화상기록매체로부터 검색한다.

이하, 커트추출부(18)와 재생프레임수결정부(19)의 동작에 대해서 더욱 상세하게 설명하다. 지금, 움직임화상기록매체에 기록되어 있는 움직임화상의 커트수를 n로하고, 사용자로부터 입력된 요약움직임화상의 시간길이를 T초로 한다. 또 본 실시예의 다이제스트화상생성장치에서는 각커트를 움직임화상을 추출하기 위하여, 각 커트의 최저추출프레임수를 m으로 한다.

먼저, 요약움직임화상의 시간길이가 짧은 경우, 즉 식 ①을 만족하는 경우에 대해서 설명한다. 또한 식①의 t는, 프레임간의 시간간격을 나타내고 있다.

T≤·n·m·t ………①

이 경우, 전체커트를 m프레임씩 추출하면, 추출한 전체화상의 시간길이는 사용자가 요구하는 요약움직임화상시간길이 T를 초과해 버린다. 따라서, 식②에 표시한 식으로부터 추출하는 커트수n'개를 결정한다.

n'=T/(m·t) ………②

단, n'가 정수치 아닌 경우는 4사5입해서 정수치로 변환한다. 커트추출부(18)에서는 식 ②에 의해서 n'을 구하는 동시에, 움직임화상기록매체로부터 판독한 움직임화상관리정보에 의거하여 커트길이가 긴 것부터 상위 n'개의 커트를 추출한다. 재생화상검색부(20)에서는 커트추출부에서 추출된 n'개의 커트의 커트체인지화상의 어드레스에 의거하여 n'개의 커트의 각각에 대해서 m프레임을 검색한다.

다음에 요약움직임화상시간길이가 긴 경우, 즉 식③을 만족하는 경우에 대해서 설명한다.

Tn·m·t ………③

이 경우, 전체커트를 m프레임씩 추출하여도, 추출한 전체화상의 시간길이는 사용자가 요구하는 요약움직임화상의 시간길이 T보다도 짧다. 따라서, 식 ④에 표시한 식으로부터 전체에서 더 추출해야 할 프레임수m'를 결정한다.

m'=T/t-n·m ………④

재생프레임수결정부(19)에서는 식 ④에 의해서 m'을 구하는 동시에, 개개의커트의 재생프레임수 mi'를 식⑤에 의해서 결정한다.

mi'=m+m'·xi/ 스 켄 ………⑤

여기서 i는 커트번호, xi는 i번째의 커트의 커트내화상변화정도로 한다. 단, mi'가 정수치 아닌 경우는 4사5입해서 정수치로 변환한다. 재생화상검색부(20)에서는 커트체인지화상의 어드레스에 의거하여, 재생프레임수결정부에서 결정한 각커트의 재생프레임수mi' 검색한다.

이상과 같이 해서, 사용자가 입력한 요약시간길이가 움직임화상기록매체에 기록된 움직임화상관리정보에 의거해서, 기록된 화상내용을 고려한 급속재생용의 요약화상을 자동생성하는 것이 가능하게 된다.

다음에 본 발명의 제 5실시예에 의한 다이제스트화상생성장치에 대해서 설명한다. 제 8도에 본 실시예의 블록도를 표시한다. 본 실시예는, 비디오카메라에 의해서 촬영중에 화상의 우선도를 계산·기록해두고, 다이제스트를 표시할때에, 기록된 우선도에 의거해서 화상을 선택하는 것이다. 그래서, 비디오카메라에서의 촬영시와, 다이제수트표시시의 동작으로 나누어서 설명한다. 먼저 촬영시의 동작부터 설명한다.

제 9도(a)는 움직임화상다이제스트자동생성장치에서 우선도를 설정할때의 볼록구성도이다. 이것은, 비디오카메라에 의해서 촬영중에, 화상마다 우선도를 자동적으로 구하여 기록하는 것이다.

동도면에 있어서, 카메라(201)는 촬상소자를 통해서 도입한 영상신호, 수직·수평주사의 동기신호, 녹화개시나 줌등의 조작버튼의 입력신호(이후 버튼입력신호라고 호칭)를 출력한다. 여기서, 버튼입력신호는 버튼을 누르고 있을때(ON상태일 때) 1, 누르고 있지 않을때(OFF상태일 때) 0을 표시하게 되는 신호로 한다. 우선도산출부(5)에서는 카메라(201)로 부터의 버튼 입력신호에 의거하여 우선도를 구한다. 우선도를 구하는 방법에 관해서는, 일예로서 후술하는 다이제스트화상자동생성방법의 실시예에서, 상세히 설명한다.

한편, 데이터베이스(202)는 2개의 기록부분을 가지고, 카메라(201)로 부터의신호를 기록하기 위한 움직임화상격납매체(203)와, 상기 우선도산출부(205)로 부터 출력된 우선도를 기록하기 위한 우선도정보격납매체(204)로 구성되어 있다. 영상신호등의 화상데이터와 우선도정보는, 각각 움직 임화상격납매체(203)와 우선도정보격납매체(204)에, 제 10도에 표시한 바와 같이,1프레임마다 기록된다. 단, 제 10도는, 움직임화상격납매체(203)에서 움직임화상의 프레임번호(F)에 관한 화상데이터가 기록되고, 우선도정보격납매체(204)에서 프레임번호(F)에 관한 우선도(P)가 기록되는 것을 표시하고 있다. 여기서, 프레임번호는 움직임화상격납매체(203)에서 1프레임마다 화상데이터에 부여한 일련번호로 한다.

다음에, 본 다이제스트화상생성장치의 다이제스트표시시의 동작에 대해서 설명한다. 여기서는 이미 기록된 우선도를 사용해서, 움직임화상의 다이제스트를 표시한다. 제 9도(b)에 다이제스트를 표시한때의 블록구성도를 표시한다. 데이터베이스(202), 움직임화상격납매체(203), 우선도정보격납매체(204)는 제 9도(a)와 동일하다.

먼저, START/STOP입력부(210)에서, 다이제스트표시개시의 신호가 입력되면, 우선도정보격납매체(204)에서 처리하는 우선도의 프레임번호를, 움직임화상격납매체(203)에서 처음으로 처리를 행하는 영상신호의 프레임번호와, 일치시킨다. 화상선택부(211)에서는, 우선도정보격납매체(204)로부터의 우선도에 의거해서, 움직움화상격납매체(203)로부터 연출하는 화상을 선택한다. 선택된 화상은 다이제스트로서, 디스플레이동의 출력장치(215)에 표시된다. 이하에, 화상선택부(211)의 구체적인 처리방법을 설명한다.

화상선택부(211)는, 우선도정보격납매체(204)로 부터의 우선도를 입력으로 하고, 임계치기록부(213)에서 기록되어 있는 우선도의 임계치와 비교한다. 우선도가 임계치보다 클때, 판정·동기부(214)는, 움직임화상격납매체(203)에 기억되어 있는 현재 입력중인 화상을 디스플레이 등의 출력장치(215)에 출력한다. 이와 같이, 우선도의 임계치는 다이제스트의 정보량삭감의 척도로서 사용되고, 우선도가 임계치보다 큰화상만이 다이제스트로서 표시된다. 임계치를 변경하고 싶을때에는, 임계치번경부(212)에서 값을 입력한다. 또, 판정·동기부(214)는, 2개의 격납매체에 대해서 다음의 프레임번호의 화상에 관한 영상신호 또는 우선도를 출력하도록 신호를 보낸다.

이상이 1화상에 대한 처리이다. START/STOP입력부(21)에서 종료의 신호가입력되기까지, 이 처리가 반복되어, 다이제스트로서 선택된 화상이 디스플레이에 표시된다. 여기서, 출력장치(215)는 디스플레이와 같이 다이제스트를 표시하는 장치로 하였으나, 출력장치를 기록장치로 함으로써, 다이제스트의 화상데이터를 기록하는 것도 할수 있다.

이상과 같이, 비디오카메라에 의해서 촬영중에, 버튼입력신호에 따라서 우선도를 구함으로써, 다이제스트의 표시를 자동적으로 행할 수 있다.

또한, 상기 실시예에서는, 다이제스트의 표시방법으로서, 우선도가 큰 화상만을 선택해서 차례로 표시하는 방법을 설명하였으나, 화면을 다분할해서 우선도가 큰 화상을 동시에 표시하는 방법이나, 우선도가 큰 것일수록 넓은 분할영역을 할당해서 표시하는 방법등을 취해도 마찬가지이다.

또, 상기 실시예에서는, 제9도와 같이 녹화시에 우선도를 산출하였으나, 녹화시에 버튼입력신호를 기록하고, 우선도는 기록된 버튼 입력신호를 사용해서 재생시에 산출하여도, 마찬가지의 효과를 얻을 수 있다. 이 우선도의 산출방법에 의한 구성을 제11도를 사용해서 설명한다.

제11도(a)는 녹화시의 블록구성도이며, 비디오카메라에 의해서 촬영중에, 버튼입력신호를 기록하는 것이다. 카메라(201), 움직임화상격납매체(203)는 제9도(a)와 동일하다. 동도면에 있어서, 카메라(201)는 촬상소자를 통해서 도입된 영상신호, 동기신호, 버튼입력신호를 출력한다. 데이터베이스(202)는 2개의 기록부분을 가지고, 움직임화상격납매체(203)는 카메라(201)로 부터의 영상신호와 동기신호를 기록하고, 버튼 입력신호격납매체(206)는 버튼입력신호와 동기신호를 기록한다.

다음에, 제11도(b)를 사용해서 다이제스트표시시의 동작을 설명한다. 여기서는 녹화시에 기록된 버튼입력신호로부터 우선도를 구하고, 우선도에 의거해서 움직임화상의 다이제스트를 표시한다. START/STOP 입력부(210), 움직임화상격납매체(203), 화상선택부(211), 출력장치(215)는 제9도(b)와 동일하며, 우선도산출부(205)는 제9도(a)와 동일하다.

START/STOP 입력부(210)에서, 다이제스트표시개시시의 신호가 입력되면, 버튼입력신호격납매체(206)에서 처리하는 버튼입력신호의 프레임번호를, 움직임화상격납매체(203)에서 처음에 처리를 행하는 영상신호의 프레임번호와, 일치시킨다.우선도산추부(205)에서는, 버튼입력신호격납매체(206)로 부터의 출력에 의거하여 우선도를 구한다. 화상선택부(211)에서는, 우선도산출부(205)로 부터의 우선도를 입력으로하고, 제9도(b)를 설명할때 기술한 방법으로, 움직임화상격납매체(203)로 부터 인출하는 화상을 선택한다. 선택된 화상은 다이제스트로서, 디스플레이등의 출력장치(215)에 표시된다.

이와같이, 녹화시에 버튼입력신호를 기록하고, 재생시에 우선도를 구해서 다이제스트를 표시할 수 있다. 다음에 본 발명의 제 6실시예에 의한 다이제스트화상자동생성방법에 대해서 설명한다. 여기서 다이제스트화상자동생성방법은, 버튼입력신호를 기초로해서 다이제스트 표시하기 위한 화상을 선택하는 방법을 가리키는 것이며, 제8도의 다이제스트화상생성장치의 우선도산출부(205)와 화상선택부(211)의 처리에 대응하고 있다.

이하에, 우선도산출부(205)에서 버튼입력신호로부터 우선도를 구하는 원리를 설명한다. 비디오카메라에는, 녹화개시/종료, 줌, 페이딩, 포커스, 노광, 화이트밸런스, 셔터스피이드등의 기능을 하는 버튼이 있으며, 이들 버튼조작에 의해서, 촬영시의 사용자의 의도, 즉, 촬영시에 중요하다고 생각해서 찍은 화상이나 커트의 구분짓기등을 추정할 수 있다. 예를들면, 녹화버튼이나 페이드버튼에 의해서, 명백하게 커트의 구분짓기(커트체인지)를 알수 있다. 줌버튼이 ON 상태일때는, 촬영범위의 화상각도를 조정하고 있는 촬영중이었던 것으로 추정할 수 있고, 화상각도를 설정한후, 인물을 클로즈업해서 촬영하게 되는 경우에는 중요한 화상을 찍는일이 많다.

한편, 움직임화상의 내용을 단시간으로 파악하기 위한 다이제스트로서는, 중요한 화상에만 한정해서 표시하거나, 중요한 화상일수록 표시시간을 길게하는 것이 필요하게된다. 또, 움직임화상중의 모든 키트를 망라한 다이제스트를 보고 싶은경우는, 각 커트로부터 소정시간의 화상을 추출해서 표시하는 방법등이 있다. 이와같은 다이제스트의 표시방법의 조절은, 1프레임마다의 화상에 할당하는 우선도를 조절함으로써, 실현할 수 있다. 제 9도(b)의 화상선택부(211)와 같이, 소정의 값이상의 우선도를 가지는 화상만을 다이제스트로서 표시할 경우, 중요한 화상일수록 높은 우선도를 할당함으로써, 중요한 화상은 표시하기 쉽게되고, 삭제해도 상관없는 화상은 생략하게 된다.

이상의 일로부터, 중요한 화상을 촬영하고 있었는지의 여부, 커트의 구분짓기인지의 여부등의 화상상태를 버튼조작으로부터 추정하고, 추정결과에 따라서 다이제스트의 표시방법을 결정함으로써, 움직임화상의 내용이 파악하기 쉽도록, 표시하는 화상을 선택할 수 있다고 생각된다. 버튼조작과 화상상태의 관계 및 화상상태와 우선도의 대응관계를 제1표에 표시하고, 버튼조작으로부터 우선도를 설정하는 방법을 설명한다. 제1표에서는, 추정할 수 있는 화상상태에서, 버튼을 2종류로 분류하였다. 즉, 녹화버튼과 같이 커트체인지를 검출할 수 있는 버튼의 지합을 녹화버튼집합으로 하고, 줌버튼과 같이 중요한 화상을 검출할 수 있는 버튼의 집합을 줌버튼집합으로 하였다.

또, 2종류의 버튼집합에서는, 입력신호의 수도 상이하다. 녹화버튼집함에서는 단일의 버튼의 ON/OFF(2패널)뿐인데 대해서, 줌버튼집합에서는, 설정버튼(줌입버튼, 연속촬영설정버튼등)과 해제버튼(줌다운버튼, 연속촬영해제버튼등)의 2개의 버튼이 있으며, 각 버튼의 ON/OFF의 조합으로 된다. 그러나 일반적으로 설정버튼과 해제버튼이 동시에 ON상태로 되지않으므로, 입력패턴으로서는, 설정 버튼 ON, 해제버튼 ON, OFF의 3패턴으로 된다.

또, 우선도의 설정방법은, 조정중의 화상의 기간은 우선도를 낮게해서, 다이제스트로부터 생략되도록 하고, 반대로 중요한 화상의 기간은, 우선도를 높게 함으로써 다이제스트로서 표시되기 쉽게 하였다. 또, 전체커트를 망라한 다이제스트를 표시하기 위하여, 커트체인지종료에서부터 소정수(TH)의 프레임의 화상에 대해서, 높은 우선도를 할당해서, 1커트중에서 적어도 커트의 시초부분이 표시되도록하였다. 커트체인지, 조정중의 화상, 중효한화상의 어느것에도 속하지 않는기간은 우선도를 0으로 하였다.

이상, 버튼입력신호로부터 화상상태를 추정하고, 그에 따른 우선도를 설정하는 방법을 설명하였으나, 화상상태의 추정방법을 구체적으로 설명하기 위하여(제1표)를 상태천이도에 표시하였다. 이것을 제12도((a)녹화버튼집합, (b)줌버튼집합)에 표시한다. 단, 우선도를 할당하는 4개의 화상의 기간(조정중의 화상, 중dy한 화상, 커트체인지, 기타)을 이제부터 다음과 같이 호칭한다.((제1표)의 모우드란 참조).

녹화버튼집합(3모우드)

A. ON모우드(버튼이 ON 상태: 조정중의 화상 우선도 P O)

B. 커트모우드(커트체인지에서부터 TH 프레임사이 우선도 P O)

C. 정상모우드(기타 우선도 P=0)

줌버튼집합(4모우드)

A. 설정 ON 모우드(설정버튼이 ON 상태: 조정중의 화상우선도 P O)

B. 해제 ON 모두드(해제버튼이 ON 상태: 조정중의 화상우선도 P O)

C. 중요모우드(업쇼트등 중요한 화상우선도 P 0)

D. 정상모우드(기타 우선도 P=O)

제12도에서, 처리중의 화상의 모우드는,

·선행 프레임화상의 모우드

·버튼의 ON/OFF

·커트모우드가 계속하는 프레임수(녹화버튼집합의 경우)

에 의해서 설정할 수 있는 것을 알 수 있다. 이와같이, 제12도에 표시한 상태천이의 수순으로 처리중의 화상의 모우드를 특정하고, 모우드에 대응하는 우선도를 설정함으로써, 버튼입력신호로부터 우선도를 구할 수 있다.

이상의 원리에 의거하여, 실제로 처리를 행하는 블록도의 설명을 행한다.녹화버튼으로부터 우선도를 설정하기 위한 구체적인 구성블록을 제13도에 표시한다. 이 도면은 제8도의 우선도산출부(205)에 대응하고 있으며, 현재 입력중의 화상의 모우드를 특정하는 상태검출부(220)와, 모우드에 대응한 우선도를 출력하는 우선도변환부(224)의 2개의 부분으로 구성되어 있다. 우선, 상태검출부(220)의 처리를 설명한다.

모우드축적부(221)에서는, 선행 프레임의 화상의 모우드를 기억하고, 카운터(223)에서는 현재의 모우드가 계속하고 있는 프레임수 Fc를 기억하고 있다. 단, 초기 치로서 모우드축적부(221)는 정상모우드, 카운터(223)는 0이 설정된다.

한편, 모우드판정부(222)에서는, 카메라(201)로부터의 버튼입력신호, 선행프레임의 모우드, 모우드의 계속프레임수 Fc를 입력하고, 제12도(a)의 상태천이도를 사용해서 현재입력중의 화상의 모우드를 구하고, 모우드측적부(221)의 모우드를 갱신하다. 또 모우드판정부(222)는, 모우드가 변경하였을 때 Fc=에 리세트하고, 동일한 모우드가 계속중일때는 Fc를 인크리멘트하고, 카운터(223)의 값을 갱신한다.

우선도변환부(224)에서는, 모우드판정부(221)로 부터의 출력을 사용해서 우선도를 결정한다. 즉, 우선도 P는 함수 K를 사용해서, 다음과 같이 구한다.

P=K(M)

단, M:모우드

K: 예를들면, ON 모우드는 -1, 정상모우드는 0, 커트모우드는 1로 변환하게 하는 함수임

이상, 녹화버튼으로부터 우선도를 설정할때의 설명을 행하였다.

한편, 줌버튼집합의 버튼에 관해서는, 모우드판정부(222)의 처리방법이 제12도(a)대신에 제12도(b)의 천이도에 의거한 방법으로 변경제12도(b)의 천이도에서는, 모우드판정시에 커트모우드의 계속프레임수를 참조하지 않으므로, 카운터(223)을 삭제라고 하는 점에서 제13도를 변경한 블록구성으로 된다.

이상과 같이, 버튼입력신호에 따라서 화사상태를 추정함으로써, 사용자의 의도에 따른 다이제스트를 표시할수 있게 하는 우선도를 설정할 수 있다.

또한, 상기 실시예에서는 각 모우드내에서는 우선도를 항상 일정하게 설정하였으나, 제14도와 같이 시간적으로 우선도의 크기를 변경하고, 제9도(b)의 임계치변경부(212)에 의해서 다이제스트의 표시시간을 연속적으로 조절하는것도 가능하다. 이 경우는, 우선도변환부(224)에 있어서, 다음식을 사용해서 우선도를 구한다.

P=K(M)· L(Fc, M)

단, LCFc, M) : 제15도 참조

다음에 본 발명의 제7의 실시예에 의한 다이제스트화상자동생성방법에 대해서설명한다. 제 1실시예에 있어서, 제8도의 우선도산출부(205)는, 제13도에 표시한바와같이 단일의 버튼입력에 대해서 우선도를 설정하고 있었다. 본 실시예에서 복수의 버튼을 조합해서 우선도의 설정을 행하는 방법에 대해서 설명한다.

복수의 버튼에 대해서 독립적으로 우선도 P를 구하는 경우를 고려한다. 제16도는 횡측이 프레임이고, 녹화버튼과 줌버튼의 버튼입력신호의 타임밍차아트와, 각 버튼입력신호에 대해서 제 5실시예에서 설명한 방법에 의해서 구한 우선도의 타임차아트를 표시한다. 제16도(a)는, 녹화버튼과 줌버튼의 각각의 우선도에 겹침이 없는 경우를 표시하고 있다. 이때, 1개의 버튼만이 P≠0 이고, 남은 버튼은 모두 P=0이므로, P≠0의 우선도를 최종적인 값으로 하면 된다. 그러나, 일반적으로는 제16도(b)의 경우와 같이, 1개의 버튼의 P≠0의 모우드가, 다른 버튼의 P≠0의 모우드의 기간과 중복한다. 그 때문에, 본 실시예에서는, 일단 복수의 버튼으로 각각 독립적으로 모우드(이후, 제 5실시예의 모우드와 구분하기 위하여 버튼조작모우드라 칭함)의 판정을 행하고, 최후에 각각의 우선도를 통합한 우선도를 구한다. 제17도는, 본 실시예의 블록도중에서 제8도의 우선도산출부(205)에 대응하는 부분을 표시한 것이다.

카메라(201)로 부터의 버튼입력신호는, 버튼마다 배치된 모우드판정유니트(231)에 보내진다. 여기서 버튼입력신호는, 어느 버튼이 ON 상태로 되었을 때, 대응하는 버튼의 유니트에만 1이 전송되고, 그외의 유니트에는 0이 전송되도록, 결선되어 있다. 모우드판정유니트(231)에서 행하여지는 처리는, 제13도와 대략 동일하다. 즉, 버튼조작 상태검출부(234)에서는 제12도의 천이도에 의거해서 버튼조작모우드 M을 판정하고, 변환부(235)에서는 버튼조작모우드에 대응한 값을 출력하는 함수 K를 사용해서, 버튼조작모우드 M 을 {-1,0, 1} 로 변환한다.

이와같이 해서, 모우드판정유니트(231)의 결과가 버튼마다 구할수 있으나, 우선도로서 어느 버튼의 결과를 사용하는지를 결정하는 요인을 몇가지 생각할 수 있다.

첫째의 결정요인의 예로서는, 제16도(b)와 같이, 녹화버튼의 저트모우드와 줌버튼의 설정 ON 모우드가 중복하였을 경우, 뒤로부터 입력한 줌업버튼쪽이 사용자의 의도를 잘 나타내고 있는 것으로 생각할 수 있다.

둘째의 결정요인의 예로서는, 줌버튼과 연속촬영버튼은, 다함께 중요한 화상을 추정할수 있으나, 연속촬영버튼쪽이 사용빈도가 적으므로, 중요한 화상의 정도가 높은 것으로 생각할 수 있다. 또, 녹화버튼과 노광버튼에서는, 녹화버튼에 의해서 완전히 커트가 변하는데에 대해서, 노광버튼을 눌러도 커트가 변하지 않는 일도있다. 이와같이, 상이한 버튼조작으로부터 동일한 화상상태를 추정할 수 있었다고 하여도, 추정이 사용자의 의도와 일치하고 있는 확률은 버튼의 종류에 따라서 상이하다.

본 실시예에서는, 복수의 모우드판정유니트의 결과를 통합하기 위하여, 상기 결정요인에 관한 가중치를 하기와 같이 버튼마다 표시하였다.

wij(i:버튼에 붙인번호, 1≤i≤B, B=버튼의 종류의 총수

j : 결정요인에 붙인번호,1≤j≤C, C=결정요인의 총수)

상기의 전형적인 최초의 결정요인을,

새롭게 갱신된 모우드일수록 가중치를 크게한다

로서 정의하면, 버튼 i에 관한 가중치는, 예를들면,

wi1 = e-aFc(i)단, Fc(i) :버튼 i 가 현재의 모우드를 계속하고 있는 프레임수 a:정수 로 표시할 수 있다. 또, 2번째의 결정요인을, 추정결과와 사용자의 의도가 일치하고 있는 확율이 높은 버튼일수록 가중치를 크게한다 로서 정의하면, 녹화버튼(1), 노광버튼(2), 연속촬영버튼(3), 줌버튼(4)(괄호내는 버튼에 붙인 번호로 한다)의 각 가중치는, 예를들면 w12=1, w22=0.6, w32=1, w42=0.8과 같이 미리 설정할 수 있다. 이상의 것을 제17도에서 설명한다. 버튼 i에 대한 버튼조작모우드를 Mi 로하면, 모우드판정유니트(231)의 출력은, K(Mi)라고 표시할 수 있다. 가중치산출부(232)에서는, 결정요인 j에 관한 버튼 i 의 가중치 wij로부터, 버튼 i 에 관한 가중치 wi를 다음식과 같이 구하고,

wi=Πwi j,

j

버튼 i에 대한 가중우선도 Pi

Pi=K(Mi)·wi

를 구한다. 우선도결정부(233)에서는, 각 버튼에 대한 가중우선도의 절대치 1Pi1를 비교해서, 최대치를 취하는 버튼 i max를 선택하고, 버튼 i max에 대한 가중우선도 P imax를 최종적인 우선도로 한다.

이상과 같이, 복수의 버튼의 입력신호로부터 구한 가중우선도를 통합함으로써, 여러 가지 상황에서 사용자의 촬영의도를 추정할 수 있다. 따라서, 이와같이해서 구한 우선도를 기초로 표시화상의 선택을 행함으로써, 사람이 중요하다고 느끼는 화상을 많이 표시할 수 있어, 간단하게 화상내용을 파악할 수 있다.

다음에 본 발명의 제 8실시예에 의한 다이제스트 화상생성장치에 대해서 설명한다. 본 실시예는, 다이제스트의 작성과 표시라고 하는 2개의 처리로 이루어지고 있으며, 다이제스트 표시전에, 미리, 「다이제스트작성」의 처리를 행할 필요가 있다. 다이제스트 작성의 처리에서는, 다이제스트의 화상을 선택할때에 필요한 촬영시의 카메라조작을 추정한다. 다이제스트 표시때에는, 데이터베이스에 기록된 카메라조작에 따라서 다이제스트를 표시한다. 여기서 카메라조작은, 패닝, 주밍등의 카메라의 방향이나 위치, 화각을 변화시키는 조작 및 그 조합으로 한다.

이하, 다이제스트의 작성·표시의 처리의 개요를 제18도의 블록도를 사용해서 설명한다. 동도면은 데이터베이스와, 다이제스트작성시에 동작하는 부분, 표시시에 동작하는 부분으로 나뉘어 있다. 여기서 데이터베이스(302)는, 비디오카메라에 의해서 촬영된 화상이 기록되어 있는 움직임화상격납매체(303)와, 촬영시에 행하여진 것으로 추정되는 카메라조작을 기억하는 카메라조작격납매체(306)의 2개로 구성되어 있다. 또, 작성·표시의 처리의 개시/절환은, 다이제스트작성. 표시선택부 1에서 사용자가 「작성」 또는 「표시」의 모우드를 설정함으로써 행하여진다.

먼저, 다이제스트작성의 처리에 대해서 설명한다. 다이제스트작성의 처리데이터베이스(302)와 그 좌측에 표시한 부분에서 행하여진다.

다이제스트작성·표시선택부(301)에서 「작성」 모우드가 설정되면, 움직임화상격납매체(303)는 움직임벡터검출부(304)에 대해서 판독을 개시하고, 카메라조작격납매체(306)는 카메라조작추정부(305)로 부터의 기록가능상태로 된다. 웁직임벡터 검출부(304)에서는, 움직임화상격납매체(303)로 부터의 영상신호를 입력하고, 화면내의 소정위치의 국소적인 움직임벡터를 검출한다. 검출된 움직임벡터는 카메라조작추정부(305)에 입력되고, 촬영시에 행하여진 카메라의 조작이 추정되어, 패닝, 주밍등의 각 조작량이 검출된다. 검출된 조작량은 카메라조작격납매체(306)에 기억된다.

한편, 다이제스트 표시의 처리는, 데이터베이스(302)와 그 우측에 표시한 부분에서 행하여진다.

다이제스트작성·표시선택부(301)에서, 「표시」 모우드가 설정되면, 움직임화상격납매체(303)는 다이제스트표시제어부(308)에 대해서 판독가능하게 되고, 카메라조작격납매체(306)는 쇼트구분짓기검출부(307)에 대해서 판독을 개시한다.

쇼트구분짓기검출부(307)는, 카메라조작격납매체(306)로 부터의 카메라조작을 사용해서, 주밍의 개시, 패닝의 종료등의 카메라조작의 구분짓기가 되는 프레임을 검출한다. 다이제스트표시제어부(308)에서는, 쇼트구분짓기검출부(307)에서 얻은 구분짓기에 의거하여, 다이제스트로서 표시하는 화상과 그 표시방법을 결정한다.

표시되는 화상은 움직임화상격납매체(303)로부터 표시장치(306)에 보내지고, 다이제스트로서 표시된다. 다음에 각 블록에서의 동작의 상세를 설명한다.

먼저, 움직이벡터검출부(304)의 동작을 설명한다. 제19도는, 본 블록에서 검출하는 움직임벡터로서 화면내에서의 위치를 설명하기 위한 도면이다. 제19도(a)는, 전체화면에서 수평, 수직방향으로 M, N 개의 직선을 격자형상으로 배열한 도면이며, M·N 개의 교차점은 검출해야할 움직임벡터의 위치를 표시하고 있다.

이하 M·N 개의 교차점을 격자점이라 호칭되고, 수평, 수직방향에서 각각 i, j 번째의 격자점을, 격자점(i, j)(1≤i≤M, 1≤j≤N)라 호칭한다.

본 실시예에서 격자점위치에서의 움직임벡터는, 각 격자점의 주변에서 복수의 대표점을 선댁하여, 대표점매칭에 의해 구한다. 제19도(b)는, 제19도(a)의 격자점(i, j)근처를 확대한 도면이며, 격자점과 그 주변의 (2·m+1). (2·n+1)개의 대표점의 위치관계를 표시한다. 이하, 격자점(i, j) 의 대표점중, 수평, 수직방향으로 각각 K,1번째의 것을, 대표점(i, j, k,1)(-m≤k≤m,-n≤1≤n)라고 호칭한다. 제19도(b)로 부터 알수 있는 바와같이, 대표점(i, j, o, o)는 격자점( i, j) 에 동등하다.

이하에, 움직임벡터검출부(304)의 구체적인 블록도를 표시한 제20도를 사용해서, 움직임벡터를 구하는 방법을 설명한다.

움직임 벡터검출부(304)의 입력은 움직임화상격납매체(303)로 부터의 영상신호이며 r프레임에 (r:소정수)에 1회 입력되도록 설정되어 있는 것으로 한다. 여기서, 어느시간 t의 화상을 제 10프레임째의 화상으로 하고, 이후, 시간(t+τ)의 화상을 제(30·τ)프레임째의 화상이라고 호칭하기로 한다.

지금, 제R 프레임째의 화상이 입력된 것으로 한다. 입력화상은 먼저, BPF(331)에서 대역통과 필터에 통하게 된다. 여기서 좌표위치(x, y)에서의 BPF처리후의 화상의 값을 I (x, y)로 한다.

한편, 대표점값기억부(332)는, r프레임 앞 즉, 제(R-r)프레임째의 BPF 처 리후의 화상의 대표점의 값이 기억되어 있다. 즉, 대표점(i, j, k, l)의 값 Y(i, j, k, 1)=(pos-x(i, k), pos_y(j,1))1 ≤ i ≤ M, 1 ≤ j ≤ N, -m ≤ k ≤ m, -n≤1≤ npos_x(i,k): 대표점(i,j,k,1)의x좌표pos_y(i,k): 대표점(i,j,k,1)의y좌표가 기억된다.

매칭부(333)는, BPF(331)로부터 BPF처리후의 화상 I(x,y)를, 대표점값기 억부(332)로부터 r프레임앞의 대표점의 값 y(i, j, k)를 입력하고, 대표점매칭에 의해각 격자점에서의 움직임벡터를 구한다. 즉, 격자점(i, j)에 관해서,

Σ Σ {Y(i, j, k, 1)-I (pox_x(i, 0)+g, pos_y(j, 0)+h}

가 최소로 되는 g, h를(2·G)·(2·H)의 범위내(-G≤g≤G, -H≤h≤H)에서 탐색함으로써, 움직임벡터 (g, h)가 구해진다.

대표점값기억부(332)의 내용은, 매칭부(333)의 처리가 종료한 후, 갱신된다. 구체적으로는, 대표점위치기억부(334)에 기억되어 있는 대표점의 좌표pos_x(i, j, k,1), pos_y(i, j, k, 1)1 ≤ i ≤ M,1 ≤ j ≤ N, -m ≤ k ≤ m , -n ≤ 1 ≤ n를 사용해서, 제R프레임째의 BPF처리후의 화상의 대표점에서의 값을 기록한다.

이상과 같이 해서, 입력된 화상과 r프레임앞의 화상의 2개의 화상으로부터 움직임벡터를 구할 수 있다.

다음에, 카메라조작추정부(305)에서, 움직임벡터로부터 카메라조작을 추정하는 방법을 설명한다.

움직임화상으로부터 추정할수 있는 카메라조작은, 카메라의 수평, 수직방향의 변화(패닝, 틸팅), 카메라화각의 변화(주밍), 카메라의 수평·수직·전후의 위치변화(트래킹, 브우밍(booming), 돌리잉(dollying), 등을 생각 할 수 있다. 본 실시예에서는 간단하게 하기 위하여, 패닝, 털팅, 주밍의 3종류의 조작을 추정하는 방법을 설명한다.

먼저, 상기 3종류의 카메라조작에 의해서, 카메라의 촬상면에 투영된 점이 어떻게 이동하는지를 생각한다. 제 21도는 카메라의 촬상면과 피사체의 위치관계를 표시한 도면으로서, 카메라의 공간의 3차원좌표를 (x, y, z)로 표시하고, 촬상면상의 2차원좌표를(x, y)로 표시하고 있다. 또, 카메라의 위치를 3차원조표의 원점으로하고, 카메라의 광축을 z측으로 한다. 촬상면은 z=F(F:초점거리)에 위치하고, 피사체의 임의의 점이 좌표 u1=(x1, y1, z1)가 촬상면의 U1=(X1, Y1)에 투영되는 것을 표시하고 있다. 여기서 피사체의 좌표와 촬상면상의 좌표와의 관계는,

X1 = F·x1/z1

y1 = F·y1/z1 : ……………………⑥

로 표시할 수 있다.

제 21도의 좌표를 사용해서, 먼저 주밍에 의한 피사체의 좌표의 촬상면상의 이동을 생각한다. 제22도(a)는, 초점거리의 변화에 의해서 발생하는 주밍을 표시한 것이다. 동도면과 같이 초점거리가 F에서부터 F'로 변화하였을 때, u1의 피사체의 투영이 U1=(X1, Y1)에서부터 U2=(X2, Y2)로 이동한다.

단, 식⑥에서 U2는U2 = U1·F'/ F = f·U1 단, f = F'/ F를 만족시킨다.

마찬가지로해서 제22도(b)를 사용해서 패닝, 틸팅의 경우를 생각한다. 패닝, 틸팅은 각각 카메라 x축, x축에 대해서 회전하는 조작과 동등하다. 동도면과 같이 카메라가 축에 대해서 θx만큼 회전하였을 경우, 피사체의 공간에서의 좌표u1은 u3으로 이동한다. 단, u3은 식 ⑦을 만족시킨다.

1 0 0

u3=u1 0 coxθx -sinθx ………⑦

0 sinθx conθx

x에 관한 회전각 θx가 충분히 작다고 가정하면, 이동후의 촬상면상의 좌표 U3=(X3, Y3)에 대해서 식⑥의 관계로부터 X3=X1, Y3=Y1+F·θx의 관계가 유도된다. 이것을 일반화하면, x 축, y 축에 대해서 다함께 회전하는 카메라조작의 경우, 임의의 좌표의 조작전후의 관계는 U3=U1+P 단 , P=(px , py) px, py: x측, y축의 회전성분으로 표시할 수 있다.

이상의 일로부터 주밍, 패닝, 틸팅을 합성한 일반적인 카메라조작에 대해서, 카메라 조작전후의 좌표 U1=(X1, Y1), U'=(X', Y)는 U'1=f·U+P를 만족시키는 것을 알 수 있다. 이후 f를 줌요소, p를 회전벡터라 호칭한다.

따라서, 줌요소와 회전벡터를 구함으로써, 카메라의 조작량을 추정할 수 있는 것을 알 수 있다.

이하에, 움직임벡터검출부(304)에서 구하게된 움직임벡터로부터, 줌요소와회전벡터를 추정하는 방법을 설명한다. 여기서, 격자점(i, j)에 관해서, 위치(2차원좌표)를 U i, j, 움직임벡터검출부(304)에서 구하게된 움직임벡터를 v i, j로 한다.

지금, 줌요소f, 회점벡터p의 카메라조작이 시작되었을 때, 격자점(i, j)는 U' I, j(f, p)=f·Ui, j+p의 위치로 이동하게 되어 있다. 따라서 실제로 시작한 카메라조작의 f, P를 추정하려면, 실제로 이동한 위치와의 Ureal i, j = ui, j+vi, j오차 E(f,p)=(u')(f, p)-(ureali, j)2이 최소로 되게 되는 f, P를 구하면 된다. 오차E는 f, P에 관해서 2차식이므로, 오차E를 최소로하는 f, P는

의 식에 의해서 결정된다. 단, ·,· 는 내적(內積)을 표시한다. 따라서, 카메라조작추정부(305)에서는, 움직임벡터검출부(304)로부터 움직임벡터 vi,j와 격자점위치 U i,j를 입력하고, 식⑧에 의해서 f, P를 계산함으로써, 주밍,패닝, 틸텅의 조작량을 추정한다. 구하게된 f, P 는 카메라조작격납매체(306)에보내지고,기록된다.

다음에, 쇼트구분짓기검출부(307)의 동작에 대해서 설명한다. 이 블록은,다이제스트표시의 모우드에 들어갔을 때, 카메라조작격납매체(306)로부터 줌요소 f회전벡터 P를 판독입력하고, 쇼트의 구분짓기를 검출한다. 여기서, 쇼트는, 예를들면 피사체에 줌업해서 좔영하는 업쇼트, 먼곳의 풍경을 촬영하는 롱쇼트등의 연속하는 카메라조작을 하나로 합친 움직임화상의 단위를 표시한다. 따라서 쇼트의 구분짓기는 주밍의 개시점, 패닝의 종료점등의 카메라조작의 변화점을 찾아냄으로써 검출할 수 있다.

단, 추정되는 f, P에는, 촬영자가 의도적으로 행한 카메라조작외에, 카메라의 약간의 움직임등을 포함하고 있기 때문에, 카메라의 급격한 변화만을 검출한다.

즉 카메라조작의 변화점을, f 또는 P 가 있는 임계치이상 변화하는 시점으로 한다.

이하에, 쇼트의 구분짓기를 검출하는 방법을 설명한다. 제 23도는 쇼트구분짓기 검출부(307)의 구체적인 구성블록도이다.

지금, 조작량기 억부(361)에는, 제R프레임째의 화상에 대한 카메라의 조작량인f(R), px(R), py(R) 가 각각 기록되어 있는 것으로 한다. 카메라조작격납매체(306)는 r프레임마다 카메라조작이 기록되고 있으므로, 카메라조작격납매체(306)로부터 제(R+r)프레임째의 화상의 카메라조작, f(R+r), px(R+r), py(R+r)를 판독입력한다.

변동검출부(362)는, f, px, py 각각에 대해서, r 프레임앞의 화상과 현재입력중의 화상의 조작량의 차이의 절대치, | f(R)-f(R+r) | , | px(R)-px(R+r) | , |py(R)-py(R+r) | 를 구한다. 판정부(363)는, 변동검출부(362)로부터의 3개의 출력을 각각의 임계치와 비교한다. 3개의 조작량의 차이의 절대치중, 적어도 1개가임계치이상일 때, 제(R+r)프레임째에 카메라조작이 변화한 것, 즉, 쇼트의 구분짓기인 것으로 판정한다. 제R프레임째의 조작량이 변동검출부(362)에서 사용된후,조작량기억부(361)의 내용은 갱신되어, f(R+r), px(R+r), py(R+r)이 기억된다.

또, 임계치설정부(364)는, 판정부(363)에서 사용되는 임계치를 사용자 입력에 의해설정하는 부분이며, 임계치를 변경하고 싶은 경우에 사용한다.

이상이 1프레임의 화상에 대한 쇼트구분짓기검출부의 동작이다. 다음에,실제의 예로 쇼트구분짓기를 검출하는 수순을 따른다. 제24도는 실제의 조작량의시간변화의 일예이다. 제24도의 횡축은 프레임번호,(a),(b),(c)는 각각 f,px, py에 대응하고 있으며, 상단은 각 조작량, 하단은 변화량을 표시하고 있다.

또, 하단의 수평방향으로 그려진 2개의 점선은, 각 조작량의 임계치이다. 변화량이 임계치의 범위를 초과한 프레임번호에는 화살표를 부여하고 있으며,(d)에 표시한 바와같이,5개의 쇼트구분짓기가 검출되어 있다.

이상과 같이, 조작량의 변화량을 임계치와 비교함으로써, 쇼트의 구분짓기를 검출할 수 있다.

마지막으로, 다이제스트표시제어부(308)에 있어서의 동작을 설명한다. 여기서는, 쇼트구분짓기검출부(307)에서 검출된 쇼트의 구분짓기에 의거하여, 다이제스트의 표시방법을 제어한다. 본 실시예에서는, 쇼트의 구분짓기마다 소정프레임수의 화상을 선택하고, 다이제스트로서 표시하는 방법을 설명한다.

제 2도에, 다이제스트표시제어부(308)의 구체적인 블록도를 표시한다. 동도면에 있어서, 카운터(382)는 자연수의 값을 1개 기억하는 메모리이며, 초기치로서 0이 설정되어 있는 것으로 한다. 또 현재, 쇼트구분짓기검출부(307)에서 처리한 카메라 조작은, 제R프레임째의 화상에 대응하는 것으로 한다.

먼저 , 카운터 제 어 부(381)는, 쇼트구분짓 기 검 출부(307)로부터 , 제R프레 임 째가쇼트구분짓기인지 여부의 판정결과를 입력한다. 판정결과가, 쇼트구분짓기이다일 때, 카운터(382)의 내용을 소정의 값 TH로 변경한다. 판정결과가, 쇼트구분짓기아님일 때, 카운터(382)의 값을 1개 디크리멘트한다. 단, 카운터(382)의 내용이 0일때는, 그대로의 값 이을 유지시킨다.

카운터제어부(381)의 처리가 종료하면, 화상선택부(383)에서 화상을 표시하는지의 여부를 결정한다. 즉, 카운터(382)의 내용이 0보다 클때, 제R프레임째의 화상을 표시화상으로서 선택하여, 움직임화상격납매체(3)로부터의 영상신호를 출력장치(309)에 전송한다. 출력장치(309)에서는, 전송된 영상을 다이제스트로서 표시한다. 그후 동기부(384)는, 움직임화상격납매체(303)와 카메라조작격납매체(306)에대해서, 제R프레임째의 처리가 종료한 것을 알리고, 다음의 프레임의 화상에 대한 처리를 개시한다.

상기 처리를 제24도의 예에 대해서 행하면, 제24도(e)와 같이 된다. 단,1개의 값을 가지는 프레임의화상이 다이제스트로서 표시되는 것을 표시한다.

이상과 같이, 촬영시의 카메라조작을 추정하고, 카메라조작의 구분짓기에 의거해서 표시하는 화상을 선택함으로써, 사용자의 촬영의도에 의거한 다이제스트표시를 행할 수 있다.

또한, 상기 실시예에서는, 대표점매칭에 의해서 움직임벡터를 검출하였으나,블록매칭이나 특징점매칭등의 기법을 사용해도 마찬가지이다.

또, 상기 실시예에서는, 카메라의 조작추정을 주밍, 패닝, 틸딩의 3개의 조작에 한정해서 행하였으나, 도우밍등의 다른 조작을 추정하여도 마찬가지이다.

또, 상기 실시예에서는, 다이제스의 표시방법으로서, 쇼트구분짓기마다 소정시간의 화상을 표시하는 방식을 설명하였으나, 화면을 다분할해서 쇼트구분짓기의화상을 1화면상에서 동시에 표시하는 방법등을 취하여도 마찬가지이다.

다음에 본 발명의 제9실시예에 의한 움직임화상기록매체에 대해서 설명한다.

본 발명의 움직임화상기록매체를 제26도에 표시한다. 제26도는 움직임화상기록매체의 일예로서 비디오테이프를 표시하나, 비디오디스크나 IC메모리등의 다른 기록매체이어도 된다. 제26도에 표시한 바와같이, 비디오테이프에는 영상신호와 함께 영상신호에 대응해서 프레임단위로 대표화상의 추출정보를 기록해둔다. 여기서 대표화상의 추출정보란, 카메라조작정보와 화상처리정보와 촬영상태정보이다.

카메라조작이란 비디오카메라에 의해서 촬영할때의 녹화개시조작이나 줌조작등이며, 녹화개시조작정보는 녹화개시조작이 행하여진 시점에서 플래그를 사용해서 녹화개시점을 표시한 정보이며, 줌조작정보는 줌배율을 표시한 정보이다. 녹화개시조작정보도 줌조작정보도 다같이, 비디오카메라의 버튼조작을 기초로 검출가능한정보이다. 화상처리정보는 촬상소자에 의해서 촬영한 영상신호를 기초로해서 자동적 또는 사람이 관여해서 추출처리한 정보이고, 예를들면 포커스제어를 행하기위하여 구한 영상신호의 고주파성분의 주파수나 크기, 또는 프레임간에 휘도신호나색신호의 차이를 구한 프레임간 차분치, 또는 영상신호로부터 추출된, 피사체영역의 위치나 크기, 또는 역광이나 과도한 수광의상태, 또는 보정치나 색온도등이다.촬영상태정보는 카메라의 촬영상태를 센서에 의해서 검출한 정보이고, 예를들면각속도센서에 의해서 검출한 패닝등의 카메라의 움직임정보, 또는 광량센서에 의한피사체광량이나 조리개개방도센서에 위해서 검출한 렌즈의 조리개개방도, 또는 렌즈위치검출에 의한 포커스 거리등이 있다.

이상과 같은 대표화상추출정보를 움직임화상기록매체에 구비함으로써, 이후의 실시예에서 설명하는 바와같이 움직임화상중의 대표화상을 추출하는 것이 가능하게 된다.

다음에 본 발명의 제 10실시예에 의한 다이제스트화상생성장치에 대해서 설명한다. 제27도에 본 실시예의 구성도를 표시한다. 본 실시예는, 움직임화상기록매체에 영상신호와 함께 대표화상을 추출하기 위한 정보를 기록해 두고, 움직임화상기록매체로부터 대표화상의 추출정보를 판독해서 평가하고, 평가결과에 의거해서 1커트(카메라에서 녹화개시조작을 한 다음에 녹화종료조작을 하기까지의 사이에연속해서 촬영된 움직임화상의 뭉치)중에서 대표적인 화상을 정지화상으로서 추출하는 것 이다. 제27도에서,(401)은 재생신호입 력부,(402)는 카메라조작정보획득부,(403)은 화상처리정보획득부,(404)는 촬영상태정보획득부,(405)는 영상신호획득부,(406)은 대표화상추출정보평가부,(407)은 대표화상관리부,(408)은 대표화상기억부,(409)는 출력장치이다. 이상의 구성에 대한 각부의 동작에 대해서이하에 상세히 설명한다.

먼저, 재생신호입력부(401)에는 움직임화상기록매체에 기록된 정보를 재생해서 입력한다. 카메라조작정보획득부(402), 화상처리정보획득부(403) 및 촬영상태정보획득부(404)에서는, 재생신호입력부(401)에 입력된 재생신호로부터 각각 카메라 조작정보와 화상처리정보 및 촬영상태정보를 판독한다. 본 실시예에서는 코우드화된 각정보를 디코우드한다. 대표화상추출정보평가부(406)는, 카메라조작정보에 포함되는 녹화개시조작정보를 검출하고, 다음 녹화개시조작정보를 검출하기까지의 동일 커트내의 각화상에 대해서, 카메라조작정보중의 녹화개시조작정보 이외의정보와 화상처리정보 및 촬영상태정보에 의거하여, 각 화상이 커트의 대표화상으로서 적당한 화상인지 여부의 평가를 행한다. 대표화상으로서 적절하다고 평가된화상에 관해서, 대표화상관리부(407)는 영상신호획득부(405)로부터 1프레임의 화상을 도입하고, 대표화상기억부(408)에 기억한다. 출력장치(409)는, 대표화상기억부(408)에 기억된 대표화상을 인출해서 출력하는 것으로서 디스플레이나 프린터등이다. 또한, 대표화상 추출정보평가부(406)의 동작에 대해서는, 후술하는 다이제스트화상자동생성방법의 실시예에서 상세하게 설명한다.

이상의 실시예에서는, 움직임화상기록매체에 영상신호와 함게 미리 대표화상을 추출하기 위한 정보를 기록해 두고, 움직임화상기록매체로부터 대표화상의 추출정보를 판독해서 대표화상을 추출하는 경우에 대해서 설명을 행하였다. 그러나, 대표화상을 추출하기 위한 정보의 일부 또는 전부가 움직임화상기록매체에 존재하지 않는 경우에도, 움직임화상기록매체에 기록된 영상신호를 처리함으로써, 대표화상을 추출하기 위한 정보를 획득하고, 획득한 정보에 의거하여 대표화상을 추출할수 있다. 이에 대해서 하기의 제11실시예에의한 다이제스트화상생성장치에서 상세하게 설명한다.

제11실시예에 의한 다이제스트화상생성장치는, 영상신호만으로 모든 대표화상추출정보를 획득하는 것이다. 제28도에 영상신호로부터 대표화상추출정보를 획득하는 장치의 구성예를 표시한다. 제28도에서 (410)은 프레임간차분치검출부, (411)은 메모리,(412)는 변화량검출부,(413)은 커트체인지검출부,(414)는 카메라워어크검출부,(415)는 움직 임 벡터 검출부,(416)은 카메라워어크파라미터추정부, (417)은 피사체정보검출부,(418)은 움직 임 영 역 검출부,(419)는 영 역내특징추출부, (420)은 포거스정보검출부,(421)은 고역통과필터,(422)는 평균치산출부이다.

이상의 구성에 대한 각부의 동작에 대해서 이하에서 상세하게 설명한다.

먼저, 프레임간차분치검출부(410) 및 커트체인지검출부(413)의 동작에 대해서 설명한다. 프레임간차분치검출부(410)는, 움직임화상신호를 1프레임 지연시키기 위한 메모리(411)와, 연속하는 프레임간에서 움직임화상신호의 차이분을 구하는면화량검출부(412)로 이루어진다. 움직임화상의 연속하는 프레임간의 차이를 구하는 신호는 휘도치나 rgb치등을 사용하여, 변화량검출부(412)에서 화소단위로 연속하는 프레임간의 화상신호의 차분연산을 행하고, 화소마다의 차분치의 총합을 구해서 프레임간차분치로서 출력한다. 커트체인지검출부(413)는, 프레임간차분치검출부(410)에서 구한 프레임간차분치에 대해서 임계치처리한다. 즉, 소정의 임계치와 프레임간의 차분치와의 비교를 행하여, 프레임간차분치가 임계치보다 큰 경우는 2개의 프레임사이에서 화상내용이 크게 변화하고 있는 것으로 생각해서, 그 부분에서 커트체인지가 있었다고 판단한다. 비디오카메라에서는, 녹화개시조작을행함으로써 커트체인지가 발생하기 때문에, 반대로 화상신호로부터 커트체인지를검출함으로써 녹화개시조정을 추정할 수 있다. 따라서, 커트체인지검출부(413)에서는, 임계치를 초과하는 프레임간차분치가 검출된 시점에서, 녹화개시조작정보를 출력한다. 또한, 제28도에 표시한 프레임간차분치검출부(410)의 구성은 일예이며, 제29도에서 표시한 바와같은 다른 구성으로도 된다. 제29도에서 (444)는 움직임화상신호의 1프레임에 대한 색히스토그램을 구하는 색히스토그램검출부,(445)는 구한 히스토그램을 기억하는 히스토그램메모리,(446)은 연속하는 프레임사이에서 색히스토그램의 차이를 검출하는 히스토그램차분검출부이다. 제29도에 표시한구성에의하면, 프레임차분치는 화소마다의 임계치와 비교하는 것이 아니라 프레임마다의 한계치와 비교한다. 또한 화면을 복수의 블록으로 분할하고, 블록단위로프레임간의 차이분을 구하는 구성으로 하여도 된다.

카메라워어크검출부(414)의 동작에 대해서는, 제8실시예의 다이제스트화상생성장치에 대한 카메라조작의 추정과 마찬가지이며, 설명을 생략한다.

다음에 피사체정보검출부(417)의 동작에 대해서 설명한다. 피사체정보검출부(417)는 비디오카메라에 의해서 피사체를 트래킹하고 있는 상태에서, 피사체의위치나 크기, 색등의 피사체정보를 추출하는 것이다. 즉, 카메라워어크검출부(414)에서 패닝을 검출하고, 또 움직임영역검출부(418)에서 움직임영역을 검출할수 있었던 경우에 대해서, 영역내특징량추출부(419)에서 움직임영역으로부터 영역내의 특정량을 추출한다. 움직임영역검출부(418)에 대한 동작을 더욱 상세하게설명한다.

움직 임 영 역 검출부(418)에는, 움직 임 벡터 검출부(415)에서 검출한 화면내의 각격자점의 움직이벡터 v i,j 와, 카메라워이크검출부(414)에서 검출한 패닝에 의한카메라의 움직 임 벡터 Vp가 입 력된다. 움직 임 영 역검출부(418)에서는, 식⑨를 만족시키는 격자점을 추출하고, 추출한 격자점의 연결관계에 의거해서, 패닝lvi, j - Vpl ε: (9)(단,ε는 소정의 값)에 의한 카메라의 움직임벡터와는 상이한 영역을 추출한다. 영역내 특징량추출부(419)에서는, 움직임영역검출부(418)에서 검출한 움직임영역으로부터 영역내의 특징량으로서, 중심위치와 면적과 색을 추출한다.

다음에 포커수정보검출부(420)의 동작에 대해서 설명한다. 프커스정보검출부(420)는 화상의 흐려짐상태를 검출하기 위한 것으로, 화상의 고주파성분의 양을 기초로 하고 있다. 즉, 화상이 렌즈의 초점어긋남등에 의해서 흐릿해진 상태에서 영상신호의 고주파성분의 값이 작게 된다. 이 때문에, 고역통과필터(421)에서화상의 고주파성분을 인출하고, 평균치산출부(422)에서 화면전체 또는 지정영역내에서의 고파성분의 평균치를 구하는 구성으로 하고 있다.

이상과 같이 해서 영상신호를 처리함으로써, 대표화상을 추출하기 위한 정보를 획득할 수 있다. 본 실시예에서는 γ보정치, 색온도, 역광이나 과도한 순광상대, 피사체광량등에 대해서는 기재하지 않았으나, 이들의 정보도 영상신호를 처리함으로써 획득할 수 있다. 대표화상을 추출하기 위한 정보를 획득한 후, 획득한정보를 기초로 대표화상을 추출하는 구성과 기법에 대해서는 제10실시예의 다이제스트화상생성장치와 마찬가지이므로 이에대한 설명은 생략한다.

이상 설명한 대표화상추출정보를 획득하는 장치는, 움직임화상기록매체에 대표화상을 추출하기 위한 정보가 존재하지 않는 경우에, 움직임화상기록매체로부터 판독입력된 영상신호를 기초로해서 대표화상추출정보를 획득하는 것이었으나, 마찬가지로 해서 비디오카메라에 의해서 촬영중에, 촬상소자로부터 도입한 영상신호를 기초로해서 대표화상추출정보를 획득할 수도 있다. 이 경우의 구성은 제28도와 마찬가지이므로 이에대한 설명은 생략하나, 비디오카메라에 구비된 센서에 의해서 검출가능한 대표화상추출정보가 존재할 경우는, 영상신호로부터 대표화상추출정보를 획득할 필요가 없는 것은 말할것도 없다. 또, 비디오카메라의 의해서 촬영중에 획득한 대표화상추출정보는, 영상신호와 함께 움직임화상기록매체에 기록해도된다.

다음에 본 발명의 제12실시예에 의한 움직임화상기록장치에 대해서 설명한다. 제30도에 본 발명의 움직임화상기록장치의 구성을 표시한다. 본 실시예는 비디오 카메라에 다이제스트화상생성장치를 구비한 구성이며, 비디오카메라에 의해서 촬영중에 대표화상으로서 추출하는 정지화상을 결정하고, 움직임화상기록매체에영상신호를 기록하는 동시에 추출하는 정지화상의 정보를 기록하는 것이다. 제30도에서 본 발명의 움직임화상기록장치(427)는, 카메라조작정보획득부(428), 화상처리 정 보획 득부(429), 촬영 상태 정 보획 득부(430), 영 상신호획 득부(431), 대표화상추출정보평가부(432), 정지화상정보기록부(433), 영상신호기록부(434)로 이루어진다.이상의 구성에 대한 각부의 동작에 대해서 이하 상세하게 설명한다.

카메라조작정보획득부(428)는, 비디오카메라에 의해서 촬영하였을때의 녹화개시조작이나 줌조작등의 정보를 획득하는 부분이다. 녹화개시조작정보는 녹화개시조작이 행하여진 시점에 플래그를 사용해서 녹화개시점을 표시한 정보이며, 줌조작정보는 줌배율을 표시한 정보이다. 녹화개시조작정보도 줌조작정보도 함께, 비디오카메라의 버튼조작하에 검출한다. 화상처리정보획득부(429)는, 촬상소자에의해서 촬상된 영상신호를 처리한 정보를 획득하는 부분이고, 예를들면 표커스제어를 행하기 위하여 구한 영상신호의 고주파성분의 주파수나 크기, 또는 프레임간에 있어서의 휘도신호나 색신호의 차이를 구한 프레임간차분치, 또는 영상신호로부터구한 피사체영역의 위치나 크기등의 정보, 역광이나, 과도한 순광의 상태, 또는 γ보정치나 색온도 등을 추출한다. 촬영상태정보획득부(430)는, 카메라의 촬영상태를 센서에 의해서 검출한 정보를 휙득하는 부분이고, 예를들면 각속도센서에 의해서 검출한 패닝등의 카메라의 움직임정보, 또는 광량센서에 의한 피사체광량이나조리개개방도센서에 의해서 검출된 렌즈의 조리개개방도, 또는 렌즈위치검출에 의한 포커스거리등을 획득한다.

대표화상추출정보평가부(432)는, 카메라조작정보에 포함되는 녹화개시조작정보를 검출하고, 다음의 녹화개시조작정보를 검출하기까지의 동일커트내의 각화상에대해서, 카메라조작정보중 녹화개시조작정보이외의 정보와 화상처리정보와 촬영상태정보에 의거하여, 각화상이 커트의 대표화상으로 적당한 화상인지의 여부를 평가한다. 대표화상으로서 적당하다고 평가된 화상에 관해서, 정지화상정보기록부(433)를 통해서 정지화상정보를 기록매체(435)의 정지화상정보기록매체에 기록한다. 또한, 대표화상추출정보평가부(432)의 동작에 대해서는, 후술하는 다이제스트화상자동생성방법의 실시예에서 상세히 설명한다.

이하에서는, 정지화상정보기록부(433)에서 기록하는 정지화상정보에 대해서더 설명한다. 정지화상정보란, 대표화상추출정보평가부(432)에서 대표화상으로서 적절하다고 평가된 정지화상 그자체, 또는 축소등의 화상처리에 의해 처리된 화상, 또는 정지화상에 대응하는 움직임화상기록매체상의 격납위치정보, 또는 정지화상에대응하는 움직임화상에 부여한 플래그등이다.

정지화상정보가 정지화상 그자체, 또는 축소한 화상인경우는 카메라로 촬영한 움직임화상을 영상신호획득부(431)와 영상신호기록부(434)에 의해서 기록하는움직임화상기록매체상의 기록위치와는 상이한 위치, 또는 움직임화상을 기록하는 움직임화상기록매체와는 상이한 기록매체에 정지화상정보인 화상을 기록한다. 예를들면 움직임화상기록매체가 비디오테이프의 경우는, 정지화상정보의 화상만을 정리해서 테이프의 선두부분, 또는 테이프의 종단부부분에 기록하거나, 또는 테이프와는 별도로 구비된 IC 메모리에 정지화상정보만을 기록한다.

정지화상정보가 정지화상에 대응하는 움직임화상기록매체상의 격납위치정보의 경우는 카메라로 촬영한 움직임화상을 영상신호획득부(431)와 영상신호기록부(434)에 의해서 기록하는 움직임화상기록매체상의 기록위치와는 상이한 위치, 또는움직임화상을 기록하는 움직임화상기록매체와는 상이한 기록매체에, 정지화상정보인 정지화상에 대응하는 움직임화상기록매체상의 격납위치정보를 기록한다.

정지화상정보가 정지화상에 대응하는 움직임화상에 부여한 플래그인 경우는,카메라로 촬영한 움직임화상을 영상신호획득부(431)와 영상신호기록부(434)에 의해서 기록하는 움직임화상기록매체상의 기록위치와 동일한 위치에 정지화상정보를 기록한다. 즉, 예를들면 1프레임단위로 기록하는 영상신호의 선두부분에 정지화상정보의 플래그를 기록한다.

이상과 같이해서 비디오카메라에 의해서 촬영한 영상신호를 움직임화상기록매체에 기록하는 동시에, 촬영한 움직임화상중에서 대표화상을 추출하고, 대표화상의 정지화상정보를 기록매체에 기록한다. 이에 의해서 기록된 정지화상정보를 판독해서 대표화상을 디스플레이나 프린터에 출력하는 것이 가능하게 된다.

다음의 본 발명의 제13의 실시예에의 한 다이제스트화상자동생성방법을 설명한다. 다이제스트화상자동생성방법은, 제27도의 대표화상추출정보평가부(406) 및 제30도의 대표화상추출정보평가부(432)에 있어서의 처리방법이다.

본 발명의 다이제스트화상자동생성방법은, 녹화개시조작을 한다음에 녹화종료조작을 하기까지의 사이에 연속해서 촬영된 움직임화상중에서, 대표적인 화상을 정지화상으로서 자동적으로 추출하는 것이다. 여기서 대표적인 화상이란, 촬영자의 의도, 촬영된 화상의 상태, 피사체의 상태에 의거하여 평가해서 선택한 화상을 말한다.

촬영자의 의도는, 줌이나 이동촬영등의 카메라워어크에 반영된다. 즉, 줌인(zooming-in)하고 있을 때는, 주목하고 있는 피사체가 화면에 존재하는 경우이며, 중요한 화상으로 가정할 수 있다. 또, 패닝하고 있을때는, 어떤 장면에서부터 다른 장면으로 이동하고 있는 동안이며, 중요하지 않는 것으로 생각할 수 있다.또, 이동촬영하고 있는 경우에도, 트래킹하고 있는 피사체가 존재할 경우는, 중요하다고 생각할 수 있다. 이와같이 카메라워어크로부터 촬영자의 의도를 추정하고, 중요한 부분을 대표화상으로서 추출하는 것이 바람직하다.

촬영된 화상의 상태란, 촬영시에 포커스제어가 잘되지 않는 경우의 흐릿한화상상태나, 아이러스제어가 부적절한 경우의 과도한 순광이나 역광의 상태, 또는 γ보정이 부적절한 경우등의 상태, 또는 조리개나 포커스의 조정중의 상태등을 말한다. 이들의 화상상태는, 비디오카메라에서의 촬영시에 포커스제어나 아이리스제어의 정보, 또는 γ보정치에 의거하여 판단할 수 있다. 또 포커스제어나 아이리스제어,γ보정의 정보가 없는 경우에는, 영상신호를 처리함으로써 화상상태를 구하는 것이 가능하다. 이들 화상상태를 평가함으로써, 대표화상으로서 화상상태가 양호한 것을 추출하는 것이 바람직하다.

피사체의 상태란, 촬영하고 있는 피사체의 위치나 크기등의 상태, 촬영중에 카메라의 앞을 사람이 횡단하였을 경우 등의 장해물의 존재상항, 촬영중의 플래시가 비쳤을 경우 등의 상태, 피사체에 스포트라이트가 조사되고 있는 상태 등을 말한다. 피사체의 위치나 크기에 관해서는, 위치가 카메라의 중앙에서 면적이 큰쪽이 바람직하고, 장해물은 존재하지 않는 쪽이 바람직하다. 또, 플래시가 비쳤을 경우의 화상은 대표화상으로서 추출하지 않는 쪽이 바람직하다. 또, 스포트라이트가 조사되고 있는 화상은 주목화상이며, 대표화상으로서 추출하는 것이 바람직하다. 여기서, 피사체의 위치나 면적의 검출방법에 관해서는 제3실시예에 의한제28도의 피사체정보검출부(417)에서 설명되어 있다. 또, 플래시나 장해물의 검출방법에 관해서는, 제28도의 프레임간차분치검출부(410)에서 구한 프레임간차분치를 기초로 검출가능하다. 즉, 플래시는 프레임간차분치가 급변하기 때문에, 소정의 임계치에 의거하여 검출할 수 있다. 장해물의 경우는, 화면중에 장해물이 들어갈때와 화면에서부터 장해물이 나갈때에 프레임간차분치가 변화하기 때문에, 프레임간차분치가 소정의 임계치를 초과하는 경우는, 장해물이 화면내에 존재하는 것으로해서 검출할 수 있다. 또, 스포트라이트의 조사는, 피사체광량을 기초로 검출할 수 있다.

이상과 같은 대표화상을 추출하기 위한 지식에 의거해서, 이하에서는 구체적인 대표화상의 추출방법을 설명한다. 본 실시예의 구성예를 제31도에 표시한다.

제 31 도에서 (436)은 가중가산부,(437)은 게이트신호발생부,(438)은 게이트부, (439)는 최 대치 검출부이다. 가중가산부(436)에는 줌배율과 피사체정보가 입 력되어, 각각의 신호에 가중해서 가산한다. 여기서, 피사체정보는 카메라에 의해서 피사체를 트래킹하고 있을 때에 얻어지는 정보로서, 트래킹시의 피사체의 위치와 크기를 기초로 하고 있다. 피사체정보는, 피사체위치가 카메라의 중심에 가까울수록, 또 피사체의 면적이 클수록 큰값이 되도록 한다. 케이트부(438)는, 게이트신호발생부(437)의 게이트신호를 기초로 스위치의 온, 오프를 행한다. 최대치검출부(439)는, 게이트부(438)로부터 입력되는 값의 최대치를 검출한다.

케이트신호발생부(437)는, 패닝신호와 영상신호의 고주파성분치와 프레임간차분치등을 기초로 게이트신호를 발생한다. 게이트신호의 발생방법을 제32도에 표시한다. 제32도의 (a)는 패닝신호로서, 패닝중이 0이고, 패닝하고 있지 않을때가 1이 되는 신호이다. (b)는 영상신호의 고주파성분치이며, 값이 작을수록 화상이 흐릿한 상태인 것을 의미한다. (c)는 (b)의 신호를 임계치에 의해 처리해서 2치화한것이며, 임계치이하의 경우는 0으로 하고 있다. (d)는 프레임간차분치이다. (e)는 (d)의 신호를 임계치에 의해 처리하고, 임계치이상인 경우는 0으로하고, 또 (d)의 신호가 임계치를 초과한 다음에 소정시간내에 재차 임계치를 초과하였을 경우는, 0과 0사이의 구간도 0으로 하는 처리를 행한다. 측, 단독으로 프레임간차분치가 크게 되는 경우는, 플래시등에 의한 화상이상이 발생한 것으로 판단하고, 프레임간차분치가 임계치이상인기간만 0으로 한다. 그러나, 상기한 바와같이 장해물이 카메라의 앞을 통과할 경우에는, 프레임간차분치는 복수의 피이크를 취하기 때문에, 장해물이 화면속에 존재하는 기간은 프레임간차분치가 임계치이하이어도 0으로 한다. 이상과 같이해서 2치화한 (a),(c),(e)의 3신호의 논리적을 취함으로써, 게이트신호를 발생한다.

이상과 같이 해서 제31도에 표시한 구성으로 평가치가 최대치로 되는 화상을구함으로써, 패닝하고 있는 기간이나 화상이 흐려지는 기간, 또 플래시나 장해물이 존재하는 기간을 제외한 기간에는, 줌배율이 높고, 피사체가 화면중앙에 크게 배치되어 있는 화상을 대표화상으로서 추출할 수 있다. 또한, 최대치검출부(439)에서최대치를 검출하는 것은,1커트전체이거나, 또는 1커트내의 복수의 구간이어도 된다.

또한, 제31도에서는 가중가산부(436)와 게이트신호발생부(437)와 게이트부(438)의 구성에 의해서 복수의 입력으로부터 하나의 평가치를 구하고 있으나, 이구성에 한정한 것은 아니고, 퍼지추론등의 룰에 의거한 것이나, 뉴럴네트위어크에의해서 구하는 구성도 가능하다. 또, 본 실시예의 구성에는 γ보정치나 피사체광량, 역광이나 과도한 순광상태, 조리개개방도, 포커스거리에 관한 정보의 처리를 표시하지 않았으나, 이들 신호도 마찬가지로해서 이용할 수 있다. 즉,γ보정치나 조리개개방도나 포커스거리의 값이 변동하고 있을 때, 또 역광이나 과도한 순광상태일때에는 대표화상으로서 추출하지 않도록 게이트신호를 발생시켜도 된다.또, 피사체광량으로부터 스포트라이트가 조사되어있는 것을 검출해서 평가치를 높게하도록 하여도 된다.

이상 설명한 다이제스트화상자동생성방법의 실시예의 구성은, 촬영자가 촬영개시조작을 한 다음에 촬영종료조작을 하기까지의 사이에 촬영된 움직임화상의 전부에 대해서 평가를 행하여 대표화상을 추출하고 있으나, 촬영자가 촬영개시조작을 한 다음에 소정시간경과후의 화상으로부터 평가를 행하고, 소정의 조건을 만족한 시점의 화상을 대표화상으로서 추출하는 구성이어도 된다. 이하의 제14실시예에서는, 이 구성에 대해서 설명한다.

제14실시에 의한 구성을 제33도에 표시한다. 제33도에서 (440)은 타이머, (441)은 게이트부,(442)는 평가부이다. 타이머(440)는, 촬영개시조작이 행하여진 다음의 경과시간을 측정하고, 촬영개시부터 일정시간이 경과한 시점에서 게이트부(441)의 게이트를 개방하도록 게이트신호를 발생한다. 평가부(442)는 게이트부(441)를 통과한 포커스의 고주파성분치와, 프레임간차분치가 조건을 만족하고 있는지의 여부를 평가한다. 평가부(442)에서의 조건은, 포커스의 고주파성분치가 소정의 임계치이상이고, 또한 프레임간차분치가 소정의 임계치이하인 것이라고 하는 조건이다. 평가부(442)에서는 조건이 만족된 시점에서 그 이후의 평가를 중지하고, 조건이 만족된 시점의 정지화상을 대표화상으로서 추출한다. 또한, 본 실시예에서는 평가에 사용한 신호는 포커스의 고주파성분치와 프레임간차분치의 2개뿐이나, 패닝이나 줌등의 다른 신호를 상용해도 된다.

다음에 제15실시예에 의한 다이제스트화상자동생성방법의 다른 구성에 대하여 설명한다. 본 실시예의 구성을 제34도에 표시하고, 제33도와 동일한 것에는 동일번호를 부여하여 설명은 생략한다. 본 실시예는, 촬영개시조작에서부터 촬영종료조작까지의 사이에 촬영된 화상의 수에 일정비율을 곱한 화상수로부터 평가를 행하고, 소정의 조건을 만족한 시점의 화상을 대표화상으로서 추출하는 것이다.

제 34 도의 구성에서는 촬영개시조작에서부터 촬영종료조작까지의 사이에 촬영된 화상에 대해서, 중간프레임이후의 화상을 평가하는 것이다. 이 때문에 중간프레임검출부(443)에서, 촬영개시조작에서부터 촬영종료조작까지 촬영된 프레임의 중간프레임을 검출하고, 중간프레임을 검출한 시점에서 게이트부(441)의 게이트를 개방하도록 게이트신호를 발생한다. 게이트부(441) 및 평가부(442)의 동작은 제33도의구성과 마찬가지이며, 설명은 생략한다.

이상 설명한 바와같이, 본 발명 제1,2측면에 따른 움직임화상기록매체는,움직임화상의 내용을 관리하는 것이 가능한 움직임화상정보를 구비하고 있기 때문에, 사용자가 보고싶은 장면을 용이하게 색출할 수 있다. 또 본 발명의 제3측면에 따른 움직임화상기록장치는 움직임화상기록매체에 기록하는 움직임화상으로부터커트체인지화상을 자동적으로 검출하고, 커트체이지화상을 기록한 움직임화상기록매체상의 기록어드레스, 각 커트의 시간길이, 각 커트내에서의 화상의 변화정도를움직임화상관리정보로서 자동 기록함으로써, 사람손을 개재할 필요없이, 대량의 움직임화상데이터에 대해서도 관리정보를 부여하는 것이 가능하다. 또 본 발명의제4측면에 따른 다이제스트화상생성장치 사용자가 입력한 요약시간길이와 움직임화상기록매체에 기록된 움직임화상관리정보에 의거하여, 기록된 화상내용을 고려한금속재생용의 요약화상을 자동생성하는 것이 가능하게 된다.

또, 본 발명의 제5, 제6측면에 따른 다이제스트화상생성장치와 제7측면내지제10측면에 따른 다이제스트화상자동생성방법에 의하면, 버튼입력신호로부터 화상의 상태를 추정하고, 상태에 따른 우선도를 설정해서 표시화상의 선택이나 표시속도의 조정을 행함으로써, 사용자의 촬영의도를 반영한 표시가 가능하게 되어, 내용을 파악하기 쉬운 다이제스트를 표시할 수 있다.

또, 버튼입력신호로부터 자동적으로 우선도를 계산함으로써, 미리 우선도를 할당하거나, 다이제스트의 표시시에 수동으로 우선도를 조작하는 등의 번거로움없이, 화상내용파악이 급속재생과 마찬가지의 간단조작으로 행할 수 있는 움직임화상다이제스트자동생성장치를 제공할 수 있다.

또, 본 발명의 제11측면에 따른 다이제스트화상생성장치에 의하면, 화상의 영상신호로부터 주밍, 패닝등의 촬영시의 카메라조작을 추정하고, 카메라조작에 따라서 표시화상을 선택함으로써, 사용자의 촬영의도를 반영한 표시가 가능하게 되어, 내용을 파악하기 쉬운 다이제스트를 표시할 수 있다.

또 영상신호로부터 자동적으로 표시화상의 선택을 행할 수 있으므로, 미리 우선도를 할당하거나, 다이제스트의 표시시에 수동으로 우선도를 조작하는 등의 번거로움이 없이, 화상내용의 파악이 급속재생과 마찬가지의 간단한 조작으로 행할수 있는 다이제스트화상생성장치를 제공할 수 있다.

또, 본 발명의 제12측면에 따른 움직임화상기록매체는 화상추출정보를 구비함으로써, 화상추출정보에 의거하여 움직임화상기록매에 기록된 움직임화상중에서 대표화상을 용이하게 추출하는 것이 가능하게 된다.

또, 본 발명의 제13측면에 따른 다이제스트화상생성장치와 본 발명의 제15측면 내지 제18측면에 따른 다이제스트화상자동생성방법은 화상추출정보에 의거하여, 움직임화상중에서 움직임화상의 내용을 충분히 표현하는 정지화상을 대표화상으로서 추출하는 것이 가능하게 되어, 움직임화상의 내용을 단시간에 파악할 수 있다.

또, 본 발명의 제14측면에 따른 움직임화상기록장치는 카메라에 의해서 촬영한 영상신호를 움직임화상기록매체에 기록하는 동시에, 촬영한 움직임화상중에서대표화상을 추출하고, 대표화상의 정지화상정보를 기록매체에 기록함으로써, 기록된 정지화상정보를 판독해서 대표화상을 디스플레이나 프린터에 고속으로 출력하는 것이 가능하게 된다.

Claims (2)

  1. 움직임화상을 촬영할때에 촬영자가 카메라를 조작한 카메라조작정보를 획득하는 카메라조작정보획득수단과; 촬상된 화상을 처리해서 얻어진 화상처리정보를 획득하는 카메라조작정보획득수단과; 센서로 부터의 신호를 처리해서 얻어진 촬영중의 촬영상태정보를 획득하는 카메라조작정보획득수단과; 상기 화상처리정보획득수단으로 부터의 화상정보와 상기 촬영상태정보획득수단으로 부터의 촬영상태정보중 적어도 1개의 정보와 상기 카메라조작정보획득수단으로 부터의 카메라조작정보에 의거하여, 촬영자가 촬영개시조작을 할 때부터 촬영종료조작을 할 때까지의 기간동안에 촬영된 움직임화상중에서 적어도 1매의 정지화상을 추출하는 정지화상추출수단을 구비한 것을 특징으로 하는 다이제스트화상자동생성장치.
  2. 촬상된 화상을 처리해서 얻어진 화상처리정보와 센서로부터의 신호를 처리해서 얻어진 촬영중의 촬영상태정보중 적어도 한 개의 정보와 촬영장치의 줌이나 촬영개시조작등의 카메라조작정보를 입력하는 단계와; 정지화상추출지식에 의거해서 각 화상에 대한 평가치를 구하는 단계와; 평가치가 높은 화상을 추출하는 단계를 적어도 포함하는 것을 특징으로 하는 다이제스트화상자동생성방법.
KR1019930023427A 1992-11-09 1993-11-05 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 KR100215586B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP92-298742 1992-11-09
JP4298742A JPH06149902A (ja) 1992-11-09 1992-11-09 動画像記録媒体、動画像記録装置、及び動画像再生装置
JP31726292A JP3230858B2 (ja) 1992-11-26 1992-11-26 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置
JP92-317262 1992-11-26
JP31726792A JP3286360B2 (ja) 1992-11-26 1992-11-26 動画像ダイジェスト自動表示装置
JP92-317267 1992-11-26
JP92-147337 1993-06-18
JP14733793A JP3404803B2 (ja) 1993-06-18 1993-06-18 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
JP93-147337 1993-06-18

Publications (2)

Publication Number Publication Date
KR940013196A KR940013196A (ko) 1994-06-25
KR100215586B1 true KR100215586B1 (ko) 1999-08-16

Family

ID=27472775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930023427A KR100215586B1 (ko) 1992-11-09 1993-11-05 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법

Country Status (4)

Country Link
US (2) US6078726A (ko)
EP (1) EP0597450B1 (ko)
KR (1) KR100215586B1 (ko)
DE (2) DE69333177T2 (ko)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0711078B1 (en) 1994-11-04 2002-05-15 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and method
EP0731469A3 (en) * 1995-03-10 1997-02-26 Hitachi Ltd Video information recording and reproduction apparatus and method as well as video tape
US5956458A (en) * 1996-11-07 1999-09-21 Sharp Laboratories Of America, Inc. System and method for determining representative frames of video captured by a video camera
JPH10178619A (ja) * 1996-12-19 1998-06-30 Nikon Corp 画像再生装置および電子カメラ
JP3409834B2 (ja) * 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP3192663B2 (ja) * 1997-07-11 2001-07-30 三菱電機株式会社 動画収集装置
SG75991A1 (en) 1998-10-28 2000-10-24 Hitachi Ltd Information recording medium motion-picture voice recording/reproducing apparatus and motion-picture voice recording/reproducing method
US7439991B1 (en) * 1998-10-02 2008-10-21 Sanyo Electric Co., Ltd. Image information presentation system, image information presentation method, medium storing image information presentation system program, and signal therefor
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
EP1050848A4 (en) * 1998-11-25 2003-07-30 Sony Corp Image processing device and image processing method, and computer-readable recorded medium
JP4656680B2 (ja) 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
US7134074B2 (en) 1998-12-25 2006-11-07 Matsushita Electric Industrial Co., Ltd. Data processing method and storage medium, and program for causing computer to execute the data processing method
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
KR100296967B1 (ko) * 1999-01-30 2001-09-26 구자홍 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치
CN1293782A (zh) * 1999-02-01 2001-05-02 皇家菲利浦电子有限公司 视频序列描述符和使用该描述符的影像检索系统
US6748158B1 (en) * 1999-02-01 2004-06-08 Grass Valley (U.S.) Inc. Method for classifying and searching video databases based on 3-D camera motion
KR100305964B1 (ko) 1999-10-22 2001-11-02 구자홍 사용자 적응적인 다단계 요약 스트림 제공방법
CN100474308C (zh) 2000-03-16 2009-04-01 松下电器产业株式会社 数据处理方法和存储媒体及使计算机执行该方法的程序
JP2001333353A (ja) * 2000-03-16 2001-11-30 Matsushita Electric Ind Co Ltd データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム
JP4165851B2 (ja) * 2000-06-07 2008-10-15 キヤノン株式会社 記録装置及び記録制御方法
JP4465827B2 (ja) * 2000-07-13 2010-05-26 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
JP2002094916A (ja) * 2000-07-14 2002-03-29 Sony Corp 画像記録装置、画像記録方法および記録媒体
US20020073339A1 (en) * 2000-12-07 2002-06-13 Card Ronald C. System and method to access secure information related to a user
GB0029880D0 (en) 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US20020072931A1 (en) * 2000-12-07 2002-06-13 Ronald C. Card System and method to provide financial rewards and other incentives to users of personal transaction devices
US7729925B2 (en) * 2000-12-08 2010-06-01 Sony Corporation System and method for facilitating real time transactions between a user and multiple entities
US6964061B2 (en) * 2000-12-28 2005-11-08 International Business Machines Corporation Squeezable rebroadcast files
JP4691798B2 (ja) * 2001-01-15 2011-06-01 ソニー株式会社 記録装置および記録媒体
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Maschines Corporation ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
US20020174081A1 (en) * 2001-05-01 2002-11-21 Louis Charbonneau System and method for valuation of companies
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US8028249B2 (en) * 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
JP4497761B2 (ja) * 2001-07-18 2010-07-07 キヤノン株式会社 画像処理装置及びインデックス作成方法
JP4426743B2 (ja) * 2001-09-13 2010-03-03 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP4212798B2 (ja) * 2001-10-12 2009-01-21 パイオニア株式会社 テレビ放送番組要約再生装置及び方法
US7203380B2 (en) * 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US20030113015A1 (en) * 2001-12-18 2003-06-19 Toshiaki Tanaka Method and apparatus for extracting text information from moving image
JP4194272B2 (ja) * 2001-12-28 2008-12-10 キヤノン株式会社 動画像管理装置及び方法
JP4253158B2 (ja) * 2002-03-29 2009-04-08 富士フイルム株式会社 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法
JP2004007158A (ja) * 2002-05-31 2004-01-08 Fuji Photo Film Co Ltd 撮像装置および主要被写体判定装置ならびに画像処理装置
JP4223762B2 (ja) * 2002-08-26 2009-02-12 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP4036328B2 (ja) * 2002-09-30 2008-01-23 株式会社Kddi研究所 動画像データのシーン分類装置
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7164798B2 (en) 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US8718128B2 (en) * 2003-05-07 2014-05-06 Canon Kabushiki Kaisha Moving image processing method and apparatus
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
FR2866773B1 (fr) 2004-02-20 2006-04-28 Viaccess Sa Procede d'appariement d'un nombre n de terminaux recepteurs avec un nombre m de cartes de controle d'acces conditionnel
JP4424590B2 (ja) * 2004-03-05 2010-03-03 株式会社Kddi研究所 スポーツ映像の分類装置
GB0405340D0 (en) * 2004-03-10 2004-04-21 Trevor Burke Technology Ltd Distribution of video data
JP4328265B2 (ja) * 2004-06-25 2009-09-09 株式会社ソニー・コンピュータエンタテインメント 動画像処理装置、動画像処理方法、及びプログラム
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US7548259B2 (en) * 2004-08-12 2009-06-16 Microsoft Corporation System and method for producing a higher resolution still image from video information
JP4632413B2 (ja) * 2004-09-01 2011-02-23 キヤノン株式会社 情報暗号化装置及び情報配信装置並びにそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4257607B2 (ja) * 2004-09-14 2009-04-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4368819B2 (ja) * 2005-03-30 2009-11-18 株式会社日立製作所 要約再生装置及び要約再生装置の制御方法
JP2007011564A (ja) * 2005-06-29 2007-01-18 Sony Corp 記録装置および方法、プログラム並びにプログラム記録媒体
CN101292523B (zh) 2005-10-27 2011-02-09 三菱电机株式会社 影像摘要装置
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
JP4244985B2 (ja) * 2005-10-31 2009-03-25 ブラザー工業株式会社 印刷制御システム、及び、プログラム
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US7884860B2 (en) * 2006-03-23 2011-02-08 Panasonic Corporation Content shooting apparatus
WO2008032739A1 (fr) * 2006-09-12 2008-03-20 Panasonic Corporation Dispositif de formation d'image de contenu
CN101166267B (zh) * 2006-10-20 2010-11-24 鸿富锦精密工业(深圳)有限公司;鸿海精密工业股份有限公司 视频监控记录系统及方法
US20080103997A1 (en) * 2006-10-31 2008-05-01 Gene Fein Archival learning and future performance projection
WO2008111308A1 (ja) * 2007-03-12 2008-09-18 Panasonic Corporation コンテンツ撮影装置
JP2008236644A (ja) * 2007-03-23 2008-10-02 Fujifilm Corp 撮影装置および画像再生装置
US20080240503A1 (en) * 2007-03-30 2008-10-02 Sanyo Electric Co., Ltd. Image Processing Apparatus And Image Pickup Apparatus Mounting The Same, And Image Processing Method
JP4360425B2 (ja) * 2007-06-15 2009-11-11 ソニー株式会社 画像処理装置、その処理方法およびプログラム
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US20090228873A1 (en) * 2008-03-04 2009-09-10 Drukman Maxwell O Display breakpointing based on user interface events
CN103475837B (zh) * 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP2010068475A (ja) * 2008-09-12 2010-03-25 Canon Inc 撮像装置及び当該撮像装置における画像再生方法
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
US20110217019A1 (en) * 2008-11-14 2011-09-08 Panasonic Corporation Imaging device and digest playback method
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
CN102740106B (zh) * 2011-03-31 2014-12-03 富士通株式会社 在视频中检测摄像机运动类型的方法及装置
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP6314321B2 (ja) 2013-03-26 2018-04-25 パナソニックIpマネジメント株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4400743A (en) * 1980-01-16 1983-08-23 Canon Kabushiki Kaisha Video camera and recorder
US4317131A (en) * 1979-09-10 1982-02-23 Mcdonnell Douglas Corporation System and method for reproducing pictures and related audio information
US5260837A (en) * 1980-11-21 1993-11-09 Lemelson Jerome H Portable television camera-recorder and method for operating same
US4395737A (en) * 1980-12-11 1983-07-26 Rca Corporation Video disc slow down processor with reverse color detector/corrector
JPH0574273B2 (ko) * 1984-02-17 1993-10-18 Tokyo Shibaura Electric Co
JPH0789663B2 (ja) * 1986-04-15 1995-09-27 キヤノン株式会社 情報記録装置
US4956725A (en) * 1986-08-29 1990-09-11 Canon Kabushiki Kaisha Image signal reproducing apparatus
EP0289960B1 (en) * 1987-04-30 1993-10-20 Nec Corporation Image processing system for a coded signal sequence subjected to predictive coding in different manners
US4982291A (en) * 1987-08-27 1991-01-01 Casio Computer Co., Ltd. Electronic still video camera capable of searching desired picture in simple and quick manner
US5010401A (en) * 1988-08-11 1991-04-23 Mitsubishi Denki Kabushiki Kaisha Picture coding and decoding apparatus using vector quantization
JP2977829B2 (ja) * 1989-01-11 1999-11-15 株式会社東芝 動画像再生装置および動画像再生方法
JP2861249B2 (ja) * 1989-05-11 1999-02-24 日本電気株式会社 画像変化検出方法および画像変化検出装置
JP3058333B2 (ja) * 1989-07-25 2000-07-04 ソニー株式会社 画像検索装置及び方法
JP2892696B2 (ja) * 1989-08-05 1999-05-17 松下電器産業株式会社 動画像信号記録装置と動画像信号再生装置
JP2752716B2 (ja) * 1989-09-01 1998-05-18 日本電信電話株式会社 動画像ダイジェスト自動生成方式
JP2899029B2 (ja) * 1989-12-04 1999-06-02 キヤノン株式会社 記録装置
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
NL9002490A (nl) * 1990-03-13 1991-10-01 Philips Nv Informatie-optekeninrichting alsmede een informatie-uitleesinrichting.
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
KR920005598A (ko) * 1990-08-29 1992-03-28 오가 노리오 디지탈 전자스틸카메라
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
JPH04207878A (en) * 1990-11-30 1992-07-29 Toshiba Corp Moving image management device
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
JPH0537893A (ja) * 1991-07-31 1993-02-12 Nippon Hoso Kyokai <Nhk> テレビジヨン信号記録装置及びテレビジヨン信号再生装置
US5144425A (en) * 1991-08-26 1992-09-01 General Electric Company Apparatus for hierarchically dividing video signals
US5231384A (en) * 1991-08-26 1993-07-27 General Electric Company Apparatus for splitting video signal between two channels
US5450209A (en) * 1991-09-30 1995-09-12 Kabushiki Kaisha Toshiba Band-compressed signal processing apparatus
US5398078A (en) * 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
IL100252D0 (en) * 1991-12-05 1992-09-06 D S P Group Israel Ltd Video cassette directory
JP2611607B2 (ja) * 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
US5576902A (en) * 1993-01-13 1996-11-19 Hitachi America, Ltd. Method and apparatus directed to processing trick play video data to compensate for intentionally omitted data
US5581362A (en) * 1993-08-04 1996-12-03 Matsushita Electric Industrial Co., Ltd. Video camera system which multiplexes internal, external, and sensing parameters onto the video signal in order to identify individual segments
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation

Also Published As

Publication number Publication date
US6078726A (en) 2000-06-20
KR940013196A (ko) 1994-06-25
EP0597450A2 (en) 1994-05-18
EP0597450A3 (en) 1996-04-10
EP0597450B1 (en) 2003-09-03
DE69333177T2 (de) 2004-04-22
US5809202A (en) 1998-09-15
DE69333177D1 (de) 2003-10-09

Similar Documents

Publication Publication Date Title
US9131122B2 (en) Apparatus, method, system, and storage medium causing a display to display a graph indicating a degree of change of part of a captured image
Tonomura et al. Structured video computing
JP3139028B2 (ja) 撮影装置
US6924832B1 (en) Method, apparatus &amp; computer program product for tracking objects in a warped video image
US5576950A (en) Video image search method and system using the same
CA2135938C (en) Method for detecting camera-motion induced scene changes
US8570426B2 (en) System of and method for video refocusing
US20070171296A1 (en) Object determining device, imaging device and monitor
US7327890B2 (en) Imaging method and system for determining an area of importance in an archival image
US20120062732A1 (en) Video system with intelligent visual display
US5642294A (en) Method and apparatus for video cut detection
US20080019610A1 (en) Image processing device and image processing method
JP4182117B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
WO2010082400A1 (ja) 表示制御装置、表示制御方法及びプログラム
US5801765A (en) Scene-change detection method that distinguishes between gradual and sudden scene changes
KR101342638B1 (ko) 화상 처리장치, 화상 처리방법 및 프로그램
JP5235798B2 (ja) 撮影装置及びその制御方法
CN101605209B (zh) 摄像装置及图像再生装置
US20100066847A1 (en) Imaging apparatus and program
US5745175A (en) Method and system for providing automatic focus control for a still digital camera
JP4340806B2 (ja) 画像処理装置、方法及びプログラム
US7453506B2 (en) Digital camera having a specified portion preview section
US20020175997A1 (en) Surveillance recording device and method
USRE41222E1 (en) Focus control apparatus, image sensor, program and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120507

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee