KR101437196B1 - 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법 - Google Patents

화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법 Download PDF

Info

Publication number
KR101437196B1
KR101437196B1 KR1020097016168A KR20097016168A KR101437196B1 KR 101437196 B1 KR101437196 B1 KR 101437196B1 KR 1020097016168 A KR1020097016168 A KR 1020097016168A KR 20097016168 A KR20097016168 A KR 20097016168A KR 101437196 B1 KR101437196 B1 KR 101437196B1
Authority
KR
South Korea
Prior art keywords
image
signal
image signal
unit
motion
Prior art date
Application number
KR1020097016168A
Other languages
English (en)
Other versions
KR20090112681A (ko
Inventor
다이스께 미야꼬시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090112681A publication Critical patent/KR20090112681A/ko
Application granted granted Critical
Publication of KR101437196B1 publication Critical patent/KR101437196B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은, 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법에 관한 것이다. 본 발명에서는, 미리 설정되어 있는 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 재생할 때에, 미리 설정된 화상 레이트로 화상 신호를 변환하는 신호 처리부에 재생되는 화상 신호를 공급하고, 그 재생되는 화상 신호의 화상 레이트를 촬상 신호의 움직임 검출 결과를 이용해서 생성된 재생 제어 정보에 기초하여 제어하여, 검출된 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시켜, 슬로우 모션 재생 화상의 화상 신호를 출력하는 것이다.
Figure R1020097016168
화상 재생 장치, 화상 신호, 화상 레이트, 촬상 화상

Description

화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법{IMAGE REPRODUCING APPARATUS, IMAGE REPRODUCING METHOD, IMAGING APPARATUS AND METHOD FOR CONTROLLING THE IMAGING APPARATUS}
본 발명은, 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법에 관한 것이다. 상세하게는, 미리 설정되어 있는 기준 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 촬상 화상이 생성된 촬상 화상의 화상 신호를 기준 화상 레이트로 재생할 때에, 촬상 화상의 움직임에 따라서 재생 속도를 제어하는 것이다.
종래, 일본 특허 공개 2005-295423호 공보에는, 촬상 화상을 메모리에 일시적으로 유지해서 기록 매체에 다시 기록하고, 슬로우 모션인 영상을 원활한 움직임으로 재생 가능하게 하는 방법이 제안되어 있다.
즉, 일본 특허 공개 2005-295423호 공보에 개시된 방법은, 통상의 비디오 신호의 필드 주파수인 50필드/초 또는 60필드/초보다도 높은 필드 주파수인 예를 들면 240필드/초의 화상 신호를 생성해서 이 화상 신호를 순차적으로 메모리에 저장한다. 또한 촬상이 종료하면, 이 메모리에 저장한 화상 신호를 통상의 비디오 신호의 필드 주파수에서 읽어내어 하드디스크 장치 등의 기록 매체에 기록한다. 또 한 유저가 재생을 지시하였을 때, 이 기록 매체에 기록한 화상 신호를 통상의 비디오 신호의 필드 주파수에서 재생함으로써, 원활한 움직임의 슬로우 모션 재생 화상을 얻을 수 있다.
그런데, 일본 특허 공개 2005-295423호 공보의 방법을 이용할 때, 촬상 화상의 화상 신호를 고속도로 메모리에 저장한 후, 메모리로부터 읽어내어 기록 매체에 기록하기 때문에, 1회의 촬상으로 촬상 가능한 시간이 메모리의 용량으로 제한받게 된다. 이 때문에, 메모리 용량이 작으면 슬로우 모션 재생하고자 하는 촬상 화상의 화상 신호를 메모리에 유지시키는 것이 곤란하게 된다. 예를 들면, 슬로우 모션 재생하고자 하는 촬상 씬보다도 빠른 타이밍에서 메모리에 대하여 화상 신호의 기입을 개시하면, 슬로우 모션 재생하고자 하는 촬상 씬으로 되었을 때에 메모리에 빈 영역이 없어, 화상 신호를 유지시킬 수 없게 된다. 이 때문에, 귀중한 촬상 기회를 놓치게 되는 문제가 있다. 또한, 슬로우 모션 재생하고자 하는 촬상 화상의 화상 신호를 용이하게 메모리에 유지시킬 수 있도록 메모리 용량을 크게 하면, 코스트 업으로 되게 된다. 또한, 촬상 화상의 화상 신호를 메모리에 저장한 후에 읽어내어 기록 매체에 기록하는 방법에서는, 메모리에 저장한 촬상 결과를 모두 읽어낸 후가 아니면 다음 씬을 촬상할 수 없다. 이 때문에, 원하는 씬이 짧은 시간 간격으로 반복되는 경우, 이 반복의 씬의 일부를 놓치게 된다.
또한, 고속도인 촬상 화상의 화상 신호를 메모리를 통하지 않고 기록 매체에 기록하는 것으로 하면, 메모리 용량에 따라서 촬상 화상의 기록 타이밍을 제어하지 않아도, 슬로우 모션 재생하고자 하는 촬상 화상의 화상 신호를 기록 매체에 기록 할 수 있다. 그러나, 이와 같이 기록한 화상 신호를 통상의 비디오 신호의 필드 주파수에서 재생하면 기록된 촬상 화상이 모두 슬로우 모션 재생되기 때문에, 원하는 슬로우 모션 화상이 표시될 때까지의 대기 시간이 길어지게 되는 경우가 발생한다.
본 발명의 특징은, 이상의 점을 고려해서 이루어진 것으로, 움직임이 있는 피사체의 슬로우 모션 화상을 용이하게 얻을 수 있게 하는 것이다.
상기한 과제를 해결하기 위해서 본 발명의 화상 재생 장치는, 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 재생하는 신호 재생부와, 신호 재생부로부터 출력되는 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서 재생 제어 정보를 생성하는 재생 제어 정보 생성부와, 신호 재생부로부터 출력되는 화상 신호의 화상 레이트를 미리 설정된 화상 레이트로 변환하는 신호 처리부와, 재생 제어 정보에 기초하여 신호 재생부로부터 신호 처리부에 출력되는 화상 신호의 화상 레이트를 제어해서, 움직임 검출 결과가 나타내는 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 제어부를 구비해서 이루어지는 것이다.
또한, 본 발명의 화상 재생 방법은, 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 재생하는 신호 재생 스텝과, 신호 재생 스텝에서 재생되는 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서 재생 제어 정보를 생성하는 재생 제어 정보 생성 스텝과, 신호 재생 스텝에서 재생되는 화상 신호의 화상 레이트를 미리 설정된 화상 레이트로 변환하는 신호 처리 스텝과, 재생 제어 정보에 기초하여 신호 처리 스텝에서 이용하는 신호 재생 스텝에서 재생된 화상 신호의 화상 레이트를 제어해서, 움직임 검출에서 검출된 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어 스텝을 구비해서 이루어지는 것이다.
본 발명의 촬상 장치는, 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 생성하는 촬상부와, 촬상부에서 생성된 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서, 화상 신호의 재생 시에 움직임 검출에서 검출된 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어 정보를 생성하는 재생 제어 정보 생성부와, 생성된 재생 제어 정보를 화상 신호에 대응시켜 출력하는 출력부를 구비해서 이루어지는 것이다.
본 발명의 촬상 장치의 제어 방법은, 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 생성하는 촬상 스텝과, 촬상 스텝에서 생성된 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서, 화상 신호의 재생 시에 움직임 검출에서 검출된 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어 정보를 생성하는 재생 제어 정보 생성 스텝과, 재생 제어 정보를 화상 신호에 대응시켜 출력하는 출력 스텝을 구비해서 이루어지는 것이다.
본 발명에 따르면, 움직임의 있는 피사체의 슬로우 모션 화상을 용이하게 얻을 수 있다.
도 1은 촬상 장치의 구성을 도시하는 블록도.
도 2는 보정 처리부의 구성을 도시하는 블록도.
도 3은 카메라 신호 처리부의 구성을 도시하는 블록도.
도 4는 화상 합성부와 프레임 메모리부의 구성을 도시하는 블록도.
도 5는 화상 합성의 설명에 사용하는 도면.
도 6은 압축 신장부의 구성을 도시하는 블록도.
도 7은 화상 재생 장치의 구성을 도시하는 블록도.
도 8은 화상 기록 장치의 구성을 도시하는 블록도.
도 9는 표준 촬상 모드에서 촬상 화상을 기록할 때의 처리를 설명하기 위한 도면.
도 10은 표준 촬상 모드에서 기록된 촬상 화상을 재생할 때의 처리를 설명하기 위한 도면.
도 11은 고속 촬상 모드에서 촬상 화상을 기록할 때의 처리를 설명하기 위한 도면.
도 12는 고속 촬상 모드에서 기록된 촬상 화상을 재생할 때의 처리를 설명하기 위한 도면.
도 13은 움직임 벡터와 가중 계수 설정 신호의 관계를 설명하기 위한 도면.
도 14는 화상 신호와 가중 계수의 관계를 설명하기 위한 도면.
도 15는 가중 계수를 예시한 도면.
도 16은 피사체의 움직임 검출의 설명에 사용하는 도면.
도 17은 판정값과 추천 재생 속도의 관계를 도시하는 도면.
도 18은 고속 촬상 모드에서 촬상 화상을 기록할 때의 타이밍차트.
도 19는 고속 촬상 모드에서 기록된 촬상 화상을 재생할 때의 타이밍차트.
도 20은 고속 촬상 모드에서 기록된 촬상 화상을 재생할 때에 움직임 검출을 행해서 재생 제어를 행할 때의 타이밍차트.
도 21은 다른 실시 형태의 구성을 도시하는 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서 본 발명의 실시 형태에 대해서 설명한다. 도 1은, 촬상 장치의 구성을 도시하는 블록도이다. 촬상 장치(10)는, 동작 모드로서 표준 촬상 모드와 고속 촬상 모드의 절환이 가능하게 되어 있다. 표준 촬상 모드는, 통상의 촬상 시의 동작 모드로서, 미리 설정되어 있는 기준 화상 레이트의 화상 신호를 생성한다. 고속 촬상 모드는, 시간 해상도가 높은 슬로우 모션 재생 화상을 얻을 수 있도록, 표준 촬상 모드보다도 고속으로 촬상을 행하고, 기준 화상 레이트보다도 높고 기준 화상 레이트의 정수배인 화상 레이트(이하 「고속 화상 레이트」라고 함)의 화상 신호를 생성하는 동작 모드이다. 여기서, 기준 화상 레이트란, 텔레비전 방식에서 이용되고 있는 필드 레이트나 프레임 레이트를 나타내는 것이며, 촬상 장치(10)는, 표준 촬상 모드일 때, 기준 화상 레이트 예를 들면 60필드/초로 한 인터레이스 주사 방식의 화상 신호나 60프레임/초로 한 난 인터레이스 방식(non-interlaced type)의 화상 신호를 생성한다. 또한, 촬상 장치(10)는, 고속 촬상 모드일 때, 고속 화상 레이트 예를 들면 240필드/초로 한 인터레이스 주사 방식의 화상 신호나 240프레임/초로 한 난 인터레이스 방식의 화상 신호를 생성한다. 또한, 이하의 설명에서는, 기준 화상 레이트의 화상 신호로서 60프레임/초(60[fps])의 난 인터레이스 방식의 화상 신호, 고속 촬상 모드의 화상 신호로서 기준 화상 레이트의 4배인 240프레임/초(240[fps])의 난 인터레이스 방식의 화상 신호를 생성하는 경우를 예시하고 있다.
또한, 도 1에 도시하는 촬상 장치의 구성은, 표준 촬상 모드 및 고속 촬상 모드에서 촬상 화상의 화상 신호를 생성할 뿐만 아니라, 화상 신호를 기록 미디어(62)에 기록하거나, 기록 미디어(62)에 기록된 화상 신호를 읽어내어, 재생 화상의 표시나 재생 화상의 화상 신호를 출력할 수 있는 경우를 나타내고 있다.
촬상 장치(10)에서, 렌즈 유닛(11)은 후술하는 제어부(81)의 제어에 의해 포커스, 조리개, 줌을 가변하고, 촬상부(12)의 이미지 센서(121)의 촬상면에 입사광을 집광한다.
촬상 장치(10)의 촬상부(12)는, 이미지 센서(121)나 AFE(Analog Front End)(122), ADC(Analog-Digital Converter)(123), 보정 처리부(124)를 이용해서 구성되어 있고, 후술하는 제어부(81)에 의해 촬상부(12)의 동작이 제어된다.
이미지 센서(121)는, CMOS(Complementary Metal Oxide Semiconductor)형 등의 고체 촬상 소자가 이용되고 있다. 이미지 센서(121)는, 촬상면에 형성된 광학 상을 광전 변환 처리하고, 촬상 결과인 촬상 신호를 출력한다. 또한, 이미지 센서(121)에는 CDS(Correlated Double Sampling) 회로가 설치되어 있고, 이 CDS 회로에서 촬상 신호의 상관 이중 샘플링 처리를 행함으로써 촬상 신호의 노이즈가 저감된다.
또한, 이미지 센서(121)는, 제어부(81)의 제어에 의해 동작의 절환이 행하여지고 동작 모드가 표준 촬상 모드로 되었을 때, 기준 화상 레이트(기준 프레임 레이트)의 촬상 신호 예를 들면 60[fps]의 촬상 신호를 생성한다. 또한, 이미지 센서(121)는, 동작 모드가 고속 촬상 모드로 되었을 때, 기준 프레임 레이트보다도 높고 기준 프레임 레이트의 정수배인 고속 화상 레이트(고속 프레임 레이트)의 촬상 신호 예를 들면 240[fps]의 촬상 신호를 생성한다. 또한, 이미지 센서(121)는, 프레임 레이트가 240[fps]인 촬상 신호를 출력하는 경우라도, 기준 프레임 레이트로 촬상 신호를 출력하는 경우와 동일하게, 촬상면의 유효 화상 영역으로부터 전체 화소의 촬상 결과를 읽어내어 촬상 신호를 출력한다. 또한, 라인 씨닝과 화소 씨닝 중 적어도 한 쪽을 행함으로써, 기준 프레임 레이트로 촬상 신호를 출력하는 경우에 비해서, 1화면의 화소수를 저감시켜도 된다.
AFE(Analog Front End)(122)는, 이미지 센서(121)로부터 출력되는 촬상 신호를 AGC(Automatic Gain Control) 처리하고, 촬상 신호의 이득을 제어한다. ADC(Analog-Digital Converter)(123)는, AFE(122)에서 처리된 아날로그의 촬상 신호를 디지털의 화상 신호로 변환해서 보정 처리부(124)에 공급한다.
보정 처리부(124)는 ADC(123)로부터 공급된 화상 신호에 대하여 여러 가지의 보정 처리를 행한다. 도 2는, 보정 처리부(124)의 구성을 도시하는 블록도이다. 보정 처리부(124)의 레벨 보정부(124a)는, ADC(123)로부터 공급된 화상 신호의 레벨 조정 처리를 행한다. 화소 보정부(124b)는, 레벨 조정 처리 후의 화상 신호에 대하여 화소 결함 보정 처리를 행한다. 화이트 밸런스 조정부(124c)는, 화소 결함 보정 처리 후의 화상 신호에 대하여 화이트 밸런스 조정 처리를 실행하고, 처리 후의 화상 신호 DV1을 도 1에 도시하는 바와 같이 카메라 신호 처리부(20)와 기록 재생 처리부(61) 및 검파부(71)에 공급한다.
카메라 신호 처리부(20)는, 표준 촬상 모드 및 고속 촬상 모드에서 촬상부(12)로부터 공급되는 화상 신호 DV1에 대하여 카메라 신호 처리를 행하고, 처리 후의 화상 신호 DV2를 화상 압축 신장부(41)나 화상 출력부(51), 표시 처리부(52)에 출력한다. 또한, 후술하는 바와 같이, 고속 촬상 모드에서 카메라 신호 처리가 이루어져 있지 않은 촬상 화상을 기록 미디어(62)에 기록한 경우, 기록한 촬상 화상의 재생 시에는 기록 재생 처리부(61)로부터 공급되는 화상 신호 DV3의 카메라 신호 처리를 행하고, 처리 후의 화상 신호 DV4를 화상 출력부(51)나 표시 처리부(52)에 출력한다.
또한, 카메라 신호 처리부(20)는, 예를 들면 SDRAM(Synchronous Dynamic Random Access Memory) 등에 의해 구성된 프레임 메모리부(31)와 접속되어 있고, 이 프레임 메모리부(31)를 이용함으로써, 화상 신호 DV1이나 화상 신호 DV3이 기준 프레임 레이트와는 상이한 프레임 레이트일 때에, 화상 신호 DV1이나 화상 신호 DV3을 기준 프레임 레이트의 화상 신호로 변환한다. 즉, 카메라 신호 처리부(20) 는, 화상 신호 DV1이나 화상 신호 DV3의 프레임 레이트에 관계없이 기준 프레임 레이트의 화상 신호 DV2, DV4를 출력한다.
도 3은, 카메라 신호 처리부(20)의 구성을 도시하는 블록도이다. 화상 합성부(21)는, 화상 신호 DV1이나 화상 신호 DV3을 기준 프레임 레이트의 화상 신호로 하는 화상 레이트 변환을 행하기 위한 것이다. 화상 합성부(21)는, 동작 모드가 표준 촬상 모드로 되어 있는 경우, 화상 신호 DV1이 기준 프레임 레이트이므로, 촬상부(12)의 보정 처리부(124)로부터 공급된 화상 신호 DV1의 프레임 레이트를 변환하는 일 없이 화소 보간부(22)에 공급한다. 또한, 화상 합성부(21)는, 동작 모드가 고속 촬상 모드로 되어 있는 경우에 촬상부(12)의 보정 처리부(124)로부터 공급된 화상 신호 DV1, 및 고속 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시에 기록 재생 처리부(61)로부터 공급되는 화상 신호 DV3에 대하여 화상 레이트 변환을 행하고, 공급된 화상 신호를 기준 프레임 레이트의 화상 신호로 변환해서 화소 보간부(22)에 공급한다. 예를 들면, 화상 합성부(21)는, 프레임 메모리부(31)를 이용해서 화상 합성을 행하고, 화상 신호 DV1, DV3의 기준 프레임 기간 분의 프레임 화상을 합성해서 1프레임의 화상으로 함으로써, 화상 신호 DV1, DV3을 기준 프레임 레이트의 화상 신호로 변환한다.
도 4는, 화상 합성부(21)와 프레임 메모리부(31)의 상세 구성을 도시하는 블록도로서, 프레임 메모리부(31)를 이용한 화상 신호의 순회 가산에 의해 화상 합성을 행함으로써 고속 프레임 레이트의 화상 신호를 기준 프레임 레이트의 화상 신호로 변환하는 경우를 도시하고 있다.
화상 합성부(21)는, 보정 처리부(124)로부터 공급되는 화상 신호 DV1 또는 기록 재생 처리부(61)로부터 공급되는 화상 신호 DV3을 승산 회로(211)에 공급한다. 승산 회로(211)는, 가중 계수 생성부(212)에서 생성된 가중 계수를 화상 신호 DV1 또는 화상 신호 DV3에 승산해서, 가중 계수를 승산한 화상 신호를 가산 회로(213)에 공급한다. 가산 회로(213)는, 승산 회로(211)로부터 공급된 화상 신호와 프레임 메모리부(31)의 뱅크로부터 읽어낸 화상 신호를 가산해서, 가산 처리 후의 화상 신호를 프레임 메모리부(31)에 공급한다.
프레임 메모리부(31)는, 뱅크(312a)와 뱅크(312b) 및 신호 절환부(311, 313, 314)를 이용해서 구성되어 있다. 또한, 뱅크(312a)와 뱅크(312b)는 1프레임의 화상 신호를 기억할 수 있는 메모리 용량으로 되어 있다.
신호 절환부(311)는, 가산 회로(213)로부터 공급된 화상 신호를 뱅크(312a) 또는 뱅크(312b)에 공급한다. 또한, 뱅크(312a)에 공급되는 화상 신호를 화상 신호 Dfwa, 뱅크(312b)에 공급되는 화상 신호를 화상 신호 Dfwb로 한다.
신호 절환부(313)는, 뱅크(312a)로부터 읽어내어진 화상 신호 Dfra 또는 뱅크(312b)로부터 읽어내어진 화상 신호 Dfrb를 가산 회로(213)에 공급한다. 신호 절환부(314)는, 뱅크(312a)로부터 읽어내어진 화상 신호 Dfra 또는 뱅크(312b)로부터 읽어내어진 화상 신호 Dfrb를 제산 회로(214)에 공급한다.
여기서, 화상 합성부(21)와 프레임 메모리부(31)는, 한 쪽의 뱅크 예를 들면 뱅크(312a)로부터 읽어낸 화상 신호 Dfra를 신호 절환부(313)에서 선택해서, 이 선택한 화상 신호 Dfra와 승산 회로(211)로부터 공급된 화상 신호의 가산 결과인 화 상 신호를 신호 절환부(311)에서 뱅크(312a)에 화상 신호 Dfwa로서 공급한다. 이와 같이 하면, 뱅크(312a)는, 순회 가산된 화상 신호를 기억하게 된다. 또한, 화상 합성부(21)와 프레임 메모리부(31)는, 소정 프레임수의 순회 가산이 완료하였을 때, 뱅크(312b)를 이용해서 순회 가산을 행하고, 소정 프레임수의 순회 가산이 완료한 화상 신호를 뱅크(312a)로부터 읽어내어 신호 절환부(314)를 통해서 제산 회로(214)에 공급한다. 이와 같이 순회 가산을 행하는 것으로 하면, 화상 합성부(21)와 프레임 메모리부(31)는 한 쪽의 뱅크를 이용해서 기준 프레임 기간에서 순회 가산을 행하면서, 다른 쪽의 뱅크로부터 소정 프레임수의 순회 가산이 완료한 화상 신호를 기준 프레임 기간에서 읽어내어, 기준 프레임 레이트의 화상 신호로서 제산 회로(214)에 공급할 수 있다.
제산 회로(214)는, 프레임 메모리부(31)의 신호 절환부(314)로부터 공급된 화상 신호에 대하여, 가중 계수와 가산한 프레임수에 따른 제산 처리를 행하고, 순회 가산이 완료한 화상 신호를 소정의 신호 레벨 범위의 화상 신호로서 화소 보간부(22)에 공급한다. 예를 들면, 화상 신호 DV1의 신호 레벨이 일정한 경우를 생각하였을 때, 각 프레임의 가중 계수를 「2」로 해서 4프레임 분의 순회 가산을 행하는 것으로 하면, 순회 가산이 완료한 화상 신호의 신호 레벨은, 화상 신호 DV1의 신호 레벨의 8배로 된다. 이 때문에, 제산 회로(214)는, 가중 계수와 가산한 프레임수에 따른 제산 처리를 행하고, 순회 가산이 완료한 화상 신호를 (1/8)배로 함으로써, 소정의 신호 레벨 범위의 화상 신호로 한다.
가중 계수 생성부(212)에는 프레임 카운터(215)가 접속되어 있다. 프레임 카운터(215)는, 승산 회로(211)에 공급되는 화상 신호가 순회 가산하는 프레임의 몇번째의 프레임인지를 나타내는 카운트값을 생성해서 가중 계수 생성부(212)에 공급한다. 가중 계수 생성부(212)는, 보정 처리부(124)로부터 공급된 화상 신호 DV1의 순회 가산을 행하는 경우, 제어부(81)로부터 공급된 가중 계수 선택값 WS에 기초하여, 순회 가산하는 각 프레임에 대하여 동일한 가중 계수를 생성해서 승산 회로(211)에 공급한다. 또한, 가중 계수 생성부(212)는, 기록 재생 처리부(61)로부터 공급되는 화상 신호 DV3의 순회 가산을 행하는 경우, 제어부(81)로부터 공급된 가중 계수 선택값 WS에 기초하여, 순회 가산하는 각 프레임에 대하여 동일한 가중 계수 또는 프레임간에서 차이를 발생한 가중 계수를 생성해서 승산 회로(211)에 공급한다.
도 5는, 화상 신호 DV1, DV3의 프레임 레이트가 기준 프레임 레이트의 4배인 경우의 화상 합성을 설명하기 위한 도면이다. 화상 합성부(21)와 프레임 메모리부(31)에서 상술한 바와 같이 화상 합성을 행하면, 도 5의 (A)에 도시하는 바와 같이, 보정 처리부(124)로부터 공급된 화상 신호 DV1, 및 기록 재생 처리부(61)로부터 공급되는 화상 신호 DV3에 기초하는 화상은, 예를 들면 프레임 a~프레임 d의 4프레임이 합성되어, 도 5의 (B)에 도시하는 바와 같이 기준 프레임 레이트의 화상의 1프레임(a+b+c+d)으로 되고, 화상 신호 DV1, DV3을 기준 프레임 레이트의 화상 신호로 변환할 수 있다.
도 3의 화소 보간부(22)는, 디모자이크 처리(demosaic process)에 의해 화상 합성부(21)로부터 출력되는 화상 신호를 R, G, B로 이루어지는 3개의 플레인의 화 상 신호로 변환해서 출력한다. 윤곽 보정부(23)는, 공급된 화상 신호로부터 고역 성분을 분리하고, 이 고역 성분으로부터 윤곽 보정 데이터를 생성한다. 색 보정부(24)는, 공급된 화상 신호로부터 저역 성분을 분리하고, 이 저역 성분을 리니어 매트릭스 처리 등을 해서 색 보정한다.
감마/니 처리부(gamma/knee processing unit)(25)는, 윤곽 보정부(23)에서 생성된 윤곽 보정 신호와, 색 보정부(24)에서 처리된 화상 신호를 합성해서, 합성 후의 화상 신호에 대하여 감마 보정, 니 처리 등을 실행한다. 색 공간 변환부(26)는, 감마/니 처리부(25)에서 처리된 화상 신호를, 휘도 신호, 색차 신호의 화상 신호로 변환한다. 해상도 변환부(27)는, 공급된 화상 신호를 미리 설정된 표시 해상도의 화상 신호로 변환해서, 화상 신호 DV2 또는 화상 신호 DV4로서 출력한다.
도 1의 화상 압축 신장부(41)는, 공급된 화상 신호를 이용해서 움직임 검출을 행하는 처리와, 움직임 검출 결과에 기초하여 화상 신호를 압축해서 부호화 신호를 생성하는 처리, 부호화 신호를 신장해서 화상 신호를 생성하는 처리를 행하는 것이다.
화상 압축 신장부(41)는, 표준 촬상 모드에서, 제어부(81)로부터 촬상 화상의 기록이 지시되면, 카메라 신호 처리부(20)로부터 출력되는 화상 신호 DV2를 MPEG(Moving Picture Experts Group) 등의 동화상의 부호화 방식으로 압축 처리를 행하고, 부호화 신호 DW를 기록 재생 처리부(61)에 출력한다. 화상 압축 신장부(41)는, 고속 촬상 모드에서 제어부(81)로부터 촬상 화상의 기록이 지시되면, 화상 신호 DV2로부터 매크로 블록 단위로 움직임 벡터 MV를 검출하고, 이 움직임 검 출 결과인 움직임 벡터 MV를 기록 재생 처리부(61) 또는 제어부(81)에 출력한다.
또한, 화상 압축 신장부(41)는, 표준 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 기록 재생 처리부(61)로부터 공급되는 부호화 신호 DR의 신장 처리를 행하고, 얻어진 화상 신호 DV5를 화상 출력부(51)나 표시 처리부(52)에 공급한다.
또한, 화상 압축 신장부(41)는, 기록 재생 처리부(61)로부터 화상 신호 DV3이 공급되었을 때, 화상 신호 DV3을 이용해서 움직임 검출을 행하고, 화상 신호 DV3으로부터 매크로 블록 단위로 움직임 벡터 MV를 검출하고, 이 움직임 검출 결과인 움직임 벡터 MV를 제어부(81)에 출력한다.
도 6은, 화상 압축 신장부(41)의 구성을 도시하는 블록도이다. 화상 압축 신장부(41)에서, MV 검출기(411)는, 화상 신호 DV2로부터 순차적으로 매크로 블록마다 움직임 벡터 MV를 검출한다. MV 검출기(411)는, 표준 촬상 모드에서의 기록 시, 이 움직임 벡터 MV를 움직임 보상기(412)에 출력하고, 또한 고속 촬상 모드에서의 기록 시, 이 움직임 벡터 MV를 기록 재생 처리부(61) 또는 제어부(81)에 출력한다.
움직임 보상기(412)는, 동화상의 부호화 시, 이 MV 검출기(411)에서 검출되는 움직임 벡터 MV를 이용해서 화상 메모리(413)에 저장한 화상 신호를 움직임 보상하고, 부호화용의 예측값을 생성해서 출력한다. 또한 움직임 보상기(412)는, 동화상의 복호 시, MV 복호기(414)에서 복호한 움직임 벡터 MV를 이용해서 마찬가지로 복호용의 예측값을 생성한다.
예측 감산기(415)는, 동화상의 부호화 시, 카메라 신호 처리부(20)로부터 입력되는 화상 신호 DV2로부터 움직임 보상기(412)에서 생성된 부호화용의 예측값을 감산하고, 예측 오차값을 출력한다.
DCT(416)는, 예측 감산기(415)의 출력 신호를 2차원 이산 코사인 변환하고, 그 처리 결과인 계수 데이터를 출력한다. 양자화기(417)는 DCT(416)에서 생성된 계수 데이터를 양자화 처리하고, 가변 길이 부호기(418)는 양자화기(417)의 출력 데이터를 가변 길이 부호화 처리한다. MV 부호화기(419)는 MV 검출기(411)에서 검출되는 부호화용의 움직임 벡터 MV를 부호화 처리하고, 다중화기(420)는 가변 길이 부호기(418)의 출력 데이터와 MV 부호화기(419)의 출력 데이터를 다중화 처리해서 부호화 신호 DW로서 출력한다.
역양자화기(421)는, 부호화 시, 양자화기(417)의 출력 데이터를 역양자화 처리해서 출력하고, 또한 복호 시, 가변 길이 복호기(422)의 출력 데이터를 역양자화 처리해서 출력한다.
역DCT(423)는 DCT(416)와는 반대로 역양자화기(421)의 출력 데이터를 처리해서 출력하고, 가산기(424)는 역DCT(423)의 출력 신호에 부호화용 또는 복호용의 예측값을 가산해서 화상 신호 DV5를 생성한다. 화상 메모리(413)는 이 복호한 화상 신호 DV5를 움직임 보상용에 저장해서 유지한다.
다중 분리기(426)는, 복호 시, 기록 재생 처리부(61)로부터 출력되는 부호화 신호 DR을 계수 데이터의 부분과 움직임 벡터 MV의 부분으로 분리해서 출력하고, MV 복호기(414)는, 이 다중 분리기(426)의 출력 데이터로부터 움직임 벡터 MV를 복 호해서 움직임 보상기(412)에 출력한다. 가변 길이 복호기(422)는, 이 다중 분리기(426)의 출력 데이터로부터 계수 데이터를 복호해서 역양자화기(421)에 출력한다.
도 1의 화상 출력부(51)는, 외부 기기를 접속하기 위한 인터페이스로서, 표준 촬상 모드 및 고속 촬상 모드에서, 카메라 신호 처리부(20)로부터 공급된 화상 신호 DV2를 출력 화상 신호 DVout로서 외부 기기에 출력한다. 또한, 외부 기기는 예를 들면 모니터 장치 등이다. 또한 화상 출력부(51)는, 표준 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 화상 압축 신장부(41)로부터 공급된 화상 신호 DV5를 출력 화상 신호 DVout로서 외부 기기에 출력한다. 또한 화상 출력부(51)는, 고속 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 카메라 신호 처리부(20)로부터 출력되는 화상 신호 DV4를 출력 화상 신호 DVout로서 외부 기기에 출력한다.
표시 처리부(52)에는, 예를 들면 LCD(Liquid Crystal Display)로 구성되는 표시부(53)가 접속되어 있다. 표시 처리부(52)는, 표준 촬상 모드 및 고속 촬상 모드에서, 카메라 신호 처리부(20)로부터 출력되는 화상 신호 DV2를 표시부(53)의 표시 해상도에 따른 표시 화상 신호 DH로 변환해서, 이 표시 화상 신호 DH로 표시부(53)를 구동함으로써 표시부(53)에 촬상 화상을 표시시킨다. 또한 표시 처리부(52)는, 표준 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 화상 압축 신장부(41)로부터 출력되는 화상 신호 DV5를 표시부(53)의 표시 해상도에 따른 표시 화상 신호 DH로 변환해서, 이 표시 화상 신호 DH로 표시부(53)를 구동함 으로써 표시부(53)에 재생 화상을 표시시킨다. 또한 표시 처리부(52)는, 고속 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 카메라 신호 처리부(20)로부터 출력되는 화상 신호 DV4를 표시부(53)의 표시 해상도에 따른 표시 화상 신호 DH로 변환하고, 이 표시 화상 신호 DH로 표시부(53)를 구동함으로써 표시부(53)에 재생 화상이나 슬로우 모션 재생 화상을 표시시킨다.
기록 재생 처리부(61)는, 제어부(81)의 제어에 의해 기록 미디어(62)에 대한 촬상 화상의 기입이나 읽어냄을 행한다. 기록 미디어(62)는, 랜덤 액세스가 가능한 각종 기록 매체, 또는 자기 테이프와 같이 랜덤 액세스가 곤란한 각종 기록 매체이다. 또한 랜덤 액세스가 가능한 기록 매체는, 예를 들면 하드디스크 장치, 플래시 메모리 등의 반도체 메모리, DVD(Digital Versatile Disk) 등의 광 디스크 등이다.
기록 재생 처리부(61)는, 표준 촬상 모드에서, 화상 압축 신장부(41)로부터 출력되는 부호화 신호 DW를 기록 미디어(62)에 기록한다. 또한 기록 재생 처리부(61)는, 고속 촬상 모드에서, 촬상부(12)로부터 출력되는 화상 신호 DV1을 기록 미디어(62)에 기록한다. 이 때 기록 재생 처리부(61)는, 화상 압축 신장부(41)로부터 통지되는 움직임 벡터 MV를 재생 제어 정보 RJ로 해서, 또는 제어부(81)에서 생성된 재생 제어 정보 RJ를 취득해서, 이 재생 제어 정보 RJ를 화상 신호 DV1과 대응지어 기록한다. 재생 제어 정보 RJ는, 촬상 화상에서 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나, 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행하기 위한 정보이다.
기록 재생 처리부(61)는, 표준 촬상 모드에서 기록한 촬상 화상의 재생 시, 기록 미디어(62)로부터 읽어낸 부호화 신호 DR을 화상 압축 신장부(41)에 공급한다. 또한 기록 재생 처리부(61)는, 고속 촬상 모드에서 기록한 촬상 화상의 재생 시, 기록 미디어(62)로부터 화상 신호 및 화상 신호와 대응하는 재생 제어 정보 RJ를 읽어내어, 카메라 신호 처리부(20)에 대하여 화상 신호 DV3, 제어부(81)에 대하여 재생 제어 정보 RJ를 출력한다.
또한, 고속 촬상 모드에서 기록한 촬상 화상의 재생 시에 재생 제어 정보 RJ를 읽어낼 수 없는 경우, 기록 재생 처리부(61)는 화상 신호 DV3을 카메라 신호 처리부(20)와 화상 압축 신장부(41)에 공급한다.
검파부(71)는, 촬상부(12)로부터 출력되는 화상 신호 DV1로부터, 조리개 조정, 포커스 조정, 화이트 밸런스 조정에 필요한 정보 KD를 프레임 주기로 검출해서 제어부(81)에 통지한다. 또한, 필요한 정보는, 예를 들면 특정 영역에서의 화소값의 누적 가산값, 피크값 등이다.
제어부(81)에는 유저 인터페이스부(82)가 접속되어 있다. 유저 인터페이스부(82)는 유저 조작에 따른 조작 신호 PS를 생성해서 제어부(81)에 공급한다.
제어부(81)는, 예를 들면 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등으로부터 구성되는 마이크로 컨트롤러로서, ROM 등에 기록된 프로그램을 실행해서, 촬상 장치(10)의 동작이 조작 신호 PS에 기초하는 유저 조작에 따른 동작으로 되도록 제어 신호 CT를 생성해서 각 부에 공급하고, 각 부의 동작을 제어한다. 또한 이 실시 형태에서, 프로그램은, 촬상 장 치(10)에 사전에 인스톨되어 제공되지만, 이 사전의 인스톨 대신에, 광 디스크, 자기 디스크, 메모리 카드 등의 기록 매체에 기록해서 제공하도록 해도 되고, 인터넷 등의 네트워크를 통한 다운로드에 의해 제공해도 된다.
제어부(81)는, 동작 모드가 표준 촬상 모드로 설정되어 있을 때, 기준 프레임 레이트의 화상 신호 DV1을 생성해서, 촬상 화상을 기준 프레임 레이트로 표시하도록 제어를 행한다. 제어부(81)는, 동작 모드가 고속 촬상 모드로 설정되어 있을 때, 고속 프레임 레이트의 화상 신호 DV1을 생성해서 화상 레이트의 변환을 행하고, 촬상 화상을 기준 프레임 레이트로 표시하도록 제어를 행한다.
또한, 제어부(81)는, 동작 모드가 표준 촬상 모드일 때에 기록 개시 조작이 행하여진 것을 판별한 경우, 카메라 신호 처리된 기준 프레임 레이트의 화상 신호를 압축 처리해서 기록 미디어(62)에 기록하는 제어를 더 행한다. 제어부(81)는, 동작 모드가 고속 촬상 모드일 때에 기록 개시 조작이 행하여진 것을 판별한 경우, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행하기 위한 재생 제어 정보 RJ를 생성해서, 화상 신호 DV1과 대응시켜 기록 미디어(62)에 기록하는 제어를 더 행한다. 또한, 제어부(81)는, 기록 동작 중에 기록 종료 조작이 행하여진 것을 판별한 경우, 기록 미디어(62)에의 기록을 정지하는 제어를 행한다.
제어부(81)는, 표준 촬상 모드에서 기록 미디어(62)에 기록된 촬상 화상의 재생 조작이 행하여진 것을 판별한 경우, 기록 미디어(62)로부터 원하는 부호화 신호를 읽어내어 복호화 처리를 행하고, 재생 화상을 기준 프레임 레이트로 표시하는 제어나 기준 프레임 레이트의 재생 화상 신호를 출력하는 제어를 행한다.
제어부(81)는, 고속 촬상 모드에서 기록 미디어(62)에 기록된 촬상 화상의 재생 조작이 행하여진 것을 판별한 경우, 기록 미디어(62)로부터 원하는 화상 신호와 화상 신호에 대응지어져 있는 재생 제어 정보 RJ를 읽어내어, 재생 화상을 기준 프레임 레이트로 표시하는 제어나 기준 프레임 레이트로 재생 화상의 화상 신호를 출력하는 제어를 행한다. 또한, 제어부(81)는, 재생 제어 정보 RJ에 기초하여, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행한다.
또한, 제어부(81)는, 고속 촬상 모드에서 기록 미디어(62)에 기록된 촬상 화상의 재생 시에, 재생 제어 정보 RJ를 얻을 수 없는 경우, 기록 미디어(62)로부터 읽어낸 화상 신호로부터 재생 제어 정보 RJ를 생성해서, 이 재생 제어 정보 RJ에 기초하여, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행한다.
또한, 제어부(81)는, 검파부(71)로부터의 정보 KD에 따라서, 렌즈 유닛(11)을 프레임 주기로 조리개 조정, 포커스 조정하고, 보정 처리부(124)에서의 화이트 밸런스 조정을 프레임 주기로 행하게 하는 제어도 행한다.
그런데, 상술한 실시 형태에서는, 렌즈 유닛(11)이나 촬상부(12), 카메라 신호 처리부(20), 화상 압축 신장부(41), 기록 재생 처리부(61) 등을 일체로 설치한 촬상 장치에 대하여 설명하였지만, 렌즈 유닛(11)이나 촬상부(12), 표시 처리부(52), 표시부(53), 검파부(71)를 별개로 해서, 화상 재생 장치나 화상 기록 장치 를 구성하는 것으로 해도 된다.
도 7은, 화상 재생 장치(90)의 구성을 도시하는 블록도이다. 또한, 도 7에서, 도 1과 대응하는 부분에 대해서는 동일 부호를 붙이고 있다.
화상 재생 장치(90)는, 기록 미디어(62)로부터 부호화 신호나 화상 신호 등을 읽어내기 위한 기록 재생 처리부(61), 읽어내어진 부호화 신호 DR을 신장 처리하기 위한 화상 압축 신장부(41), 기록 미디어(62)로부터 읽어내어진 화상 신호 DV3을 이용해서 신호 처리를 행하는 카메라 신호 처리부(20), 프레임 메모리부(31), 카메라 신호 처리부(20)로부터 출력된 화상 신호 DV4 또는 화상 압축 신장부(41)로부터 출력된 화상 신호 DV5를 외부 기기에 출력하기 위한 화상 출력부(51), 각 부의 동작을 제어하는 제어부(81), 유저 인터페이스부(82)를 갖고 있다.
화상 재생 장치(90)에서, 기록 재생 처리부(61)는 기록 미디어(62)에 기록된 부호화 신호의 읽어냄을 행할 때, 읽어낸 부호화 신호 DR을 화상 압축 신장부(41)에 공급한다. 또한, 부호화 신호는, 기준 프레임 레이트의 화상 신호를 압축 처리해서 얻어진 신호이다. 화상 압축 신장부(41)는, 기록 재생 처리부(61)로부터 공급된 부호화 신호 DR의 신장 처리를 행하고, 얻어진 화상 신호 DV5를 화상 출력부(51)에 공급한다.
또한, 화상 재생 장치(90)에서, 기록 재생 처리부(61)는, 기록 미디어(62)에 기록된 고속 프레임 레이트의 화상 신호의 읽어냄을 행할 때, 화상 신호와 화상 신호에 대응하는 재생 제어 정보 RJ를 읽어낸다. 카메라 신호 처리부(20)는, 기록 재생 처리부(61)로부터 공급된 화상 신호 DV3을 기준 프레임 레이트의 화상 신호로 변환하는 처리나 카메라 신호 처리를 행한다. 화상 출력부(51)는, 기준 프레임 레이트의 화상 신호 DV4를 출력 화상 신호 DVout로서 출력한다. 또한, 화상 재생 장치(90)에서, 재생 제어 정보 RJ에 기초하여 재생 속도의 제어나 움직임 불선명을 경감시키는 제어를 행하는 경우, 제어부(81)는, 재생 제어 정보 RJ에 기초하여 카메라 신호 처리부(20)나 기록 재생 처리부(61)의 동작을 제어해서, 카메라 신호 처리부(20)에 공급하는 화상 신호 DV3의 프레임 레이트나 카메라 신호 처리부(20)의 화상 합성부(21)에서 이용하는 가중 계수를 제어한다.
또한, 화상 재생 장치(90)에서, 기록 미디어(62)에 기록된 고속 프레임 레이트의 화상 신호의 읽어냄을 행할 때 재생 제어 정보 RJ를 얻을 수 없는 경우, 기록 재생 처리부(61)는, 읽어낸 화상 신호 DV3을 카메라 신호 처리부(20)에 공급한다. 카메라 신호 처리부(20)는, 기록 재생 처리부(61)로부터 공급된 화상 신호 DV3을 기준 프레임 레이트의 화상 신호로 변환하는 처리나 카메라 신호 처리를 행한다. 화상 출력부(51)는, 기준 프레임 레이트의 화상 신호 DV4를 출력 화상 신호 DVout로서 출력한다. 또한, 화상 재생 장치(90)에서, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행하는 경우, 기록 재생 처리부(61)는 읽어낸 화상 신호 DV3을 화상 압축 신장부(41)에 공급한다. 화상 압축 신장부(41)는, 화상 신호 DV3을 이용해서 움직임 검출을 행하고, 얻어진 움직임 벡터 MV를 제어부(81)에 공급한다. 제어부(81)는, 움직임 벡터 MV에 기초하여 기록 재생 처리부(61)의 동작 을 제어해서, 카메라 신호 처리부(20)에 공급하는 화상 신호 DV3의 프레임 레이트를 가변시킴으로써, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시킨다. 또한, 제어부(81)는, 움직임 벡터 MV에 기초하여 카메라 신호 처리부(20)의 화상 합성부(21)에서 이용하는 가중 계수를 제어해서, 재생 화상에서의 움직임 불선명을 경감시킨다.
도 8은, 화상 기록 장치(91)의 구성을 도시하는 블록도이다. 또한, 도 8에서, 도 1과 대응하는 부분에 대해서는 동일 부호를 붙이고 있다.
화상 기록 장치(91)는, 화상 신호에 대하여 여러 가지의 카메라 신호 처리를 행하는 카메라 신호 처리부(20), 프레임 메모리부(31), 화상 신호의 압축 처리를 행하여 부호화 신호를 생성하는 화상 압축 신장부(41), 기록 미디어(62)에 대하여 부호화 신호 DW를 기입하기 위한 기록 재생 처리부(61), 각 부의 동작을 제어하는 제어부(81), 유저 인터페이스부(82)를 갖고 있다.
화상 기록 장치(91)에서, 기준 프레임 레이트의 화상 신호 DV1을 기록할 때, 화상 압축 신장부(41)는, 카메라 신호 처리부(20)에서 카메라 신호 처리가 이루어진 기준 프레임 레이트의 화상 신호 DV2의 압축 처리를 행하여 부호화 신호 DW를 생성한다. 기록 재생 처리부(61)는, 화상 압축 신장부(41)에서 생성된 부호화 신호 DW를 기록 미디어(62)에 기입하는 처리를 행한다.
또한, 고속 프레임 레이트의 화상 신호 DV1을 기록할 때, 카메라 신호 처리부(20)는 카메라 신호 처리뿐만 아니라 프레임 메모리부(31)를 이용해서 화상 합성을 행하고, 고속 프레임 레이트의 화상 신호 DV1을 기준 프레임 레이트의 화상 신 호로 변환한다. 화상 압축 신장부(41)는, 카메라 신호 처리부(20)로부터 출력된 기준 프레임 레이트의 화상 신호 DV2를 이용해서 움직임 벡터 MV를 생성한다. 기록 재생 처리부(61)는, 화상 압축 신장부(41)에서 생성된 움직임 벡터 MV를 재생 제어 정보 RJ로 해서, 또는 제어부(81)에서 움직임 벡터 MV에 기초하여 생성된 재생 제어 정보 RJ를 취득해서, 이 재생 제어 정보 RJ를 고속 프레임 레이트의 화상 신호 DV1과 대응지어 기록 미디어(62)에 기입하는 처리를 행한다.
다음으로, 촬상 동작과 촬상 화상의 기록 동작 및 기록되어 있는 촬상 화상의 재생 동작에 대해서 설명한다. 도 9는, 동작 모드가 표준 촬상 모드로 설정되어 있을 때의 처리를 도시하고 있다. 또한 도 9 및 후술하는 도 10 내지 도 12는, 각 처리가 도 1, 도 7 중 어느 쪽의 블록에 대응하는 것인지를 명확하게 하기 위해서, 대응하는 블록의 부호를 부가하고 있다.
촬상 장치는, 촬상 신호의 생성을 행하여, 기준 프레임 레이트 예를 들면 60[fps]인 촬상 신호를 생성한다. 촬상 장치는, AFE/ADC의 처리를 행하여 촬상 신호의 신호 레벨을 조정한 후 디지털 신호로 변환한다. 촬상 장치는, 보정 처리를 행하여 신호 레벨이나 화이트 밸런스의 조정 및 화소 결함의 보정이 이루어진 화상 신호 DV1을 생성한다. 촬상 장치는, 카메라 신호 처리를 행하여 윤곽 보정이나 색 보정, 감마 보정, 니 보정 등이 행하여진 화상 신호 DV2를 생성한다. 또한, 촬상 장치는, 표시 처리를 행하여 화상 신호 DV2를 표시부(53)에 대응하는 표시 해상도의 표시 화상 신호 DH로 변환한다. 또한, 촬상 장치는, 검파 처리를 행하여 조리개 조정, 포커스 조정, 화이트 밸런스 조정에 필요한 정보를 검출한다.
촬상 장치는, 이러한 처리를 행하여 표시부(53)의 화면 상에 촬상 화상을 표시한다. 따라서, 유저는 어떠한 피사체가 촬상되고 있는지를 표시부(53)의 화면 상에 표시된 화상으로 확인할 수 있다. 또한, 촬상 장치에서 출력 화상 신호 DVout를 출력하면, 외부 기기에서 촬상 화상을 표시하는 것이 가능하게 된다.
다음으로, 촬상 장치(화상 기록 장치)는, 촬상 화상을 기록할 때, 화상 압축 처리를 행함으로써 부호화 신호 DW를 생성한다. 또한 촬상 장치(화상 기록 장치)는, 부호화 신호 DW를 기록 미디어(62)에 기록하는 기록 처리를 행한다. 즉, 기록 미디어(62)에는, 기준 프레임 레이트로 촬상된 화상 신호 DV1이 부호화되어 기록된다.
도 10은, 도 9에 도시하는 처리를 행함으로써 기록 미디어(62)에 기록된 화상을 재생할 때의 처리를 도시하고 있다. 촬상 장치(화상 재생 장치)는, 재생 처리를 행하여 기록 미디어(62)로부터 원하는 부호화 신호를 읽어낸다. 촬상 장치(화상 재생 장치)는, 화상 신장 처리를 행하여, 부호화 신호로부터 화상 신호 DV5를 생성한다. 또한 촬상 장치는, 표시 처리를 행하여 화상 신호 DV5를 표시부(53)에 대응하는 표시 해상도의 표시 화상 신호 DH로 변환한다. 촬상 장치(화상 재생 장치)는, 이러한 처리를 행하여 표시부(53)의 화면 상에 재생 화상을 표시한다. 또한, 촬상 장치(화상 재생 장치)에서 출력 화상 신호 DVout를 출력하면, 외부 기기에서 재생 화상을 표시하는 것이 가능하게 된다.
도 11은, 동작 모드가 고속 촬상 모드로 설정되어 있을 때의 처리를 도시하고 있다.
촬상 장치는, 촬상 신호의 생성을 행해서 고속 프레임 레이트 예를 들면 240[fps]인 촬상 신호를 생성한다. 촬상 장치는, AFE/ADC의 처리를 행하여 촬상 신호의 신호 레벨을 조정한 후 디지털 신호로 변환한다. 촬상 장치는, 보정 처리를 행하여 신호 레벨이나 화이트 밸런스의 조정 및 화소 결함의 보정이 이루어진 화상 신호 DV1을 생성한다. 촬상 장치는, 고속 프레임 레이트의 화상 신호 DV1에 대하여 카메라 신호 처리를 행한다. 카메라 신호 처리에서는, 윤곽 보정이나 색 보정, 감마 보정, 니 보정 등 뿐만 아니라, 고속 프레임 레이트의 화상 신호를 기준 프레임 레이트의 화상 신호로 변환하는 화상 합성을 행하고, 기준 프레임 레이트의 화상 신호 DV2를 생성한다.
또한, 촬상 장치는, 표시 처리를 행하여 화상 신호 DV2를 표시부(53)에 대응하는 표시 해상도의 표시 화상 신호 DH로 변환한다. 촬상 장치는, 이러한 처리를 행하여, 고속 촬상 모드로 설정되어도, 표시부(53)의 화면 상에 촬상 화상을 표시한다. 또한, 촬상 장치에서 출력 화상 신호 DVout를 출력하면, 외부 기기에서 촬상 화상을 표시하는 것이 가능하게 된다. 또한, 촬상 장치는, 프레임 레이트가 기준 프레임 레이트보다도 높게 되어 있고, 프레임 주기로 조리개 조정, 포커스 조정, 화이트 밸런스 조정의 처리가 행하여지기 때문에, 표준 촬상 모드에 비교해서 이들의 제어의 정밀도, 속도를 향상할 수 있다.
다음으로, 촬상 장치(화상 기록 장치)는, 촬상 화상을 기록할 때, 화상 압축 처리를 행하여 움직임 검출 결과 예를 들면 움직임 벡터 MV를 생성한다. 또한, 움직임 벡터 MV를 재생 제어 정보 RJ, 또는 움직임 벡터 MV에 기초하여 재생 제어 정 보 RJ를 생성한다. 또한 촬상 장치(화상 기록 장치)는, 기록 처리를 행하여 고속 프레임 레이트의 화상 신호와 재생 제어 정보 RJ를 대응지어 기록 미디어(62)에 기록한다.
도 12는, 도 11에 도시하는 처리를 행함으로써 기록 미디어(62)에 기록된 화상을 재생할 때의 처리를 도시하고 있다. 촬상 장치(화상 재생 장치)는, 재생 처리를 행하여 기록 미디어(62)로부터 원하는 화상 신호 DV3과 화상 신호에 대응지어져 있는 재생 제어 정보 RJ를 읽어낸다. 촬상 장치(화상 재생 장치)는, 재생 제어 처리를 행하고, 재생 제어 정보 RJ에 기초하여 화상 신호 DV3의 프레임 레이트를 제어해서 촬상 화상에서의 피사체의 움직임이 커짐에 따라서 재생 속도를 느리게 해서 슬로우 모션 화상을 생성시키는 처리와, 카메라 신호 처리에서 움직임이 큰 피사체의 불선명이 경감된 슬로우 모션 화상을 생성시키는 처리를 행하게 한다. 촬상 장치(화상 재생 장치)는, 카메라 신호 처리를 행하여, 화상 신호 DV3으로부터 윤곽 보정이나 색 보정, 감마 보정, 니 보정 등의 처리가 행하여진 기준 프레임 레이트의 화상 신호 DV4를 생성한다. 또한, 촬상 장치(화상 재생 장치)는, 카메라 신호 처리를 행하여 화상 신호 DV3을 기준 프레임 레이트의 화상 신호로 변환할 때에, 움직임 불선명이 경감되도록 화상 합성을 행한다. 또한, 촬상 장치는, 표시 처리를 행하여 화상 신호 DV4를 표시부(53)에 대응하는 표시 해상도의 화상 신호로 변환한다. 촬상 장치는, 이러한 처리를 행하여 표시부(53)의 화면 상에 재생 화상을 표시한다. 또한, 촬상 장치(화상 재생 장치)에서 출력 화상 신호 DVout를 출력하면, 외부 기기에서 재생 화상을 표시하는 것이 가능하게 된다.
또한, 촬상 장치(화상 재생 장치)는, 원하는 화상 신호 DV3에 대응지어져 있는 재생 제어 정보 RJ를 얻을 수 없을 때에, 피사체의 움직임이 커짐에 따라서 촬상 화상의 재생 속도를 저하시키는 재생 제어나 재생 화상에서의 움직임 불선명을 경감시키는 재생 제어를 행하는 경우, 재생 제어 처리에서, 화상 신호 DV3을 이용해서 움직임 검출을 행하고, 얻어진 움직임 벡터에 기초하여 화상 신호 DV3의 프레임 레이트를 제어해서 촬상 화상에서의 피사체의 움직임이 커짐에 따라서 재생 속도를 느리게 해서 슬로우 모션 화상을 생성시키는 처리나, 카메라 신호 처리에서 움직임이 큰 피사체의 불선명이 경감된 슬로우 모션 화상을 생성시키는 처리를 행하게 한다.
또한, 촬상 장치(화상 재생 장치)의 제어부(81)는, 유저가 지시한 재생 속도에 따라서 기록 미디어(62)에 기록되어 있는 화상 신호를 순차적으로 재생하도록 기록 재생 처리부(61)의 동작을 제어하는 것으로 해도 된다. 예를 들면, 제어부(81)는, 유저가 1배속의 재생 속도를 지시한 경우, 화상 신호 DV3의 프레임 레이트가 240[fps]으로 되도록 기록 미디어(62)로부터 화상 신호의 읽어냄을 행하고, 화상 신호 DV3의 연속하는 4프레임을 카메라 신호 처리부(20)에서 순차적으로 화상 합성해서, 기준 프레임 레이트인 60[fps]의 화상 신호로 하는 변환을 행한다. 또한 제어부(81)는, 유저가 (1/2)배속의 재생 속도를 지시한 경우, 화상 신호 DV3의 프레임 레이트가 120[fps]으로 되도록 기록 미디어(62)로부터 화상 신호의 읽어냄을 행하고, 화상 신호 DV3의 연속하는 4프레임을 카메라 신호 처리부(20)에서 순차적으로 화상 합성해서, 기준 프레임 레이트인 60[fps]의 화상 신호로 하는 변환을 행한다. 또한 제어부(81)는, 유저가 (1/4)배속의 재생 속도를 지시한 경우, 화상 신호 DV3의 프레임 레이트가 기준 프레임 레이트인 60[fps]으로 되도록 기록 미디어(62)로부터 화상 신호의 읽어냄을 행한다.
또한, 제어부(81)는, 유저가 앞으로 감기 재생 즉 1배속을 초과하는 재생 속도를 지시한 경우, 기록 미디어(62)로부터 재생 속도에 따라서 씨닝해서 화상 신호를 읽어냄으로써, 지시된 재생 속도의 화상을 나타내는 기준 프레임 레이트의 화상 신호를 생성한다. 이 경우에도, 연속하는 복수 프레임의 화상을 합성해서, 앞으로 감기 재생에서의 1프레임의 화상을 생성하도록 해도 된다.
다음으로, 재생 화상의 움직임 불선명을 경감시키는 동작에 대해서 설명한다. 화상 신호 DV3의 화상 합성을 행하여 기준 프레임 레이트의 화상 신호로 변환하는 경우, 예를 들면 상술한 도 5에 도시하는 바와 같이 4개의 프레임 a~d의 화상을 합성해서 1프레임(a+b+c+d)의 화상을 생성하는 경우, 피사체의 움직임이 크면, 프레임 a~d에서의 피사체의 위치가 크게 상이한 것으로 된다. 이 때문에, 가중 계수를 동일하게 해서 순회 가산을 행하는 것으로 하면, 움직임이 큰 피사체의 화상이 불선명을 발생하게 된다. 따라서, 화질이 양호한 재생 화상을 얻을 수 없다.
그래서, 제어부(81)는, 움직임이 큰 부분에서는 순회 가산하는 복수 프레임 내에 가중치 부여가 큰 프레임 및 이 프레임과 시간적으로 떨어져 있는 가중치 부여가 작은 것으로 된 프레임이 설치되도록, 프레임간에서 차이를 발생한 가중 계수를 생성시키기 위한 가중 계수 선택값 WS를 결정해서, 카메라 신호 처리부(20)에서의 화상 합성부(21)의 가중 계수 생성부(212)에 공급한다.
도 13은, 제어부(81)로부터 화상 합성부(21)의 가중 계수 생성부(212)에 공급하는 가중 계수 선택값의 생성 동작을 설명하기 위한 도면이다.
제어부(81)는, 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임의 크기에 따라서 가중 계수 선택값 WS를 결정한다. 예를 들면, 화상 압축 신장부(41)에서 화상 신호 DV1의 압축 처리를 행할 때에 얻어지는 움직임 벡터 MV를 이용해서 가중 계수 선택값 WS를 설정한다. 구체적으로는, 움직임 벡터 MV의 움직임량의 절대값(이하 「움직임 벡터 절대값」이라고 함) MVm을 임계값과 비교해서, 비교 결과에 따라서 가중 계수 선택값 WS를 결정한다. 임계값은, 화상 합성하는 프레임수에 상관없이 고정의 값을 이용하는 것으로 해도 되고, 화상 합성하는 프레임수에 따라서 임계값의 수를 변경하는 것으로 해도 된다. 예를 들면, 화상 합성하는 프레임수가 많을 때에는, 움직임 벡터 절대값 MVm에 따라서 다양한 가중 계수를 설정할 수 있도록, 임계값의 수를 많게 한다.
도 13의 (A)는, 예를 들면 240[fps]에서 촬상된 촬상 화상을 4프레임 단위로 화상 합성해서 60[fps]에서 재생하는 경우, 즉 재생 속도를 1배속으로 하였을 때의 가중 계수 선택값 WS를 도시하고 있다. 또한, 도 13의 (A)에서는 2개의 임계값 Mta1, Mta2가 설치되어 있다.
제어부(81)는, 움직임 벡터 절대값 MVm이 임계값 Mta1 미만일 때, 가중 계수 선택값 WS를 「Wa0」으로 한다. 또한, 제어부(81)는, 움직임 벡터 절대값 MVm이 임계값 Mta1 이상이고 임계값 Mta2 미만일 때, 가중 계수 선택값 WS를 「Wa1」로 한다. 또한, 제어부(81)는, 움직임 벡터 절대값 MVm이 임계값 Mtb2 이상일 때, 가 중 계수 선택값 WS를 「Wa2」로 한다.
도 13의 (B)는, 예를 들면 240[fps]에서 촬상된 촬상 화상을 2프레임 단위로 화상 합성해서 60[fps]에서 재생하는 경우, 즉 재생 속도를 (1/2)속으로 하였을 때의 가중 계수 선택값 WS를 도시하고 있다. 또한, 도 13의 (B)에서는, 1개의 임계값 Mtb1이 설정되어 있다.
제어부(81)는, 움직임 벡터 절대값 MVm이 임계값 Mtb1 미만일 때, 가중 계수 선택값 WS를 「Wb0」으로 한다. 또한, 제어부(81)는, 움직임 벡터 절대값 MVm이 임계값 Mtb1 이상일 때, 가중 계수 선택값 WS를 「Wb1」로 한다.
여기서 움직임 벡터 MV는 매크로 블록마다 검출되기 때문에, 제어부(81)는, 도 14에 도시하는 바와 같이, 화상 신호 DV3의 매크로 블록마다 움직임 벡터 절대값 MVm에 따라서 가중 계수 선택값 WS가 설정되게 된다. 또한, 도 14에서는, 화면의 주변 부분에서는 움직임이 작고, 중심측에 근접함에 따라서 서서히 움직임이 커지는 경우를 예시하고 있으며, 화면의 주변 부분의 매크로 블록에서는 가중 계수 선택값 WS가 「Wa0」으로 설정되고, 중심측에 근접한 매크로 블록에서는 가중 계수 선택값 WS가 「Wa1」로 설정되며, 중심측의 매크로 블록에서는 가중 계수 선택값 WS가 「Wa2」로 설정된다.
화상 합성부(21)의 가중 계수 생성부(212)는, 가중 계수 선택값 WS에 따른 가중 계수를 화상 합성하는 기간 내의 프레임마다 순차 출력한다. 도 15는, 가중 계수를 예시하고 있다. 도 15에서 「×1」은, 예를 들면 240[fps]에서 촬상된 촬상 화상을 4프레임 단위로 화상 합성해서 60[fps]에서 재생하는 경우, 즉 재생 속 도를 1배속으로 하였을 때의 가중 계수를 나타내고 있다. 이 경우, 4개의 프레임이 화상 합성되기 때문에, 화상 합성되는 4개의 프레임 a~d에 대하여 가중 계수를 설정한다.
또한, 도 15에서 「×1/2」는, 예를 들면 240[fps]에서 촬상된 촬상 화상을 2프레임 단위로 화상 합성해서 60[fps]에서 재생하는 경우, 즉 재생 속도를 (1/2)배로 하였을 때의 가중 계수를 나타내고 있다. 이 경우, 2개의 프레임이 화상 합성되기 때문에, 화상 합성되는 2개의 프레임 a, b에 대하여 가중 계수를 설정한다.
가중 계수 생성부(212)는, 가중 계수 선택값 WS가 「Wa0」일 때 화상 합성하는 프레임 a, b, c, d의 가중 계수를 「2」로 하고, 가중 계수 선택값 WS가 「Wb0」일 때 화상 합성하는 프레임 a, b의 가중 계수를 「2」로 한다. 즉, 움직임이 없거나 또는 움직임이 작은 부분의 화상은 가중치 부여가 동일하게 된다. 따라서, 화상 합성부(21)로부터 출력되는 화상 신호는, 화상 합성되는 어느 하나의 프레임의 화상에 노이즈가 중첩되어도, 순회 가산 후의 화상 신호가 제산 회로(214)에 의해 소정 신호 레벨 범위의 화상 신호로 되므로, 움직임이 없는 부분이나 움직임이 작은 부분의 노이즈가 저감된 화상 신호로 된다.
가중 계수 생성부(212)는, 가중 계수 선택값 WS가 「Wa1」일 때, 화상 합성하는 프레임 a, b, c, d의 가중 계수를 프레임 순으로 「1, 1, 3, 3」으로 하고, 가중 계수 선택값 WS가 「Wa2」일 때, 화상 합성하는 프레임 a, b, c, d의 가중 계수를 프레임 순으로 「1, 1, 2, 4」로 한다. 또한, 가중 계수 생성부(212)는, 가중 계수 선택값 WS가 「Wb1」일 때, 화상 합성하는 프레임 a, b의 가중 계수를 프 레임 순으로 「1, 3」으로 한다. 즉, 움직임이 큰 부분에 대해서는, 화상 합성하는 프레임에서, 가중치 부여가 큰 프레임과 이 프레임과 시간적으로 떨어져 있는 가중치 부여가 작은 것으로 된 프레임이 설치되도록 가중 계수가 설정된다. 또한, 움직임이 큰 부분일수록, 가중치 부여가 큰 프레임과 시간적으로 떨어져 있는 가중치 부여가 작은 프레임의 가중치 부여의 차가 크게 되도록 가중 계수가 설정된다. 이 때문에, 가중치 부여가 큰 것으로 된 프레임에 대하여, 시간적으로 떨어진 프레임 즉 피사체의 위치가 크게 상이한 프레임의 가중치 부여는 작은 것으로 되기 때문에, 가중치 부여를 동일하게 해서 화상 합성하는 경우에 비해서 움직임 불선명이 저감된 화상 신호로 된다.
또한, 제어부(81)는, 움직임 불선명이 저감되도록 화상 합성하는 각 프레임에 대하여 프레임간에서 차이를 발생한 가중 계수를 설정하는 처리를 유저가 지시한 경우에만 실행하도록 해서, 통상은, 화상 합성하는 프레임에서 가중 계수를 동일하게 하도록 하고, 표준 촬상 모드에서 촬상한 촬상 결과를 재생하는 경우와 마찬가지의 화질로 고속 촬상한 촬상 결과를 재생하도록 해도 된다.
또한, 제어부(81)는, 움직임이 큰 부분에서, 화상 합성하는 각 프레임에 대하여 프레임간에서 차이를 발생한 가중 계수를 설정하는 처리를 고속 촬상 모드에서의 기록 시에 실행하고, 재생 제어 정보 RJ에 가중 계수 선택값 혹은 가중 계수를 포함시키는 것으로 해도 된다. 이 경우, 재생 시에서의 가중 계수의 설정이 용이해진다. 예를 들면, 움직임 벡터 MV로부터 가중 계수를 설정하는 기능을 갖고 있지 않은 화상 재생 장치에서도, 움직임 불선명이 저감된 기준 프레임 레이트의 화상 신호를 출력하는 것이 가능하게 된다.
또한, 제어부(81)는, 기록 미디어(62)에 기록된 촬상 화상의 재생 시에 재생 제어 정보 RJ를 얻을 수 없는 경우, 화상 압축 신장부(41)에서 화상 신호 DV3을 이용한 움직임 검출을 행하고, 이 움직임 검출에 의해 얻어진 움직임 벡터 MV로부터 가중 계수 선택값 WS를 결정하는 것으로 해도 된다.
다음으로, 피사체의 움직임에 따라서 재생 속도를 제어하는 경우에 대해서 설명한다. 제어부(81)는, 유저의 지시에 따라 촬상 화상에서의 피사체의 움직임이 커지면 커질수록 재생 속도가 저하하도록 추천 재생 속도 SR을 결정하고, 이 추천 재생 속도 SR을 표시부(53)에 온 스크린 표시한다. 또한 유저가 추천 재생 속도 SR에 의한 재생을 지시한 경우, 제어부(81)는 추천 재생 속도 SR의 화상 신호 DV4를 생성하도록 각 부의 동작을 제어한다. 또한, 제어부(81)는, 팬이나 틸트 등의 카메라 워크에 의한 움직임의 영향을 받지 않도록 배경의 움직임을 검출해서, 이 배경의 움직임을 이용해서 배경에 대한 피사체의 상대적인 움직임의 크기를 산출해서, 산출한 피사체의 상대적인 움직임의 크기에 따라서 추천 재생 속도 SR을 결정한다.
도 16은 추천 재생 속도를 결정하는 처리를 설명하기 위한 도면이다. 제어부(81)는, 배경과 원하는 피사체의 움직임을 구별할 수 있게 하기 위해서, 촬상 화상에 대하여 틀 BF를 설정해서, 원하는 피사체가 위치하는 중앙 부분과 배경 부분에 상당하는 주변 부분 b로 촬상 화상을 구분한다. 또한, 제어부(81)는, 촬상 화상의 화상 신호를 이용해서 검출한 움직임 벡터 MV를 절대값화해서, 움직임의 크기 를 나타내는 움직임 벡터 절대값 MVm을 산출한다. 다음으로, 제어부(81)는, 움직임 벡터 절대값 MVm을 틀 BF의 내측과 외측으로 나누어 가산해서, 틀 BF의 내측의 움직임 벡터 절대값 MVm을 가산한 절대값합으로부터 틀 BF의 외측의 움직임 벡터 절대값 MVm을 가산한 절대값합을 수학식 1과 같이 감산해서 배경에 대한 원하는 피사체의 상대적인 움직임의 크기를 나타내는 판정값 MU를 산출한다.
MU = ∑(틀 내의 각 매크로 블록에 관한 움직임 벡터 절대값) - ∑(틀 외의 각 매크로 블록에 관한 움직임 벡터 절대값)
다음으로, 제어부(81)는, 판정값 MU와 임계값 AVt1, AVt2를 비교해서, 비교 결과에 기초하여 추천 재생 속도 SR을 결정한다. 도 17은, 판정값과 추천 재생 속도의 관계를 도시하는 도면이다.
제어부(81)는, 판정값 MU가 임계값 AVt1 미만일 때 추천 재생 속도 SR을 1배속(×1)인 「Fr0」으로 결정한다. 또한, 제어부(81)는, 판정값 MU가 임계값 AVt1 이상이고 임계값 AVt2 미만일 때 추천 재생 속도 SR을 「Fr1」로 결정한다. 또한, 제어부(81)는, 판정값 MU가 임계값 AVt2 이상일 때 추천 재생 속도 SR을 「Fr2」로 결정한다. 여기서, 고속 프레임 레이트의 화상 신호 DV1이 240[fps], 기준 프레임 레이트가 60[fps]인 경우, 제어부(81)는, 추천 재생 속도 SR이 「Fr2」일 때, 화상 신호 DV3의 프레임 레이트가 60[fps]으로 되도록 기록 미디어(62)로부터 화상 신호의 읽어냄을 행하고, 화상 신호 DV3을 화상 합성하지 않고 처리해서 재생 화상의 화상 신호로 하는 재생 속도, 즉 (1/4)배속을 추천 재생 속도 SR로 한다. 또한 제어부(81)는, 추천 재생 속도 SR이 「Fr1」일 때, 예를 들면 1배속과 (1/4)배속의 중간인 (1/2)배속을 추천 재생 속도 SR로 한다.
이와 같이 추천 재생 속도 SR을 설정하면, 배경에 대한 피사체의 상대적인 움직임의 크기가 작을 때에는 1배속의 재생 속도로 되고, 움직임이 커짐에 따라서 재생 속도가 느린 것으로 된다. 이 때문에, 추천 재생 속도 SR로 재생을 행하는 것으로 하면, 배경에 대하여 피사체의 움직임이 클 때에는 피사체의 움직임이 느려진 슬로우 모션 재생 화상으로 되고, 피사체의 움직임이 작을 때에는 피사체의 움직임이 실제의 움직임으로 되도록 자동적으로 재생 속도가 가변된다. 따라서, 유저는, 피사체의 움직임이 클 때에 피사체의 움직임을 느린 움직임으로 확인할 수 있게 슬로우 모션 재생 동작으로 절환하여, 피사체의 움직임이 작아졌을 때에 1배속 재생으로 절환하는 조작을 행할 필요가 없어, 유저의 편리성을 현격히 향상할 수 있다.
또한, 제어부(81)는, 추천 재생 속도 SR의 설정을 고속 촬상 모드에서의 기록 시에 실행해서, 재생 제어 정보 RJ에 추천 재생 속도 SR을 포함시키는 것으로 해도 된다. 이 경우, 재생 시에서의 추천 재생 속도 SR의 설정이 용이해진다. 예를 들면, 움직임 벡터 MV로부터 추천 재생 속도 SR을 설정하는 기능을 갖고 있지 않은 화상 재생 장치에서도 피사체의 움직임에 따라서 재생 속도를 자동적으로 가변할 수 있다.
또한, 제어부(81)는, 추천 재생 속도 SR의 설정을 고속 촬상 모드에서 기록된 화상의 재생 시에 실행하는 것으로 해도 된다. 이 경우, 제어부(81)는, 고속 촬상 모드에서의 기록 시에, 재생 제어 정보 RJ에 추천 재생 속도 SR을 포함시켜, 재생 제어 정보 RJ를 화상 신호 DV1과 대응시켜 기록 미디어(62)에 기록시킨다. 또한, 제어부(81)는, 고속 촬상 모드에서 기록된 화상의 재생 시에, 화상 신호와 화상 신호에 대응하는 재생 제어 정보 RJ를 읽어내어, 이 재생 제어 정보 RJ에서 나타내어진 추천 재생 속도 SR로 되도록 카메라 신호 처리부(20)에 공급하는 프레임 레이트를 제어한다.
또한, 제어부(81)는, 기록 미디어(62)에 기록된 촬상 화상의 재생 시에 재생 제어 정보 RJ를 얻을 수 없는 경우, 화상 압축 신장부(41)에서 화상 신호 DV3을 이용한 움직임 검출을 행하고, 이 움직임 검출에 의해 얻어진 움직임 벡터 MV로부터 추천 재생 속도 SR을 결정해서, 촬상 화상의 재생 속도를 제어하는 것으로 해도 된다.
도 18은, 촬상 장치(10) 및 화상 기록 장치(91)에서 화상 신호를 기록할 때의 동작을 도시하는 타임 차트이다. 또한, 도 18에서는, 움직임 벡터 MV에 기초하여 추천 재생 속도 SR을 결정해서, 이 추천 재생 속도 SR이 포함된 재생 제어 정보 RJ를 화상 신호에 대응시켜 기록하는 경우를 도시하고 있다.
도 18의 (A)는 기준 프레임 레이트인 60[fps]의 수직 동기 신호 VD이다. 도 18의 (B)는 촬상부(12)에서 화상 신호 DV1을 생성하기 위해서 이용하는 수직 동기 신호 VDc이다. 촬상 장치(10)는, 수직 동기 신호 VDc에 동기해서 이미지 센서(121), AFE(122), ADC(123), 보정 처리부(124), 검파부(71)를 동작시켜, 도 18의 (C)에 도시하는 화상 신호 DV1을 생성시킨다. 또한, 도 18의 (C)에서는, 연속한 숫자로 각 프레임을 나타내고 있다.
도 18의 (H)는, 카메라 신호 처리부(20)나 화상 압축 신장부(41), 화상 출력부(51), 표시 처리부(52), 표시부(53)에서의 동작이 기준으로 되는 기준 프레임 레이트의 수직 동기 신호 VDs이다. 또한, 수직 동기 신호 VDh, VDs는, 수직 동기 신호 VD에 동기한 신호로 되어 있다.
표준 촬상 모드 일 때, 촬상부(12)는, 기준 프레임 레이트로 되어 있는 수직 동기 신호 VDc에 동기한 화상 신호 DV1의 프레임 「0」의 신호를 생성한다. 카메라 신호 처리부(20)는, 화상 신호 DV1이 기준 프레임 레이트로 되어 있기 때문에, 화상 합성을 제외한 다른 카메라 신호 처리를 행한다. 이 카메라 신호 처리부(20)로부터 출력되는 화상 신호 DV2의 프레임 「0」의 신호를, 표시 처리부(52)를 통해서 표시부(53)에 공급함으로써, 도 18의 (J)에 도시하는 바와 같이, 표시부(53)에 공급되는 표시 화상 신호 DH나 화상 출력부(51)로부터의 출력 화상 신호 DVout는, 프레임 「0」의 화상을 표시하는 것으로 된다.
고속 촬상 모드일 때, 촬상부(12)는, 60[fps]의 4배인 240[fps]의 수직 동기 신호 VDc에 동기한 화상 신호 DV1의 프레임 「1」「2」…의 신호를 생성한다. 카메라 신호 처리부(20)는, 화상 신호 DV1이 고속 프레임 레이트로 되어 있기 때문에, 화상 합성을 행하여 기준 프레임 레이트의 화상 신호로 변환한다.
도 18의 (D)~(G)는, 카메라 신호 처리부(20)의 화상 합성부(21)에서 행하여지는 화상 합성을 설명하기 위한 신호이다. 도 18의 (D)는 프레임 메모리부(31)의 뱅크(312a)에 기입되는 화상 신호 Dfwa, 도 18의 (E)는 프레임 메모리부(31)의 뱅 크(312a)로부터 읽어내어지는 화상 신호 Dfra, 도 18의 (F)는 프레임 메모리부(31)의 뱅크(312b)에 기입되는 화상 신호 DRvb, 도 18의 (G)는 프레임 메모리부(31)의 뱅크(312b)로부터 읽어내어지는 화상 신호 Dfrb를 각각 도시하고 있다.
화상 합성부(21)는 프레임 「1」의 신호를 뱅크(312a)에 기억시킨다. 다음의 프레임에서 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 프레임 「1」의 신호를 읽어내어 프레임 「2」의 신호와 가산해서, 순회 가산 프레임 「2'」의 신호를 뱅크(312a)에 기억시킨다. 또한 도 18의 (D)~(G)에서는, 화상 합성이 행하여진 순회 가산 프레임에 대하여 숫자에 「'」를 부가하고 있다.
화상 합성부(21)는, 이와 같이 순회 가산에 의해 화상 합성을 행하고, 기준 프레임 기간 분의 화상 합성이 완료하였을 때, 즉 프레임 「1」~「4」를 순회 가산한 순회 가산 프레임 「4'」의 신호가 뱅크(312a)에 기억되었을 때, 화상 신호의 기입을 뱅크(312a)로부터 뱅크(312b)로 절환한다. 또한, 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 4프레임 분의 화상 합성 후의 신호를 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 수직 동기 신호 VDs에 동기해서 읽어내어 윤곽 보정 등의 카메라 신호 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다.
화상 합성부(21)는 프레임 「5」의 신호를 뱅크(312b)에 기억시킨다. 다음의 프레임에서 화상 합성부(21)는, 뱅크(312b)에 기억되어 있는 프레임 「5」의 신호를 읽어내어 프레임 「6」의 신호와 가산해서, 순회 가산 프레임 「6'」의 신호를 뱅크(312b)에 기억시킨다. 화상 합성부(21)는, 프레임 「5」~「8」을 순회 가 산한 순회 가산 프레임 「8'」의 신호가 뱅크(312b)에 기억되었을 때, 화상 신호의 기입을 행하는 뱅크를 뱅크(312a)로 절환해서, 뱅크(312b)에 기억되어 있는 4프레임 분의 화상 합성 후의 신호를 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 기준 프레임 기간에서 읽어내어 윤곽 보정 등의 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다. 이하 마찬가지로 처리하면, 도 18의 (J)에 도시하는 바와 같이, 고속 촬상 모드로 되어 있을 때라도, 기준 프레임 레이트로의 화상 표시나 화상 출력을 행할 수 있다.
또한, 기록 조작이 행하여지고 있을 때, 제어부(81)는, 표준 촬상 모드에서 생성된 화상 신호 예를 들면 프레임 「0」의 신호를 압축 처리해서 기록 미디어(62)에 기록하고, 고속 촬상 모드에서 생성된 화상 신호 예를 들면 프레임 「1」「2」…의 신호를 카메라 신호 처리나 압축 처리를 행하는 일 없이 기록 미디어(62)에 기록한다.
또한, 제어부(81)는, 고속 촬상 모드일 때, 카메라 신호 처리부(20)로부터 출력되는 화상 신호를 화상 압축 신장부(41)에서 처리시켜, 화상 압축 신장부(41)에서 생성된 움직임 정보에 기초하여, 도 18의 (I)에 도시하는 추천 재생 속도 SR을 결정해서, 이 추천 재생 속도 SR을 포함하는 재생 제어 정보 RJ를 고속 촬상 모드에서 생성된 화상 신호와 대응지어 기록 미디어(62)에 기록한다. 또한, 도시하지 않지만, 재생 시에 가중 계수를 설정하는 경우에는, 가중 계수 선택값 WS를 재생 제어 정보 RJ에 포함시켜, 화상 신호와 대응지어 기록 미디어(62)에 기록한다.
도 19는, 촬상 장치(10) 및 화상 재생 장치(90)에서 기록 미디어(62)에 기록 되어 있는 화상을 생성할 때의 동작을 도시하는 타임 차트이다. 또한, 도 19에서는, 추천 재생 속도에 의한 재생을 유저가 지시한 경우를 도시하고 있다.
도 19의 (A)는, 기준 프레임 레이트인 60[fps]의 수직 동기 신호 VD이다. 도 19의 (B)는, 기록 미디어(62)로부터 화상 신호와 함께 읽어내어진 추천 재생 속도 SR을 도시하고 있다. 도 19의 (C)는, 기록 미디어(62)로부터 읽어내는 화상 신호의 수직 동기 신호 VDr을 도시하고 있다. 또한, 도 19의 (I)는, 카메라 신호 처리부(20)나 화상 압축 신장부(41), 화상 출력부(51), 표시 처리부(52), 표시부(53)에서의 동작의 기준으로 되는 기준 프레임 레이트의 수직 동기 신호 VDs이다.
읽어낸 추천 재생 속도 SR이 1배속(×1)인 「Fr0」일 때, 제어부(81)는, 화상 신호 DV3을 기록 시의 프레임 레이트, 즉 화상 신호 DV3을 240[fps]으로서 카메라 신호 처리부(20)에 공급한다. 도 19의 (D)는, 화상 신호 DV3을 도시하고 있다.
제어부(81)는, 화상 신호 DV3이 고속 촬상 모드에서 기록되어 있기 때문에, 카메라 신호 처리부(20)에서 화상 합성을 행하게 해서 기준 프레임 레이트의 화상 신호를 생성시킨다.
도 19의 (E)~(H)는, 카메라 신호 처리부(20)의 화상 합성부(21)에서 행하여지는 화상 합성을 설명하기 위한 신호이다. 도 19의 (E)는 프레임 메모리부(31)의 뱅크(312a)에 기입되는 화상 신호 Dfwa, 도 19의 (F)는 프레임 메모리부(31)의 뱅크(312a)로부터 읽어내어지는 화상 신호 Dfra, 도 19의 (G)는 프레임 메모리부(31)의 뱅크(312b)에 기입되는 화상 신호 DRvb, 도 19의 (H)는 프레임 메모리부(31)의 뱅크(312b)로부터 읽어내어지는 화상 신호 Dfwb를 각각 도시하고 있다.
화상 합성부(21)는, 상술한 바와 같이 화상 합성을 행하고, 기준 프레임 기간 분의 화상 합성이 완료하였을 때, 즉 프레임 「1」~「4」를 화상 합성한 순회 가산 프레임 「4'」의 신호가 뱅크(312a)에 기억되었을 때, 화상 신호의 기입을 행하는 뱅크를 뱅크(312a)로부터 뱅크(312b)로 절환한다. 또한, 화상 합성에서는, 움직임 정보에 따라서 가중 계수가 설정되어, 설정된 가중 계수로 순회 가산되는 프레임의 가중치 부여가 행하여진다. 또한, 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 4프레임 분의 화상 합성 후의 신호를 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 수직 동기 신호 VDs에 동기해서 읽어내어 윤곽 보정 등의 카메라 신호 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다. 도 19의 (J)는, 표시부(53)에 공급되는 표시 화상 신호 DH나 화상 출력부(51)로부터 출력 화상 신호 DVout를 도시하고 있다.
다음으로, 읽어낸 추천 재생 속도 SR이 (1/2)배속인 「Fr1(×1/2)」일 때, 제어부(81)는, 화상 신호 DV3을 기록 시의 (1/2)배의 프레임 레이트, 즉 화상 신호 DV3을 120[fps]으로서 카메라 신호 처리부(20)에 공급한다. 이 때도 화상 신호 DV3의 프레임 레이트는 기준 프레임 레이트보다도 높기 때문에, 제어부(81)는, 카메라 신호 처리부(20)에서 화상 합성을 행하게 하여, 기준 프레임 레이트의 화상 신호를 생성시킨다.
즉, 화상 합성부(21)는 프레임 「9」의 신호를 뱅크(312a)에 기억시킨다. 다음의 프레임에서 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 프레임 「9」의 신호를 읽어내어 프레임 「10」의 신호와 가산해서, 순회 가산 프레임 「10'」 의 신호를 뱅크(312a)에 기억시킨다.
화상 합성부(21)는, 기준 프레임 기간 분의 화상 합성이 완료하였을 때, 즉 프레임 「9」, 「10」의 화상 합성이 행하여진 순회 가산 프레임 「10'」의 신호가 뱅크(312a)에 기억되었을 때, 화상 신호의 기입을 행하는 뱅크를 뱅크(312a)로부터 뱅크(312b)로 절환한다. 또한, 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 2프레임 분의 화상 합성 후의 신호를 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 수직 동기 신호 VDs에 동기해서 읽어내어 윤곽 보정 등의 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다.
다음으로, 읽어낸 추천 재생 속도 SR이 (1/4)배속인 「Fr2(×1/4)」일 때, 제어부(81)는, 화상 신호 DV3을 기록 시의 (1/4)배의 프레임 레이트, 즉 화상 신호 DV3을 60[fps]으로서 카메라 신호 처리부(20)에 공급한다. 이 때, 화상 신호 DV3의 프레임 레이트는 기준 프레임 레이트이기 때문에, 제어부(81)는, 카메라 신호 처리부(20)에서 화상 합성을 행하지 않고, 윤곽 보정 등의 카메라 신호 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다. 또한, 카메라 신호 처리부(20)는, 화상 합성을 행할 때 기준 프레임 기간 분의 화상 합성이 행하여진 화상 신호를 다음의 기준 프레임 기간에서 읽어내는 것이기 때문에, 화상 합성 후의 신호는, 화상 신호 DV3에 대하여 1프레임 지연진 것으로 되어 있다. 따라서, 화상 신호 DV3이 기준 프레임 레이트일 때, 제어부(81)는, 화상 신호 DV3을 뱅크(312a) 또는 뱅크(312b)에 기입하고, 기입된 화상 신호를 다음의 기준 프레임 기간에서 읽어내도록 제어해서, 추천 재생 속도 SR의 절환이 행하여져도 각 프레임의 화상 신호 DV3을 이용해서 화상의 재생을 순차 행하게 한다.
이와 같이, 추천 재생 속도 SR로 재생 동작을 행하는 것으로 하면, 움직임이 작을 때에는 화상 신호 DV3이 4프레임 단위로 화상 합성되어, 기준 프레임 레이트의 화상으로 되므로, 표시 또는 출력되는 화상은 자동적으로 1배속의 재생 화상으로 된다. 또한, 움직임이 커짐에 따라서, 화상 신호 DV3의 프레임 레이트가 느려짐과 함께 화상 합성되는 프레임수도 적어지므로, 표시 또는 출력되는 화상은 자동적으로 슬로우 모션인 재생 화상으로 된다.
또한, 제어부(81)는, 움직임이 작을 때 가중 계수를 동일하게 설정하고, 움직임이 클 때에는 화상 합성에 의한 움직임 불선명이 적어지도록 화상 합성하는 프레임간에서 차이를 발생한 가중 계수로 설정한다. 따라서, 움직임이 작은 부위는 노이즈가 저감된 화상으로 되고, 움직임이 큰 부위는 화상 합성을 행해도 불선명이 적은 화상으로 된다.
도 20은, 기록 미디어(62)로부터 읽어낸 화상 신호를 이용해서 움직임 검출을 행하여, 추천 재생 속도를 설정하고, 이 추천 재생 속도에 의한 재생을 유저가 지시한 경우의 타이밍 차트를 도시하고 있다.
도 20의 (A)는, 기준 프레임 레이트인 60[fps]의 수직 동기 신호 VD이다. 도 20의 (B)는, 기록 미디어(62)로부터 읽어내는 화상 신호의 수직 동기 신호 VDr을 도시하고 있고, 수직 동기 신호 VDr은, 기록되어 있는 화상 신호의 프레임 레이트인 240[fps]의 프레임 주기로 되어 있다. 또한, 도 20의 (I)는, 카메라 신호 처리부(20)나 화상 압축 신장부(41), 화상 출력부(51), 표시 처리부(52), 표시부(53) 에서의 동작의 기준으로 되는 기준 프레임 레이트의 수직 동기 신호 VDs이다.
도 20의 (D)는 카메라 신호 처리부와 화상 압축 신장부(41)에 공급되는 화상 신호 DV3, 도 20의 (C)는, 화상 신호 DV3을 이용해서 움직임 검출을 행함으로써 결정된 추천 재생 속도 SR을 도시하고 있다.
기록 재생 처리부(61)는, 기록 미디어(62)로부터 화상 신호의 읽어냄을 행하고, 수직 동기 신호 VD와 수직 동기 신호 VDr에 동기해서 1프레임 분의 화상 신호 DV3을 주목 프레임의 화상 신호로서 카메라 신호 처리부(20)과 화상 압축 신장부(41)에 공급한다. 화상 압축 신장부(41)는, 수직 동기 신호 VD, VDr에 동기해서 공급된 주목 프레임의 화상 신호와, 이 프레임보다도 예를 들면 1프레임 전인 참조 프레임의 화상 신호를 이용해서 움직임 검출을 행하여 움직임 벡터 MV를 검출한다. 제어부(81)는, 검출된 움직임 벡터 MV에 기초하여, 이 주목 프레임이 포함되는 기준 프레임 기간의 추천 재생 속도 SR과 가중 계수 선택값 WS를 결정한다.
예를 들면 화상 압축 신장부(41)는, 주목 프레임인 프레임 「1」의 화상 신호와 참조 프레임인 프레임 「0」의 화상 신호를 이용해서 움직임 검출을 행하고, 움직임 벡터 MV를 검출한다. 제어부(81)는, 이 움직임 벡터 MV에 기초하여, 프레임 「1」이 포함되는 기준 프레임 기간의 추천 재생 속도 SR을 결정한다. 여기서, 검출한 움직임 벡터 MV에 기초해서 산출한 판정값 MU가 임계값 AVt1 미만일 때, 제어부(81)는, 프레임 「1」이 포함되는 기준 프레임 기간의 추천 재생 속도 SR을 1배속(×1)인 「Fro」로 한다. 1배속일 때에는, 화상 신호 DV3의 4프레임 분을 화상 합성하기 때문에, 제어부(81)는 기록 재생 처리부(61)를 제어해서, 프레임 「1 」에 계속되는 3프레임의 화상 신호를 카메라 신호 처리부(20)와 화상 압축 신장부(41)에 공급한다.
도 20의 (E)~(H)는, 카메라 신호 처리부(20)의 화상 합성부(21)에서 행하여지는 화상 합성을 설명하기 위한 신호이다. 도 20의 (E)는 프레임 메모리부(31)의 뱅크(312a)에 기입되는 화상 신호 Dfwa, 도 20의 (F)는 프레임 메모리부(31)의 뱅크(312a)로부터 읽어내어지는 화상 신호 Dfra, 도 20의 (G)는 프레임 메모리부(31)의 뱅크(312b)에 기입되는 화상 신호 Dfwb, 도 20의 (H)는 프레임 메모리부(31)의 뱅크(312b)로부터 읽어내어지는 화상 신호 Dfwb를 각각 도시하고 있다.
화상 합성부(21)는, 상술한 바와 같이 화상 합성을 행하고, 기준 프레임 기간 분의 화상 합성이 완료하였을 때, 즉 프레임 「1」~「4」를 화상 합성한 순회 가산 프레임 「4'」의 신호가 뱅크(312a)에 기억되었을 때, 화상 신호의 기입을 행하는 뱅크를 뱅크(312a)로부터 뱅크(312b)로 절환한다. 또한, 화상 합성에서는, 검출된 움직임 벡터에 기초해서 결정된 가중 계수 선택값 WS에 따라서 가중 계수가 설정되어, 설정된 가중 계수에서 순회 가산되는 프레임의 가중치 부여가 행하여진다. 또한, 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 4프레임 분의 화상 합성 후의 신호를, 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 수직 동기 신호 VDs에 동기해서, 다음의 기준 프레임 기간에서 읽어내어 윤곽 보정 등의 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다. 도 20의 (J)는 표시부(53)에 공급되는 표시 화상 신호 DH나 화상 출력부(51)로부터 출력되는 출력 화상 신호 DVout를 도시하고 있다. 또한, 가중 계수 선택값 WS를 결정할 때, 이미 순회 가산하는 1프레임째의 화상 신호가 뱅크에 기억된다. 이 때문에, 가중 계수 선택값 WS에 따라서 선택되는 움직임 계수에서 최초의 프레임의 계수를 동일하게 해 두면, 2번째의 프레임 이후의 움직임 계수를 조정해서, 움직임 불선명을 경감시킬 수 있다. 예를 들면 도 15에서, 가중 계수 선택값 WS가 「Wa0」일 때의 계수를 「1, 1, 1, 1」로 해서, 도 4에 도시하는 제산 회로(214)에서는, 가중 계수 선택값 WS가 「Wa0」일 때, 프레임 메모리부(31)로부터 공급된 화상 신호의 신호 레벨을 (1/4)배 한다. 이와 같이 하면, 프레임 a의 계수는 가중 계수 선택값 WS가 「Wa0」「Wa1」「Wa2」 중 어느 쪽이든 「1」로 되므로, 이미 순회 가산하는 1프레임째의 화상 신호가 뱅크에 기억되어도, 움직임이 없는 부분이나 움직임이 작은 부분의 노이즈나 움직임이 큰 부분의 움직임 불선명을 저감시킬 수 있다.
다음으로, 주목 프레임인 프레임 「5」의 화상 신호와 참조 프레임인 프레임 「4」의 화상 신호를 이용해서 움직임 검출을 행하고, 검출된 움직임 벡터 MV에 기초하여 프레임 「5」가 포함되는 기준 프레임 기간의 추천 재생 속도 SR이 1배속(×1)인 「Fro」로 결정되면, 뱅크(312b)를 이용해서 4프레임의 순회 가산이 행하여져, 표시 화상 신호 DH의 생성이나 출력 화상 신호 DVout의 출력이 행하여진다.
다음으로, 주목 프레임인 프레임 「9」의 화상 신호와 참조 프레임인 프레임 「8」의 화상 신호를 이용해서 움직임 검출을 행하고, 검출된 움직임 벡터 MV에 기초하여 프레임 「8」이 포함되는 기준 프레임 기간의 추천 재생 속도 SR을 결정한다. 여기서, 판정값 MU가 임계값 AVt1 이상이고 임계값 AVt2 미만일 때는, 프레임 「8」이 포함되는 기준 프레임 기간의 추천 재생 속도 SR을 (1/2)배속 「×1/2」인 「Fr1」로 한다. (1/2)배속일 때에는, 화상 신호 DV3의 2프레임 분을 화상 합성하기 때문에, 제어부(81)는 기록 재생 처리부(61)를 제어해서, 프레임 「8」에 계속되는 1프레임 분의 화상 신호를 카메라 신호 처리부(20)와 화상 압축 신장부(41)에 공급한다.
화상 합성부(21)는, 화상 합성을 행해서 기준 프레임 기간 분의 화상 합성이 완료하였을 때, 즉 프레임 「9」「10」을 화상 합성한 회 가산 프레임 「10'」의 신호가 뱅크(312a)에 기억되었을 때, 화상 신호의 기입을 행하는 뱅크를 뱅크(312a)로부터 뱅크(312b)로 절환한다. 화상 합성에서는, 검출된 움직임 벡터에 기초해서 결정된 가중 계수 선택값 WS에 따라서 설정된 가중 계수에서 순회 가산되는 프레임의 가중치 부여가 행하여진다. 또한, 화상 합성부(21)는, 뱅크(312a)에 기억되어 있는 2프레임 분의 화상 합성 후의 신호를 제산 회로에서 소정 레벨 범위의 신호로 복귀시키면서 수직 동기 신호 VDs에 동기해서 다음의 기준 프레임 기간에서 읽어내어 윤곽 보정 등의 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다.
또한, 주목 프레임인 프레임 「13」의 화상 신호와 참조 프레임인 프레임 「12」의 화상 신호를 이용해서 움직임 검출을 행하고, 검출된 움직임 벡터 MV에 기초하는 판정값 MU가 임계값 AVt2 이상일 때에는, 프레임 「13」이 포함되는 기준 프레임 기간의 추천 재생 속도 SR을 (1/4)배속 「×1/4」인 「Fr2」로 한다. (1/4)배속일 때에는, 화상 신호 DV3의 화상 합성을 행하지 않기 때문에, 뱅 크(312a)에 기억된 프레임 「13」의 화상 신호를 수직 동기 신호 VDs에 동기해서 다음의 기준 프레임 기간에서 읽어내어 윤곽 보정 등의 카메라 신호 처리를 행한 후, 화상 출력부(51)나 표시 처리부(52)를 통해서 표시부(53)에 공급한다.
이와 같이, 기록 미디어(62)로부터 읽어낸 화상 신호를 이용해서 움직임 검출을 행하고, 움직임 검출 결과에 기초하여 추천 재생 속도 SR이나 가중 계수 선택값 WS를 결정하면, 재생 제어 정보 RJ가 기록 미디어(62)에 기록되어 있지 않아도, 움직임이 작을 때에는 화상 신호 DV3이 4프레임 단위로 화상 합성되어, 기준 프레임 레이트의 화상으로 되므로, 표시 또는 출력되는 화상은 자동적으로 1배속의 재생 화상으로 된다. 또한, 움직임이 커짐에 따라서, 화상 신호 DV3의 프레임 레이트가 느려짐과 함께 화상 합성되는 프레임수도 적어지므로, 표시 또는 출력되는 화상은 자동적으로 슬로우 모션인 재생 화상으로 된다.
또한, 움직임이 작을 때에는 가중 계수를 동일하게 해서 화상 합성이 행하여지고, 움직임이 클 때에는 합성 후의 화상에서 움직임 불선명이 저감되도록 화상 합성하는 프레임간에서 차이를 발생한 가중 계수가 설정된다. 따라서, 재생 화상에서 움직임이 작은 부위는 노이즈가 저감된 화상으로 되고, 움직임이 큰 부위는 화상 합성을 행해도 불선명이 적은 화상으로 된다.
이와 같이, 상술한 실시 형태에 따르면, 촬상 화상에서의 피사체의 움직임에 따라서 추천 재생 속도가 결정되므로, 추천 재생 속도로 재생을 행하는 것으로 하면, 피사체의 움직임이 큰 촬상 화상이 기록되어 있는 위치를 유저가 검색해서 슬로우 모션 재생을 행하지 않아도, 피사체의 움직임이 클 때에는 자동적으로 재생 속도가 저하되어 슬로우 모션 재생 화상이 표시되게 되어, 유저의 사용 편의성을 향상할 수 있다.
또한, 촬상 기회를 놓치는 일 없이 시간 해상도가 높은 슬로우 모션 재생 화상을 얻을 수 있도록, 고속 촬상 모드에서의 기록 동작을 사전에 개시하면, 고속 촬상 모드에서 기록된 촬상 화상의 재생 속도를 느리게 해서 슬로우 모션 재생 화상을 얻는 것으로 한 경우, 원하는 움직임이 슬로우 모션 화상으로서 표시될 때까지의 대기 시간이 매우 길어지게 된다. 그러나, 본원 발명에 따르면, 움직임이 작을 때에는 예를 들면 1배속으로 재생이 행하여지고, 움직임이 클 때에는 자동적으로 재생 속도가 저하되어 슬로우 모션 재생 화상으로 되므로, 원하는 움직임이 슬로우 모션 화상으로서 표시될 때까지의 대기 시간이 길어지게 되는 것을 방지할 수 있다.
또한, 기준 프레임 기간 분의 화상 신호를 화상의 움직임에 따라서 가중치 부여해서 가산 처리에 의해, 고속 프레임 레이트의 화상 신호가 기준 프레임 레이트의 화상 신호로 변환되므로, 정지 부분이나 움직임이 작은 부분의 SN비가 개선되어, 움직임이 큰 부분에서는 불선명이 방지된, 고화질의 슬로우 모션 화상을 얻을 수 있다.
또한, 움직임 검출에 의해 움직임 벡터를 구하여, 이 움직임 벡터의 움직임량에 따라서 가중치 부여나 추천 재생 속도가 결정되므로, 간이하게 또한 확실하게 가중치 부여나 추천 재생 속도를 결정할 수 있다.
또한, 상술한 촬상 장치에서는, 표준 촬상 모드일 때, 화상 신호 DV1을 압축 처리해서 기록 미디어에 기록하므로, 기록하는 촬상 화상의 신호량을 삭감할 수 있다. 또한, 화상 신호 DV1을 압축 처리하는 화상 압축 신장부(41)에서 얻어진 움직임 벡터로부터 재생 제어 정보 RJ가 생성되므로, 재생 제어 정보 RJ를 생성하기 위해서 움직임 검출부를 별개로 설치할 필요가 없어, 촬상 장치의 구성이 간단하여 코스트 업을 억제할 수 있다.
또한, 상술한 촬상 장치는, 촬상 화상의 기록 재생을 행하는 것에 한하지 않는다. 예를 들면, 고속 프레임 레이트의 화상 신호와 재생 제어 정보 RJ를 대응지어 화상 출력부(51)로부터 출력하도록 해도 된다.
또한, 상술한 촬상 장치에서는, 기준 프레임 레이트의 화상 신호를 이용해서 카메라 신호 처리나 압축 처리를 행하는 경우를 설명하였지만, 카메라 신호 처리부나 화상 압축 신장부의 처리 능력이 높고, 고속 프레임 레이트의 화상 신호를 이용해서 카메라 신호 처리나 압축 처리를 행하는 것이 가능한 경우에는, 카메라 신호 처리된 고속 프레임 레이트의 화상 신호나 이 화상 신호를 압축 처리해서, 기록 미디어(62)에 기록 또는 화상 출력부(51)로부터 출력하도록 해도 된다.
또한, 상술한 실시 형태에서는, 화상 압축 신장부(41)에서 압축 처리를 행할 때에 생성한 움직임 벡터를 피사체의 움직임 검출의 결과로서 이용하는 것으로 하였지만, 움직임 검출은, 예를 들면, 화면 내의 움직임량의 평균에 대한 분산의 크기를 구하는 방법 등, 여러 가지의 방법을 널리 적용할 수 있다.
도 21은, 본 발명의 다른 실시 형태를 도시하는 블록도이다. 촬상 장치(95)는, 모니터용과 외부 출력용으로 2계통의 카메라 신호 처리부(20a, 20b)가 설치된 다. 촬상 장치(95)는, 이 2계통의 카메라 신호 처리부(20a, 20b)에 관한 구성이 상이한 점을 제외하고, 촬상 장치(10)와 동일하게 구성된다.
촬상 장치(95)는, 예를 들면 홈 네트워크(96)를 통해서 디스플레이 장치(97)와 접속된다. 촬상 장치(95)에서 제어부(81)는, 화상 출력부(51)를 통한 접속 시의 데이터 통신에 의해, 디스플레이 장치(97)의 입력 가능한 최대의 프레임 레이트(프레임 주파수)를 검출한다. 또한 최대 프레임 레이트의 검출은, 접속 시에 실행되는 촬상 장치(95)와 디스플레이 장치(97) 사이의 데이터 통신 처리에서, 디스플레이 장치(97)로부터 디스플레이 장치(97)의 재생 제어 정보를 취득함으로써 실행된다.
제어부(81)는, 이 취득한 최대 프레임 레이트의 화상 신호를 화상 출력부(51)로부터 출력하도록, 외부 출력용의 카메라 신호 처리부(20b)로부터 출력하는 화상 신호 DV2b, DV4b의 프레임 레이트를 절환한다.
즉 디스플레이 장치(97)에서의 최대 프레임 레이트가 60[fps](최대 프레임 주파수가 60[Hz])인 경우, 카메라 신호 처리부(20)와 동일하게 카메라 신호 처리부(20b)의 동작을 제어하여, 60[fps]의 화상 신호 DV2b, DV4b를 출력한다.
디스플레이 장치(97)에서의 최대 프레임 레이트가 120[fps]인 경우, 240[fps]으로 기록 미디어(62)로부터 재생한 화상 신호 DV3, 및 고속 촬상 모드에서 얻어지는 화상 신호 DV1에 대해서는, 연속하는 2프레임의 순회 가산을 행해서 생성된 120[fps]의 화상 신호 DV2b, DV4b를 디스플레이 장치(97)에 출력한다.
또한 120[fps]으로 기록 미디어(62)로부터 재생한 화상 신호 DV3에 대해서 는, 프레임 레이트를 저감하지 않고, 카메라 신호 처리부(20b)에서 처리해서 디스플레이 장치(97)에 출력한다. 또한 60[fps]으로 기록 미디어(62)로부터 재생한 화상 신호 DV3, 표준 촬상 모드에서 촬상부(12)로부터 출력되는 화상 신호 DV1에 대해서는, 뱅크(312a, 312b)를 교대로 사용해서 동일 프레임의 화상 신호를 반복하여 출력함으로써, 120[fps]으로 업컨버트해서 디스플레이 장치(97)에 출력한다.
또한, 업컨버트의 처리는, 간단히 동일 프레임을 반복하는 처리 대신에, 움직임 벡터를 이용한 움직임 보상에 의해 프레임 보간하는 경우 등, 여러 가지의 방법을 널리 적용할 수 있다. 또한 업컨버트 대신에, 촬상부(12)의 동작을 절환해서, 120[fps]의 화상 신호 DV1을 생성하도록 해도 된다.
모니터측의 카메라 신호 처리부(20a)는, 기록 미디어(62)로부터 재생한 화상 신호 DV3을 입력하고, 표시 처리부(52), 표시부(53)에 대응한 프레임 레이트인 60[fps]으로 출력한다.
또한, 카메라 신호 처리부 자체를 2계통 설치하는 대신에, 화상 합성부(21)만 2계통 설치하도록 해도 된다. 단, 이 경우, 감마 처리 등을 처음에 실행하고, 마지막으로 화상 합성 처리를 실행하게 된다.
이와 같이, 적어도 외부 기기의 대응 가능한 프레임 레이트보다 높은 프레임 레이트로, 기록 매체로부터 고속 촬상 모드에서 기록된 촬상 화상을 재생하는 경우에, 이 외부 기기에 따라서 외부 기기가 대응 가능한 프레임 레이트로 저감해서 출력함으로써, 한층 더 고화질로 촬상 결과를 출력할 수 있다.
그런데 홈 네트워크 등의 네트워크를 통해서 화상 신호를 전송하는 경우, 이 네트워크를 통해서 다른 기기가 신호의 전송을 행하고 있는 경우도 예측되며, 네트워크의 전송 속도가 낮은 경우에, 리얼타임으로 화상 신호를 전송할 수 없게 되는 경우도 있다. 따라서, 기록 미디어(62)로부터 읽어낸 화상 신호를 디스플레이 장치(97)에 출력하는 경우, 추천 재생 속도에 대응하도록 디스플레이 장치(97)에 출력하는 화상 신호의 프레임 레이트를 동적으로 절환하고, 불필요하게 높은 프레임 레이트로 화상 신호 DV4b가 디스플레이 장치(97)에 출력되지 않도록 한다. 또한 이 실시 형태에서는, 디스플레이 장치(97)에 출력하는 화상 신호의 프레임 레이트가 상이한 점을 제외하고, 상술한 촬상 장치(10)와 동일하게 구성된다.
제어부(81)는, 고속 촬상 모드에서, 화상 압축 신장부(41)에서 검출되는 움직임 벡터를 이용해서, 추천 재생 속도를 결정한다. 또한 이 결정된 추천 재생 속도가 1배속인 경우, 프레임 레이트가 240[fps]인 화상 신호 DV1의 연속하는 4프레임을 카메라 신호 처리부(20b)에서 순차적으로 화상 합성해서, 프레임 레이트가 60[fps]인 화상 신호 DV2b를 생성하고, 이 화상 신호 DV2b를 디스플레이 장치(97)에 출력한다.
추천 재생 속도가 (1/2)배속인 경우, 프레임 레이트가 240[fps]인 화상 신호 DV1의 연속하는 2프레임을 카메라 신호 처리부(20b)에서 순차적으로 화상 합성해서, 프레임 레이트가 120[fps]인 화상 신호 DV2b를 생성하고, 이 화상 신호 DV4b를 디스플레이 장치(97)에 출력한다. 또한 추천 재생 속도가 (1/4)배속인 경우, 프레임 레이트가 240[fps]인 화상 신호 DV1을 카메라 신호 처리부(20b)에서 전혀 프레임 레이트를 저감하지 않고, 240[fps]의 화상 신호 DV2b를 디스플레이 장치(97)에 출력한다.
고속 촬상 모드에서 기록 미디어(62)에 기록한 촬상 화상의 재생 시, 유저가 1배속의 재생을 지시하고 있는 경우에는, 화상 신호 DV3의 프레임 레이트가 240[fps]으로 되도록 기록 미디어(62)로부터 읽어냄을 행한다. 또한, 추천 재생 속도에 따라서, 이 재생한 화상 신호 DV3의 프레임 레이트를 카메라 신호 처리부(20b)에서 변환한다. 따라서, 이 경우도, 추천 재생 속도가 1배속, (1/2)배속, (1/4)배속인 경우에, 카메라 신호 처리부(20b)에서 각각 프레임 레이트가 60[fps], 120[fps], 240[fps]인 화상 신호 DV4b를 생성해서 디스플레이 장치(97)에 출력한다.
고속 촬상 모드에서 기록 미디어(62)에 기록한 화상 신호의 재생 시, 유저가 (1/2)배속의 재생을 지시하고 있는 경우에는, 화상 신호 DV3의 프레임 레이트가 120[fps]으로 되도록 기록 미디어(62)로부터 읽어냄을 행한다. 또한 추천 재생 속도가 1배속인 경우, 화상 신호 DV3의 프레임 레이트를 카메라 신호 처리부(20b)에서 60[fps]로 변환해서 디스플레이 장치(97)에 출력한다. 이것에 대하여 추천 재생 속도가 (1/2)배속, (1/4)배속인 경우, 전혀 프레임 레이트를 저감하지 않고, 프레임 레이트가 120[fps]인 화상 신호 DV4b를 디스플레이 장치(97)에 출력한다.
고속 촬상 모드에서 기록 미디어(62)에 기록한 화상 신호의 재생 시, 유저가 (1/4)배속의 재생을 지시하고 있는 경우에는, 화상 신호 DV3의 프레임 레이트가 60[fps]으로 되도록 기록 미디어(62)로부터 읽어냄을 행한다. 또한 전혀 프레임 레이트를 저감하지 않고, 60[fps]의 화상 신호 DV4b를 디스플레이 장치(97)에 출력 한다.
고시간 해상도 슬로우 모션 촬상 모드에서 기록 미디어(62)에 기록한 화상 신호의 재생 시, 유저가 추천 재생 속도에 의한 재생을 지시하고 있는 경우, 카메라 신호 처리부(20b)에서의 화상 합성 처리를 중지하고, 기록 미디어(62)로부터 재생하는 프레임 레이트의 화상 신호 DV4b를 디스플레이 장치(97)에 출력한다.
또한, 표준 촬상 모드 시, 표준 촬상 모드에서 기록 미디어(2)에 기록한 촬상 화상의 재생 시에서도, 마찬가지로 추천 재생 속도를 검출하고, 이 추천 재생 속도에 따라서 프레임 레이트를 동적으로 변화시키도록 해도 된다. 또한 이 표준 촬상 모드에서의 동적인 프레임 레이트의 절환은, 60[fps]의 화상 신호를 업컨버트해서 실행해도 되고, 이미지 센서(121) 자체의 동작 주파수를 절환해서 실행하도록 해도 된다.
이와 같이, 피사체의 움직임에 따라서 외부 기기에 출력하는 화상 신호의 프레임 레이트를 동적으로 절환함으로써, 실용상 충분한 화질을 확보해서 네트워크에 송출하는 화상 신호의 신호량을 충분히 저감할 수 있다. 따라서, 다른 기기와 네트워크를 공용하는 경우에도, 리얼타임으로 화상 신호를 전송할 수 있다.
또한, 추천 재생 속도에 따라서 외부 장치에 출력하는 화상 신호의 프레임 레이트를 동적으로 변경하는 경우에 한하지 않고, 화상 신호의 전송로인 네트워크에 따라서 및/또는 외부 기기에 따라서 동적으로 절환하도록 해서, 리얼타임의 화상 신호의 전송을 확보하도록 해도 된다.
또한 네트워크에 따른 프레임 레이트의 절환은, 예를 들면 패킷 단위로 화상 신호를 네트워크에 송출할 때에, 네트워크에 패킷의 송출을 리퀘스트해서 허가가 얻어질 때까지의 대기 시간에 의해, 네트워크에서의 소위 혼잡의 정도를 판단하고, 혼잡한 경우일수록 프레임 레이트를 저감시킴으로써 실행할 수 있다.
또한 외부 기기에 따른 프레임 레이트의 절환은, 예를 들면 패킷 단위로 화상 신호를 외부 기기에 전송할 때에, 외부 기기에 화상 신호의 전송을 리퀘스트한 후, 전송의 허가가 얻어질 때까지의 대기 시간을 카운트하고, 대기 시간이 긴 경우일수록, 프레임 레이트를 저감시킴으로써 실행할 수 있다.
또한, 상술한 실시 형태에서는, 순회 가산에 의해 화상 신호의 프레임 레이트를 저감하는 경우에 대해서 설명하였지만, 본 발명은 이것에 한하지 않고, 간단히 복수 프레임의 대응하는 화상 신호의 가산 처리에 의해 프레임 레이트를 저감하도록 해도 되며, 또한 실용상 충분한 화질을 확보할 수 있는 경우에는, 프레임의 씨닝에 의해 프레임 레이트를 저감하도록 해도 된다.
또한 상술한 실시 형태에서는, 기준 프레임 레이트를 60[fps]으로 해서, 고속 촬상 모드에서는, 기준 프레임 레이트의 4배의 프레임 레이트인 240[fps]의 화상 신호 DV1을 생성하는 경우에 대해서 설명하였지만, 본 발명은 이것에 한하지 않고, 예를 들면 기준 프레임 레이트의 3배의 프레임 레이트인 화상 신호 DV1을 생성하는 경우 등, 여러 가지의 프레임 레이트로 촬상을 행하는 경우에 널리 적용할 수 있다.
또한 상술한 실시 형태에서는, 고속 촬상 모드에서 촬상된 화상을 1배속, (1/2)배속, (1/4)배속으로 재생하는 경우에 대해서 설명하였지만, 본 발명은 이것 에 한하지 않고, 예를 들면 (1/3)배속으로 재생하는 경우 등에도 널리 적용할 수 있다.
또한, 상술한 실시 형태에서는, 난 인터레이스 방식의 화상 신호를 생성하는 경우에 대해서 설명하였지만, 본 발명은 이것에 한하지 않고, 인터레이스 방식의 화상 신호를 생성하는 경우에도 널리 적용할 수 있다.
본 발명은, 예를 들면 통상의 비디오 신호의 화상 레이트보다도 높은 화상 레이트로 촬상을 행하여 화상 신호를 생성해서, 이 화상 신호를 이용해서 슬로우 모션 재생 화상을 얻을 때에 적절하다.

Claims (12)

  1. 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 재생하는 신호 재생부와,
    상기 신호 재생부로부터 출력되는 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서 재생 제어 정보를 생성하는 재생 제어 정보 생성부와,
    상기 신호 재생부로부터 출력되는 화상 신호의 화상 레이트를 상기 미리 설정된 화상 레이트로 변환하는 신호 처리부와,
    상기 재생 제어 정보에 기초하여 상기 신호 재생부로부터 상기 신호 처리부에 공급되는 화상 신호의 화상 레이트를 제어해서, 상기 움직임 검출 결과가 나타내는 움직임이 커짐에 따라서 상기 촬상 화상의 재생 속도를 저하시키는 제어부를 구비하고,
    상기 제어부는, 상기 신호 처리부에서 상기 화상 신호를 화상 합성하여 화상 레이트 변환을 행할 때, 상기 화상 신호를 이용하여 움직임 검출을 행함으로써 얻어진 움직임 검출 결과에 기초하여, 화상 합성된 상기 화상 신호의 각 프레임의 가중 계수를 설정하는, 화상 재생 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 움직임 검출 결과가 나타내는 움직임이 큰 부분에서는, 화상 합성되는 상기 화상 신호의 각 프레임 내에 가중 계수가 큰 프레임 및 해당 프레임과 시간적으로 떨어져 있는 가중 계수가 작은 프레임이 마련되도록, 상기 각 프레임의 가중 계수를 설정하는, 화상 재생 장치.
  3. 제2항에 있어서,
    화상 합성되는 상기 화상 신호의 각 프레임의 가중 계수의 조합이 설정된 복수의 가중 계수 선택값이 설정되어 있고,
    상기 제어부는, 상기 움직임 검출 결과가 나타내는 움직임 크기와 임계값 간의 비교 결과에 기초하여 1개의 상기 가중 계수 선택값을 결정하는, 화상 재생 장치.
  4. 제3항에 있어서,
    상기 움직임 검출 결과는, 상기 화상 신호로부터 검출되는 매크로 블록 단위의 움직임 벡터이고,
    상기 제어부는, 상기 움직임 벡터의 움직임량의 절대값과 상기 임계값 간의 비교 결과에 기초하여 상기 매크로 블록마다 1개의 가중 계수 선택값을 결정하는, 화상 재생 장치.
  5. 제3항에 있어서,
    화상 합성되는 상기 화상 신호의 프레임 수에 따라, 상기 임계값의 수가 결정되는, 화상 재생 장치.
  6. 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 재생하는 스텝과,
    상기 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용해서 재생 제어 정보를 생성하는 스텝과,
    상기 움직임 검출 결과에 기초하여 화상 합성되는 상기 화상 신호의 각 프레임의 가중 계수를 설정하는 스텝과,
    상기 화상 신호의 각 프레임의 가중 계수로 가중치 부여된 상기 화상 신호의 화상 레이트를 상기 미리 설정된 화상 레이트로 변환하는 스텝과,
    상기 재생 제어 정보에 기초하여 상기 화상 신호의 화상 레이트를 제어하여, 상기 움직임 검출 결과가 나타내는 움직임이 커짐에 따라서 상기 촬상 화상의 재생 속도를 저하시키는 스텝을 포함하는, 화상 재생 방법.
  7. 미리 설정된 화상 레이트보다도 높은 화상 레이트로 촬상을 행함으로써 생성된 촬상 화상의 화상 신호를 생성하는 촬상부와,
    상기 촬상부에서 생성된 화상 신호를 이용해서 움직임 검출을 행함으로써 얻어진 움직임 검출 결과에 기초하여, 화상 합성되는 상기 화상 신호의 각 프레임의 가중 계수를 설정하는 제어부와,
    상기 화상 신호의 각 프레임의 가중 계수로 가중치 부여된 상기 화상 신호의 화상 레이트를 상기 미리 설정된 화상 레이트로 변환하는 신호 처리부와,
    상기 신호 처리부에서 상기 미리 설정된 화상 레이트로 변환된 화상 신호를 이용하여 움직임 검출을 행함으로써 얻어진 움직임 검출 결과를 이용하여 상기 화상 신호의 재생 시에 상기 움직임 검출에서 검출된 움직임이 커짐에 따라서 상기 촬상 화상의 재생 속도를 저하시키는 재생 제어 정보를 생성하는 재생 제어 정보 생성부와,
    상기 재생 제어 정보를 상기 화상 신호에 대응시켜 출력하는 출력부를 구비하는, 촬상 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020097016168A 2007-02-01 2008-01-31 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법 KR101437196B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2007-022676 2007-02-01
JP2007022676 2007-02-01
PCT/JP2008/051570 WO2008099685A1 (ja) 2007-02-01 2008-01-31 画像再生装置と画像再生方法および撮像装置とその制御方法

Publications (2)

Publication Number Publication Date
KR20090112681A KR20090112681A (ko) 2009-10-28
KR101437196B1 true KR101437196B1 (ko) 2014-09-03

Family

ID=39689930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097016168A KR101437196B1 (ko) 2007-02-01 2008-01-31 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법

Country Status (7)

Country Link
US (1) US8903222B2 (ko)
EP (1) EP2129105B1 (ko)
JP (2) JPWO2008099685A1 (ko)
KR (1) KR101437196B1 (ko)
CN (1) CN101611624B (ko)
AT (1) ATE530014T1 (ko)
WO (1) WO2008099685A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192857A1 (en) * 2004-02-13 2006-08-31 Sony Corporation Image processing device, image processing method, and program
JP2010087778A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、変速撮像方法、及びプログラム
JP5544917B2 (ja) * 2009-02-20 2014-07-09 株式会社リコー 撮像装置及び撮像方法
JP5223742B2 (ja) * 2009-03-16 2013-06-26 富士通セミコンダクター株式会社 エッジ強調画像処理装置
US8482622B2 (en) * 2009-08-27 2013-07-09 Sony Corporation Method, system and computer program product for reducing motion blur
JP5566199B2 (ja) * 2010-06-16 2014-08-06 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
US8810691B2 (en) * 2010-09-03 2014-08-19 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium
JP5649927B2 (ja) * 2010-11-22 2015-01-07 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5768381B2 (ja) * 2011-01-20 2015-08-26 カシオ計算機株式会社 動画像処理装置、動画像処理方法及びプログラム
EP2608529B1 (en) * 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
JP5648647B2 (ja) * 2012-03-21 2015-01-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
AU2013295568B2 (en) * 2012-07-26 2017-09-07 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
JP6070424B2 (ja) * 2013-06-03 2017-02-01 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法及び撮影プログラム
KR102102177B1 (ko) * 2013-09-03 2020-05-29 삼성전자 주식회사 반도체 장치 및 그 구동 방법
CN104519294B (zh) * 2013-09-27 2018-02-09 杭州海康威视数字技术股份有限公司 基于移动信息的视频录像智能回放方法及其装置
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN104702897B (zh) * 2013-12-10 2018-05-15 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法
CN105100692B (zh) * 2014-05-14 2018-10-26 杭州海康威视系统技术有限公司 视频播放方法及其装置
JP6341814B2 (ja) * 2014-09-08 2018-06-13 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
US9570106B2 (en) * 2014-12-02 2017-02-14 Sony Corporation Sensor configuration switching for adaptation of video capturing frame rate
CN104811798B (zh) * 2015-04-17 2018-05-25 广东欧珀移动通信有限公司 一种调整视频播放速度的方法及装置
JP6564625B2 (ja) 2015-06-15 2019-08-21 オリンパス株式会社 データ転送装置およびデータ転送方法
CN105120337A (zh) * 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
CN105578051A (zh) * 2015-12-30 2016-05-11 小米科技有限责任公司 图像捕捉方法和装置
CN105554516A (zh) * 2015-12-31 2016-05-04 杭州华为数字技术有限公司 播放监控视频的方法和装置
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
WO2017199687A1 (ja) 2016-05-18 2017-11-23 株式会社日立国際電気 撮像装置
KR102537210B1 (ko) * 2016-07-29 2023-05-26 삼성전자주식회사 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
US10904437B2 (en) * 2017-03-16 2021-01-26 Sony Corporation Control apparatus and control method
JP6230085B1 (ja) * 2017-06-01 2017-11-15 株式会社ＲｅＴｅｃｈ 動画再生システム
JP7144926B2 (ja) * 2017-09-26 2022-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
JP6871147B2 (ja) * 2017-12-14 2021-05-12 日本電信電話株式会社 画像生成装置、画像生成方法及び画像生成プログラム
KR102014772B1 (ko) * 2017-12-28 2019-08-27 주식회사 케이티 경기 영상을 촬영하는 영상 촬영 장치 및 방법, 영상 촬영 장치와 연동하는 영상 제공 서버
US11080532B2 (en) 2019-01-16 2021-08-03 Mediatek Inc. Highlight processing method using human pose based triggering scheme and associated system
KR20200092631A (ko) * 2019-01-25 2020-08-04 삼성전자주식회사 슬로 모션 영상 생성 방법 및 장치
CN115514985A (zh) * 2022-09-20 2022-12-23 广东省宏视智能科技有限公司 一种视频处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215010A1 (en) * 2002-03-14 2003-11-20 Kotaro Kashiwa Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP2004242267A (ja) * 2002-12-10 2004-08-26 Sony Computer Entertainment Inc 画像編集方法、装置および画像再生方法、装置
WO2006082787A1 (ja) 2005-02-03 2006-08-10 Matsushita Electric Industrial Co., Ltd. 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4496995A (en) * 1982-03-29 1985-01-29 Eastman Kodak Company Down converting a high frame rate signal to a standard TV frame rate signal by skipping preselected video information
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
US6456320B2 (en) * 1997-05-27 2002-09-24 Sanyo Electric Co., Ltd. Monitoring system and imaging system
JP2002077810A (ja) * 2000-08-24 2002-03-15 Toshiba Corp 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体
JP4471337B2 (ja) * 2002-08-01 2010-06-02 キヤノン株式会社 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2005295423A (ja) 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 撮像装置
JP4296145B2 (ja) 2004-11-08 2009-07-15 株式会社東芝 再生装置及びその方法
JP2006211191A (ja) * 2005-01-27 2006-08-10 Matsushita Electric Ind Co Ltd 編集操作補助方法、装置、プログラム及び媒体
JP4306638B2 (ja) * 2005-04-14 2009-08-05 ソニー株式会社 画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法
TW200828991A (en) * 2006-10-24 2008-07-01 Sony Corp Imaging device and reproduction control device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215010A1 (en) * 2002-03-14 2003-11-20 Kotaro Kashiwa Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP2004242267A (ja) * 2002-12-10 2004-08-26 Sony Computer Entertainment Inc 画像編集方法、装置および画像再生方法、装置
WO2006082787A1 (ja) 2005-02-03 2006-08-10 Matsushita Electric Industrial Co., Ltd. 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路

Also Published As

Publication number Publication date
EP2129105A1 (en) 2009-12-02
US20100092151A1 (en) 2010-04-15
ATE530014T1 (de) 2011-11-15
EP2129105B1 (en) 2011-10-19
JPWO2008099685A1 (ja) 2010-05-27
CN101611624A (zh) 2009-12-23
US8903222B2 (en) 2014-12-02
JP2012060671A (ja) 2012-03-22
CN101611624B (zh) 2012-05-30
JP5201257B2 (ja) 2013-06-05
WO2008099685A1 (ja) 2008-08-21
EP2129105A4 (en) 2010-04-28
KR20090112681A (ko) 2009-10-28

Similar Documents

Publication Publication Date Title
KR101437196B1 (ko) 화상 재생 장치와 화상 재생 방법 및 촬상 장치와 그 제어 방법
US8102436B2 (en) Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
KR100467375B1 (ko) 화상신호처리장치및기록/재생장치
JP5036410B2 (ja) 撮像装置及びその制御方法
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
WO2010095207A1 (ja) 動画撮像装置
JP2008228282A (ja) 画像処理装置
JP2000341577A (ja) 手振れ補正装置およびその補正方法
US5926224A (en) Imaging, system, video processing apparatus, encoding apparatus, encoding method, and method of removing random noise
JP2010136224A (ja) 撮像装置及び撮像方法
JP2009010823A (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4861636B2 (ja) 画像処理装置及び画像処理プログラム
JP2008124671A (ja) 撮像装置および撮像方法
US8189102B2 (en) Image processing apparatus using interpolation direction
JPH07107466A (ja) 撮像装置
EP2286582B1 (en) Image pickup apparatus
JP2008113112A (ja) 撮像装置
JP3951321B2 (ja) 画像信号処理装置および記録／再生装置
JP2006005681A (ja) 画像撮像装置、画像再生装置及び画像撮像再生システム
JPH114361A (ja) 画像情報処理方法とそれを利用したディジタル撮像装置
JP2001204038A (ja) 撮像装置
KR20060132877A (ko) 모션 보상 시간적 보간법을 사용하여 비디오를디인터레이스하기 위한 방법 및 장치
JP2006101227A (ja) 撮像装置および撮像システム
JP2007274731A (ja) 手振れ補正方法
JPH0865565A (ja) 撮像記録装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 4