KR20070043618A - 화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및화상 신호 처리 방법 - Google Patents

화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및화상 신호 처리 방법 Download PDF

Info

Publication number
KR20070043618A
KR20070043618A KR20060101214A KR20060101214A KR20070043618A KR 20070043618 A KR20070043618 A KR 20070043618A KR 20060101214 A KR20060101214 A KR 20060101214A KR 20060101214 A KR20060101214 A KR 20060101214A KR 20070043618 A KR20070043618 A KR 20070043618A
Authority
KR
South Korea
Prior art keywords
image
frame rate
frame
memory
processing unit
Prior art date
Application number
KR20060101214A
Other languages
English (en)
Other versions
KR101297773B1 (ko
Inventor
미키오 고시미즈
야스시 사토
다케오 츠무라
요시히로 미나미
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070043618A publication Critical patent/KR20070043618A/ko
Application granted granted Critical
Publication of KR101297773B1 publication Critical patent/KR101297773B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

표시 장치나, 내부상태에 맞추어 최적인 프레임 레이트, 해상도를 얻을 수 있는 변환 장치, 화상 신호 처리 장치, 카메라 시스템 및 화상 신호 처리 방법을 제공한다.
화상 변환 장치(10)는, 재생해야 할 화상의 프레임 정보를 저장가능한 메모리(113, 13)와, 메모리(113, 13)로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부(12)를 가진다.

Description

화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리 방법{Image conversion apparatus, image signal processing apparatus, camera system and image signal processing method}
도 1은, 본 발명의 제 1의 실시 형태와 관련되는 프레임 레이트 변환 장치의 구성예를 나타내는 도면이다.
도 2는, 통상 재생, 슬로 재생, 시닝(thinning-out) 재생의 예를 나타내는 도면이다.
도 3은, 도 1의 동화상 변환 회로의 화상 처리 블록의 구성예를 나타내는 도면이다.
도 4는, 본 실시 형태와 관련되는 화상 확대 처리 엔진의 확대 축소 처리의 예를 나타내는 도면이다.
도 5는, 본 실시 형태와 관련되는 화상 확대 축소 처리 엔진에 있어서 동화상을 처리할 경우에 이동 벡터를 구하는 처리 순서를 나타내는 플로차트이다.
도 6은, 본 발명의 제 2의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
도 7은, 본 발명의 제 3의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
도 8은, 접속되어 있는 디바이스, 표시장치에 따라 해상도, 프레임 레이트를 변경하는 처리를 나타내는 플로차트이다.
도 9은, 본 발명의 제 4의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
도 10은, 본 발명의 제 5의 실시 형태와 관련되는 화상 신호 처리 장치를 채용한 카메라 시스템의 구성예를 나타내는 블럭도이다.
도 11은, 본 발명의 제 6의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
도 12는, 제 6의 실시 형태에 있어서의 2개의 형태로 재생할 때의 동작예를 나타내는 플로차트이다.
도 13은, 도 11의 화상 신호 처리 장치의 회로 동작예를 나타내는 도면이다.
도 14는, 본 발명의 제 7의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
도 15는, 제 7의 실시 형태와 관련되는 화상 신호 처리 장치(시스템)를 사용한 화상 표시장치의 예를 나타내는 도면이다.
도 16은, 본 발명의 제 8의 실시 형태와 관련되는 촬영 화상 기록 장치를 채용한 카메라 시스템의 구성예를 나타내는 블럭도이다.
도 17은, 제 8의 실시 형태에 있어서, 통상의 프레임 레이트로 촬영한 부분, 단계적으로 프레임 레이트가 변화하는 부분, 고속 일정한 프레임 레이트로 촬영한 부분을, 연속적으로 표시하고, 시간적으로 슬로 모션 표시가 페이드 인/페이드 아 웃하도록 하는 표시 효과를 얻을 수 있는 화상 데이터 구성을 나타내는 도면이다.
도 18은, 제 8의 실시 형태와 관련되는 카메라 시스템의 촬영시의 동작예를 나타내는 플로차트이다.
도 19는, 제 8의 실시 형태와 관련되는 카메라 시스템의 재생시의 동작예를 나타내는 플로차트이다.
도 20은, 본 발명의 제 9의 실시 형태와 관련되는 카메라 시스템의 구성예를 나타내는 블럭도이다.
도 21은, 제 9의 실시 형태에 의한 수직 수평 동기 신호를 이용한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
도 22는, 제 9의 실시 형태에 의한 수직 수평 동기 신호를 이용한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
도 23은, 제 9의 실시 형태에 의한 이미지 센서(고체 촬상 소자)의 클락은 변경하지 않고 사용 프레임의 선택에 의한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
도 24는, 제 9의 실시 형태에 의한 이미지 센서(고체 촬상 소자)의 클락을 동적으로 제어함으로써 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
본 발명은, 예를 들어 동화상이나 정지화면의 프레임 레이트나 해상도를 변 환시킬 수 있는 화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리 방법에 관한 것이다.
반도체 기술, 표시 디바이스의 기술 진보에 의해, 보다 높은 해상도, 보다 높은 프레임 레이트로 화질이 우수한 정지화면, 동화상을 대량으로 취급할 수 있게 되었다.
그러나, 그러한 화상을 작성했다고 해도 디스플레이, 텔레비젼 등의 표시장치 모두로 재생할 수 있는 것은 아니다.
그러므로, 예를 들어 특허 문헌 1에는, 「촬영시의 프레임 레이트보다 낮은 제 2의 프레임 레이트로 재생」할 수 있는 「화상 처리 방법」이 제안되어 있다.
또, 특허 문헌 2에는, 「영상 신호의 재생 속도 조정이나 레이트 변환을 자동적으로 실시할 수 있다」와 같이 기술된 「영상 신호 기록 장치 및 영상 신호 재생장치」가 제안되어 있다.
또, 동화상의 시간이나 정보량도 많아지고 있다. 그것들을 작성한 후에 사용자가 볼 때에는 시간이 걸리게 된다.
그래서, 특허 문헌 3에는, 「동일 시간대」의 「복수 앵글 혹은 복수의 장면」을 선택하여 「동시 표시」할 수 있는 「다면 표시 방법 및 장치」가 제안되어 있다.
그런데, 일반적인 고속 촬영 가능한 화상 기록 장치 혹은 비디오 카메라 및 디지털 카메라 시스템은, 인간의 시각에 대해서 충분한 시간적 해상도인 프레임 레이트 15fps-60fps를 초과하는 촬영이 가능한 이미지 센서 및 화상 처리 부분을 가 지고 있다.
그러한 장치에서는, 장치에 부속되는 기억 영역의 용량 및 전송 속도가 견딜수 있는 시간에서만, 예를 들어 120fps, 240fps와 같은 높은 프레임 레이트에서 촬영이 가능하다.
또, 프레임 레이트 변경 방법으로서는, 일반적으로 프레임 레이트를 촬영전으로 설정할 필요가 있다.
[특허 문헌 1]특개 2004－221999호 공보
[특허 문헌 2]특개 2002－320203호 공보
[특허 문헌 3]특개 2005－27337호 공보
그런데 , 특허 문헌 1에 개시된 「화상 처리 방법」에서는 「촬영시의 프레임 레이트보다 낮은 제 2의 프레임 레이트로 재생」할 수 있지만 표시장치 마다 표시 가능한 「제 2의 프레임 레이트」를 설정할 필요가 있다.
또, 특허 문헌 2에 개시된 「영상 신호 기록 장치 및 영상 신호 재생장치」는 「영상 신호의 재생 속도 조정이나 레이트 변환을 자동적으로 실시할 수 있다」가, 「재생기」가 1개 밖에 없고 「재생영상신호」를 동시에 1개 밖에 출력할 수 없다.
또, 특허 문헌 3에 개시된 「다면 표시 방법 및 장치」는, 「동일 시간대」의 「복수 앵글 혹은 복수의 장면」을 선택하여 「동시 표시」할 수 있지만, 다른 시간대의 것을 표시하거나 동일 장면을 다른 재생 방법으로 동시 표시할 수는 없다.
또, 화질이 높은 화상을 취급하면 회로, 장치의 주파수, 소비 전력, 메모리 사용량이 커져 버리는 불이익이 있다.
또, 상술한 일반적인 고속 촬영 가능한 화상 기록 장치 혹은 비디오 카메라 및 디지털 카메라 시스템은, 장치에 부속되는 기억 영역의 용량 및 전송 속도가 견딜수 있는 시간에서만, 예를 들어 120fps, 240fps와 같은 높은 프레임 레이트에서 촬영이 가능하고, 촬영한 고프레임 레이트 데이터를 나중에 표시해 열람할 때, 고프레임 레이트 데이터 부분만큼이 독립적으로 되어 있으므로, 그 부분만을 재생하는 것이 일반적이고, 특히 통상의 속도로 촬영한 데이터로부터 연속한 형태로 시청자에게 위화감 없게 보이도록 하는 수단이 부족한 것이 현재의 상태이다.
또, 상술한 프레임 레이트를 촬영전으로 설정할 필요가 있는 프레임 레이트 변경 방법에서는, 프레임 레이트의 설정을 촬영중에서는 변경할 수 없기 때문에, 사용자가 임의의 타이밍에서 프레임 레이트를 변경할 수 없다.
그 때문에, 프레임 레이트를 조금 높게 설정해 촬상했을 경우, 화상 데이터량이 많아져, 대용량의 메모리가 필요하게 된다는 불이익이 있다.
본 발명의 목적은, 표시장치나 내부 상태에 맞추어 최적인 프레임 레이트, 해상도를 얻을 수 있는 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리 방법을 제공하는 것에 있다.
또, 본 발명의 목적은, 통상의 속도로 촬영한 데이터로부터 연속한 형태로 시청자에게 위화감 없게 보이게 할 수 있는 카메라 시스템을 제공하는 것에 있다.
또, 본 발명의 목적은, 메모리 용량의 증대를 억제하면서, 사용자가 임의의 타이밍에서 프레임 레이트를 변경할 수 있는 카메라 시스템을 제공하는 것에 있다.
본 발명의 제 1의 관점의 화상 변환 장치는, 재생해야 할 화상의 프레임 정보를 저장가능한 메모리와, 상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부를 가진다.
매우 적합하게는, 상기 화상 처리부는, 일정시간내에 재생하는 프레임의 수를 줄이지 않고 화상 전체의 재생 매수는 변경하는 일없이 프레임 레이트의 변환을 실시한다.
매우 적합하게는, 상기 화상 처리부는, 일정시간내에 재생하는 프레임의 수를 줄여 화상 전체의 재생 시간은 변경하는 일없이 프레임 레이트의 변환을 실시한다.
매우 적합하게는, 상기 화상 처리부는, 새롭게 재생용의 프레임을 작성하는 경우에는, 상기 메모리에 저장되어 있는 복수의 프레임으로부터 새로운 프레임을 작성해, 일정시간내의 화상의 프레임 레이트를 변경한다.
매우 적합하게는, 화상을 임의의 사이즈로 확대 축소하는 연산 기능을 가지며, 상기 메모리에 저장되어 있는 복수의 원화상으로부터 새로운 화소를 작성하는 처리 엔진을 포함하며, 상기 화상 처리부는, 상기 처리 엔진의 처리 결과에 근거하여 새로운 프레임을 작성하고, 일정시간내의 화상의 프레임 레이트를 변경한다.
매우 적합하게는, 상기 처리 엔진은, 상기 메모리에 저장되어 있는 이동 벡 터 정보로부터 새로운 이동 벡터를 구하며, 상기 화상 처리부는, 상기 새로운 이동 벡터에 근거하여 새로운 프레임을 생성한다.
본 발명의 제 2의 관점은, 외부로부터의 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 재생해야 할 화상의 프레임 정보를 저장가능한 메모리와, 상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부를 가진다.
본 발명의 제 3의 관점은, 외부로부터의 화상 신호를 처리하는 화상 신호 처리 장치에 있어서, 재생해야 할 화상의 프레임 정보를 저장가능한 메모리와, 상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부와, 적어도 하나의 표시장치가 접속 가능한 접속부를 가지며, 상기 화상 처리부는, 접속된 표시장치의 성능 및 상기 접속부의 성능의 적어도 한 편에 근거하여 프레임 레이트를 변환한다.
매우 적합하게는, 상기 화상 처리부는, 장치의 내부 상태에 따라 프레임 레이트를 변환할 수 있다.
매우 적합하게는, 상기 화상 처리부는, 적어도 주파수, 소비 전력, 메모리 사용량중 적어도 1개에 맞추어, 프레임 레이트를 변경할 수 있다.
매우 적합하게는, 상기 화상 처리부는, 상기 프레임 레이트를 다른 조합으로 구성하여 접속된 표시장치에 화상을 표시할 수 있는 수단을 가진다.
매우 적합하게는, 상기 화상 처리부는, 복수의 표시장치에 동시에 프레임 레이트가 일정하지 않는 화상을 표시할 수 있는 수단을 가진다.
매우 적합하게는, 상기 화상 처리부는, 표시장치의 대응 프레임 레이트에 맞추어, 프레임 레이트를 재편하여 표시할 수 있는 수단을 가진다.
매우 적합하게는, 상기 화상 처리부는, 표시장치에 맞추어 프레임 레이트를 감소시킬 때, 감소된 프레임의 화상 정보를 감소시키기 않고 프레임에 반영하여, 고화질의 저레이트(low rate) 프레임 화상을 출력하는 수단을 가진다.
매우 적합하게는, 상기 화상 처리부는, 규격외의 프레임 레이트로 작성된 화상을 표시장치에 맞추어 다시 만드는 수단을 가진다.
본 발명의 제 4의 관점의 카메라 시스템은, 피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와, 화상 데이터에 소정의 처리를 실시하는 화상 신호 처리 장치를 포함하며, 상기 화상 신호 처리 장치는, 재생해야 할 화상의 프레임 정보를 저장가능한 메모리와, 상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부와, 적어도 하나의 표시장치가 접속 가능한 접속부를 가지며, 상기 화상 처리부는, 접속된 표시장치의 성능 및 상기 접속부의 성능의 적어도 한 편에 근거하여 프레임 레이트를 변환한다.
본 발명의 제 5의 관점의 카메라 시스템은, 피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와, 화상 데이터에 소정의 처리를 실시하는 화상 신호 처리 장치를 포함하며, 상기 화상 신호 처리 장치는, 메모리와, 소정 레이트로 촬영한 각 프레임 화상의 시간 간격을 단계적으로 변경하여 시닝한 화상을 상기 메모리에 보존하고, 각 프레임 간격이 연속적으로 다른 화상 데이터를 생성할 수 있는 화상 처리부를 가진다.
매우 적합하게는, 상기 화상 처리부는, 미리 설정한 임의의 변화 레이트에 따라서, 촬영한 각 프레임 화상의 시간 간격을 변경하여 시닝한 화상을 보존하여, 각 프레임 간격이 연속적으로 다른 화상 데이터를 작성할 수 있다.
매우 적합하게는, 표시 장치를 접속할 수 있는 접속부를 가지며, 상기 화상 처리부는, 작성한 각 프레임 간격이 단계적으로 다른 화상 데이터의 각 프레임을, 모두 등간격으로 재생하여 표시장치에 비추고, 고속의 프레임 레이트에서의 기록 부분을 시각적으로 슬로 모션으로 재생하고, 단계적으로 프레임 레이트가 변경되어 기록된 부분은, 통상의 표시 속도로부터 서서히 슬로 모션이 되는, 혹은 슬로 모션으로부터 서서히 통상의 표시 속도로 돌아오도록 처리한다.
매우 적합하게는, 상기 화상 처리부는, 작성한 각 프레임 간격이 임의적으로 다른 화상 데이터의 각 프레임을, 모두 등간격으로 재생하여 표시장치에 비추어, 재생 속도가 임의로 변화하도록 처리한다.
매우 적합하게는, 상기 화상 처리부는, 일정한 프레임 레이트로 이미 기록이 끝난 화상 데이터에 대해, 단계적으로 프레임을 시닝하는 처리를 실시한다.
매우 적합하게는, 촬영하는 프레임 레이트의 지정을 실시하는 입력장치를 구비하며, 상기 입력장치에 대한 입력의 강도에 따라, 촬영하는 프레임 레이트를 임의로 변경할 수 있다.
본 발명의 제 6의 관점의 카메라 시스템은, 피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와, 촬상 도작중에 프레임 레이트의 변경을 지시할 수 있는 조작부를 가지며, 상기 촬상부는, 상기 조작부에서 지시받아 변경된 프레임 레이트로 화상을 촬영할 수 있다.
매우 적합하게는, 상기 조작부는, 버튼 스윗치의 가압 힘에 의해 단계적 또는 연속적인 프레임 레이트의 변경 지시가 가능하다.
매우 적합하게는, 상기 촬상부는 고체 촬상 소자를 포함하며, 상기 고체 촬상 소자 구동 주파수는 변경하지 않고 수평, 수직의 블랭킹 기간을 제어하여 프레임 레이트를 변화시킨다.
매우 적합하게는, 상기 촬상부는 고체 촬상 소자를 포함해, 상기 고체 촬상 소자 구동 주파수는 변경하지 않고, 사용 프레임의 선택에 의해 프레임 레이트를 변화시킨다.
매우 적합하게는, 상기 촬상부는 고체 촬상 소자를 포함하며, 상기 고체 촬상 소자 구동 주파수를 동적으로 변화시킴으로써 고체 촬상 소자의 프레임 레이트를 변화시킨다.
본 발명의 제 7의 관점은, 외부로부터의 화상 신호를 처리하는 화상 신호 처리 방법에 있어서, 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 응답하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환한다.
이하, 본 발명의 실시 형태를 도면에 관련지어 설명한다.
＜제 1의 실시 형태＞
도 1은, 본 발명의 제 1의 실시 형태와 관련되는 프레임 레이트 변환 장치의 구성예를 나타내는 도면이다.
본 프레임 레이트 변환 장치(10)는, 도 1에 도시된 바와 같이, 동화상 변환 회로(11), CPU(12), 및 외부 메모리(13)를 가진다.
그리고, 동화상 변환 회로(11)는, 메모리 제어기(111), 화상 처리 블록(112), 및 내장 메모리(113)를 가지고 있다.
동화상 변환 회로(11)는, CPU(12)에 의해 제어되며, 기본적으로 외부 메모리(13)에 있는 동화상의 프레임 레이트를 변환한다.
여기서, 어느 프레임 레이트의 동화상이 있었을 때에 그 재생 방법으로서 몇 가지에 대해서 기술한다.
도 2는, 이른바 통상 재생, 슬로 재생(slow reproduction), 시닝 재생의 예를 나타내는 도면이다.
우선, 그대로 재생하는 방법이다.
다음에, 1초간에 재생하는 프레임의 수를 줄이지만 동화상 전체의 재생 매수는 변경하지 않는 방법이 있다. 이 경우는 원래의 동화상과 비교해 재생 시간이 증가하기 때문에 슬로 재생이 된다.
그 외, 재생하는 프레임을 선택해 1초간에 재생하는 프레임 레이트의 수를 줄여 동화상 전체의 재생 시간은 변경하지 않는 방법이 있다. 이 경우는 원래의 동화상과 비교해 세세한 단위로 이동이 감소하게 된다.
이상의 3개의 방법의 240fps의 경우의 도면이, 도 2의 ＜1＞통상 재생, ＜2＞슬로 재생, ＜3＞시닝 재생이다.
이 그 밖에 1초간에 재생하는 화상을 늘리는 경우도 있다.
1초간에 재생하는 프레임을 줄이기 위해서 재생하는 프레임을 선택하는 방법은, 몇 개인지를 선택해 그대로 재생하는 방법과 복수의 프레임으로부터 평균을 취하여 새롭게 재생용의 프레임을 작성하는 방법이 있다.
본 제 1의 실시 형태와 관련되는 프레임 레이트 변환 장치(10)는, 그것을 실현해 동화상의 프레임 레이트를 변환할 수 있는 회로의 일례이다.
상술한 것처럼, 프레임 레이트 변환 장치(10)의 동화상 변환 회로 (11)는, CPU(12)의 제어하에서, 외부 메모리(13)에 있는 동화상의 프레임 레이트를 변환한다.
동화상 변환 장치(11)는, 재생하는 프레임만을 선택한 경우는 메모리제어기(111)에 의해 외부 메모리(13)로부터 재생하는 프레임만 읽어들이고 그것들을 기입한다.
동화상 변환 장치(11)는, 새롭게 재생용의 프레임을 작성하는 경우에는, 한 번, 메모리 제어기(111)에 의해 내장 메모리(113)에 복수의 프레임을 읽어들인다. 그 후, 화상 처리 블록(112)이 내장 메모리(113)내의 복수의 프레임으로부터 최적인 프레임을 계산해 작성하고, 메모리 제어기 (111)를 통해 그 프레임을 외부 메모리(13)에 기입한다.
한편, 복수의 프레임으로부터 최적인 프레임을 계산해 작성하는 방법은, CPU(12)로부터 설정할 수 있다.
도 3은, 도 1의 동화상 변환 회로의 화상 처리 블록의 구성예를 나타내는 도면이다.
화상 처리 블록(112)은, 도 3에 도시된 바와같이, 연산기(1121), 화상 확대 축소 엔진(1122), 화상 확대 축소 엔진(1123), 메모리 억세스 회로 (1124), 및 제어 회로(1152)를 가지고 있다.
메모리 억세스 회로(1124)는, 메모리 제어기(111)와 내장 메모리 (113)에 대해서 데이터의 읽고 쓰기의 억세스를 실시한다.
제어 회로(1152)는, CPU(12)로부터 설정되어 프레임의 계산방법에 대응하는 연산기(1121), 화상 확대 축소 엔진(1122), 및 화상 확대 축소 엔진 (1123)의 동작의 제어를 실시한다.
화상 확대 축소 처리 엔진(1122, 1123)이란, 화상을 임의의 사이즈로 확대 축소하는 연산의 기능을 가진 회로이다. 그 기능은 1개의 화상내의 복수의 화소의 색, 휘도 정보로부터 새로운 화소의 색, 휘도 정보를 필터 계산하여 구하도록 하여 실현된다.
도 4a와, 도 4b는, 본 실시 형태와 관련되는 화상 확대 축소 처리 엔진의 확대 축소 처리의 예를 나타내는 도면이며, 도 4a는 통상시의 확대 축소 처리를 나타내며, 도 4b는 프레임 레이트 변환시의 확대 축소 처리를 나타내고 있다.
도 4a에 도시된 바와같이, 화상 확대 축소 엔진(1122,1123)이 메모리 (113)상에 있는 원화상(OIM)의 복수의 화소로부터 새로운 화소(NPXL)를 작성하고 있다. 그것을 도 4b에 도시된 바와같이 사용하여 프레임 레이트의 변환에도 사용할 수 있다.
도 4b의 프레임 레이트 변환시에 있어서는, 화상 확대 축소 엔진 (1122, 1123)이 메모리(113)상에 있는 복수의 원화상(OIM1, OIM2, OIM3)으로부터 새로운 화소(NPXL)를 작성하고 있다.
복수의 프레임으로부터 새로운 프레임을 작성할 수 있으므로, 일정기간내의 동화상의 프레임 레이트를 증감할 수 있다.
또는 MPEG의 경우, 이동 벡터라고 하는 각 화소가 전후의 프레임과 비교해 어느 정도 이동했는지를 이동 벡터라고 하는 값으로 알 수 있으므로 그것을 사용하는 방법도 있다.
복수의 타이밍의 이동 벡터를 화상 확대 축소 처리 엔진 (1122, 1123)에 입력으로서 공급하여 다른 타이밍의 이동 벡터를 구한다. 그 새로운 이동 벡터를 사용해 새로운 화상을 생성할 수 있다.
도 3의 경우, 연산기(1121)를 화상 생성에도 사용하게 된다. 만약 MPEG가 아닌 동화상을 처리할 때는 복수의 타이밍의 프레임으로부터 이동 벡터 자체를 연산기(1121)를 사용해 구하게 된다.
도 5는, 본 실시 형태와 관련되는 화상 확대 축소 처리 엔진에 대해 동화상을 처리할 경우에 이동 벡터를 구하는 처리 순서를 나타내는 플로차트이다.
이 경우, 이동 벡터 정보가 메모리(113)에 있는지 아닌지의 판별을 실시한다(ST1). 없는 경우에는 외부 메모리(13)로부터 화상을 읽어들여(ST2), 연산 기(1121)에 의해 이동 벡터를 계산한다(ST3). 그리고, 이동 벡터가 충분히 있는 경우에는(ST4), 화상 확대 축소 처리 엔진에 입력해(ST5), 새로운 이동 벡터를 구한다(ST6).
다음에, 메모리(13)로부터 화상을 읽어들여(ST7), 연산기(1121)에 의해 이동 벡터의 연산 처리를 실시하고(ST8), 그 새로운 이동 벡터를 사용해 새로운 프레임을 생성한다 (ST9).
한편, 도 5와 도 4의 방법을 동시에 사용해도 상관없다.
도 3에 도시된 화상 처리 블록(112)의 회로의 경우, 화상 확대 축소 엔진을 2개 사용하고 있기 때문에, 동화상의 확대 축소 변환과 프레임 레이트의 변환의 양쪽 모두를 실시할 수 있다.
화상 확대 축소 엔진을 1개 밖에 사용하지 않았다고 해도, 제어 회로 (1125)로부터 화상 확대 축소 엔진을 제어해 2회동을 실시함으로써 2개 있을 때와 같은 처리를 실시할 수 있다.
또, 화상 확대 축소 엔진도 연산기도 화상 처리 블록(112)중에 몇 개 있어도 좋다.
따라서, 도 3에 도시된 제어 회로(1152)를 포함하는 화상 처리 블록 (112)을 적용하여 동화상의 확대 축소 변환, 프레임 레이트 변환을 실현할 수 있다.
상기의 방법을 사용하지 않고, 연산하지 않고 필요한 프레임을 선택해 보존하는 것보다 단순한 방법으로 변환해도 상관없다. 변환 방법은 임의로 선택할 수 있다.
＜제 2의 실시 형태＞
도 6은, 본 발명의 제 2의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
이 화상 처리 장치는, 제 1의 실시 형태와 관련된 프레임 레이트 변환 장치를 적용한 구성을 가진다.
본 화상 신호 처리 장치(200)는, 동화상 변환 회로(201), CPU(202), 내장 메모리(203), 외부 인터페이스(I／F)(204), 화상 압축 신장부(205), 메모리 인터페이스(I／F)(206), 외부 메모리(207), 저장 인터페이스(I／F) (208), 및 외부 보존용 메모리(209)를 가지고 있다.
도 6의 화상 신호 처리 장치(200)는, 제 1의 실시 형태에 대해 설명한 변환 장치를 내장한 LSI로서 구성한 예를 나타내고 있다.
도 6에서는, 동화상 변환 회로(201)가 도 1의 동화상 변환회로(11)에 대응하며, CPU(202)가 도 1의 CPU(12)에 상당하며, 외부 보존용 메모리(209) 또는／및 외부 메모리(207)가 도 1의 외부 메모리(13)에 상당하고 있다.
또, 도 6에 대해서는, 동화상 변환 회로(201)에 대해서 버스를 통해 내장 메모리(203)가 접속되어 있는 예를 나타내고 있다.
이러한 구성, 기능에 대해서는, 제 1의 실시 형태와 같으므로, 여기에서는 상세한 설명은 생략한다.
CPU(202)는, 동화상 변환 회로(201), 화상 압축 신장부(205)와 회로 전체의 제어를 실시한다.
외부 인터페이스(204)는 USB, PCI등의 접속을 가능하게 하는 인터페이스로서 기능한다.
화상 압축 신장부(205)는, 화상 메모리로서의 내장 메모리(203)에 기억된 피압축 데이터를 읽어내고 신장 처리하는 디코더의 기능이나, 카메라의 신호등의 복수의 화상 데이터로부터 압축 신호 처리해 화상 소스를 작성하는 엔코드 기능을 가진다.
화상 압축 신장부(205)는, 저장 인터페이스(208)를 통해 화상 보존용 메모리(209)에 화상 데이터의 보존, 혹은 메모리(209)로부터의 재생을 실시할 수 있다.
화상 보존용 메모리(209)로서는, 불휘발성의 메모리인 플래쉬 메모리나 HDD, DVD가 적용 가능하다.
이 화상 신호 처리 장치(200)에 대해서는, 화상 압축 신장부(205)에 의해 동화상의 엔코드, 디코드를 실행할 수 있다.
외부 보존용 메모리(209)에 있는 동화상을 그래서 디코드하고, 동화상 변환 회로(201)에서 처리한다. 그리고, 다시 엔코드하여 외부 보존용 메모리(209)에 기입하거나 외부 인터페이스(204)로부터 출력하는 것도 가능하다.
이러한 장치를 사용하여, 용이하게 동화상의 해상도, 프레임 레이트의 변환을 할 수 있다. 그 결과, 해상도, 프레임 레이트가 일정하지 않은 동화상도 용이하게 취급하는 것도 가능하게 된다. 또, 동화상의 규격외의 프레임 레이트, 해상도에서도 원래의 파일을 변경하지 않고 표시할 수 있다.
＜제 3의 실시 형태＞
도 7은, 본 발명의 제 3의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
이 화상 처리 장치는, 제 1의 실시 형태에 걸리는 변환 장치를 적용한 구성을 가진다.
본 제 3의 실시 형태와 관련되는 화상 신호 처리 장치(200A)가 제 2의 실시 형태와 관련되는 화상 신호 처리 장치(200)와 다른 점은, 메모리 인터페이스(206)와 외부 메모리(207)대신에, 표시장치 인터페이스(210) 및 표시장치(211)을 설치하고, 접속되어 있는 디바이스, 표시장치에 따라 해상도, 프레임 레이트를 변경해 동화상을 출력 가능하게 구성한 것에 있다.
표시장치 인터페이스(210)는, 표시해야 할 화상 데이터를 표시장치 (211)에 출력하여 정지화면이나 동영상을 표시시킨다.
표시장치(211)로서는, 액정표시장치(LCD)등이 적용 가능하다.
도 7의 화상 신호 처리 장치(200A)에서는, 화상 압축 신장부(205)를 사용해 외부 보존용 메모리(209)상의 동화상 파일을 디코드하고 화상 메모리에 기입하는 것이 가능하다. 반대로, 화상 압축 신장부(205)에 의해 엔코드하는 것도 가능하다.
USB에 의해 외부의 디바이스에 접속하고 있을 때는 USB는 규격으로서 vender ID, 프로덕트 ID라고 하는 디바이스를 특정하는 식별자를 가지고 있다. 그 디바이스의 성능의 데이터 베이스를 회로가 메모리에 가지 있으면 접속되어 있는 디바이스의 성능을 제어 CPU(202)가 판정할 수 있다.
또, LAN등에서 접속되어 있어도 디바이스의 정보를 통신하는 규격이 정해져 있으면, 디바이스명, 성능을 특정할 수 있다.
표시장치(211)의 성능을 인식하는 경우에는, 정보의 통신의 규격이 정해져 있으면 표시장치 인터페이스(210)에 의해 용이하게 인식할 수 있다.
표시장치(210)에 의해 정보의 통신할 수 없는 경우에는 접속시의 전압의 변화로 성능을 판정할 수 있도록 규격이 정해져 있는 경우가 있다. 그래서 표시장치(211)의 표시할 수 있는 화상의 최대 사이즈를 판정할 수 있는 경우도 있다. 또, 표시장치(211)가 별도로 USB등의 외부 인터페이스(204)에도 접속되어 있으면, 상술한 바와같이 인식할 수도 있다.
그러한 성능으로인해, 제어 CPU(202)가 적절한 해상도, 프레임 레이트를 판단하고, 동화상 변환 회로(201)를 제어한다.
제어 CPU(202)는, 표시장치, 디바이스의 성능이 낮으면, 해상도, 프레임 레이트를 원래의 동화상으로부터 작게 한다. 반대로 표시장치, 디바이스의 성능이 높으면 크게 한다.
또, 디바이스, 표시장치의 성능 뿐만이 아니라, 접속되어 있는 인터페이스의 성능에 따라 제어하는 것도 가능하다. 접속되어 있는 인터페이스의 전송 속도에 따라, 해상도, 프레임 레이트를 원래의 동화상으로부터 크게 하거나 작게 하는 것도 가능하다 .
또, 접속되어 있는 디바이스, 표시장치의 성능이 명확하지 않은 경우는 표준적인 값이나 가장 작은 값등의 기본의 값이 되도록 해상도, 프레임 레이트로 동화 상을 변환한다. 이 기본의 값은 사용자가 자유(임의)로 설정할 수 있다.
도 8은, 접속하고 있는 디바이스, 표시장치에 따라 해상도, 프레임 레이트를 변경하는 처리를 나타내는 플로차트이다.
예를 들어, 표시장치가 접속되어(ST10), 표시장치의 성능이 인식되면(ST11), 장치명을 판정할 수 있는지를 판단한다(ST12). 장치명을 판정할 수 있으면, CPU(202)가 장치의 성능을 판정해(ST13), 장치의 성능을 인식한다(ST14).
다음에, 지정된 값이 있는지 아닌지를 판단한다(ST15). 지정된 값이 있는 경우에는, 값을 읽어들이고(ST16), 그 값이 장치의 성능보다 큰가 아닌가를 판단한다(ST 17).
큰 경우에는 경고 메세지를 발표하고(ST18), 스텝(ST19)의 값 결정 처리로 이행한다.
또, 스텝(ST12)에서는, 장치명을 판정할 수 없는 경우에는, 기본의 값을 읽어들여(ST20), 지정된 값이 있는지 아닌지를 판단한다(ST21). 지정된 값이 있는 경우에는, 값을 읽어들이고(ST22), 없는 경우에는 기본의 값을 읽어들이고(ST23), 스텝(ST19)의 값 결정 처리로 이행한다.
또, 스텝 ST15에 대하고, 지정된 값이 없는 경우에는, 장치의 성능을 기초로치를 설정해(ST24), 스텝 ST19의 값결정 처리로 이행한다.
그리고, 값을 결정하고, 적절한 해상도, 프레임 레이트를 판단한다(ST25).
한편, 이러한 기능을 사용하지 않고 임의의 해상도, 프레임 레이트로 사용자가 지정해 변환시키는 것도 가능하다.
접속되어 있는 디바이스, 표시장치의 성능이 인식되어 있고, 그것보다 지정한 해상도, 프레임 레이트가 높으면 제어 CPU(202)가 사용자에 경고 정보를 발한다.
이러한 장치를 사용하여, 디바이스, 표시장치의 성능에 따라 최적인 해상도, 프레임 레이트로 자동적으로 동화상을 변환하는 것이 가능하게 된다. 고해상도, 고프레임 레이트의 동화상도 디바이스, 표시장치에 의해 처리 가능한 것으로 자동으로 변환할 수 있다. 그 때문에, 동화상의 재생, 출력을 용이하게 할 수 있게 된다.
＜제 4의 실시 형태＞
도 9는, 본 발명의 제 4의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
이 화상 처리 장치는, 제 1의 실시 형태에 걸리는 변환 장치를 적용한 구성을 가진다.
본 제 4의 실시 형태와 관련되는 화상 신호 처리 장치(200B)가 제 3의 실시 형태와 관련되는 화상 신호 처리 장치(200A)와 다른 점은, 도 7의 구성외에도, 클락 블록(212), 전원 제어부(213), 및 메모리 제어부(214)를 설치하고, 회로 장치내의 상태에 맞추어 동화상의 해상도, 프레임 레이트를 자율적으로 변환할 수 있도록 구성한 것에 있다.
클락 블록(212)은, 회로 장치 전체의 주파수를 제어하고, 주파수 정보를 제어 CPU(202)에 전달하는 기능을 가지고 있다.
전원 제어부(213)는, 회로 장치 전체의 전원을 제어하고, 회로 장치 전체의 소비 전력을 제어 CPU(202)에 전달하는 기능을 가지고 있다. 또, 휴대 기기의 경우는 배터리의 나머지 잔량도 제어 CPU(202)에 전달할 수 있다.
메모리 제어부(214)는, 화상 메모리(203)에 대한 억세스 상황, 메모리의 미사용 영역의 양을 제어 CPU(202)에 전달하는 기능을 가지고 있다.
일반적으로, 회로의 주파수가 낮으면 처리할 수 있는 데이터량도 적게 된다. 그 때문에, 주파수에 따라 처리할 수 있는 동화상의 해상도, 프레임 레이트도 변화한다.
그러므로, 주파수의 정보를 받아 제어 CPU(202)가 동화상의 해상도, 프레임 레이트를 최적인 값으로 변환하여 순조롭게 동화상을 처리할 수 있다.
반대로, 동화상의 해상도, 프레임 레이트에 따라, 제어 CPU(202)가 클락 블록(212)에 지시하여 회로의 주파수를 증감시키는 것도 가능하다.
또, 데이터 억세스량이 많으면 회로 전체의 소비 전력은 커진다. 그 때문에, 동화상의 해상도, 프레임 레이트에 따라 소비 전력도 증감한다.
그러므로, 현재의 소비 전력, 배터리의 나머지 잔량의 정보를 받아 제어 CPU(202)가 동화상의 해상도, 프레임 레이트를 최적인 값으로 변환하여 소비 전력을 줄일 수 있다.
반대로, 동화상의 해상도, 프레임 레이트에 따라, 제어 CPU(202)가 전원 제어부에 지시해 회로의 전압을 증감시키는 것도 가능하다.
해상도, 프레임 레이트가 큰 동화상을 취급하려고 하면 메모리 사용량은 커 져, 메모리에 대한 억세스 빈도도 많아진다. 메모리가 너무 적게 되면 처리할 수 없게 되어 동화상의 표시, 출력이 멈추거나 늦어 버린다.
그러므로, 나머지 메모리 사용량, 메모리에 대한 억세스 상황에 따라 동화상의 해상도, 프레임 레이트를 제어 CPU(202)가 동화상 변환 회로에 지시하면, 순조롭게 표시, 출력하는 것이 가능하게 된다.
단순한 변환 방법을 선택하는 것에 의해서, 메모리 억세스, 소비 전력, 주파수를 내릴 수도 있다.
이상의 기능은 복합적으로 사용하는 것도 가능하다. 또, 주파수, 소비 전력, 메모리 사용량과 해상도, 프레임 레이트의 관계는 사용자가 설정할 수 있다.
이러한 회로 장치를 사용하는 것에 의해서, 저소비 전력인 동화상의 재생 시스템, 장시간 동영상 재생이 가능한 시스템을 실현할 수 있다.
＜제 5의 실시 형태＞
도 10은, 본 발명의 제 5의 실시 형태와 관련되는 화상 신호 처리 장치를 채용한 카메라 시스템의 구성예를 나타내는 블럭도이다.
본 제 5의 실시 형태와 관련되는 화상 신호 처리 장치를 포함한 카메라 시스템(200C)은, 제 3의 실시 형태와 관련되는 화상 신호 처리 장치(200 A)를 나타내는 도 7의 구성외에도, 광학계(215), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치)(216), 아날로그 신호 처리부(217), 아날로그／디지털(AD) 컨버터(218), 디지털 신호 처리부(219), 조작 디바이스(220), 및 휴먼 인터페이스(221)를 설치하여, 카메라 시스템(200C)을 구성하고 있다. 한편, 시스템 구성상, 외부 인터페이스 는 설치되지 않았다.
광학계(215), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치)(216), 아날로그 신호 처리부(217)등에 의해 촬상부가 구성된다.
광학계(215)는, 렌즈를 주체로서 구성되며, 도시하지 않는 피사체의 상을 촬상 소자인 이미지 센서(216)의 수광면에 결상시킨다.
이미지 센서(216)는, 광학계(215)를 통해 결상한 피사체상의 정보를 광전 변환하고, 아날로그 신호 처리부(217)에 출력한다.
아날로그 신호 처리부(217)는, 이미지 센서(216)의 아날로그 출력을 상관 이중 샘플링 처리(CDS), 아날로그 증폭 처리등을 실시하고, 처리 후의 아날로그 화상 데이터를 AD 컨버터(218)에 출력한다.
AD컨버터(218)는, 아날로그 신호 처리부(217)에 의한 아날로그 화상 데이터를 디지털 신호로 변환하고, 디지털 신호 처리부(219)에 출력한다.
디지 털신호 처리부(219)는, 촬영에 앞서 촬영의 셔터 스피드를 결정하는 처리나 촬영한 화상의 밝기나 색을 조정하기 위한 처리나, 촬영한 화상 데이터를 다음에 상술하는 압축 방식에 따라서 압축 처리해 기록 매체인 화상 메모리(203)에 기입하고, 기입된 화상 데이터를 화상 메모리(203)로부터 읽어내 신장(전개)하는 처리등을 실시한다.
제어 블록(CPU)(202C)은, 예를 들어 제 4의 실시 형태에서 설명한 제어 CPU와 전원 제어부와 메모리 제어부와 클락 블록을 포함해 구성되어 있다. 이 제어 블록(202C을 사용하여 상술한 제 1내지 제 4의 실시 형태에서 설명한 기능을 실 현할 수 있다.
제어 블록(202C)은, 휴먼 인터페이스(221)를 통해 조작 디바이스(220)의 조작에 대응하는 제어를 실시한다.
조작 디바이스(220)로서는, 셔터 버튼, 조그 다이얼, 터치 패널등을 포함하여 구성된다.
이 카메라 시스템(200C)은, 정지화면, 동화상의 촬영, 저장 장치에 대한 보존, 저장상의 동화상을 재생, 출력할 수도 있다.
정지화면, 동화상을 작성할 때는, 우선, 이미지 센서(216)에서 광학계(215)의 렌즈로부터의 빛을 전기 신호로 바꾸어 둔다. 그 신호를, 아날로그 신호 처리부(127), AD 컨버터(218), 디지털 신호 처리부(219)를 통해 화상 신호로 변환한다.
그 화상 신호를 화상 압축 신장부(205)에서 엔코드하여 정지화면, 동화상의 파일을 작성한다. 작성된 파일은 저장 인터페이스(208)를 통해 메모리(209)에 보존할 수 있다.
재생시에는 저장상의 파일을 읽어들여 화상 압축 신장부(205)에서 디코드한다.
그 결과를, 동화상 변환 회로(201)에서 처리한 것을 표시장치 인터페이스(210)가 읽어들여, LCD등의 표시장치(211)에 표시시킨다.
화상 신호를 화상 압축 신장부(205)에서 엔코드하지 않고 그대로 동화상 변환 회로(201)에서 처리하고, 표시장치(211)에 표시시키는 것도 가능하다. 그 경 우는, 현재, 광학계(215)를 통해 촬영하고 있는 것이 실시간으로 표시된다.
또, 상술한 제 1내지 제 4의 실시 형태에서 설명했지만 기능을 사용하여, 정지화면, 동화상의 해상도, 프레임 레이트를 변환해 표시하는 것도 가능하지만, 변환하지 않고 원래의 해상도, 프레임 레이트로 표시해도 좋다.
상기의 저소비 전력인 동화상의 재생 시스템, 장시간 동영상 재생이 가능한 장치를 실현할 수 있다. 이 카메라 시스템으로 촬영, 표시하면, 1개의 동화상 파일을 자동적으로 표시장치에 최적인 상태로 표시할 수 있으므로, 저장의 사용량을 절약할 수 있다.
＜제 6의 실시 형태＞
도 11은, 본 발명의 제 6의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
본 제 6의 실시 형태와 관련되는 화상 신호 처리 장치(200D)가 제 5의 실시 형태의 카메라 시스템(200C)과 다른 점은, 디지털 신호 처리부(219)의 입력측에, 광학계(215), 이미지 센서(촬상 장치)(216), 아날로그 신호 처리부(217), 및 AD컨버터(218) 대신에 입력 신호 처리부(222)를 설치한 것에 있다.
또, 본화상 신호 처리 장치(200D)에 대해서는, 동화상 변환 회로(201 D)와 화상 압축 신장부(205D)가 복수의 회로를 내장하고 있다.
본 예에서는, 동화상 변환 회로(201D)는, 제 1동화상 변환 회로(201-1)와 제 2동화상 변환 회로(201-2)의 2개의 회로를 포함해 구성되어 있다. 이와 같이 화상 압축 신장부(205D)는, 제 1화상 압축 신장부(205-1)와 제 2화상 압축 신장 부(205-2)의 2개를 포함해 구성되어 있다.
장치 전체의 제어, 동작의 설정을 제어 블록(202D)으로 실시한다. 입력 신호 처리부(222)로부터 입력된, 정지화면, 동화상을 표시하거나 저장장치에 보존, 또는, 저장상의 정지화면, 동화상을 표시할 수 있다.
입력 신호 처리부(222)는, 입력된 화상, 영상 신호를 디지털 신호 처리부(219)에서 처리할 수 있는 형식으로 변환할 수 있다. 그 아날로그 신호의 경우는 AD컨버터의 기능도 수행한다.
디지털 신호 처리부(219)에서 처리한 화상, 영상 신호를 화상 압축 신장부(205D)로 엔코드하여 정지화면, 동화상의 파일을 작성할 수 있다. 그 파일은 저장 인터페이스(208)를 통해 메모리(209)에 기록된다.
또, 엔코드하기 전에 동화상 변환 회로(201D)로 해상도, 프레임 레이트를 변환할 수도 있다. 저장상의 파일은 화상 압축 신장부(205D)로 디코드한 후, 표시장치 인터페이스(210)를 통해 표시장치(211)에 표시할 수 있다. 디코드 후에 동화상 변환 회로(201D)로 해상도, 프레임 레이트를 변환할 수도 있다.
변환 후에 재생할 뿐만 아니라, 그 동화상을 재차 엔코드하여 저장 장치에 보존하는 것도 가능하다. 그렇게 하여, 보존된 동화상의 해상도, 프레임 레이트를 변환하고 보존을 할 수 있다. 해상도, 프레임 레이트를 감소시켜 보존하여 파일의 크기를 작게 할 수 있다.
본 실시 형태에 대해서는, 동화상 변환 회로(201D), 화상 압축 신장부(205D)가 복수개의 회로를 갖고 있으므로, 1개의 동화상 파일을 복수의 재생 방법으로 동 시에 표시할 수 있다. 재생을 개시하는 장면도 차이가 나는 것도 가능하고, 다른 재생 개시 포인트를 지정할 수 있다 .
이것은 화상 압축 신장부(205D)가 디코드하는 포인트를 지정하는 것에 의해 가능하다. 그 후, 각 동영상 화상 변환 회로(201D)에서 어느 화상 압축 신장부(205-1, 205-2)가 처리한 동화상을 취급하던지 또는 지정해 선택하는 것에 의해서, 재생 개시 포인트를 자유롭게 선택할 수 있다.
해상도, 프레임 레이트도 동화상 변환 회로(201-1, 201-2)에 각각 다른 값을 설정할 수 있다. 작성한 동화상은 같은 표시장치(211)에 동시에 재생할 수 있도록 축소할 필요가 있다.
도 12는, 제 6의 실시 형태에 있어서의 2개의 형태로 재생할 때의 동작예를 나타내는 플로차트이다.
도 12의 예에서는, 재생 설정시(ST30), 제 1동화상 변환 회로(201-1)에 제 1화상 압축 신장부(205-1)의 처리 데이터를 사용하도록 설정한다(ST31).
다음에, 제 1화상 압축 신장부(205-1)에 동영상의 개시 포인트를 설정한다(ST32). 그 다음에, 제 1동화상 변환 회로(201-1)에 해상도, 프레임 레이트를 설정한다(ST33).
그리고, 동시에 2개의 형태로 재생하는지 아닌지를 결정한다(ST34).
2개의 형태로 재생하지 않는 경우, 제 1화상 압축 신장부(205-1)의 동작을 개시시키고(ST35), 제 1동화상 변환 회로(201-1)의 동작을 개시시킨다(ST36).
그리고, 저장 인터페이스(208)를 통해 메모리(209)로부터 동화상 파일을 읽 어들여(ST37), 재생을 개시한다(ST38).
한편, 스텝(ST34)에서는, 2개의 형태로 재생하는 것을 결정하면, 재생 개시 포인트가 같은지 아닌지를 판단한다(ST39). 개시 포인트가 같지 않은 경우에는, 제 2화상 압축 신장부(205-2)에 동영상의 개시 포인트를 설정하고(ST40), 제 2동화상 변환회로(201-2)에 제 2화상 압축 신장부(205-2)의 처리 데이터를 사용하도록 설정한다(ST41). 한편, 개시 포인트가 같은 경우에는, 제 2동화상 변환 회로(201-2)에 제 1화상 압축 신장부(205-1)의 처리 데이터를 사용하도록 설정한다(ST42).
다음에, 제 1동화상 변환 회로(201-1)에 동화상을 동시 재생용으로 축소하도록) 설정하고(ST43), 제 2동화상 변환 회로(201-2)를 동시 재생용으로 축소하도록 설정한다(ST44).
그리고, 제 1 및 제 2화상 압축 신장부(205-1, 2905-2)의 동작을 개시시키고(ST45), 제 1 및 제 2동화상 변환 회로(201-1, 201-2)의 동작을 개시시키고 (ST46), 전술한 스텝(ST37)의 처리로 이행한다.
또, 변환 방법을 각각 변경하는 것도 가능하다. 작성된 복수의 동화상을 동일한 화면에서 표시하는 것은 표시장치 인터페이스(210)로 실시한다.
도 13은, 도 11의 화상 신호 처리 장치의 회로 동작예를 나타내는 도면이다.
본 제 6의 실시 형태에서는, 도 13에 도시된 바와 같이, 스텝(ST51)에 서, 제어 블록(202D)이 각 블록의 동작의 제어, 설정을 실시한다.
우선, 스텝(ST52-ST54)에서, 저장 인터페이스(208)가 저장(메모리) (209)으 로부터 화상 메모리(203)에 재생하고 싶은 동화상 파일을 읽어들인다.
다음에, 스텝(ST55)에서, 제 1화상 압축 신장부(205-1)가 설정한 개시 포인트로부터 디코드를 시작해 동화상을 화상 메모리(203)에 기입한다.
스텝(ST56)에서, 그 동화상을 제 1동화상 변환 회로(201-1)가 읽어들여, 설정된 해상도, 프레임 레이트로 변환한다. 변환할 때에, 1개의 화상에 복수 표시할 수 있도록 적절한 사이즈로 축소하는 동작도 실시한다. 그 결과, 작성된 재생용 동화상을 화상 메모리에 기입한다.
스텝(ST57)에서, 제 1화상 압축 신장부(205-1), 제 1동화상 변환 회로(201-1)가 동작하는 것과 동시에, 스텝(ST57)에서 제 2화상 압축 신장부 (205-2), 스텝(ST58)에서 제 2동화상 변환 회로(201－2)도 같은 동화상 파일을 읽어들여 다른 형태의 재생용 동화상을 화상 메모리(203)에 기입한다.
화상 메모리(203)상에 작성된 복수의 재생용 동화상을, 스텝(ST59)에 서 표시장치 인터페이스(210F)로 합성하고, 스텝(ST60)에서 표시장치(211)에 표시한다.
또, 스텝(ST61)에서, 표시장치(211)의 표시 화면과 같이 동화상 파일의 복수의 재생 동화상을 한 번에 표시할 수 있다.
본 예에서는 2개의 형태까지만 동시에 재생하고 있지 않지만, 화상 압축 신장부, 동화상 변환 회로를 2개이상 내장하고, 보다 많은 형태로 동시에 재생하는 것도 가능하다.
또, 화상 압축 신장부, 동화상 변환 회로가 1개씩 밖에 없어도, 한 번의 재생에 여러 차례 움직이더라도 복수의 형태로의 재생은 실현될 수 있다. 그 때문 에, 화상 압축 신장부, 동화상 변환 회로의 수는 같지 않아도 좋다.
본 제 6의 실시 형태에 의하면, 1개의 동화상 파일을 다른 포인트로부터 재생 개시한 것을 복수개, 동일 화면에 표시할 수 있으므로, 이 시스템의 사용자는 동화상 파일의 내용의 확인을 종래부터 단시간에 확인할 수 있다. 해상도, 프레임 레이트, 변환 방법을 다르게 하더라도 재생한 동화상을 복수개, 동일 화면에 표시해 비교함으로써, 사용자는 적절한 해상도, 프레임 레이트, 변환 방법을 알 수 있다.
그 결과에 의해, 동화상 파일의 해상도, 프레임 레이트를 감소시켜 보존하면, 동화상 파일의 화질을 손상하는 일없이 용이하게 파일의 크기를 작게 할 수 있다. 또, 시스템 자체가 비교하여 자동적으로 변환해도 좋다.
＜제 7의 실시 형태＞
도 14는, 본 발명의 제 7의 실시 형태와 관련되는 화상 신호 처리 장치의 구성예를 나타내는 블럭도이다.
본 제7의 실시 형태와 관련되는 화상 신호 처리 장치(200E)가 제 6의 실시 형태의 카메라 시스템(200D)와 다른 점은, 화상 신호의 입력부를 아날로그 신호 처리부와 디지털신호 처리부를 복수(이 예에서는 2)계통으로 설치하고, 복수(이 예에서는 2개)의 표시장치 인터페이스를 설치했다는 데에 있다.
본 제 7의 실시 형태의 화상 신호 처리 장치(200E)는, 표시장치 인터페이스(F)를 복수 내장하고 있어, 복수의 표시장치(211－1, 211－2)에 정지화면, 동화상을 표시하는 것이 가능하다.
입력 신호 처리부도 다수개 있으므로 표시장치에 다른 동화상을 표시하는 것도 가능하다.
상술한 제 3의 실시 형태의 기능에 의해 다른 종류의 표시장치에 접속하고 있어도 용이하게 정지화면, 동화상을 표시할 수 있다.
또, 제 6의 실시 형태의 기능을 사용하면, 어느 표시장치에는 동화상을 원래 그대로 표시하고, 다른 표시장치에는 동화상을 복수의 형태로 동시에 표시하는 것도 가능하다. 또, 각각의 표시장치에 같은 동화상을 재생 개시 포인트, 해상도, 프레임 레이트의 어떤 것을, 또는 몇 개인가를 변경해 표시할 수도 있다.
도 15는, 제 7의 실시 형태와 관련되는 화상 신호 처리 장치(시스템)를 사용한 화상 표시장치(300)의 예를 나타내는 도면이다.
도 15에 도시한 화상 표시장치(300)는, 2면의 LCD(301, 302)에 표시할 수 있는 박형 화상 표시장치이다.
2개의 영상 입력 포토로부터 화상, 영상 신호를 입력할 수 있다. 2면의 LCD에 같은 동화상을 표시하는 것도 가능하며, 다른 재생 형태의 동화상, 다른 종류의 동화상을 각각 표시하는 것도 가능하다.
한편, 항상 LCD를 2면 모두 사용할 필요는 없고, 다른 한쪽의 LCD는 사용하지 않고 전원을 감소할 수도 있다.
이 화상 표시장치를 사용하면, 두 명의 사용자가 다른 목적으로 1대의 화상 표시장치를 동시에 사용할 수 있다.
이상에서 설명한 제 1로부터 제 7의 실시 형태에 의하면, 이하의 효과를 얻 을 수 있다.
1) 종래보다 고해상도, 고프레임 레이트의 정지화면, 동화상을 사용할 수 있게 된다.
2) 표시장치가 대응하고 있지 않는 해상도, 프레임 레이트의 정지화면, 동화상도 작성, 촬영, 사용할 수 있게 된다.
3) 메모리, 소비 전력이 적은, 화상 표시장치, 카메라 장치를 작성할 수 있다.
4) 복수의 종류의 표시 디바이스용의 정지화면, 동화상의 파일을 준비할 필요가 없어진다.
5) 동화상의 내용의 확인을 보다 단시간에 실시할 수 있게 된다.
6) 동화상의 최적인 보존 형식을 종래보다 용이하게 선택할 수 있게 된다.
7) 정지화면, 동화상의 보존용의 파일 용량을 종래에 비해 줄일 수 있다.
8) 해상도, 프레임 레이트가 일정하지 않은 동화상을 변환, 표시하는 회로, 장치의 소형화를 실현할 수 있다.
9) 1개의 표시장치를 여러 사람이 사용할 수 있다.
＜제 8의 실시 형태＞
도 16은, 본 발명의 제 8의 실시 형태와 관련되는 촬영 화상 기록 장치를 채용한 카메라 시스템의 구성예를 나타내는 블럭도이다.
본 카메라 시스템(400)은, 광학계(401), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치)(402), 아날로그 신호 처리부(403), AD컨버터(404), 디지털 신호 처리부(405), 화상 압축 신장부(406), 화상 일시 기록 메모리 및 표시 메모리로서의 화상 메모리(407), 표시장치 인터페이스(I／F)(408), 표시장치(409), 제어 CPU(410), 조작 디바이스(411), 휴먼 인터페이스(412), 저장 인터페이스(413), 및 외부 보존용 메모리(414)를 가지고 있다.
카메라 시스템(400)에서는, 디지털 신호 처리부(405), 화상 압축 신장부(406), 화상 일시 기록 메모리 및 표시 메모리로서의 화상 메모리(407), 표시장치 인터페이스(I／F)(408)가 버스(415)를 통해 접속되어 있다.
또, 광학계(401), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치)(402), 아날로그 신호 처리부(403)등에 의해 촬상부가 구성된다.
광학계(401)는, 렌즈를 주체로서 구성되며, 도시하지 않는 피사체의 상을 촬상 소자인 이미지 센서(402)의 수광면에 결상시킨다.
이미지 센서(402)는, 광학계(401)를 통해 결상한 피사체상의 정보를 광전 변환하고, 아날로그 신호 처리부(403)에 출력한다.
아날로그 신호 처리부(403)는, 이미지 센서(402)의 아날로그 출력에 대해 상관 이중 샘플링 처리(CDS), 아날로그 증폭 처리등을 실시하고, 처리 후의 아날로그 화상 데이터를 A／D컨버터(404)에 출력한다.
A／D컨버터(404)는, 아날로그 신호 처리부(403)에 의한 아날로그 화상 데이터를 디지털신호로 변환하고, 디지털신호 처리부(405)에 출력한다.
디지털 신호 처리부(405)는, 촬영에 앞서 촬영의 셔터 스피드를 결정하는 처리나 촬영한 화상의 밝기나 색을 조정하기 위한 처리나, 촬영한 화상 데이터를 다 음에 상술하는 압축 방식에 따라서 압축 처리해 기록 매체인 화상 메모리(17)에 기입하고, 기입된 화상 데이터를 화상 메모리(407)로부터 읽어내 신장(전개)하는 처리 등을 실시한다.
화상 압축 신장부(406)는, 화상 메모리(407)에 기억된 피압축 데이터를 읽어내 신장 처리하는 디코더의 기능이나, 카메라의 신호등의 복수의 화상 데이터로부터 압축 신호 처리해 화상 소스를 작성하는 엔코드 기능을 가진다.
화상 압축 신장부(406)는, 저장 인터페이스(413)를 통해 화상 보존용 메모리(414)에 대한 화상 데이터의 보존, 혹은 메모리(414)로부터의 재생을 실시할 수 있다.
화상 보존용 메모리(414)로서는, 불휘발성의 메모리인 플래쉬 메모리나 HDD, DVD가 적용 가능하다.
표시장치 인터페이스(408)는, 표시해야 할 화상 데이터를 표시장치 (409)에 출력해 표시시킨다.
표시장치(409)로서는, 액정표시장치(LCD)등이 적용 가능하다.
제어 CPU(410)는, 이미지 센서(402), 디지털 신호 처리부(15), 화상 압축 신장부(16)와 회로 전체의 제어를 실시한다.
제어 CPU(410)는, 휴먼 인터페이스(412)를 통해 조작 디바이스(411)의 조작에 대응하는 제어를 실시한다.
조작 디바이스(411)로서는, 셔터 버튼, 조그 다이얼, 터치 패널등을 포함해 구성된다.
본 제 8의 실시 형태의 카메라 시스템(400)에서는, 통상의 속도로 촬영한 데이터내에, 고속으로 촬영한 데이터를 삽입하고, 한편 고속으로 촬영한 데이터와 통상의 속도로 촬영한 데이터의 경계 부분에, 단계적으로 프레임 레이트가 빠르게 되어가거나, 또는 늦게 되어 가는 화상 데이터를 삽입한 데이터를 작성한다. 이렇게 작성한 화상 데이터를, 모든 프레임에 대해 통상 혹은 그 외 일정한 프레임 레이트로 재생하여, 시간적으로 슬로 모션 표시가 페이드 인/페이드 아웃하는 표시 효과를 시청자에게 주는 것을 특징으로 하고 있다.
도 17은, 통상의 프레임 레이트로 촬영한 부분, 단계적으로 프레임 레이트가 변화하는 부분, 고속 일정한 프레임 레이트로 촬영한 부분을, 연속적으로 표시하고, 상기 표시 효과(시간적으로 슬로 모션 표시가 페이드 인/페이드 아웃하는 표시 효과)를 얻을 수 있는 화상 데이터 구성을 나타내는 도면이다.
도 17에서는, 햇칭(hatching)을 실시한 프레임이 보존용으로서 채용하는 프레임이다.
이 예에서는, 촬영 개시부터 고속 촬영시까지는, 통상의 프레임 레이트로 표시를 하고, 재생 표시가 고속 촬영 시점에 도달하면, 서서히 시각적인 재생 속도가 늦게 되어 간다.
그 후, 시각적으로 재생 속도가 일정인 슬로 모션 재생 부분에 도달하며, 당분간 그 상태로의 재생을 거친 후, 서서히 시각적인 슬로 모션으로부터 통상의 속도로 재생 속도가 돌아오고, 최종적으로 또 통상의 재생 속도로 돌아오게 된다.
이러한 화상 데이터의 작성을 실현하는 촬영 화상 기록 장치를 도 16의 카메 라 시스템(400)이 채용하고 있다.
상술한 것처럼, 본 제 8의 실시 형태와 관련되는 디지털 카메라 시스템(400)은, 인간의 시각에 대해서 충분한 표시 효과를 얻을 수 있는 60fps 정도보다 높은 프레임 레이트로 촬영가능한, 즉 화상 읽어들이기가 가능한 이미지 센서(402)를 가지고 있다.
이미지 센서(402)의 후단에는, 게인 조정등의 각종 아날로그 처리 부분(403)과 AD변환 부분(404), 그리고 그 후에, 센서측으로부터 고속으로 송출하는 화상 데이터를 차례차례 처리가능한 디지털신호 처리부(405)를 가지고 있다.
여기서 신호 처리된 데이터는, 일시적 화상 기록부로서의 화상 메모리(407) 혹은 외부의 보존용 기록 장치(414)에 전송되는 한편, 필요에 따라서 표시 메모리에도 전송되며, LCD나 TV등의 표시장치(409)상에서 재생된다.
또, 제어 CPU(410)는, 마이크로 컴퓨터를 중심으로 하는 제어 부분을 구비하며, 제어 부분에서는, 사용자로부터의 버튼 입력등의 지령등을 받아 그 내용을 신호 처리부나 그 외 각처에 반영한다.
사용자로부터의 고속 촬영 지령이 버튼등의 입력장치를 통해서 지령되면, 이미지 센서(402)는, 예를 들어 240fps라고 하는, 매우 높은 프레임 레이트로 촬영을 실시하고, 그 결과, 1초간에 240매라고 하는, 다수매의 화상 데이터를 후단에 보내기 시작한다.
후단의 신호 처리부에서는, 사용자로부터의 고속 촬영 지령을 인식하고 있으므로, 높은 프레임 레이트로 처리가 가능한 처리속도/능력을 향상시키고, 센서측으 로부터의 화상 데이터를 받아 들이게 된다.
이 때, 송신되어지는 모든 프레임을 처리하여, 기록 및 표시하는 것이 아니라, 처리 프레임을 시닝하고, 적당하게 기록 및 표시용의 프레임을 선택하여, 페이드 인/페이드 아웃과 다른 표시 효과를 가지는 화상 데이터를 작성할 수 있다.
도 18은, 제 8의 실시 형태와 관련되는 카메라 시스템의 촬영시의 동작예를 나타내는 플로차트이다. 또, 도 19는, 제 8의 실시 형태와 관련되는 카메라 시스템의 재생시의 동작예를 나타내는 플로차트다.
촬영시는, 도 18에 도시한 스텝(ST70)으로부터 스텝(ST80)까지의 처리가 이하와 같이 행해진다.
촬영시는, 도 19에 도시한 스텝(ST90)으로부터 스텝(ST99)까지의 처리가 이하와 같이 행해진다.
장치의 동작으로서는, 예를 들어 촬영자의 촬영 지령을 받아 30fps등의 속도로 통상의 동영상을 촬영하고 있다. 어느 때에, 입력장치를 거친 사용자의 지령 혹은, 타이머 설정이나 화상의 특징량(화면의 휘도나 전화면과의 차이)등의 다른 요인의 지령에 의해서, 고프레임 레이트로 동작 명령을 제어 CPU(410)를 통해 장치가 받았을 경우는, 고프레임 레이트로 촬상하도록 이미지 센서(402)에 지령을 보낸다.
이미지 센서(402)에 의해서 고프레임 레이트로 촬영된 화상은, 예를 들어 1/240 초간격으로 한 장마다 AD컨버터(404)를 거쳐 디지털 신호 처리부(405)에 송신된다.
이 보내져 오는 프레임을 최초부터 모두 처리하는 것이 아니라, 처음은 예를 들어 1/60초에 한 장의 화상을 처리하고, 일시 기억 영역에 보존한다. 그것을 몇 매를 반복한 후, 다음에 처리하는 프레임의 시닝을을 변경하여, 1/90초에 한 장의 화상을 선택해 처리, 보존한다.
이전 시닝 비율의 변경을 연속적으로 반복해, 1/120초에 한 장, 1/180초에 한 장등의 시닝을 거친 후, 최종적으로는 시닝이 전혀 없거나, 혹은 가장 시닝이 비율이 적은 상태로 화상 처리, 보존을 실시한다.
시닝이 전혀 없던가, 혹은 최저의 시닝 비율의 상태에서, 어느 일정한 기간 동안, 촬영이 계속된다. 이 촬영의 계속 시간은, 사용자 혹은 다른 요인에 의해, 고프레임 레이트 촬영의 정지 명령을 장치가 받아들이던지, 혹은 일시 기억 영역(407)이나 영속적 기억장치인 메모리(414)의 용량, 전송 속도가 한계에 이른 시점까지 계속된다.
기억 부분의 용량, 전송 속도가 한계에 이르렀을 경우는, 그 시점에서 기억 부분 제어부로부터, CPU로 향해 기억 부분의 능력 한계를 나타내는 신호가 송신되며, 그것이 사용자등에 의한 고프레임 레이트 촬영의 정지 지령과 같은 의미를 가진다.
고프레임 레이트 촬영의 정지 명령을 CPU(410)가 인식하면, 고프레임 레이트 촬영의 돌입시와는 반대로, 보존 프레임의 시닝 비율을 자꾸자꾸 상승시켜 간다.
예로서는, 1/240초에 한 장의 보존 레이트를 1/180, 1/120, 1/90.... 과 같이 변화시켜, 보존되지 않고 시닝되는 프레임을 많이 처리해 나간다.최종적으로는, 고프레임 레이트 촬영 모드 돌입전의 프레임 레이트로 돌아오고, 그와 동시에 센서의 촬영 동작도 통상의 프레임 레이트로 화상을 촬영해 송출하는 동작으로 되돌려진다.
한편, 이상과 같은 촬영 및 보존 프레임의 레이트의 변경을 신호 처리부에서 실시하는 것이 아니라, 센서의 촬영 레이트를 임의로 변경하여, 다양한 프레임 간격을 가지는 화상 데이터를 작성하는 방식도 생각할 수 있다.
그러나, 이 경우는, 우선, 차례차례 센서의 촬영 레이트를 변경하며, 이미지 센서(402)측이 모든 프레임에 대해서 동등의 화질을 유지하는 것이 곤란하게 될 가능성이 생긴다.
이미지 센서(402) 자신이 자랑으로 여기는 촬영 프레임 레이트외에도, 노광량이나 셔터 주위의 제어등을 수시 제어하는 것이 곤란하다.
또, 전단의 이미지 센서(402)로 여러가지로 프레임 레이트가 변경되고 후단에 보내지면, 후단의 신호 처리측도 거기에 대응하는 처리를 실시할 필요가 있으므로, 전후에서 동작 속도의 동기를 취하는 제어 방식의 설계는, 불가능하지 않지만 일반적으로 어려워진다.
그런데, 상기와 같이 프레임을 단계적으로 시닝하여 작성된 화상 데이터를 재생하는 방법이지만, 이것은 일시 기록, 혹은 영속적으로 기록한 데이터를 일련의 촬영 종료후에 표시 메모리에 읽어낸다.
읽어내진 각 프레임간의 시간 간격은, 상기의 이유로부터 각각 다른 것이 되어 있다. 이것을 기본으로 하면, 모두 시간 간격이 같은 프레임이며, 프레임 레이트는 통상 촬영시의 것(30fps등)으로 간주하고, 표시장치에 송출한다. 표시장치는, 예를 들어 1/30초에 한 장마다, 화상을 패널에 표시한다.
이와 같이 재생을 실시하면, 통상 촬영 부분의 프레임은, 통상 대로 재생되며, 고프레임 레이트 촬영 돌입 후의 프레임 부분으로 옮기면, 실제는 1/90초 간격의 데이터가 1/30초 마다 표시되기 때문에, 시각적으로 슬로 모션이 걸린 것 같은 표시 효과를 얻을 수 있다.
그 후, 1/120, 1/180초 간격의 프레임이 차례차례 30fps로 재생되며, 시각적으로는 점점 재생 속도가 저하하고, 슬로 모션이 강해져 가는, 슬로 모션의 패이드 인 표시 효과를 얻을 수 있다.
그 후, 재생 속도가 한결 같이 슬로가 된 1/240초 간격의 촬영 부분에 재생이 도달하고, 그 부분이 종료하면, 이번은 반대로 슬로 모션 속도가 서서히 통상의 재생 속도로 돌아오는 것과 같이 재생되어 통상의 재생 모드로 돌아오게 된다.
한편, 이렇게 기록되어 있는 화상 데이터를, 슬로 모션의 효과 없이 모두 통상 대로 재생하고 싶은 경우에는, 고프레임 레이트 촬영부에 관해서도, 1/30초 간격의 프레임만을 선택해, 표시장치에 보내면 좋다.
이상에 의해, 슬로 모션 재생에 대한 페이드 인/페이드 아웃 효과를 1개의 비디오 카메라 혹은 디지털 카메라 장치내에서 실현되는 것이 가능하게 된다.
이상의 기록 방식과는 별도로, 이미 고프레임 레이트로 촬영한 데이터를, 최종적으로 상기와 같은 레이트 간격의 조밀도를 포함하며, 페이드 인/페이드 아웃 재생이 가능한 화상 데이터에 컴퓨터상의 소프트웨어로 실현되는 것도 가능하다.
그 경우, 예를 들어 240fps 최고 밀도로 촬영된 프레임을, 본 카메라 시스템(400)내에서 실시한 것처럼, 차례차례 시닝 비율을 바꾸어 보존, 혹은 재생을 실시하면 좋다.
또, 상기와 같이 정해진 패턴, 즉 상기의 경우의 일정한 페이드 인/페이드 아웃 효과 이외에, 임의의 레이트로 화상을 보존해 나가는 것도 가능하다. 그 경우는, 그 임의의 패턴에 대응하는 재생 효과를 얻을 수 있다. 촬영하는 경우의 촬영 레이트를 촬영자가 조작하는 입력장치로 단계적으로 선택 가능하게 할 수도 있다. 예를 들면, 버튼의 가압 상태에 의해서 촬영 레이트를 변경하는, 입력 레버 장치의 레버가 굽히는 상태에서 촬영 레이트를 변경하는 것이 고려된다.
본 제 8의 실시 형태에 의하면, 시청자에 대해, 통상 속도에서의 화상 표시로부터, 조금씩 표시 속도가 슬로 모션이 되어, 완전한 슬로 모션 표시를 잠시 경과한 후, 조금씩 표시 속도가 빨라져 통상 속도에서의 화상 표시로 돌아오는 표시 효과를 가지는 화상 표시를 제공할 수 있다.
또, 시청자에 대해, 통상 속도에서의 화상 표시로부터, 조금씩 표시 속도가 슬로 모션이 되어, 마지막에 정지한 형태로 화상 표시를 끝내는 표시 효과를 가지는 화상 표시를 제공할 수 있다.
또, 시청자에 대해, 슬로 모션 표시로부터 시작되어, 서서히 통상 속도로 돌아오는 것과 같은 표시 효과를 가지는 화상 표시를 제공할 수 있다.
또, 상기 표시 효과를, 별도의 특별한 화상 표시장치를 필요로 하지 않고, 단일의 디지털 카메라 시스템내에서 실현될 수 있다. 그것에 의해, 촬영후 곧바 로 그 표시 효과를 시청할 수 있다.
한편 일정한 촬영 레이트를 가지는 촬영 소자를 가지는 시스템에서, 상기 표시 효과를 가지는 화상 데이터를 작성할 수 있어 촬영 소자에 특별한 기능을 요구하지 않는다.
또, 이미 촬영 끝마친 화상 데이터에 가공을 실시하여, 상기 표시 효과를 가지는 화상 데이터를 작성할 수 있다.
＜제 9의 실시 형태＞
도 20은, 본 발명의 제 9의 실시 형태와 관련되는 카메라 시스템의 구성예를 나타내는 블럭도이다.
본 카메라 시스템(500)은, CCD나 CMOS 센서등으로 구성되는 이미지 센서(고체 촬상 소자)(501), 제어부로서의 CPU(502), 메모리(503), 시간 줌버튼(스윗치)(504), 신호 처리부(505), 디코드부(CODEC)(506), 및 타이밍 생성기(TG)(507)를 가지고 있다.
본 제 9의 실시 형태의 카메라 시스템(500)은, 동영상 촬영중에 프레임 레이트의 변경을 사용자의 의사대로 실행하고, 거기에 따르는 화상 데이터 용량을 억제하는 기능을 가지고 있다.
제 9의 실시 형태는, 사용자가 임의로 조작 가능한 시간 줌 버튼(504)을 설치하고, 예를 들어 그 가압량(조작량)에 따라서 프레임 레이트를 변경하는 구성을 가진다.
이하, 프레임 레이트를 변경하는 것을 시간 줌이라고 정의하고, 그 기능을 제공하는 스윗치를 시간 줌 버튼이라고 정의한다.
이미지 센서(고체 촬상 소자)(501)는 집광된 상을 광전 변환하고, 수광량에 대응하는 영상 신호를 출력한다.
CPU(502)는, 시간 줌 버튼(504)으로부터의 프레임 레이트 변경을 참조해 타이밍 생성기(507)에 프레임 레이트 제어 신호(FCTL)를 출력한다.
메모리(503)는, 신호 처리부(505)에 의해 소정의 포맷에 변환된 화상 데이터의 일시적인 보존 영역이다.
신호 처리부(505)는, 화소 데이터를 소정의 포맷으로 변환하여, 메모리(503)에 보존한다.
화상 포맷은, 예를 들어, ITU-R BT601나 ITU-R BT709로 규정되는 휘도/색 차이 형식이다.
디코드부(CODEC)(506)은, 소정의 화상 포맷의 신호를 압축하여, JPEG, MPEG등의 압축 화상 포맷을 생성한다.
타이밍 생성기(TG)(507)는, 이미지 센서(고체 촬상 소자)(501)를 구동하기 위한 구동 신호(DRV)를 출력한다.
도 21은, 본 제 9의 실시 형태에 의한 수직 수평 동기 신호를 이용한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
본 실시 형태의 시간 줌 버튼(504)은, 가압식의 스윗치에 의해 형성되어 있다.
동영상 촬영중에 시간 줌 버튼(504)을 가압하여, 프레임 레이트의 변경을 한 다.
프레임 레이트는 시간 줌 버튼(504)의 가압 깊이에 의해 결정되며, 단계적 또는 연속적으로 변화하도록 제어된다.
이하에, 본 발명의 제 9의 실시 형태에 의한 프레임 레이트의 동적 변화를 실현하는 이미지 센서(고정 촬상 소자)의 제어 방법에 대해 설명한다.
프레임 레이트의 변경 방법으로서 이하 3개의 방법에 대해 설명한다.
1) 수직 수평 동기 신호를 이용한 프레임 레이트의 변경 방법.
2) 화상 데이터의 일시적인 보존 영역인 메모리로부터 처리하는 프레임을 선택하는 프레임 레이트의 변경 방법.
3) 고체 촬상 소자의 구동 클락을 동적으로 제어하는 프레임 레이트의 변경 방법이다.
＜수직 수평 동기 신호를 이용한 프레임 레이트 변경 방법＞
도 22는, 본 제 9의 실시 형태에 의한 수직 수평 동기 신호를 이용한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
이 프레임 레이트 변경 방법시에는 고체 촬상 소자는 항상 최고 구동 주파수로 움직이고 있는 것을 전제로 한다.
이미지 센서(고체 촬상 소자)(501)의 최고 프레임 레이트가 Nfps로 가정하고, 시간 줌 버튼(504)을 가압하기 전에 1/4 Nfps의 프레임 레이트로 동화상을 기록하는 것을 생각한다.
이 때, 각 프레임의 변환을 제어하는 수직 동기 신호는 1/(1/4N)초 마다 타 이밍 생성기(TG)(507)로부터 출력된다.
이 때, 이미지 센서(고체 촬상 소자)(501)의 구동 주파수는 최고 구동 주파수로 동작하고 있으므로, 의미가 있는 이미지 센서(고체 촬상 소자) (501)의 출력은 최고 프레임 레이트로 동작했을 경우와 같은 시간에 출력되고, 나머지는 블랭킹 기간이 된다.
다음에, 임의의 타이밍에 시간 줌 버튼(504)을 눌러, 1/2Nfps로 설정했을 경우, 수직 동기 신호는 1/(1/2N)초 마다 타이밍 생성기(TG)(505)로부터 출력된다.
이 때, 의미가 있는 이미지 센서(고체 촬상 소자)(507)의 출력은 최고 프레임 레이트로 동작했을 경우와 같은 시간에 출력되며, 나머지는 블랭킹 기간이 된다.
이어서, 임의의 타이밍에 시간 줌 버튼(504)을 눌러, 최고 프레임 레이트로 설정했을 경우, 수직 동기 신호는 1/N초 마다 타이밍 생성기(TG) (507)로부터 출력된다. 이 때, 블랭킹 기간은 필요 최소의 기간이 된다.
프레임 레이트로 변경에 이용하는 제어 신호는 상술한 수직 동기 신호 뿐만이 아니라, 수평 동기 신호 혹은 수직 동기 신호와 수평 동기 신호를 제어하는 것에서도 동등의 효과를 얻을 수 있다.
이상과 같이, 이미지 센서(고체 촬상 소자)의 구동 주파수를 변경하지 않고, 수직 수평 동기 신호만을 제어하는 것에 의해서 임의의 프레임 레이트로 동영상 촬영이 가능해진다.
＜사용 프레임 선택에 의한 프레임 레이트 변경 방법＞
도 23은, 본 제 9의 실시 형태에 의한 이미지 센서(고체 촬상 소자)의 클락은 변경하지 않고 사용 프레임의 선택에 의한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
이 프레임 레이트 변경 방법시에는, 이미지 센서(고체 촬상 소자) (501)는 항상 최고 구동 주파수로 움직이고 있는 것을 전제로 한다.
이미지 센서(고체 촬상 소자)(501)의 최고 프레임 레이트가 Nfps로 가정하고, 시간 줌 버튼(504)을 누르기 전에 1/4Nfps의 프레임 레이트로 동화상을 기록하는 것을 생각한다.
이 때, 이미지 센서(고체 촬상 소자)(501)는 Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 Nfps로 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터로부터 1/4Nfps의 프레임 레이트를 만족하도록 4화상 데이터에 대해 1화상 데이터를 처리하여 기록한다.
다음에, 임의의 타이밍에서 시간 줌 버튼(504)을 눌러, 1/2Nfps의 프레임 레이트로 동화상을 기록하는 것을 생각한다.
이 때, 이미지 센서(고체 촬상 소자)(501)는 Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 Nfps로 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터로부터 1/2Nfps의 프레임 레이트를 만족하도록 2화상 데이터에 대해 1화상 데이터를 처리해 기록한다.
이어서, 임의의 타이밍에서 시간 줌 버튼(504)을 눌러, 동화상의 기록을 최고 프레임 레이트로 설정했을 경우, 이 때 이미지 센서(고체 촬상 소자)(501)는 Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 Nfps로 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터로부터 Nfps의 프레임 레이트를 만족하도록 전체 화상 데이터를 처리해 기록한다.
이상과 같이 고체 촬상 소자, 신호 처리의 제어는 변경하지 않고 디코드부(CODEC)에서 압축하는 화상을 선택하여 임의의 프레임 레이트로 동영상 촬영하는 것이 가능해진다.
＜고체 촬상 소자 클락의 동적제어에 의한 프레임 레이트 변경방법＞
도 24는, 본 제 9의 실시 형태에 의한 이미지 센서(고체 촬상 소자)의 클락을 동적으로 제어하는 것에 의한 프레임 레이트의 변경 방법에 대해 도시한 도면이다.
이미지 센서(고체 촬상 소자)(501)의 최고 프레임 레이트가 Nfps라고 가정하면, 시간 줌 버튼(504)을 누르기 전에 1/4Nfps의 프레임 레이트로 동화상을 기록하는 것을 생각한다.
이 때, 타이밍 생성기(TG)(507)는, 이미지 센서(고체 촬상 소자)(501)의 최고 동작 주파수의 1/4의 클락을 이미지 센서(고체 촬상 소자) (501)에 출력한다.
이미지 센서(고체 촬상 소자)(501)는 1/4Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 1/4Nfps로 화소 데이터를 처리하여 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터를 1/4 Nfps로 처리하여 기록한다.
다음에, 임의의 타이밍에서 시간 줌 버튼(504)을 눌러, 1/2Nfps의 프레임 레이트로 동화상을 기록하는 것을 생각한다.
이 때, 타이밍 생성기(TG)(507)는, 이미지 센서(고체 촬상 소자)(501)의 최고 동작 주파수의 1/2의 클락을 이미지 센서(고체 촬상 소자) (501)에 출력한다.
이미지 센서(고체 촬상 소자)(501)는 1/2Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 1/2Nfps로 화소 데이터를 처리하여 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터를 1/2 Nfps로 처리하여 기록한다.
이어서, 임의의 타이밍에서 시간 줌 버튼(504)을 눌러, 동화상의 기록을 최고 프레임 레이트로 설정했을 경우를 생각한다.
이 때, 타이밍 생성기(TG)(507)는, 이미지 센서(고체 촬상 소자)(501)의 최고 동작 주파수를 이미지 센서(고체 촬상 소자)(501)에 출력한다.
이미지 센서(고체 촬상 소자)(501)는 Nfps로 화소 데이터를 출력하고, 신호 처리부(505)는 Nfps로 화소 데이터를 처리하여 메모리(503)에 화상 데이터를 보존한다.
디코드부(CODEC)(506)는, 메모리(503)에 보존된 화상 데이터를 Nfps로 처리 하여 기록한다.
본 제 9의 실시 형태에 의하면, 프레임 레이트를 동적으로 변경할 수 있으므로, 종래에는 할 수 없었던 필요한 장면만을 고프레임 레이트로 촬영하는 것이 가능해진다.
또 그것에 의해, 고프레임 레이트로 취하고 싶은 장면을 동적으로 선택할 수 있으므로, 미리 고프레임 레이트 고정으로 촬영했을 경우와 비교할 때에 화상 데이터 용량을 큰 폭으로 억제하는 것이 가능해진다.
본 발명에 의하면, 표시장치나 내부 상태에 맞추어 최적인 프레임 레이트, 해상도를 얻을 수 있다.
또, 통상의 속도로 촬영한 데이터로부터 연속한 형태로 시청자에게 위화감 없게 보이게 할 수 있다.
또, 메모리 용량의 증대를 억제하면서, 사용자가 임의의 타이밍에 프레임 레이트를 변경할 수 있다.

Claims (30)

  1. 화상 변환 장치에 있어서,
    재생해야 할 화상의 프레임 정보를 저장가능한 메모리와,
    상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부를 가지는 화상 변환 장치.
  2. 제 1항에 있어서,
    상기 화상 처리부는, 일정시간내에 재생하는 프레임의 수를 줄이지만 화상 전체의 재생 매수는 변경하지 않고 프레임 레이트의 변환을 실시하는 화상 변환 장치.
  3. 제 1항에 있어서,
    상기 화상 처리부는, 일정시간내에 재생하는 프레임의 수를 줄여 화상 전체의 재생 시간은 변경하지 않고 프레임 레이트의 변환을 실시하는 화상 변환 장치.
  4. 제 1항에 있어서,
    상기 화상 처리부는, 새롭게 재생용의 프레임을 작성하는 경우에는, 상기 메모리에 저장되어 있는 복수의 프레임으로부터 새로운 프레임을 작성하고, 일정시간 내의 화상의 프레임 레이트를 변경하는 화상 변환 장치.
  5. 제 4항에 있어서,
    화상을 임의의 사이즈로 확대 축소하는 연산 기능을 가지며, 상기 메모리에 저장되어 있는 복수의 원화상으로부터 새로운 화소를 작성하는 처리 엔진을 포함하며,
    상기 화상 처리부는, 상기 처리 엔진의 처리 결과에 근거하여 새로운 프레임을 작성하고, 일정시간내의 화상의 프레임 레이트를 변경하는 화상 변환 장치.
  6. 제 5항에 있어서,
    상기 처리 엔진은, 상기 메모리에 저장되어 있는 이동 벡터 정보로부터 새로운 이동 벡터를 구하며,
    상기 화상 처리부는, 상기 새로운 이동 벡터에 근거하여 새로운 프레임을 생성하는 화상 변환 장치.
  7. 외부로부터의 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    재생해야 할 화상의 프레임 정보를 저장가능한 메모리와,
    상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부를 가지는 화상 신호 처리 장치.
  8. 외부로부터의 화상 신호를 처리하는 화상 신호 처리 장치에 있어서,
    재생해야 할 화상의 프레임 정보를 저장가능한 메모리와,
    상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부와,
    적어도 하나의 표시장치가 접속 가능한 접속부를 가지며,
    상기 화상 처리부는, 접속된 표시장치의 성능 및 상기 접속부의 성능의 적어도 한 편에 근거하여 프레임 레이트를 변환하는 화상 신호 처리 장치.
  9. 제 8항에 있어서,
    상기 화상 처리부는, 장치의 내부 상태에 따라 프레임 레이트를 변환할 수 있는 화상 신호 처리 장치.
  10. 제 8항에 있어서,
    상기 화상 처리부는, 적어도 주파수, 소비 전력, 메모리 사용량중 적어도 1개에 맞추어, 프레임 레이트를 변경할 수 있는 화상 신호 처리 장치.
  11. 제 8항에 있어서,
    상기 화상 처리부는, 상기 프레임 레이트를 다른 조합으로 구성하여 접속된 표시장치에 화상을 표시할 수 있는 수단을 가지는 화상 신호 처리 장치.
  12. 제 8항에 있어서,
    상기 화상 처리부는, 복수의 표시장치에 동시에 프레임 레이트가 일정하지 않는 화상을 표시할 수 있는 수단을 가지는 화상 신호 처리 장치.
  13. 제 8항에 있어서,
    상기 화상 처리부는, 표시장치의 대응 프레임 레이트에 맞추어, 프레임 레이트를 재편하여 표시할 수 있는 수단을 가지는 화상 신호 처리 장치.
  14. 제 8항에 있어서,
    상기 화상 처리부는, 표시장치에 맞추어 프레임 레이트를 감소시킬 때, 감소된 프레임의 화상 정보를 감소시키기 않고 프레임에 반영하여, 고화질의 저레이트(low rate) 프레임 화상을 출력하는 수단을 가지는 화상 신호 처리 장치.
  15. 제 8항에 있어서,
    상기 화상 처리부는, 규격외의 프레임 레이트로 작성된 화상을 표시장치에 맞추어 다시 만드는 수단을 가지는 화상 신호 처리 장치.
  16. 카메라 시스템에 있어서,
    피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와,
    화상 데이터에 소정의 처리를 실시하는 화상 신호 처리 장치를 포함하며,
    상기 화상 신호 처리 장치는,
    재생해야 할 화상의 프레임 정보를 저장가능한 메모리와,
    상기 메모리로부터 프레임 정보를 읽어내고, 소정 상태에 대응하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환할 수 있는 화상 처리부와,
    적어도 하나의 표시장치가 접속 가능한 접속부를 가지며,
    상기 화상 처리부는, 접속된 표시장치의 성능 및 상기 접속부의 성능의 적어도 한 편에 근거하여 프레임 레이트를 변환하는 카메라 시스템.
  17. 제 16항에 있어서,
    상기 화상 처리부는, 장치의 내부 상태에 따라 프레임 레이트를 변환할 수 있는 카메라 시스템.
  18. 카메라 시스템에 있어서,
    피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와,
    화상 데이터에 소정의 처리를 실시하는 화상 신호 처리 장치를 포함하며,
    상기 화상 신호 처리 장치는,
    메모리와,
    소정 레이트로 촬영한 각 프레임 화상의 시간 간격을 단계적으로 변경하여 시닝한 화상을 상기 메모리에 보존하고, 각 프레임 간격이 연속적으로 다른 화상 데이터를 생성할 수 있는 화상 처리부를 가지는 카메라 시스템.
  19. 제 18항에 있어서,
    상기 화상 처리부는, 미리 설정한 임의의 변화 레이트에 따라서, 촬영한 각 프레임 화상의 시간 간격을 변경하여 시닝한 화상을 보존하여, 각 프레임 간격이 연속적으로 다른 화상 데이터를 작성할 수 있는 카메라 시스템.
  20. 제 18항에 있어서,
    표시장치를 접속할 수 있는 접속부를 가지며,
    상기 화상 처리부는, 작성한 각 프레임 간격이 단계적으로 다른 화상 데이터의 각 프레임을, 모두 등간격으로 재생하여 표시장치에 비추고, 고속의 프레임 레이트에서의 기록 부분을 시각적으로 슬로 모션으로 재생하고, 단계적으로 프레임 레이트가 변경되어 기록된 부분은, 통상의 표시 속도로부터 서서히 슬로 모션이 되는, 혹은 슬로 모션으로부터 서서히 통상의 표시 속도로 돌아오도록 처리하는 카메라 시스템.
  21. 제 19항에 있어서,
    상기 화상 처리부는, 작성한 각 프레임 간격이 임의적으로 다른 화상 데이터 의 각 프레임을, 모두 등간격으로 재생하여 표시장치에 비추어, 재생 속도가 임의로 변화하도록 처리하는 카메라 시스템.
  22. 제 19항에 있어서,
    상기 화상 처리부는, 일정한 프레임 레이트로 이미 기록이 끝난 화상 데이터에 대해, 단계적으로 프레임을 시닝하는 처리를 실시하는 카메라 시스템.
  23. 제 19항에 있어서,
    촬영하는 프레임 레이트의 지정을 실시하는 입력장치를 구비하며,
    상기 입력장치에 대한 입력의 강도에 따라, 촬영하는 프레임 레이트 를 임의로 변경할 수 있는 카메라 시스템.
  24. 카메라 시스템에 있어서,
    피사체의 상을 촬상하여 화상 데이터를 출력하는 촬상부와,
    화상 데이터에 소정의 처리를 실시하는 화상 처리부와,
    동작 촬영중에 프레임 레이트의 변경을 지시할 수 있는 조작부를 가지며,
    상기 촬상부는, 상기 조작부에서 지시받아 변경된 프레임 레이트로 화상을 촬영할 수 있는 카메라 시스템.
  25. 제 24항에 있어서,
    상기 조작부는, 버튼 스윗치의 가압 힘에 의해 단계적 또는 연속적인 프레임 레이트의 변경 지시가 가능한 카메라 시스템.
  26. 제 24항에 있어서,
    상기 촬상부는 고체 촬상 소자를 포함하며, 상기 고체 촬상 소자 구동 주파수는 변경하지 않고 수평, 수직의 블랭킹 기간을 제어하여 프레임 레이트를 변화시키는 카메라 시스템.
  27. 제 24항에 있어서,
    상기 촬상부는 고체 촬상 소자를 포함하여, 상기 고체 촬상 소자 구동 주파수는 변경하지 않고, 사용 프레임의 선택에 의해 프레임 레이트를 변화시키는 카메라 시스템.
  28. 제 24항에 있어서,
    상기 촬상부는 고체 촬상 소자를 포함하며, 상기 고체 촬상 소자 구동 주파수를 동적으로 변화시킴으로써 고체 촬상 소자의 프레임 레이트를 변화시키는 카메라 시스템.
  29. 외부로부터의 화상 신호를 처리하는 화상 신호 처리 방법에 있어서,
    메모리로부터 프레임 정보를 읽어내고, 소정 상태에 응답하여 상기 프레임 레이트를 재생 상태에 따라 소정의 프레임 레이트로 변환하는 화상 신호 처리 방법.
  30. 제 29항에 있어서,
    접속된 표시장치의 성능 및 표시장치의 접속부의 성능의 적어도 한편에 근거하여 프레임 레이트를 변환하는 화상 신호 처리 방법.
KR20060101214A 2005-10-20 2006-10-18 화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및화상 신호 처리 방법 KR101297773B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005305538A JP4887727B2 (ja) 2005-10-20 2005-10-20 画像信号処理装置、カメラシステム、および画像信号処理方法
JPJP-P-2005-00305538 2005-10-20

Publications (2)

Publication Number Publication Date
KR20070043618A true KR20070043618A (ko) 2007-04-25
KR101297773B1 KR101297773B1 (ko) 2013-08-20

Family

ID=37984934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060101214A KR101297773B1 (ko) 2005-10-20 2006-10-18 화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및화상 신호 처리 방법

Country Status (5)

Country Link
US (1) US8081255B2 (ko)
JP (1) JP4887727B2 (ko)
KR (1) KR101297773B1 (ko)
CN (1) CN1984304B (ko)
TW (1) TW200729927A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101301130B1 (ko) * 2012-03-15 2013-09-03 주식회사 엔티씨 모바일 디바이스에서의 이북 최적화 방법
KR20140088763A (ko) * 2013-01-03 2014-07-11 엘지전자 주식회사 영상 표시 기기 및 제어 방법
WO2022265209A1 (ko) * 2021-06-14 2022-12-22 삼성전자 주식회사 Frc를 이용한 영상 통화를 수행하는 전자 장치 및 전자 장치의 동작 방법
US11863904B2 (en) 2021-06-14 2024-01-02 Samsung Electronics Co., Ltd. Electronic device for performing video call using frame rate conversion and method for the same

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4909196B2 (ja) * 2007-07-09 2012-04-04 株式会社キーエンス 撮影制御装置、撮影制御方法及びプログラム
JP2009025643A (ja) * 2007-07-20 2009-02-05 Olympus Corp カメラ
JP2009044573A (ja) * 2007-08-10 2009-02-26 Casio Comput Co Ltd 撮像装置、画像処理プログラム及び画像処理方法
JP5018332B2 (ja) 2007-08-17 2012-09-05 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2011151429A (ja) * 2008-05-12 2011-08-04 Mitsubishi Electric Corp 映像再生装置、及び、映像再生方法
JP4992860B2 (ja) * 2008-08-13 2012-08-08 カシオ計算機株式会社 撮像装置及びプログラム
JP5092983B2 (ja) * 2008-08-13 2012-12-05 カシオ計算機株式会社 動画再生装置、撮像装置及びプログラム
JP4636142B2 (ja) * 2008-08-29 2011-02-23 ソニー株式会社 動画再生装置、動画再生方法およびプログラム
JP5401930B2 (ja) * 2008-11-07 2014-01-29 株式会社ニコン 撮像装置
JP4636474B2 (ja) * 2008-11-17 2011-02-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
JP4886888B2 (ja) * 2009-12-01 2012-02-29 キヤノン株式会社 画像処理装置及びその制御方法
JP5088395B2 (ja) 2010-04-15 2012-12-05 株式会社ニコン 電子カメラ
JP5725981B2 (ja) * 2010-06-16 2015-05-27 株式会社東芝 医用画像表示装置及びｘ線コンピュータ断層撮影装置
JP5054175B2 (ja) * 2010-09-08 2012-10-24 キヤノン株式会社 撮像装置およびその制御方法、撮影制御装置、撮影制御方法
KR101742182B1 (ko) * 2010-09-17 2017-06-16 삼성디스플레이 주식회사 영상 데이터 처리 방법, 및 이를 수행하는 표시 장치
JP5225365B2 (ja) * 2010-12-13 2013-07-03 キヤノン株式会社 画像再生装置、画像再生方法、プログラム及び記録媒体
JP5768381B2 (ja) 2011-01-20 2015-08-26 カシオ計算機株式会社 動画像処理装置、動画像処理方法及びプログラム
JP5778937B2 (ja) * 2011-02-07 2015-09-16 キヤノン株式会社 再生装置、及び、再生装置の制御方法
US9019188B2 (en) * 2011-08-08 2015-04-28 Samsung Display Co., Ltd. Display device for varying different scan ratios for displaying moving and still images and a driving method thereof
US9165518B2 (en) * 2011-08-08 2015-10-20 Samsung Display Co., Ltd. Display device and driving method thereof
KR101805625B1 (ko) * 2011-09-09 2017-12-08 삼성전자주식회사 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
US9299301B2 (en) 2011-11-04 2016-03-29 Samsung Display Co., Ltd. Display device and method for driving the display device
US9208736B2 (en) 2011-11-28 2015-12-08 Samsung Display Co., Ltd. Display device and driving method thereof
CN103959197B (zh) * 2011-11-30 2017-01-18 英特尔公司 降低3d工作负荷的功率
US9378694B2 (en) * 2012-01-30 2016-06-28 Sharp Kabushiki Kaisha Drive control device, display device including the same, and drive control method
US9129572B2 (en) 2012-02-21 2015-09-08 Samsung Display Co., Ltd. Display device and related method
WO2013190695A1 (ja) * 2012-06-22 2013-12-27 Ｎｅｃディスプレイソリューションズ株式会社 ディスプレイ装置
BR112014032017A2 (pt) * 2012-07-17 2017-06-27 Dow Global Technologies Llc dispersão sólida, dispersão sólida extrudada e processo para produzir uma dispersão sólida
JP6224913B2 (ja) * 2013-05-10 2017-11-01 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP2015004885A (ja) * 2013-06-21 2015-01-08 株式会社東芝 画像処理装置および画像表示装置
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
DE102014102689A1 (de) 2014-02-28 2015-09-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung
US9786255B2 (en) 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system
JPWO2016208321A1 (ja) * 2015-06-26 2018-04-12 ソニー株式会社 制御回路、表示装置、電子機器および投射型表示装置
CN111182268B (zh) * 2016-01-29 2021-08-17 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
WO2017169499A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP6328681B2 (ja) * 2016-04-04 2018-05-23 株式会社藤商事 遊技機
KR102537210B1 (ko) * 2016-07-29 2023-05-26 삼성전자주식회사 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
JP6354877B2 (ja) * 2017-02-17 2018-07-11 カシオ計算機株式会社 撮像制御装置、及びその制御方法とプログラム
JP6493454B2 (ja) * 2017-06-07 2019-04-03 株式会社ニコン 電子カメラ
WO2020153622A1 (en) * 2019-01-25 2020-07-30 Samsung Electronics Co., Ltd. Apparatus and method for producing slow motion video
KR20240026907A (ko) * 2021-06-28 2024-02-29 젠텍스 코포레이션 오래된 비디오 검출

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US127572A (en) * 1872-06-04 Improvement in governors for steam and other engines
JPH06133297A (ja) * 1992-10-14 1994-05-13 G C Technol Kk 解像度変換された画像の動き補償方法と装置
JPH06169419A (ja) * 1992-11-30 1994-06-14 Sony Corp 撮像装置
JP3720897B2 (ja) * 1996-03-01 2005-11-30 株式会社東芝 動画表示方法およびコンピュータシステム
JP3617573B2 (ja) * 1996-05-27 2005-02-09 三菱電機株式会社 フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機
JPH10285588A (ja) * 1997-04-10 1998-10-23 Matsushita Electric Ind Co Ltd 画像通信端末装置および画像通信方法
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
JP3917616B2 (ja) 1997-07-07 2007-05-23 株式会社東芝 多画面表示方法および多画面表示装置
JP4083266B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
US6850564B1 (en) * 1998-06-26 2005-02-01 Sarnoff Corporation Apparatus and method for dynamically controlling the frame rate of video streams
US6727958B1 (en) * 1999-08-20 2004-04-27 Winbond Electronics Corp. Method and apparatus for displaying resized pictures on an interlaced target display system
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
CN1299501C (zh) * 2000-11-07 2007-02-07 松下电器产业株式会社 影像信号制作系统和该系统的影像信号记录播放装置
JP2002320203A (ja) * 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
US7242850B2 (en) * 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
JP2002271671A (ja) * 2001-03-09 2002-09-20 Kenwood Corp 携帯端末装置
JP2003153177A (ja) * 2001-11-08 2003-05-23 Mega Chips Corp 映像録画装置および映像録画方法
JP2003262788A (ja) * 2002-03-11 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP2004221999A (ja) 2003-01-15 2004-08-05 Canon Inc 画像処理方法
JP2004274219A (ja) * 2003-03-06 2004-09-30 Pioneer Electronic Corp 映像信号のフレームレート変換装置
US7158186B2 (en) * 2003-05-27 2007-01-02 Genesis Microchip Inc. Method and system for changing the frame rate to be optimal for the material being displayed while maintaining a stable image throughout
JP2005027068A (ja) * 2003-07-03 2005-01-27 Pioneer Electronic Corp 映像信号変換装置及び方法
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
US7420618B2 (en) * 2003-12-23 2008-09-02 Genesis Microchip Inc. Single chip multi-function display controller and method of use thereof
EP1715694A4 (en) 2004-02-03 2009-09-16 Panasonic Corp DEVICE FOR ENCODING AND DECODING, SYSTEM FOR GENERATING AN INTERPOLE FRAME, INTEGRATED CIRCUIT, PROGRAM FOR CODING AND DECODING
US7639743B2 (en) * 2004-03-25 2009-12-29 Sony Corporation Image decoder and image decoding method and program
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4396496B2 (ja) * 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101301130B1 (ko) * 2012-03-15 2013-09-03 주식회사 엔티씨 모바일 디바이스에서의 이북 최적화 방법
KR20140088763A (ko) * 2013-01-03 2014-07-11 엘지전자 주식회사 영상 표시 기기 및 제어 방법
WO2022265209A1 (ko) * 2021-06-14 2022-12-22 삼성전자 주식회사 Frc를 이용한 영상 통화를 수행하는 전자 장치 및 전자 장치의 동작 방법
US11863904B2 (en) 2021-06-14 2024-01-02 Samsung Electronics Co., Ltd. Electronic device for performing video call using frame rate conversion and method for the same

Also Published As

Publication number Publication date
KR101297773B1 (ko) 2013-08-20
JP2007116418A (ja) 2007-05-10
US20070091204A1 (en) 2007-04-26
TW200729927A (en) 2007-08-01
CN1984304B (zh) 2013-04-03
CN1984304A (zh) 2007-06-20
US8081255B2 (en) 2011-12-20
TWI341682B (ko) 2011-05-01
JP4887727B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
KR101297773B1 (ko) 화상 변환 장치, 화상 신호 처리 장치, 카메라 시스템, 및화상 신호 처리 방법
US8605162B2 (en) Digital camera having video file creating function
US7692690B2 (en) Image sensing apparatus for recording a moving image and a still image and its control method
US7986345B2 (en) Image pickup apparatus, image processing method, and program
JP2010045609A (ja) 動画再生装置、撮像装置及びプログラム
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP4938615B2 (ja) 動画像記録再生装置
JP2004364259A (ja) 圧縮方式を自動に設定する撮影装置及びその方法
JP4252015B2 (ja) 画像撮像装置、画像再生装置及び画像撮像再生システム
JPH09219806A (ja) 撮影装置
JP2004007543A (ja) 撮像装置および撮像方法
JP3812264B2 (ja) 撮像装置
JP5076457B2 (ja) 映像信号処理装置、映像信号処理方法
JP4239997B2 (ja) 撮像装置、動画撮影中の静止画撮影方法、及びプログラム
JP6775386B2 (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP2004207805A (ja) デジタルスチルカメラ
JP4429148B2 (ja) 画像撮影記録装置及び方法
JP2008301357A (ja) 撮像装置及びその制御方法
JP2003125331A (ja) 画像記録方法及び装置、並びに画像再生方法及び装置
JP4910862B2 (ja) 撮像装置及びそのコンピュータプログラム
JP3702350B2 (ja) デジタルカメラおよび記録媒体
JP2005072729A (ja) 電子カメラ及び画像撮影方法
KR100292498B1 (ko) 멀티모드캠코더및그의제어방법
JP2009004993A (ja) 動画撮影方法および装置
JP2004297424A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160805

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 5