KR101413926B1 - 촬상 장치 및 촬상 장치의 제어 방법 - Google Patents

촬상 장치 및 촬상 장치의 제어 방법 Download PDF

Info

Publication number
KR101413926B1
KR101413926B1 KR1020097008471A KR20097008471A KR101413926B1 KR 101413926 B1 KR101413926 B1 KR 101413926B1 KR 1020097008471 A KR1020097008471 A KR 1020097008471A KR 20097008471 A KR20097008471 A KR 20097008471A KR 101413926 B1 KR101413926 B1 KR 101413926B1
Authority
KR
South Korea
Prior art keywords
image
image pickup
result
memory
pattern
Prior art date
Application number
KR1020097008471A
Other languages
English (en)
Other versions
KR20090083894A (ko
Inventor
다이스케 미야코시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090083894A publication Critical patent/KR20090083894A/ko
Application granted granted Critical
Publication of KR101413926B1 publication Critical patent/KR101413926B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은, 예를 들면 기록 수단을 일체화한 비디오 카메라에 적용하여, 화상 인식 결과에 의거하여, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여, 메모리에의 촬상 결과의 고속도의 기록을 종료하고, 이 메모리에 기록한 촬상 결과를 기록 매체에 기록한다.

Description

촬상 장치 및 촬상 장치의 제어 방법{IMAGING APPARATUS AND METHOD OF CONTROLLING IMAGING APPARATUS}
본 발명은, 촬상 장치, 촬상 장치의 제어 방법, 촬상 장치의 제어 방법의 프로그램 및 촬상 장치의 제어 방법의 프로그램을 기록한 기록 매체에 관한 것으로, 예를 들면 기록 수단을 일체화한 비디오 카메라에 적용할 수 있다. 본 발명은, 화상 인식 결과에 의거하여, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여, 메모리에의 촬상 결과의 고속도의 기록을 종료하고, 이 메모리에 기록한 촬상 결과를 판독하여 기록 매체에 기록함에 의해, 소망하는 장면을 확실하게 슬로 모션 촬영한다.
종래, 일본 특개평9-83952호 공보에는, 대용량의 메모리를 이용하여 촬상 결과를 지연시켜서 기록 매체에 기록하는 방법이 제안되어 있다. 이 일본 특개평9-83952호 공보에 명시된 수법에 의하면, 유저가 촬영의 시작을 지시한 시점보다 일정 시간만큼 소급한 시점의 영상부터 기록할 수 있고, 귀중한 촬영 기회를 놓치지 않도록 할 수 있다.
또한 비디오 카메라에서는, 근래, 메모리를 이용하여 촬상 결과의 필드 주파수를 저감하고, 슬로 모션의 영상을 기록하는 것이 제공되어 있다. 즉 이 비디오 카메라는, 통상의 비디오 신호의 필드 주파수 50[fps(필드/초)] 또는 60[fps]보다 고속도의, 예를 들면 필드 주파수 240[fps]로 촬상 소자로부터 촬상 결과를 출력하고, 순차로, 메모리에 격납한다. 또한 이 비디오 카메라는, 이 메모리에 격납한 촬상 결과를 통상의 비디오 신호의 필드 주파수로 판독하여 기록 매체에 기록한다. 또한 여기서 메모리는, 예를 들면 SDRAM(Synchronous Dynamic Random Access Memory)에 의해 구성되고, 기록 매체는, 자기 디스크, 광디스크, 하드 디스크 장치 등에 의해 구성된다. 이하, 이와 같이 메모리를 이용하여 촬상 결과의 필드 주파수를 저감하고, 슬로 모션의 영상을 기록하는 처리를 슬로 모션 촬영이라고 부른다. 이 비디오 카메라에서는, 조작자(操作子)의 조작 시점을 기준으로 하여, 슬로 모션 촬영의 기간을 결정하고 있다.
그러나 슬로 모션 촬영에서는, 예를 들면 골프의 스윙, 테니스의 스윙, 야구에서의 배트 스윙 등을 촬영하는 경우도 있고, 이와 같은 경우에, 조작자의 조작 시점을 기준으로 하여 슬로 모션 촬영의 기간을 결정하고 있는 것으로는, 반드시 정확하게 소망하는 장면을 촬영할 수가 없다는 문제가 있다. 즉 이 경우, 조작자의 조작이 너무 빠르거나, 너무 늦거나 하는 경우가 있어서, 필요없은 부분을 촬영하거나, 중요한 부분을 촬영할 수가 없거나 한다.
이 문제를 해결하는 하나의 방법으로서, 예를 들면 볼의 타격음(打擊音) 등을 기준으로 하는 방법이 생각된다. 그러나 이 방법에서는, 예를 들면 골프 연습장 에서 골프의 스윙을 촬영하는 경우와 같이, 같은 소리가 다수 검출되는 장소에서는, 타인의 타격음을 기준으로 하여 촬영을 시작하는 경우가 예측된다. 따라서 이 방법으로도, 정확하게 소망하는 장면을 슬로 모션 촬영할 수가 없다는 문제가 있다.
또한 예를 들면 일본 특개평9-55931호 공보에 개시되어 있는 바와 같이, 이동물체의 검출 시점을 기준으로 하는 방법도 생각된다. 이 방법의 경우, 예를 들면 갈라지는 풍선, 밀크 크라운 등의, 정지한 장면부터 촬영을 시작하는 경우에는, 확실하게 소망하는 장면을 촬영할 수 있다. 그러나 이 방법의 경우, 예를 들면 스포츠의 특정 장면과 같이, 원래 움직임이 있는 영상중에서 특정한 한 장면을 기록하는 경우에는, 확실하게 소망하는 장면을 슬로 모션 촬영할 수가 없다는 문제가 있다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, 소망하는 장면을 확실하게 슬로 모션 촬영할 수 있는 촬상 장치, 촬상 장치의 제어 방법, 촬상 장치의 제어 방법의 프로그램 및 촬상 장치의 제어 방법의 프로그램을 기록한 기록 매체를 제안하고자 하는 것이다.
상기한 과제를 해결하기 위해 본 발명은, 촬상 장치에 적용하여, 촬상 결과를 출력하는 촬상부와, 상기 촬상부로부터 출력되는 촬상 결과를 격납하여 출력하는 메모리와, 상기 촬상부로부터 출력되는 촬상 결과, 또는 상기 메모리로부터 출력되는 촬상 결과를 기록하는 기록 매체와, 상기 촬상 결과를 화상 인식하여 화상 인식 결과를 출력하는 화상 인식부와, 각 부분의 동작을 제어하는 제어부를 구비하고, 상기 제어부는, 표준 동작 모드에서, 제 1의 필드 주파수 또는 프레임 주파수로, 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 기록 매체에 기록하고, 슬로 모션 촬영 모드에서, 상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 메모리에 순차 순환적으로 격납하고, 상기 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 상기 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여, 상기 기록 매체에 기록한다.
또한 본 발명은, 촬상 결과를 출력하는 촬상부와, 상기 촬상부로부터 출력되는 촬상 결과를 격납하여 출력하는 메모리와, 상기 촬상부로부터 출력되는 촬상 결과, 또는 상기 메모리로부터 출력되는 촬상 결과를 기록하는 기록 매체와, 상기 촬상 결과를 화상 인식하여 화상 인식 결과를 출력하는 화상 인식부를 구비하는 촬상 장치의 제어 방법에 적용하여, 표준 동작 모드에서, 제 1의 필드 주파수 또는 프레임 주파수로, 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 기록 매체에 기록하는 표준 동작 모드의 기록 스텝과, 슬로 모션 촬영 모드에서, 상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 메모리에 순차 순환적으로 격납하는 슬로 모션 촬영 모드의 기록 스텝과, 상기 슬로 모션 촬영 모드에서, 상기 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 상기 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여, 상기 기록 매체에 기록하는 슬로 모션 촬영 모드의 기록 스텝을 구비하도록 한다.
또한 본 발명은, 촬상 결과를 출력하는 촬상부와, 상기 촬상부로부터 출력되는 촬상 결과를 격납하여 출력하는 메모리와, 상기 촬상부로부터 출력되는 촬상 결과, 또는 상기 메모리로부터 출력되는 촬상 결과를 기록하는 기록 매체와, 상기 촬상 결과를 화상 인식하여 화상 인식 결과를 출력하는 화상 인식부를 구비하는 촬상 장치의 제어 방법의 프로그램에 적용하여, 표준 동작 모드에서, 제 1의 필드 주파수 또는 프레임 주파수로, 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 기록 매체에 기록하는 표준 동작 모드의 기록 스텝과, 슬로 모션 촬영 모드에서, 상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 메모리에 순차 순환적으로 격납하는 슬로 모션 촬영 모드의 기록 스텝과, 상기 슬로 모션 촬영 모드에서, 상기 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 상기 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여, 상기 기록 매체에 기록하는 슬로 모션 촬영 모드의 기록 스텝을 구비하도록 한다.
또한 본 발명은, 촬상 결과를 출력하는 촬상부와, 상기 촬상부로부터 출력되는 촬상 결과를 격납하여 출력하는 메모리와, 상기 촬상부로부터 출력되는 촬상 결과, 또는 상기 메모리로부터 출력되는 촬상 결과를 기록하는 기록 매체와, 상기 촬상 결과를 화상 인식하여 화상 인식 결과를 출력하는 화상 인식부를 구비하는 촬상 장치의 제어 방법의 프로그램을 기록한 기록 매체에 적용하여, 상기 제어 방법의 프로그램은, 표준 동작 모드에서, 제 1의 필드 주파수 또는 프레임 주파수로, 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 기록 매체에 기록하는 표준 동작 모드의 기록 스텝과, 슬로 모션 촬영 모드에서, 상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 메모리에 순차 순환적으로 격납하는 슬로 모션 촬영 모드의 기록 스텝과, 상기 슬로 모션 촬영 모드에서, 상기 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 상기 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여, 상기 기록 매체에 기록하는 슬로 모션 촬영 모드의 기록 스텝을 구비하도록 한다.
본 발명의 구성에 의하면, 화상 인식 결과에 의거하여, 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 슬로 모션 촬영하는 기간이 설정되게 된다. 따라서, 하나하나 조작자를 조작하는 경우, 소리를 트리거로 하는 경우 등에 비하여, 확실하게 소망하는 장면을 슬로 모션 촬영할 수 있다.
본 발명에 의하면, 소망하는 장면을 확실하게 슬로 모션 촬영할 수 있다.
도 1은 본 발명의 실시예 1의 촬상 장치를 도시하는 블록도.
도 2는 도 1의 촬상 장치의 화상 인식 처리부의 상세 구성을 도시하는 블록도.
도 3은 도 2의 화상 인식 처리부의 메모리의 구성을 도시하는 약선도.
도 4(A) 및 도 4(B)는 도 3의 메모리의 내용의 설명에 제공하는 약선도.
도 5는 도 1의 촬상 장치의 슬로 모션 촬영 모드에서의 화상 데이터의 흐름을 도시하는 블록도.
도 6은 도 5의 계속을 도시하는 블록도.
도 7, 도 1의 촬상 장치에서의 골프 스윙 모드의 설명에 제공하는 약선도.
도 8은 도 1의 촬상 장치에서의 야구 스윙 모드의 설명에 제공하는 약선도.
도 9는 도 1의 촬상 장치의 슬로 모션 촬영 모드에 관한 처리 순서를 도시하는 플로우 차트.
도 10은 도 1의 촬상 장치의 각 부분의 동작을 도시하는 타임 차트.
도 11은 본 발명의 실시예 2의 촬상 장치에서의 슬로 모션 촬영시의 타이밍 설정의 설명에 제공하는 약선도.
도 12는 본 발명의 실시예 3의 촬상 장치에서의 슬로 모션 촬영시의 타이밍 설정의 설명에 제공하는 약선도.
도 13은 본 발명의 실시예 4의 촬상 장치에서의 패턴 설정시의 표시 화면을 도시하는 평면도.
도 14는 도 13의 계속을 도시하는 평면도.
도 15(A) 및 도 15(B)는 본 발명의 실시예 4의 촬상 장치에서의 화상 인식 처리의 설명에 제공하는 약선도.
도 16(A) 및 도 15(B)는 도 15의 계속을 도시하는 평면도.
도 17은 본 발명의 실시예 5의 촬상 장치의 동작의 설명에 제공하는 타임 차트.
도 18은 본 발명의 실시예 6의 촬상 장치에서의 메모리의 구성을 도시하는 약선도.
도 19는 본 발명의 실시예 6의 촬상 장치의 처리 순서를 도시하는 플로우 차트.
도 20은 도 19의 처리 순서에 의해 촬상 장치의 동작의 설명에 제공하는 타임 차트.
(부호의 설명)
1 : 촬상 장치 2, 14D : 메모리
3 : 영상 기록 매체 4 : 이미지 센서
5 : 제어부 6 : AFE
7 : 카메라 신호 처리부 8 : 해상도 변환 처리부
9 : 표시 처리부 10 : 동화상 기록 처리부
11 : 화상 압축 신장부 12 : 표시부
13 : 메모리 제어부 14 : 화상 인식 처리부
14A : 전처리부 14B : 화상 버퍼
14C : 매칭 회로 16, 17 : 조작자
18U, 18D, 18L, 18R : 메뉴 W : 테두리
이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 기술한다.
(1) 실시예 1의 구성
도 1은, 본 발명의 실시예 1의 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(1)는, 유저의 조작에 의해, 통상의 촬영시의 동작 모드인 표준 동작 모드와, 슬로 모션 촬영 모드로, 동작 모드를 전환한다. 이 촬상 장치(1)는, 이 슬로 모션 촬영 모드에서, 메모리(2)를 이용하여 촬상 결과의 필드 주파수를 변환하고, 슬로 모션의 영상을 영상 기록 매체(3)에 기록한다.
여기서 이 촬상 장치(1)에서, 이미지 센서(4)는, CMOS(Complementary Metal Oxide Semiconductor)형의 촬상 소자 등의 고체 촬상 소자이다. 이미지 센서(4)는, 도시하지 않은 광학계에 의해 촬상면에 형성된 광학상을 광전 변환 처리하고, 촬상 결과인 촬상 신호를 출력한다. 또한 이 실시예에서, 이미지 센서(4)는, CDS(Correlated Double Sampling)부를 가지며, 이 CDS부로 촬상 신호를 상관이중 샘플링 처리하여 출력한다.
또한 이미지 센서(4)는, 제어부(5)의 제어에 의해 동작을 전환하고, 표준 동작 모드에서는, NTSC 방식의 사양인 필드 주파수 60[fps]로 촬상 결과를 출력하고, 슬로 모션 촬영 모드에서는, 이 표준 레이트보다 고속도의 필드 주파수로 촬상 결과를 출력한다. 이 실시예에서는, 이 고속도의 필드 주파수가 표준 동작 모드에서의 필드 주파수의 4배의 필드 주파수 240[fps]이다. 또한 이미지 센서(4)는, 1라인분의 촬상 신호를 출력할 때에, 수평 방향에 인접하여 배치된 같은색 포토 센서의 출력 신호를 가산하여 출력하는 기능을 갖는다. 이미지 센서(4)는, 슬로 모션 촬영 모드에서는, 이 기능을 이용하여 화소 스킵을 하여 촬상 신호를 출력하고, 촬상 신호에서의 레이트의 증대를 방지한다. 또한 후단의 처리부가 충분한 처리 속도를 갖고 있는 경우에는, 이 때 스킵의 처리를 생략하여도 좋고, 나아가서는 가산하는 화소수를 제어하고 임의의 레이트로 촬상 신호를 출력하여도 좋다.
AFE(Analog Front End)(6)는, 이미지 센서(4)로부터 출력되는 촬상 신호를 AGC(Automatic Gain Control) 처리하여 촬상 신호의 이득을 제어한 후, 아날로그 디지탈 변환 처리하여 화상 데이터(D1)를 출력한다.
카메라 신호 처리부(7)는, AFE(6)로부터 출력되는 화상 데이터를 카메라 신호 처리하여 출력한다. 또한 여기서 카메라 신호 처리는, 예를 들면 화이트 밸런스 조정 처리, 색 보정 처리, AF(Auto Focus) 처리, AE(Auto Exposure) 처리 등이다.
해상도 변환 처리부(8)는, 표준 동작 모드에서, 카메라 신호 처리부(7)에서 처리된 화상 데이터(D1)를 입력하고, 이 화상 데이터(D1)를 기록용으로 동화상 기 록 처리부(10)에 출력한다. 또한 해상도 변환 처리부(8)는, 이 화상 데이터(D1)의 해상도를 표시부(12)에서의 표시에 적합한 해상도로 변환하고, 모니터용으로 표시 처리부(9)에 출력한다.
또한 해상도 변환 처리부(8)는, 슬로 모션 촬영 모드에서, 카메라 신호 처리부(7)에서 처리된 필드 주파수 240[fps]의 화상 데이터(D1)의 필드를 스킵하고, 모니터용으로 필드 주파수 60[fps]로 표시 처리부(9)에 출력한다. 또한 이 카메라 신호 처리부(7)에서 처리된 필드 주파수 240[fps]의 화상 데이터(D1)의 사이즈를 조정하고, 메모리(2)에의 기록용으로 화상 압축 신장부(11)에 출력한다. 또한 이 사이즈 조정의 처리는, 화상 압축 신장부(11), 메모리(2)의 사양에 대응하도록 화상 데이터(D1)의 포맷을 변경하는 처리이고, 화상 압축 신장부(11), 메모리(2)가 충분한 처리 능력을 갖고 있는 경우에는, 생략할 수 있다.
또한 해상도 변환 처리부(8)는, 슬로 모션 촬영 모드에서, 제어부(5)의 제어에 의해 동작을 전환하고, 카메라 신호 처리부(7)에서 처리된 필드 주파수 240[fps]의 화상 데이터(D1)에 대신하여, 화상 압축 신장부(11)로부터 출력되는 필드 주파수 60[fps]의 화상 데이터를 입력한다. 해상도 변환 처리부(8)는, 이 화상 데이터를 기록용으로 동화상 기록 처리부(10)에 출력한다. 또한 이 해상도 변환 처리부(8)는, 이 화상 데이터의 해상도를 표시부(12)에서의 표시에 적합한 해상도로 변환하고, 모니터용으로 표시 처리부(9)에 출력한다.
표시부(12)는, 예를 들면 LCD(Liquid Crystal Display)로 구성된다. 표시 처리부(9)는, 해상도 변환 처리부(8)로부터 출력되는 모니터용의 화상 데이터에 의해 표시부(12)를 구동하고, 표시부(12)에 촬상 결과의 모니터 화상을 표시한다. 또한 제어부(5)의 제어에 의해 동작을 전환하고, 영상 기록 매체(3)에 기록된 동화상을 모니터하는 경우에는, 동화상 기록 처리부(10)로부터 출력되는 화상 데이터에 의해 표시부(12)를 구동하고, 영상 기록 매체(3)에 기록된 동화상을 표시부(12)에서 표시한다. 또한 표시부(12)에서 화상 데이터를 표시하는 대신에, 외부 출력하도록 하여도 좋다.
동화상 기록 처리부(10)는, 영상 기록 매체(3)에의 기록시, 해상도 변환 처리부(8)로부터 출력되는 기록용의 화상 데이터를, 예를 들면 MPEG(Moving Picture Experts Group) 등의 동화상의 부호화 방식으로 데이터 압축 처리하고, 영상 기록 매체(3)에 기록한다. 또한 제어부(5)의 제어에 의해 동작을 전환하고, 영상 기록 매체(3)에 기록된 동화상을 재생하여 데이터 신장하고, 화상 데이터를 표시 처리부(9)에 출력한다. 영상 기록 매체(3)는, 예를 들면 하드 디스크 장치, 광디스크 장치, 메모리 카드 등의 각종 기록 매체이다.
화상 압축 신장부(11)는, 슬로 모션 촬영 모드에서, 메모리(2)에의 기록용으로 해상도 변환 처리부(8)로부터 출력되는 화상 데이터를, 예를 들면 (Joint Photographic Experts Group) 등의 정지화상의 부호화 방식으로 데이터 압축 처리한다. 또한 데이터 압축하여 얻어지는 부호화 데이터를 메모리 제어부(13)에 출력한다. 또한 화상 압축 신장부(11)는, 슬로 모션 촬영 모드에서, 제어부(5)의 제어에 의해 동작을 전환하고, 메모리 제어부(13)로부터 출력되는 부호화 데이터를 데이터 신장하고, 화상 데이터를 복호하여 해상도 변환 처리부(8)에 출력한다.
메모리 제어부(13)는, 슬로 모션 촬영 모드에서, 화상 압축 신장부(11)로부터 출력되는 필드 주파수 240[fps]의 부호화 데이터를 메모리(2)에 순차 순환적으로 기록한다. 또한 여기서 메모리(2)는, 예를 들면 SDRAM에 의해 구성된다. 또한 메모리 제어부(13)는, 슬로 모션 촬영 모드에서, 제어부(5)의 제어에 의해 동작을 전환하고, 메모리(2)에 기록된 부호화 데이터를 순차로 판독하여 화상 압축 신장부(11)에 출력한다. 이 메모리(2)로부터 부호화 데이터를 판독할 때에, 메모리 제어부(13)는, 기록시의 1/4의 속도인 필드 주파수 60[fps]로 부호화 데이터를 판독하여 출력한다.
화상 인식 처리부(14)는, 슬로 모션 촬영 모드에서, 패턴 매칭의 수법을 적용하여 AFE(6)로부터 출력되는 화상 데이터를 화상 인식 처리하고, 제어부(5)에서 지시된 특정 패턴을 촬상 결과로부터 검출한다. 화상 인식 처리부(14)는, 이 검출 결과를 제어부(5)에 통지한다.
여기서 도 2는, 이 화상 인식 처리부(14)의 상세 구성을 도시하는 블록도이다. 화상 인식 처리부(14)는, AFE(6)로부터 출력되는 화상 데이터를 전처리부(14A)에 입력하고, 여기서 노이즈 제거 처리, 화상 사이즈의 정규화 처리, 특징 추출 처리 등의 전처리를 실행한다. 또한 계속되는 화상 버퍼(14B)에 화상 데이터를 일시 격납하여 보존하고, 매칭 회로(14C)에서 패턴 매칭의 처리를 실행한다.
여기서 매칭 회로(14C)는, 2점 사이의 화소 차분을 이용한 부스팅의 수법에 의해, 메모리(14D)에 격납된 사전을 이용하여 패턴 매칭 처리를 실행한다. 여기서 부스팅이란, 랜덤보다도 약간 성능이 좋은 약한 판별기(判別器)를 조합시켜서, 유 효한 판별기(강한 판별기)를 구성하는 통계적인 화상 식별 수법이고, 수학적인 프레임 워크로서 ada boost법이 일반적으로 알려져 있다. 화상 인식 처리부(14)는, 슬로 모션 촬영 모드에서, 이 ada boost법에 의해 제어부(5)에서 지시된 화상 패턴을 각 필드에서 검출하고, 이 화상 패턴의 유무, 이 화상 패턴의 위치를 제어부(5)에 통지한다.
이 때문에 화상 인식 처리부(14)는, 도 3에 도시하는 바와 같이, 이 특정한 화상 패턴의 화상 차분 테이블이 메모리(14D)에 등록된다. 또한 여기서 화상 차분 테이블은, 사전이라고도 불린다. 화상 차분 테이블은, 도 4에 도시하는 바와 같이, 검출 대상인 특정한 화상 패턴상의 2점의 화소치와, 이 2점의 화소치의 차분치를 기준으로 하여 설정된 판정 기준용의 임계치가 등록된다. 또한 여기서 도 4(A) 및 도 4(B)는, 검출 대상의 화상 패턴이 각각 둥근 형상 및 사각형 형상인 경우를 나타낸다. 이 촬상 장치(1)는, 슬로 모션 촬영 모드에서, 복수종류의 촬영 모드로부터 소망하는 촬영 모드를 선택할 수 있도록 구성되어 있고, 촬영 모드마다 특정한 화상 패턴이 설정된다. 따라서 메모리(14D)에는, 촬영 모드마다 화상 차분 테이블이 마련된다. 또한 실용상 충분한 정밀도를 확보할 수 있는 경우에는, 복수의 촬영 모드에서 화상 차분 테이블을 공용화하여도 좋다.
매칭 회로(14C)는, 화상 버퍼(14B)에 일시 보존된 화상 데이터의 화상상에, 패턴 매칭용의 영역을 설정하고, 이 패턴 매칭용의 영역을 예를 들면 래스터 주사의 순서로 순차로 이동시킨다. 매칭 회로(14C)는, 특징점 검출로 검출된 특징점을 기준으로 하여, 주사 위치마다, 패턴 매칭용의 영역으로부터 화상 차분 테이블의 기록에 대응하는 좌표 사이의 화소 차분치를 계산한다. 또한 이 계산한 화소 차분치를 화상 차분 테이블의 임계치로 판정하고, 검출 대상의 화상 패턴이 해당 패턴 매칭용의 영역에 존재하는지의 여부의 약가설(弱假說)을 설정한다. 또한 여기서 매칭 회로(14C)는, 검출 대상의 화상 패턴이 존재한다고 생각되는 경우에는, 약가설을 값 1로 설정하고, 존재하지 않는다고 생각되는 경우에는, 약가설을 값 -1로 설정한다.
매칭 회로(14C)는, 주사 위치마다, 이약가설의 검출을 복수회 반복하여 누적 가산하고, 누적 가산치가 일정한 임계치를 넘고 있는 경우에는, 해당 패턴 매칭용의 영역마다, 검출 대상의 화상 패턴이 존재한다고 판정한다.
또한 이 실시예에서, 매칭 회로(14C)는, 화상 데이터(D1)중의 휘도 신호만을 이용하여 일련의 처리를 실행하는데, 예를 들면 색정보를 사용한 색검출 처리와 조합시켜서 특정한 화상 패턴을 검출하여도 좋고, 나아가서는 다른 복수의 검출 처리를 여러가지로 조합시켜서 처리를 실행하도록 하여도 좋다. 또한 부스팅의 수법에 대신하여, 유전적 알고리즘(GA : Genetic Algorithms) 등을 이용하도록 하여도 좋다. 또한 움직이고 있는 물체만을 인식하는 경우에는, 동화상 기록 처리부(10)에서 검출되는 움직임 벡터를 이용하도록 하여도 좋다. 또한 이와 같이 다른 수법과 조합시켜서 패턴 인식 처리하면, 처리 속도를 고속도화 하여 정밀도를 향상할 수 있다.
제어부(5)는, 이 촬상 장치(1) 전체의 동작을 제어하는 제어 수단이고, 도시하지 않은 메모리에 기록된 프로그램을 실행하고, 이 촬상 장치(1)의 각 부분의 동 작을 제어한다. 이 실시예에서, 이 프로그램은, 이 촬상 장치(1)에 사전(事前)에 인스톨되어 제공되는 것이지만, 이 사전의 인스톨에 대신하여, 광디스크, 자기 디스크, 메모리 카드 등의 기록 매체에 기록하여 제공하도록 하여도 좋고, 인터넷 등의 네트워크를 통한 다운로드에 의해 제공하여도 좋다. 또한 화상 인식 처리부(14)에서의 화상 인식 처리를 이 제어부(5)에서 아울러서 실행하도록 하여도 좋다.
즉 제어부(5)는, 표준 동작 모드에서는, 필드 주파수 60[fps]로 촬상 결과를 취득하도록 이미지 센서(4)의 동작을 제어하고, 또한 이 필드 주파수 60[fps]의 촬상 결과를 표시부(12)에서 표시하도록, AFE(6), 카메라 신호 처리부(7), 해상도 변환 처리부(8), 표시 처리부(9)의 동작을 제어한다. 따라서 이 경우, 이 촬상 장치(1)에서는, 필드 주파수 60[fps]의 촬상 결과가 순차로, AFE(6), 카메라 신호 처리부(7), 해상도 변환 처리부(8), 표시 처리부(9)에서 처리되어 표시부(12)에서 표시된다. 또한 제어부(5)는, 유저가 기록 시작의 트리거 스위치를 조작하면, 동화상 기록 처리부(10)에 동작의 시작을 지시하고, 표시부(12)에서 모니터 화상을 표시하면서, 해상도 변환 처리부(8)로부터 출력되는 필드 주파수 60[fps]의 화상 데이터를 동화상 기록 처리부(10)에서 순차로 데이터 압축하여 영상 기록 매체(3)에 기록한다. 또한 이 상태에서 유저가 재차 트리거 스위치를 조작하면, 동화상 기록 처리부(10)에 동작의 정지를 지시하고, 화상 데이터의 기록을 정지한다.
또한 유저가, 영상 기록 매체(3)의 재생을 지시하면, 제어부(5)는, 동화상 기록 처리부(10)에 영상 기록 매체(3)의 재생을 지시하고, 영상 기록 매체(3)에 기록된 부호화 데이터를 동화상 기록 처리부(10)에서 순차로 데이터 신장하여 표시 처리부(9)에 출력하고, 이 화상 데이터를 표시부(12)에서 표시한다.
이에 대해 유저가 슬로 모션 촬영 모드를 지시하면, 제어부(5)는, 슬로 모션 촬영 모드로의 동작 모드의 전환을 소정의 타이밍에서 각 부분에 지시하고, 이미지 센서(4)에서 필드 주파수 240[fps]의 촬상 결과를 취득한다. 또한 도 1과의 대비에 의해 도 5에 도시하는 바와 같이, 이 필드 주파수 240[fps]의 촬상 결과를 해상도 변환 처리부(8)에서 필드 주파수 60[fps]의 화상 데이터로 변환하여 표시부(12)에서 표시하면서, 필드 주파수 240[fps]의 촬상 결과를 메모리(2)에 순차 순환적으로 기록한다.
또한 제어부(5)는, 소정의 타이밍에서 각 부분의 동작을 전환하고, 도 5와의 대비에 의해 도 6에 도시하는 바와 같이, 그 시점에서 메모리(2)에 격납되어 있는 필드 주파수 240[fps]의 촬상 결과를 순차로 필드 주파수 60[fps]로 판독한다. 또한 이 판독 데이터를 화상 압축 신장부(11)에서 원래의 화상 데이터로 데이터 신장하고, 이 화상 데이터를 표시부(12)에서 표시하면서, 동화상 기록 처리부(10)에서 영상 기록 매체(3)에 기록한다.
제어부(5)는, 이 슬로 모션 촬영 모드에서, 메모리(2)에의 화상 데이터의 기록을 종료하는 타이밍을, 화상 인식 처리부(14)에서의 화상 패턴의 검출 결과를 기준으로 하여 설정한다. 보다 구체적으로, 제어부(5)는, 화상 인식 처리부(14)에서의 화상 패턴의 검출 결과에 의거하여, 소정의 특정 패턴이 소정의 순서로 검출되는 타이밍을 검출하고, 이 검출한 타이밍에 의거하여, 메모리(2)에의 화상 데이터의 기록을 종료하는 타이밍을 결정한다.
여기서 이 실시예에서, 이 특정 패턴은, 화상 인식 처리부(14)에서의 화상 인식 대상이, 각각 촬상 결과의 특정한 영역에 존재하는 화상 패턴이고, 슬로 모션 촬영 모드에서의 촬영 모드마다 각각 복수의 패턴이 마련된다.
즉 촬영 모드가 골프 스윙 모드인 경우, 화상 인식 처리부(14)에서의 화상 인식 대상이 볼로 설정되고, 도 7에 도시하는 바와 같이, 1필드의 화면을 수평 방향 및 수직 방향으로 분할하여 형성되는 복수 영역에서, 수평 방향의 중앙, 가장 하측의 영역(A)에 볼이 존재하는 패턴(도 7(A) 및 (B))가, 이들 특정 패턴중의 제 1 및 제 2의 패턴으로 설정된다. 또한 수평 방향, 가장 우측의 영역(B) 또는 가장 좌측의 영역(C)에 볼이 존재하는 패턴(도 7(C))이, 이들 특정 패턴중의 제 3의 패턴으로 설정된다. 또한 여기서 이 도 7의 예는, 1화면의 수평 방향 및 수직 방향의 분할수가 각각 5 및 3으로 설정된 경우이다.
여기서 이 도 7의 예에서는, 볼을 티업하여 어드레스한 후, 볼을 처내면, 이들 제 1 내지 제 3의 패턴이 순차로 검출되게 된다. 이 경우, 볼을 처낸 상태인 제 3의 패턴이 검출된 필드로부터, 소정 필드수만큼 소급한 필드까지가, 골프 스윙을 촬영한 필드이고, 유저가 소망하는 장면이라고 판단된다.
그래서 제어부(5)는, 골프 스윙 모드에서는, 유저가 슬로 모션 촬영 모드를 지시하면, 메모리(2)에의 촬상 결과의 기록 시작을 지시한다. 또한 볼을 인식 대상으로 설정하여 화상 인식 처리부(14)에 화상 인식 처리를 지시하고, 화상 인식 처리 결과에 의거하여, 순차로, 제 1 내지 제 3의 패턴을 검출한다. 또한 제 3의 패턴이 검출되면, 그 후, 소정의 시간(T)만큼 경과한 시점에서, 메모리(2)에의 기록 을 종료하고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과를 판독하여 영상 기록 매체(3)에 격납한다. 또한 여기서 이 소정의 기간(T)은, 촬영 모드의 유저 설정시, 유저에 의해 설정되는 시간이다.
이에 대해 촬영 모드가 야구 스윙 모드인 경우, 화상 인식 처리부(14)에서 화상 인식 대상이 볼로 설정된다. 또한 도 8에 도시하는 바와 같이, 수평 방향, 가장 우측의 영역(B)에 볼이 존재하는 패턴(도 8(A))이, 이들 특정 패턴중의 제 1의 패턴으로 설정된다. 또한 수평 방향, 중앙의 영역(D) 및 수평 방향, 가장 우측의 영역(B)에 볼이 존재하는 패턴(도 8(B) 및 (C))이, 이들 특정 패턴중의 제 2 및 제 3의 패턴으로 설정된다.
여기서 이 도 8의 예에서는, 투수가 던진 볼이 화면에 진입한 시점에서 제 1의 패턴이 검출되고, 타자가 볼을 치는 순간에, 제 2의 패턴이 검출되고, 이 타자가 친 볼이 화면으로부터 튀어나가는 순간에, 제 3의 패턴이 검출되게 된다. 이 경우, 제 3의 패턴이 검출된 필드로부터, 소정 필드수만큼 소급한 필드까지가, 유저가 소망하는 장면이라고 판단된다.
그래서 제어부(5)는, 이 야구 스윙 모드에서도, 유저가 슬로 모션 촬영 모드를 지시하면, 메모리(2)에의 촬상 결과의 기록 시작을 지시한다. 또한 볼을 인식 대상으로 설정하여 화상 인식 처리부(14)에 화상 인식 처리를 지시하고, 화상 인식 처리 결과에 의거하여, 순차로, 제 1 내지 제 3의 패턴을 검출한다. 또한 제 3의 패턴이 검출되면, 그 후, 소정의 시간(T)만큼 경과한 시점에서, 메모리(2)에의 기록을 종료하고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과를 판독하여 영 상 기록 매체(3)에 격납한다.
또한 제어부(5)는, 다른 촬영 모드에서도, 마찬가지로, 슬로 모션 촬영 모드의 지시에 의해, 메모리(2)에의 촬상 결과의 기록 시작을 지시하고, 각각 촬영 모드에 대응하는 화상 인식 처리를 화상 인식 처리부(14)에 지시한다. 또한 화상 인식 처리부(14)에 의한 인식 결과에 의거하여, 순차로, 제 1, 제 2, 제 3의 패턴을 검출하고, 제 3의 패턴을 검출한 시점부터 소정 시간(T)만큼 경과하여, 메모리(2)에의 기록을 종료하고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과를 판독하여 영상 기록 매체(3)에 격납한다.
도 9는, 이 슬로 모션 촬영 모드에 관한 제어부(5)의 처리 순서를 도시하는 플로우 차트이고, 도 10은, 이 도 9와의 대비에 의해, 촬상 장치(1)의 각 부분의 동작을 도시하는 타임 차트이다. 또한 이 도 10에서는, 도 1에서 각 부분에 붙인 부호에 의해 대응하는 부위의 동작을 나타내고, 2W 및 2R은, 각각 메모리(2)의 기록 동작 및 판독 동작을 나타낸다.
제어부(5)는, 표준 동작 모드에서, 필드 주파수 60[fps]로 촬상 결과를 취득하도록 이미지 센서(4)의 동작을 제어하고(도 10(A)), 또한 이 필드 주파수 60[fps]의 촬상 결과를 표시부(12)에서 표시하면서(도 10(F) 및 (G)), 영상 기록 매체(3)에 기록한다(도 10(E)). 또한 도 10에서는, 시점(t1)까지의 기간이, 이 표준 동작 모드에 의한 동작 기간이다.
이 상태에서, 슬로 모션 촬영 모드의 시작을 유저가 지시하면, 도 9의 처리 순서를 시작하고, 촬영 모드에 응한 화상 인식 처리를 화상 인식 처리부(14)에 지 시하고, 또한 메모리(2)에의 필드 주파수 240[fps]의 촬상 결과의 기록 시작을 각 부분에 지시한다. 따라서 이 경우, 촬상 장치(1)에서는, 이미지 센서(4)로부터 필드 주파수 240[fps]의 촬상 결과를 취득하여 메모리(2)에 순차 순환적으로 격납하면서, 필드를 스킵한 필드 주파수 60[fps]의 촬상 결과가 표시부(12)로부터 제공된다(도 10(A) 내지 (G)).
제어부(5)는, 이와 같이 각 부분의 동작을 설정하면, 스텝 SP1부터 스텝 SP2로 이동하여, 화상 인식 처리부(14)의 화상 인식 결과에 의거하여, 제 1의 패턴이 검출되었는지의 여부를 판단한다. 제어부(5)는, 이 스텝 SP2에서 부정 결과가 얻어지면, 스텝 SP2를 반복하여, 제 1의 패턴이 검출되는 것을 대기한다.
또한 제 1의 패턴이 검출되면, 제어부(5)는, 스텝 SP2부터 스텝 SP3으로 이동하여, 여기서 계속되는 화상 인식 처리부(14)의 화상 인식 결과에 의거하여, 제 2의 패턴이 검출되었는지의 여부를 판단한다. 이 스텝 SP3에서 부정 결과가 얻어지면, 제어부(5)는, 스텝 SP3을 반복하고, 제 2의 패턴이 검출되는 것을 대기한다.
또한 제 2의 패턴이 검출되면, 제어부(5)는, 스텝 SP3부터 스텝 SP4로 이동하여, 여기서 계속되는 화상 인식 처리부(14)의 화상 인식 결과에 의거하여, 제 3의 패턴이 검출되었는지의 여부를 판단한다. 이 스텝 SP4에서 부정 결과가 얻어지면, 제어부(5)는, 스텝 SP4를 반복하여, 제 3의 패턴이 검출되는 것을 대기한다.
제어부(5)는, 스텝 SP4에서 제 3의 패턴이 검출되면, 스텝 SP4부터 스텝 SP5로 이동하여, 유저가 설정한 기간(T)의 경과를 대기한 후, 메모리(2)에의 기록을 종료한다. 또한 계속되는 스텝 SP6에서, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과를 판독하여 영상 기록 매체(3)에 격납한다. 또한 도 10에서는, 시점(t1)부터 시점(t2)까지의 기간이, 이 슬로 모션 촬영 모드에서 메모리(2)에의 기록의 기간이고, 계속되는 시점(t2)부터 시점(t3)까지의 기간이, 메모리(2)로부터의 판독의 기간이다.
제어부(5)는, 메모리(2)에 격납한 촬상 결과의 판독을 완료하면, 스텝 SP6부터 스텝 SP7로 이동하여, 유저가 슬로 모션 촬영의 반복을 지시하고 있는지의 여부를 판단하고, 여기서 긍정 결과가 얻어지면, 필드 주파수 240[fps]의 촬상 결과의 메모리(2)에의 기록 시작을 지시한 후, 스텝 SP2로 되돌아온다. 이에 대해 유저가 슬로 모션 촬영의 반복을 지시하지 않은 경우, 스텝 SP7부터 스텝 SP8로 이동하여 이 처리 순서를 종료한다.
또한 제어부(5)는, 메모리(2)에 촬상 결과를 기록하고 있는 기간의 동안, 탤리 램프를 점등하고, 및 또는 표시부(12)에 소정의 마크를 표시하고, 유저가 촬영 상황을 파악할 수 있도록 한다.
(2) 실시예 1의 동작
이상의 구성에서, 이 촬상 장치(1)에서는(도 1), 표준 동작 모드로 설정되면, 이미지 센서(4)에서, 필드 주파수 60[fps]의 촬상 결과가 취득되고, 이 촬상 결과가 AFE(6), 카메라 신호 처리부(7), 해상도 변환 처리부(8), 표시 처리부(9)에서 순차로 처리되고 표시부(12)에서 표시된다. 또한 해상도 변환 처리부(8)로부터 출력되는 화상 데이터가 동화상 기록 처리부(10)에서 데이터 압축 처리된 후, 영상 기록 매체(3)에 기록된다.
또한 슬로 모션 촬영 모드로 동작 모드가 변환되면, 이미지 센서(4)에서, 필드 주파수 240[fps]의 촬상 결과가 취득되고, 이 필드 주파수 240[fps]의 촬상 결과가 AFE(6), 카메라 신호 처리부(7), 화상 압축 신장부(11), 메모리 제어부(13)를 순차로 통하여 메모리(2)에 순차 순환적으로 격납된다(도 5).
촬상 장치(1)에서는, 소정의 타이밍에서, 이 필드 주파수 240[fps]의 촬상 결과의 메모리(2)에의 격납이 종료되고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과가, 기록시보다 저속도로 순차로 판독된다. 또한 판독된 촬상 결과가, 순차로, 화상 압축 신장부(11), 해상도 변환 처리부(8), 동화상 기록 처리부(10)에서 처리되어 영상 기록 매체(3)에 기록된다(도 6).
따라서 이 촬상 장치(1)에서는, 슬로 모션 촬영 모드로 동작 모드를 전환하여, 소망하는 피사체를 슬로 모션 촬영한 영상을 영상 기록 매체(3)에 기록할 수 있다.
그러나 예를 들면 조작자의 조작 시점을 기준으로 하여, 메모리(2)에의 촬상 결과의 기록을 종료한 것으로는, 조작자의 조작이 너무 빠르거나, 너무 늦거나 하는 경우도 있고, 반드시 정확하게 소망하는 장면을 촬영할 수가 없는 경우가 발생한다. 또한 음성을 트리거로 한 경우에는, 잘못된 타이밍을 트리거로 하는 경우도 예측되고, 이 경우도 정확하게 소망하는 장면을 촬영할 수가 없게 된다.
그래서 이 촬상 장치(1)에서는, 슬로 모션 촬영 모드로 설정되면, 화상 인식 처리부(14)에서의 화상 인식 처리에 의해(도 2 내지 도 4), 촬영 모드에 응한 화상 패턴이 검출되고, 제어부(5)에서, 이 화상 인식 처리 결과가 해석되고, 이 화상 패 턴이 촬상 결과의 어느 영역에 존재하는지 판정된다. 또한 이 판정 결과에 의거하여, 촬영 모드마다의, 특정 패턴이 미리 지정된 순서로 검출되는 타이밍이 검출된다. 또한 이 검출한 타이밍을 기준으로 하여, 메모리(2)의 촬상 결과의 기록을 종료하고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과의 판독이 시작된다.
따라서 이 촬상 장치(1)에서는, 촬상 결과의 패턴 인식 결과에 의거하여 슬로 모션 촬영하는 기간이 설정되고, 유저에 의한 조작자의 조작을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하는 경우, 음성을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하는 경우에 비하여, 확실하게 유저가 소망하는 장면을 촬영할 수 있다.
또한 이 패턴 인식 결과에 의거하여 슬로 모션 촬영하는 기간을 설정하는 처리를, 촬영 모드마다의, 특정 패턴이 미리 지정된 순서로 검출되는 타이밍을 기준으로 하여 실행하기 때문에, 기준으로 하는 타이밍의 오판정을 유효하게 회피할 수 있고, 한층 더 확실하게 소망하는 장면을 정확하게 촬영할 수 있다.
즉 예를 들면 골프 스윙 모드에서는(도 7), 수평 방향의 중앙, 가장 하측의 영역에 볼이 존재하는 제 1의 패턴에 계속해서, 마찬가지로 수평 방향의 중앙, 가장 하측의 영역에 볼이 존재하는 제 2의 패턴이 검출되고, 또한 수평 방향, 가장 우측의 영역에 볼이 존재하는 제 3의 패턴이 검출되면, 이 제 3의 패턴이 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간이 설정된다.
이 경우에, 예를 들면 제 1 또는 제 2의 패턴만을 기준으로 하여 슬로 모션 촬영하는 기간을 설정한 것에서는, 이 제 1 또는 제 2의 패턴이, 볼이 티업되어 있 는 비교적 긴 기간의 패턴이기 때문에, 메모리(2)에의 촬상 결과의 기록을 종료하는 타이밍을 특정할 수가 없게 된다. 또한 제 3의 패턴만을 기준으로 하여 슬로 모션 촬영하는 기간을 설정한 것에서는, 예를 들면 볼 이외의 나비(蝶) 등이 화면에 날아들어온 경우 등에, 잘못하여 메모리(2)에의 촬상 결과의 기록을 종료하게 된다.
또한 야구 스윙 모드에서는(도 8), 수평 방향의 가장 우측의 영역에 볼이 존재하는 제 1의 패턴에 계속해서, 마찬가지로 수평 방향의 중앙의 영역에 볼이 존재하는 제 2의 패턴이 검출되고, 또한 수평 방향, 가장 우측의 영역에 볼이 존재하는 제 3의 패턴이 검출되면, 이 제 3의 패턴이 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간이 설정된다.
이 경우에, 예를 들면 제 1 내지 제 3의 패턴의 어느 하나의 패턴만을 기준으로 하여 슬로 모션 촬영하는 기간을 설정한 것에서는, 예를 들면 배터가 볼을 그냥 보내는 경우에도, 슬로 모션 촬영한 영상을 영상 기록 매체(3)에 기록하게 되고, 필요없이 슬로 모션 촬영하게 된다.
그러나 이 실시예와 같이, 이들 제 1 내지 제 3의 패턴이 미리 지정된 순서로 검출되는 타이밍을 기준으로 하여 메모리(2)에의 촬상 결과의 기록을 종료하면, 이와 같은 필요없는, 오동작을 유효하게 회피하여, 유저가 소망하는 장면을 확실하게 촬영할 수 있다.
또한 이와 같은 특정 패턴이, 이 실시예에서는, 화상 인식 처리부의 화상 인식 대상이, 촬상 결과의 특정 부분에 존재하는 화상이기 때문에, 예를 들면 공통의 화소 차분 테이블을 이용하여 복수 종류의 구기(球技)에 대응하는 경우 등, 화상 인식 처리부에서의 구성을 간략화할 수도 있어서, 간이한 구성으로 유저가 소망하는 장면을 확실하게 촬영할 수 있다.
(3) 실시예 1의 효과
이상의 구성에 의하면, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여, 메모리에의 촬상 결과의 고속도의 기록을 종료하고, 이 메모리에 기록한 촬상 결과를 기록 매체에 기록함에 의해, 소망하는 장면을 확실하게 슬로 모션 촬영할 수 있다.
또한 이 특정 패턴이, 화상 인식부에서 검출하는 화상 인식 대상이 1화면중의 특정 개소에 존재하는 화상임에 의해, 간이한 구성으로 유저가 소망하는 장면을 확실하게 촬영할 수 있다.
(4) 실시예 2
도 11은, 제 7도 및 도 8과의 대비에 의해, 본 발명의 실시예 2의 촬상 장치에서의, 슬로 모션 촬영시의 타이밍 설정의 설명에 제공하는 약선도이다. 이 실시예의 촬상 장치는, 이 타이밍의 설정 방법이 다른 점을 제외하고, 실시예 1의 촬상 장치(1)와 동일하게 구성된다. 따라서 이하에서는, 적절히, 도 1의 구성을 유용(流用)하여 설명한다.
여기서 이 실시예의 촬상 장치는, 실시예 1의 촬상 장치(1)와 마찬가지로, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정한다. 이 실시예의 촬상 장치는, 이 특정 패턴에, 촬영 대상의 신호(合圖)를 검출하는 패턴이 적용된다.
구체적으로, 이 실시예에서는, 골프 스윙 모드에서, 두 눈을 뜬 패턴이 제 1의 패턴으로 설정되고(도 11(A)), 또한 오른쪽 눈을 감은 패턴이 제 2의 패턴으로 설정된다(도 11(B)). 또한 두 눈을 뜬 패턴이 제 3의 패턴으로 설정된다(도 11(C)). 제어부(5)는, 이들 제 1 내지 제 3의 패턴을 순차로 검출하고, 촬영 대상의 윙크에 의한 신호를 검출한다. 제어부(5)는, 윙크에 의해 오른쪽 눈을 감은 후에, 제 3의 패턴이 검출되면, 이 제 3의 패턴의 검출 시점부터 메모리(2)에의 촬상 결과의 기록을 시작한다.
또한 치기를 마치고 볼을 바라보고 있는 옆얼굴의 패턴이 제 4의 패턴으로 설정되고(도 11(D)), 또한 정면으로 얼굴 방향을 고친 패턴이 제 5의 패턴으로 설정된다(도 11(E)). 또한 왼쪽 눈을 감은 패턴이 제 6의 패턴으로 설정된다(도 11(F)). 제어부(5)는, 이들 제 4 내지 제 6의 패턴을 순차로 검출하고, 촬영 대상의 윙크에 의한 신호를 검출한다. 즉 이 경우, 촬영 대상의 인물이 윙크에 의해 왼쪽 눈을 감으면 제 6의 패턴이 검출되고, 제어부(5)는, 이 제 6의 패턴의 검출 시점부터 슬로 모션 촬영에 의한 메모리(2)에의 기록을 정지하고, 메모리(2)로부터의 판독을 시작하다.
따라서 이 실시예에 있어서, 화상 인식 처리부(14)는, 뜬 눈의 패턴과, 감은 눈의 패턴이 화소 차분 테이블에 기록되어 보존되고, 제어부(5)의 지시에 의해 이들 뜬 눈의 패턴과, 감은 눈의 패턴을 검출하여 제어부(5)에 통지한다.
이 실시예에 의하면, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하도록 하여, 이 소정의 순서로 검출되는 특정 패턴이, 촬영 대상의 신호를 검출하는 패턴임에 의해, 촬영 대상의 의도가 반영하도록 슬로 모션 촬영하여, 한층 더 확실하게 유저가 소망하는 장면을 촬영할 수 있다.
(5) 실시예 3
도 12은, 제 7도 및 도 8과의 대비에 의해, 본 발명의 실시예 3의 촬상 장치에서의, 슬로 모션 촬영시의 타이밍 설정의 설명에 제공하는 약선도이다. 이 실시예의 촬상 장치는, 이 타이밍의 설정 방법이 다른 점을 제외하고, 상술한 실시예의 촬상 장치와 동일하게 구성된다. 따라서 이하에서는, 적절히, 도 1의 구성을 유용하여 설명한다.
이 실시예에서는, 실시예 1의 촬상 장치(1)와 마찬가지로, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정한다. 이 실시예의 촬상 장치는, 이 특정 패턴에, 일련의 동작으로 검출되는 인물의 포즈의 패턴이 적용된다. 따라서 이 실시예의 촬상 장치는, 촬영 대상의 포즈의 변화를 기준으로 하여 슬로 모션 촬영하는 기간을 설정한다.
즉 이 실시예에서는, 도 12에 도시하는 바와 같이, 골프 스윙 모드에서, 어드레스 한 시점인, 골프 클럽을 쥐어 어드레스 자세를 취하여 정지한 포즈가 제 1의 패턴으로 설정되고(도 12(A)), 또한 스포츠에서 테이크 백 한 포즈가 제 2의 패턴으로 설정된다(도 12(B)). 또한 치기를 마치고 볼을 눈으로 뒤쫓고 있는 포즈가 제 3의 패턴으로 설정된다(도 12(C)). 따라서 이 실시예에 있어서, 화상 인식 처리 부(14)는, 이들 제 1 내지 제 3의 패턴을 검출 가능하게 사전이 작성된다.
제어부(5)는, 유저가 슬로 모션 촬영을 지시하면, 메모리(2)에의 고속도의 기록을 시작한다. 또한 화상 인식 처리부(14)에 화상 인식 처리의 시작을 지시하고, 화상 인식 처리 결과에 의거하여, 제 1 내지 제 3의 패턴을 순차로 검출한다. 또한 제 3의 패턴을 검출한 후, 소정의 기간(T)만큼 경과하면, 메모리(2)에의 기록을 종료하고, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과의 판독을 시작한다.
이 실시예에 의하면, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하도록 하여, 이 소정의 순서로 검출되는 특정 패턴이, 일련의 동작으로 검출되는 포즈임에 의해, 예를 들면 골프 스윙을 촬영하는 경우와 같이, 특정한 포즈를 수반하는 피사체의 움직임을 정확하게 판정하여, 한층 더 확실하게 유저가 소망하는 장면을 촬영할 수 있다.
(6) 실시예 4
이 실시예의 촬상 장치는, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하도록 하여, 이 특정 패턴의 설정을 유저의 조작에 의해 접수한다. 이 실시예의 촬상 장치는, 이 특정 패턴의 설정이 다른 점을 제외하고, 상술한 각 실시예의 촬상 장치와 동일하게 구성된다. 따라서 이하에서는, 적절히, 실시예 1의 촬상 장치의 구성을 유용하여 실시예 4의 촬상 장치의 구성을 설명한다.
즉 이 촬상 장치에서, 제어부(5)는, 유저가 슬로 모션 촬영의 등록 모드를 선택하면, 표시부(12)에 가이드용의 메시지를 표시하고, 및 또는 가이드용의 음성을 음성 합성하여 출력하고, 이들의 표시 및 또는 음성에 의해, 등록 모드에서의 일련의 조작을 유저에게 지시한다.
제어부(5)는, 이들의 가이드에 따른 유저의 조작에 의해, 표준 동작 모드로 슬로 모션 촬영하는 대상을 시험촬영하여 영상 기록 매체(3)에 기록한다. 또한 이 시험촬영한 동화상을 재생하여 표시부(12)에서 표시한다. 제어부(5)는, 이 동화상의 재생에서, 일시 정지의 조작을 유저에게 지시하고, 도 13에 도시하는 바와 같이, 슬로 모션 촬영 대상의 한 장면을 유저에게 선택시켜서, 표시부(12)에서 표시한다.
이 상태에서, 제어부(5)는, 화상 인식 처리부(14)에서의 화상 인식 대상의 선택을 접수한다. 즉 제어부(5)는, 소정의 메뉴 화면을 표시하여 화상 인식 대상을 둘러싸는 테두리(W)의 선택을 접수하고, 표시부(12)에서 표시한 정지화상상(上)에서 이 테두리(W)를 표시한다. 또한 표시 화면의 측면에 배치한 업, 다운의 조작자(16, 17)의 조작에 응동(應動)하여 이 테두리(W)의 표시를 확대, 축소한다. 또한 상하 방향, 좌우 방향으로의 이동을 지시한 메뉴(18U, 18D, 18R, 18L)를 표시 화면에 표시하고, 터치 패널을 통하여 검출된 이들 메뉴(18U, 18D, 18R, 18L)의 조작에 응동하여 테두리(W)의 표시 위치를 상하, 좌우로 이동시킨다. 또한 유저가 OK의 메뉴를 조작하면, 테두리(W)로 둘러싸인 화상을 화상 인식 처리부(14)의 인식 대상으로 설정한다.
즉 이 경우, 제어부(5)는, 이 정지화상의 화상 데이터를 화상 인식 처리 부(14)에 전송하고 전처리한 후, 이 전처리에서 검출되는 특징점을 기준으로 하여, 테두리(W)로 둘러싸인 부위로부터 화소 검색 테이블에 등록하는 2점의 좌표치를 검출한다. 또한 이 2점의 화소 차분치를 계산하여 임계치를 계산하고, 이들 2점의 좌표치, 임계치를 메모리(14D)에 등록한다. 또한 이 경우에, 상술한 바와 같이, 예를 들면 색정보를 사용한 색검출 처리와 조합시켜서 특정한 화상 패턴을 검출하는 경우, 다른 복수의 검출 처리를 여러가지로 조합시켜서 처리를 실행하는 경우, 유전적 알고리즘을 이용하는 등에 있어서는, 각 처리의 실행에 필요한 정보를 취득하여 메모리(14D)에 사전을 구축한다.
그와 관련하여, 시험촬영의 처리를 실행하지 않고, 단지 테두리(W)의 설정을 접수하여 검출 대상의 등록을 접수하도록 하여도 좋다. 이 경우, 제어부(5)는, 유저에 의해 테두리(W)의 설정을 접수한 후, 슬로 모션 촬영의 시작시, 설정된 테두리(W)로 둘러싸인 화상을 인식 대상으로 설정하도록, 화상 인식 처리부(14)에 처리를 지시한다. 화상 인식 처리부(14)에서는, 이 제어부(5)의 지시에 의해, 슬로 모션 촬영의 시작시, 테두리(W)로 둘러싸인 화상으로부터 화소 검색 테이블에 검색 대상을 등록하고, 이후, 이 화소 검색 테이블을 이용하여 인식 대상을 검색한다.
제어부(5)는, 메모리(14D)에 사전을 등록하면, 계속해서 제 1 내지 제 3의 패턴의 설정을 접수한다. 여기서 제어부(5)는, 도 14에 도시하는 바와 같이, 표시부(12)의 표시를 전환하여, 화면의 좌측에, 패턴마다, 화상 인식 대상의 유무를 판정하는 영역의 경계를 표시한다. 또한 이 패턴마다의 표시에서, 유저에 의한 영역의 선택을 접수한다. 또한 이 도 14에 도시하는 제 1 내지 제 3의 패턴은, 1화면이 수평 방향으로 3개로 분할되고 3개의 영역이 마련되고, 또한 중앙의 영역이 상하로 분할되어 각 영역이 설정된 예이다. 제어부(5)는, 유저에 의해 각 영역의 선택을 터치 패널을 통하여 검출하고, 유저가 선택한 영역의 표시색을 전환하고, 유저에게 통지한다. 또한 이 도 14에서는, 유저가 선택한 영역의 표시를 해칭에 의해 나타낸다. 따라서 이 도 13, 도 14의 예에서는, 수평 방향의 중앙, 하측의 영역에 볼이 존재하는 경우가, 제 1 및 제 2의 패턴으로 할당되고, 수평 방향, 우측의 영역에 볼이 존재하는 경우가, 제 3의 패턴으로 할당되게 된다.
또한 이와 같은 제 1 내지 제 3의 패턴의 영역을 표시하여 유저에 의한 영역의 선택을 접수하는 대신에, 직접, 유저에 의해 표시 화면상에서 영역의 지정을 접수하도록 하여도 좋다. 또한 시험촬영한 영상을 재생하여, 각 패턴에 대응하는 장면에서 일시 정지의 조작을 접수하도록 하여, 이 일시 정지한 화상의 화상 처리에 의해, 각 패턴의 등록을 접수하도록 하여도 좋다. 즉 이 경우, 일시 정지한 화상에서, 인식 대상이 존재하는 개소를 검출하고, 이 검출 결과에 의거하여 각 패턴에서 인식 대상이 존재하는 영역을 검출한다. 또한 미리 설정한 소정의 움직임의 패턴을 표시하고, 이 동향의 패턴을 유저에 의해 선택시키도록 하여 패턴의 등록을 접수하도록 하여도 좋다. 또한 일반적인, 예를 들면 골프 모드, 테니스 모드 등의, 미리 설정된 파라미터를 간이(簡易) 설정 모드로서 정리하여 준비하여 두고, 이 파라미터의 변경을 접수하여 각 패턴의 등록을 접수하도록 하여도 좋다.
또한 실시예 3에 관해 상술한 바와 같이, 포즈에 의한 패턴으로 타이밍을 검출하는 경우에는, 시험촬영한 영상을 재생하여 일시 정지의 조작을 접수하고, 이 일시 정지한 화상의 해석에 의해, 포즈마다, 패턴의 등록을 접수하도록 하여도 좋다.
제어부(5)는, 유저에 의해 각 패턴의 영역이 선택되면, 소정의 조작자의 조작에 의해, 등록 모드를 종료하고, 특정 패턴의 설정 접수를 종료한다.
또한 계속해서 슬로 모션 촬영이 지시되면, 제어부(5)는, 실시예 1과 마찬가지로, 등록 모드로 등록된 제 1 내지 제 3의 패턴이 순차로 검출되는 타이밍을 기준으로 하여, 메모리(2)에의 촬상 결과의 기록을 종료한다.
이 실시예에 있어서, 또한 제어부(5)는, 제 1 및 제 2의 패턴을 검출할 때에는, 이 제 1 및 제 2의 패턴에서 인식 대상이 존재하는 수평 방향의 중앙, 하측의 영역에서만, 화상 인식 처리하도록, 화상 인식 처리부(14)에 처리를 지시한다. 또한 제 2의 패턴을 검출한 후는, 제 3의 패턴에서 인식 대상이 존재하는 수평 방향의 우측의 영역에서만, 화상 인식 처리하도록, 화상 인식 처리부(14)에 처리를 지시한다. 또한 이 제어부(5)의 지시에 응동하여, 화상 인식 처리부(14)는, 도 15(A)에 도시하는 바와 같이, 제어부(5)에서 지시된 영역만에서, 패턴 매칭의 영역을 주사하여 인식 대상인 볼의 화상을 검출하고, 패턴 매칭에 의한 화상 검출 처리에 필요해지는 전처리의 하나인, 검출 화상의 스케일링 처리를 생략한다. 또한 전(全)화면에서의 패턴 매칭의 영역의 주사를 줄이고, 일부 영역만에서 주사의 처리를 실행하여 처리를 간략화한다. 또한 여기서 도 15(A)는, 도 13에서 설명한 수평 방향, 중앙, 하측의 영역만에서, 인식 대상을 검출하는 경우를 도시하는 도면이고, 화살표로 패턴 매칭의 영역의 주사를 나타낸다.
또한 화상 인식 처리부(14)는, 직전의 화상 인식 결과를 기준으로 하여, 패턴 매칭 하는 영역의 크기를 좁히고, 고속도로 화상 인식 처리를 실행한다. 즉 화상 인식 처리부(14)는, 각 영역에서의 화상 인식 처리에서는, 선두의 1필드에서, 도 15(A)에 도시하는 바와 같이, 화상 인식 처리가 지시된 영역의 전부에서, 패턴 매칭의 영역(AR)을 래스터 주사시켜서 화상 인식 대상(a)을 검출한다. 또한 계속되는 2필드째 이후에서는, 도 15(B)에 도시하는 바와 같이, 직전 필드에서 검출한 화상 인식 대상(a)의 위치를 중심으로 한 일정한 범위(AR1)에서, 패턴 매칭의 영역(AR)을 래스터 주사시켜서 화상 인식 대상(a)을 검출한다.
또한 실시예 2에서 상술한 바와 같이, 눈의 뜨고 감음을 검출하는 경우에는, 도 16(A)에 도시하는 바와 같이, 최초에 얼굴에 관한 사전(화소 차분 테이블)을 이용하여 얼굴의 위치를 특정한 후, 이 특정한 얼굴의 위치에서 눈이 존재한다고 상정되는 범위를 설정하고, 도 15(B)에 도시하는 바와 같이, 이 설정한 범위를 눈에 관한 사전을 이용하여 검색하여 뜬 눈, 감은 눈을 검출함에 의해, 직전의 화상 인식 결과를 기준으로 하여, 패턴 매칭 한 영역의 크기를 좁히고, 고속도로 화상 인식 처리를 실행할 수 있다. 또한 이 경우, 화상 인식 처리의 정밀도를 향상할 수 있다.
이 실시예에 의하면, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하도록 하여, 유저의 조작에 의해 이 특정 패턴의 등록을 접수함에 의해, 여러가지의 피사체의 촬영에 적용하여, 유저가 소망하는 장면을 확실하게 슬로 모션 촬영할 수 있다.
(7) 실시예 5
도 17은, 도 10과의 대비에 의해, 본 발명의 실시예 5의 촬상 장치의 동작의 설명에 제공하는 타임 차트이다. 이 실시예의 촬상 장치에서는, 슬로 모션 촬영 모드에서, 메모리에 고속도로 기록한 촬상 결과를 기록한 기간에 관해서도, 필드 스킵한 화상 데이터를 기록 매체에 기록한다. 이 실시예의 촬상 장치는, 이 기록 매체에의 기록에 관한 구성이 다른 점을 제외하고, 상술한 각 실시예와 동일하게 구성된다. 따라서 이 실시예에서는, 도 1의 구성을 유용하여 설명한다.
즉 이 실시예에 있어서, 해상도 변환 처리부(8)는, 표준 동작 모드에서는, 실시예 1에 관해 상술한 것과 동일하게, 카메라 신호 처리부(7)에서 처리된 화상 데이터(D1)를 기록용으로 동화상 기록 처리부(10)에 출력하고, 또한 해상도를 변환하여 모니터용으로 표시부(12)에 출력한다.
이에 대해 슬로 모션 촬영 모드에서, 메모리(2)에의 기록시, 필드 주파수 240[fps]의 화상 데이터(D1)의 필드를 스킵하여 모니터용으로 표시부(12)에 출력하면서, 필드 주파수 240[fps]의 화상 데이터(D1)를 메모리(2)에의 기록용으로 화상 압축 신장부(11)에 출력하도록 하고, 또한 필드 스킵한 필드 주파수 60[fps]의 화상 데이터(D1)를 기록용으로 동화상 기록 처리부(10)에 출력한다. 이에 대해 메모리(2)로부터의 판독시, 실시예 1에 관해 상술한 것과 동일하게, 화상 압축 신장부(11)로부터 출력되는 필드 주파수 60[fps]의 화상 데이터를 기록용으로 동화상 기록 처리부(10)에 출력하고, 또한 해상도를 변환하여 모니터용으로 표시부(12)에 출력한다.
따라서 이 실시예에서는, 필드 주파수 60[fps]의 촬상 결과를 도중 절단되는 일 없이 기록하고, 의도한 장면만 슬로 모션 촬영한 촬상 결과를 자동적으로 기록할 수 있다.
이 실시예에 의하면, 특정 패턴의 화상이 특정한 순서로 검출되는 타이밍을 기준으로 하여 슬로 모션 촬영하는 기간을 설정하도록 하여, 필드 주파수 60[fps]의 촬상 결과를 도중 절단되는 일 없이 기록하여, 의도한 장면만 슬로 모션 촬영할 수 있다.
(8) 실시예 6
도 18은, 본 발명의 실시예 6의 촬상 장치에 적용되는 메모리(2)의 구성을 도시하는 약선도이다. 이 실시예의 촬상 장치는, 이 메모리(2)에 관한 구성이 다른 점을 제외하고, 상술한 실시예의 촬상 장치와 동일하게 구성된다. 따라서 이 실시예에서는, 도 1의 구성을 유용하여 설명한다.
여기서 이 실시예에 있어서 메모리(2)는, 기록 가능한 영역이 복수의 영역으로 구획되고, 영역(1) 내지 영역(5)이 형성된다. 이 촬상 장치에서는, 연속한 슬로 모션 촬영에 이들 영역(1) 내지 영역(5)을 순차 순환적으로 할당하여 촬상 결과를 격납하고, 슬로 모션 촬영을 반복할 수 있도록 한다. 또한 이 도 18에서는, 각 영역에서 촬상 결과의 순환적인 기록을 화살표로 나타낸다.
여기서 도 19는, 도 9와의 대비에 의해 이 촬상 장치의 제어부(5)의 처리 순서를 도시하는 플로우 차트이다. 또한 도 20은, 이 도 19에 도시하는 처리 순서에 있어서, 유저가 즉시기록을 선택하지 않은 경우의, 촬상 장치의 각 부분의 동작을 도 17과의 대비에 의해 도시하는 타임 차트이다.
제어부(5)는, 슬로 모션 촬영 모드의 시작을 유저가 지시하면, 도 19의 처리 순서를 시작하고, 촬영 모드에 응한 화상 인식 처리를 화상 인식 처리부(14)에 지시하고, 또한 메모리(2)에의 필드 주파수 240[fps]의 촬상 결과의 기록 시작을 각 부분에 지시한다. 또한 계속해서 스텝 SP11부터 스텝 SP12로 이동하여, 화상 인식 처리부(14)의 화상 인식 결과에 의거하여, 제 1의 패턴이 검출되었는지의 여부를 판단한다. 제어부(5)는, 이 스텝 SP12에서 부정 결과가 얻어지면, 스텝 SP12를 반복하여, 제 1의 패턴이 검출되는 것을 대기한다.
또한 제 1의 패턴이 검출되면, 제어부(5)는, 스텝 SP12부터 스텝 SP13으로 이동하여 제 2의 패턴이 검출되는 것을 대기하고, 제 2의 패턴이 검출되면, 제어부(5)는, 스텝 SP13부터 스텝 SP14로 이동한다. 또한 이 스텝 SP14에서, 제 3의 패턴이 검출되는 것을 대기하고, 제 3의 패턴이 검출되면, 스텝 SP14부터 스텝 SP15로 이동한다.
여기서 제어부(5)는, 유저가 설정한 기간(T)의 경과를 대기한 후, 메모리(2)에의 기록을 종료한다. 제어부(5)는, 계속되는 스텝 SP16에서, 유저가 즉시기록을 선택하고 있는지의 여부를 판단하고, 여기서 긍정 결과가 얻어지면, 스텝 SP16부터 스텝 SP17으로 이동한다. 여기서 제어부(5)는, 그 시점에서 메모리(2)에 격납되어 있는 촬상 결과를 판독하여 영상 기록 매체(3)에 격납한다. 또한 도 20에서는, 시점(t1)부터 시점(t2)까지의 기간이, 이 슬로 모션 촬영 모드에서의 메모리(2)에의 기록의 기간이고, 계속되는 시점(t2) 내지 시점(t3)까지의 기간이, 메모리(2)로부 터의 판독의 기간이다.
제어부(5)는, 메모리(2)로부터의 판독이 종료되면, 스텝 SP17부터 스텝 SP18로 이동하여, 유저가 슬로 모션 촬영의 반복을 지시하는지의 여부를 판단하고, 여기서 긍정 결과가 얻어지면, 필드 주파수 240[fps]의 촬상 결과의 메모리(2)에의 기록 시작을 지시한 후, 스텝 SP12로 되돌아온다. 이에 대해 유저가 슬로 모션 촬영의 반복을 지시하지 않은 경우, 스텝 SP18부터 스텝 SP19로 이동하여, 유저가 즉시기록을 선택하고 있는지의 여부를 판단하고, 여기서 긍정 결과가 얻어지면, 이 경우, 그때까지 메모리(2)에 격납한 촬상 결과를 영상 기록 매체(3)에 기록하는 처리를 완료하고 있기 때문에, 스텝 SP19부터 스텝 SP20으로 이동하여 이 처리 순서를 종료하다.
따라서 이 실시예의 촬상 장치는, 유저가 즉시기록을 선택하고 있는 경우에는, 상술한 실시예와 마찬가지로 하여 슬로 모션 촬영의 처리를 실행한다.
이에 대해 유저가 즉시기록을 선택하지 않은 경우, 스텝 SP16에서 부정 결과를 얻어짐에 의해, 제어부(5)는, 메모리(2)로부터의 판독을 실행하는 일 없이, 스텝 SP16부터 스텝 SP18로 이동하여, 유저가 슬로 모션 촬영의 반복을 지시하는지의 여부를 판단하고, 여기서 긍정 결과가 얻어지면, 필드 주파수 240[fps]의 촬상 결과의 메모리(2)에의 기록 시작을 지시한 후, 스텝 SP12로 되돌아온다. 또한 이 때 직전까지 촬상 결과를 기록한 메모리(2)의 영역에 대해, 계속되는 영역에 촬상 결과를 기록하도록, 메모리 제어부(13)에 동작의 전환을 지시한다.
따라서 이 경우, 이 실시예의 촬상 장치에서는, 슬로 모션 촬영의 반복의 지 시를 유저가 정지할 때까지, 순차로, 영역(1) 내지 영역(5)을 선택하여 촬상 결과를 고속도로 메모리(2)에 격납한다. 또한 이 때 메모리(2)에 격납한 촬상 결과를 판독하는 처리를 생략하고, 계속되는 영역에 촬상 결과를 격납한다.
또한 이처럼 하여 촬상 결과를 순차로 메모리(2)에 격납하고, 유저가 슬로 모션 촬영의 반복의 지시를 정지하면, 또는 유저가 슬로 모션 촬영의 반복을 지시하지 않은 경우, 스텝 SP18부터 스텝 SP19로 이동하여, 여기서 유저가 즉시기록을 선택하고 있는지의 여부를 판단하고, 이 경우는 부정 결과가 얻어지게 된다. 제어부(5)는, 이 경우, 스텝 SP19부터 스텝 SP21로 이동하여, 그때까지 메모리(2)의 각 영역에 격납되어 있는 촬상 결과를 메모리(2)로부터 판독하여 영상 기록 매체(3)에 기록하고, 스텝 SP20으로 이동하여 이 처리 순서를 종료하다.
따라서 이 실시예에서는, 메모리(2)에 고속도로 격납한 촬상 결과를 최후에 통합하여 판독하여 영상 기록 매체(3)에 격납하고, 도 20에서의 시점(t4) 내지 시점(t5)의 기간이 이 처리의 기간에 해당하게 된다.
이 실시예에 의하면, 메모리를 복수의 영역으로 분할하고, 각 영역을 각각 슬로 모션 촬영에서의 촬상 결과의 기록 영역으로 순차로 설정함에 의해, 연속해서 슬로 모션 촬영할 수 있고, 유저의 사용감을 향상할 수 있다.
(9) 다른 실시예
또한 상술한 실시예에서는, 3개의 패턴을 이용하여 메모리(2)에의 기록 종료의 타이밍을 설정하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 충분히 확실하게 기록 종료의 타이밍을 설정할 수 있는 경우에는, 2개의 패턴 을 이용하여 메모리(2)에의 기록 종료의 타이밍을 설정하여도 좋고, 나아가서는 4개 이상의 패턴을 이용하여 메모리(2)에의 기록 종료의 타이밍을 설정하여도 좋다.
또한 상술한 실시예 6에서는, 유저가 즉시기록을 선택하지 않은 경우에, 동작을 전환하고, 메모리(2)에 고속도로 격납한 촬상 결과를 최후에 통합하여 판독하여 영상 기록 매체(3)에 격납하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 메모리(2)에의 기록 종료의 타이밍을 설정하는 경우와 마찬가지로 하여, 동작의 전환 지시를 검출하도록 하여도 좋다. 이 경우, 유저는, 촬상 장치로부터 떨어진 장소에서, 이 촬상 장치의 동작을 전환할 수 있고, 한층 더 유저의 사용감을 향상할 수 있다. 또한 이 경우, 예를 들면 탤리 램프의 점멸 등에 의해, 동작의 전환을 유저에게 통지하고, 잘못된 동작의 전환 지시를 방지하는 것이 필요하다고 생각된다.
또한 상술한 실시예에서는, 메모리에 격납한 촬상 결과를 영상 기록 매체에 격납하는 경우에는, 이 영상 기록 매체에 기록하는 촬상 결과를 표시부에서 표시하여 모니터하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 이 표시부에서 표시하는 처리를 생략하고, 이미지 센서에서 얻어지는 촬상 결과를 표시부에서 표시하면서, 메모리에 격납한 촬상 결과를 백그라운드로 영상 기록 매체에 기록하도록 하여도 좋다.
또한 상술한 실시예에서는, 표준 동작 모드에서는 필드 주파수 60[fps]로 촬상 결과를 취득하고 영상 기록 매체에 기록하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 표준 동작 모드에서도 필드 주파수 240[fps]로 촬상 결과를 취득하고, 스킵하여 영상 기록 매체에 기록하도록 하여도 좋다.
또한 상술한 실시예에서는, 표준 동작 모드에서는 필드 주파수 60[fps]로 촬상 결과를 취득하고, 슬로 모션 촬영 모드에서는 필드 주파수 240[fps]로 촬상 결과를 취득하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 본 발명의 취지를 일탈하지 않는 범위에서, 필요에 따르여 이들의 주파수는 여러가지로 설정할 수 있고, 나아가서는 논인터레이스 방식에 의해 촬상 결과를 취득하여 기록하는 경우 등에 널리 적용할 수 있다.
또한 상술한 실시예에서는, 메모리(2)에 고속도로 격납한 촬상 결과를, 표준 동작 모드에서의 필드 주파수로 메모리로부터 판독하여 영상 기록 매체에 기록하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 예를 들면 표준 동작 모드에서의 필드 주파수보다 높은 필드 주파수이며, 또한 메모리에의 기록시보다 낮은 필드 주파수로 메모리로부터 판독하여 영상 기록 매체에 기록하도록 하여도 좋다. 이와 같이 하면 메모리에 격납한 촬상 결과를 단시간에 영상 기록 매체에 격납할 수 있고, 예를 들면 슬로 모션 촬영을 반복하는 경우의 시간적인 여유를 증대시킬 수 있다.
본 발명은, 예를 들면 비디오 카메라에 적용할 수 있다.

Claims (10)

  1. 촬상 결과를 출력하는 촬상부와,
    상기 촬상부로부터 출력되는 촬상 결과를 격납하여 출력하는 메모리와,
    상기 촬상 결과를 화상 인식하여 화상 인식 결과를 출력하는 화상 인식부와,
    각 부분의 동작을 제어하는 제어부를 구비하고,
    상기 제어부는,
    표준 동작 모드에서,
    제 1의 필드 주파수 또는 프레임 주파수로, 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 기록 매체에 기록하고,
    슬로 모션 촬영 모드에서,
    상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 상기 촬상 결과를 출력시키고, 상기 메모리에 순차 순환적으로 격납하고,
    상기 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 상기 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여 상기 기록 매체에 기록하는 것을 특징으로 하는 촬상 장치.
  2. 제 1항에 있어서,
    상기 제 3의 필드 주파수 또는 프레임 주파수가, 상기 제 1의 필드 주파수 또는 프레임 주파수인 것을 특징으로 하는 촬상 장치.
  3. 제 1항에 있어서,
    상기 특정 패턴은,
    상기 화상 인식부에서 화상 인식한 화상 인식 대상이, 1화면중의 특정 개소에 존재하는 화상인 것을 특징으로 하는 촬상 장치.
  4. 제 1항에 있어서,
    상기 소정의 순서로 검출되는 상기 특정 패턴이, 촬영 대상의 신호를 검출하는 패턴인 것을 특징으로 하는 촬상 장치.
  5. 제 1항에 있어서,
    상기 소정의 순서로 검출되는 상기 특정 패턴이, 촬영 대상의 일련의 동작으로 검출되는 특정한 포즈의 패턴인 것을 특징으로 하는 촬상 장치.
  6. 제 1항에 있어서,
    상기 제어부는,
    유저에 의한 조작에 응동하여 상기 특정 패턴의 등록을 접수하는 것을 특징으로 하는 촬상 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 슬로 모션 촬영 모드에서,
    상기 촬상 결과를 상기 메모리에 순차 순환적으로 격납하고 있는 기간의 동안, 상기 촬상부에서 출력되는 상기 촬상 결과의 필드 주파수 또는 프레임 주파수를, 상기 제 1의 필드 주파수 또는 프레임 주파수로 변환하여 상기 기록 매체에 기록하는 것을 특징으로 하는 촬상 장치.
  8. 표준 동작 모드에서, 제 1의 필드 주파수 또는 프레임 주파수로, 촬상부로부터 촬상 결과를 출력시키고, 기록 매체에 기록하는 표준 동작 모드의 기록 스텝과,
    슬로 모션 촬영 모드에서, 상기 제 1의 필드 주파수 또는 프레임 주파수보다 주파수가 높은, 제 2의 필드 주파수 또는 프레임 주파수로 상기 촬상부로부터 촬상 결과를 출력시키고, 메모리에 순차 순환적으로 격납하는 슬로 모션 촬영 모드의 기록 스텝과,
    상기 슬로 모션 촬영 모드에서, 화상 인식 결과에 의거하여, 상기 촬상 결과에서 특정 패턴이 소정의 순서로 검출되는 타이밍을 기준으로 하여, 상기 촬상 결과의 메모리에의 격납을 종료하고, 상기 메모리에 격납한 상기 촬상 결과를, 상기 제 2의 필드 주파수 또는 프레임 주파수보다 낮은, 제 3의 필드 주파수 또는 프레임 주파수로 판독하여 상기 기록 매체에 기록하는 슬로 모션 촬영 모드의 기록 스텝을 구비하는 것을 특징으로 하는 촬상 장치의 제어 방법.
  9. 삭제
  10. 삭제
KR1020097008471A 2006-11-30 2007-08-27 촬상 장치 및 촬상 장치의 제어 방법 KR101413926B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006322864A JP4360399B2 (ja) 2006-11-30 2006-11-30 撮像装置
JPJP-P-2006-322864 2006-11-30
PCT/JP2007/067082 WO2008068933A1 (ja) 2006-11-30 2007-08-27 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20090083894A KR20090083894A (ko) 2009-08-04
KR101413926B1 true KR101413926B1 (ko) 2014-06-30

Family

ID=39491845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097008471A KR101413926B1 (ko) 2006-11-30 2007-08-27 촬상 장치 및 촬상 장치의 제어 방법

Country Status (7)

Country Link
US (1) US8405735B2 (ko)
EP (1) EP2096862B1 (ko)
JP (1) JP4360399B2 (ko)
KR (1) KR101413926B1 (ko)
CN (1) CN101543048B (ko)
AT (1) ATE528914T1 (ko)
WO (1) WO2008068933A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5109864B2 (ja) * 2008-08-08 2012-12-26 株式会社ニコン 電子スチルカメラ
JP5544917B2 (ja) * 2009-02-20 2014-07-09 株式会社リコー 撮像装置及び撮像方法
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
JP5533241B2 (ja) * 2010-05-18 2014-06-25 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
JP2012074894A (ja) * 2010-09-28 2012-04-12 Sanyo Electric Co Ltd 電子カメラ
CN104094595B (zh) * 2011-12-29 2016-09-14 高尔纵株式会社 在立体视觉系统中供处理影像的方法及其装置
JP6064404B2 (ja) * 2012-07-24 2017-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105157742B (zh) * 2014-04-29 2021-03-23 杭州美盛红外光电技术有限公司 识别装置和识别方法
US9684056B2 (en) 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
JP2017192100A (ja) * 2016-04-15 2017-10-19 ソニー株式会社 撮像素子、撮像装置、および、撮像素子の制御方法
WO2018085982A1 (zh) * 2016-11-08 2018-05-17 深圳市大疆创新科技有限公司 视频录制方法、装置及拍摄设备
JP6766294B2 (ja) * 2017-10-02 2020-10-14 株式会社ユピテル 電子機器
JP6566004B2 (ja) * 2017-11-13 2019-08-28 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置
CN112532865B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 慢动作视频拍摄方法及电子设备
US20230069584A1 (en) * 2021-08-30 2023-03-02 Proxamama LLC Method for nipple replication

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103356A (ja) * 1999-09-30 2001-04-13 Inst Of Physical & Chemical Res 高速ビデオカメラ
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034811A (en) * 1990-04-04 1991-07-23 Eastman Kodak Company Video trigger in a solid state motion analysis system
US5867625A (en) * 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
JPH0955931A (ja) 1995-08-10 1997-02-25 Sony Corp 映像信号記録装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
US5884042A (en) * 1996-10-31 1999-03-16 Sensormatic Electronics Corporation Data identification in an intelligent video information management system
JP3681152B2 (ja) 1999-02-25 2005-08-10 株式会社日立国際電気 テレビカメラの制御方法及びテレビカメラ
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP4041768B2 (ja) * 2002-09-12 2008-01-30 松下電器産業株式会社 部品装着ヘッド
JP4222869B2 (ja) 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP2004289766A (ja) 2003-03-20 2004-10-14 For-A Co Ltd 高速度ビデオカメラ装置
JP2004336108A (ja) 2003-04-30 2004-11-25 Shimadzu Corp 撮像装置
WO2005047833A1 (ja) * 2003-11-14 2005-05-26 Olympus Corporation マルチスペクトル撮像装置、マルチスペクトル照明装置
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
JP2005328168A (ja) 2004-05-12 2005-11-24 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置及び撮影装置
US20080138029A1 (en) * 2004-07-23 2008-06-12 Changsheng Xu System and Method For Replay Generation For Broadcast Video
JP4725183B2 (ja) * 2005-05-11 2011-07-13 ソニー株式会社 撮像装置、および方法
CA2706695C (en) * 2006-12-04 2019-04-30 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103356A (ja) * 1999-09-30 2001-04-13 Inst Of Physical & Chemical Res 高速ビデオカメラ
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
CN101543048A (zh) 2009-09-23
US8405735B2 (en) 2013-03-26
EP2096862A1 (en) 2009-09-02
JP4360399B2 (ja) 2009-11-11
EP2096862B1 (en) 2011-10-12
CN101543048B (zh) 2011-05-25
KR20090083894A (ko) 2009-08-04
EP2096862A4 (en) 2010-09-01
WO2008068933A1 (ja) 2008-06-12
ATE528914T1 (de) 2011-10-15
US20100045812A1 (en) 2010-02-25
JP2008141282A (ja) 2008-06-19

Similar Documents

Publication Publication Date Title
KR101413926B1 (ko) 촬상 장치 및 촬상 장치의 제어 방법
US8350892B2 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
KR100847614B1 (ko) 촬상장치 및 컴퓨터 판독 가능한 기록매체
US7787019B2 (en) Camera and shooting control method therefor
JP5375744B2 (ja) 動画再生装置、動画再生方法及びプログラム
US8670047B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5293206B2 (ja) 画像検索装置、画像検索方法及びプログラム
JP5935779B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20070182823A1 (en) Camera
JP2010239447A (ja) 撮像装置、画像処理方法及びプログラム
JP4853707B2 (ja) 撮像装置及びそのプログラム
JP2010093539A (ja) 撮像装置
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5533241B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム
JPH11213167A (ja) 目標物の位置検出装置および方法並びにフォーム解析装置
JP6322964B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム
JP6682874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5029348B2 (ja) 撮像装置及びプログラム
JP2017198872A (ja) 撮影装置、撮影制御方法及びプログラム
JP2002027398A (ja) 画像記録再生装置
JP2017200077A (ja) 出力装置、出力処理方法及びプログラム
JP2011248156A (ja) 撮像装置、撮像方法及びプログラム
JPH10258146A (ja) フォーム解析装置及びそれに用いる画像記録再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5