KR20090068333A

KR20090068333A - 촬상장치와 재생제어장치

Info

Publication number: KR20090068333A
Application number: KR1020097007784A
Authority: KR
Inventors: 하루토 도쿠야마
Original assignee: 소니 가부시끼 가이샤
Priority date: 2006-10-24
Filing date: 2007-10-24
Publication date: 2009-06-26
Also published as: EP2079231A4; US20100060752A1; JPWO2008050806A1; US8154606B2; TWI359612B; JP5252063B2; EP2079231B1; US20120133791A1; TW200828991A; CN101529890B; US9013583B2; KR101411627B1; WO2008050806A1; JP2012050141A; EP2079231A1; CN101529890A

Abstract

촬상 수단은, 제 1의 프레임 레이트와 제 1의 프레임 레이트보다 높은 제 2의 프레임 레이트로 촬상 가능하게 한다. 검출수단에서 하이라이트 신을 검출한다. 하이라이트 신이 검출되었을 때는 고속 모드에서 촬상 동작을 행하고 고프레임 레이트(240fps)의 화상 신호를 소정시간 재생한다. 하이라이트 신이 검출되어 있지않을 때는, 통상 모드에서 촬상 동작을 행하고 고속 프레임 레이트(60fps)의 화상 신호를 생성한다. 하이라이트 신 촬상시의 프레임 레이트의 전환동작을 행하는 시간을 생략할 수 있다. 또, 소비전력 및 기억매체의 용량을 절약할 수 있다.

Description

촬상장치와 재생제어장치{Imaging device and reproduction control device}

본 발명은, 프레임 레이트(frame rate)를 전환하여 촬상이 가능한 촬상장치와, 외부 모니터 장치가 대응하고 있는 프레임 레이트로 동화상 정보의 재생이 가능한 재생제어장치에 관한 것이다.

최근의 CCD(Charge Coupled Device)로부터 CMOS(Complementary Metal Oxide Semiconductor)로의 촬상 소자의 트랜드의 변화나, 방송의 하이비전 대응에 의한 촬상소자, 촬상 시스템의 고해상도화라고 하는 기술에 의해 민생용의 촬상장치에 있어서도 해상도를 한정하는 것으로 고속인 프레임 레이트에서의 촬상 환경이 실현되고 있다.

예를 들면 일본 특개 소63-59074호 공보에서는, 셔터 속도나 코마 속도를 가변하는 것으로, 고속 촬상을 가능하게 한 고속 비디오 카메라가 개시되어 있다. 또, 일본 특개 2001-292409호 공보에서는, 고속의 프레임 레이트에서의 촬상 환경에 있어서 얻어진 영상을 재생하는 기록 재생장치로서, 고화질의 슬로 모션 기록과 통상 기록을 전환하여 가능하게 하는 것이 개시되어 있다.

그런데, 종래의 촬상장치에 있어서는, 유저가 수동으로 셔터 속도나 코마 속도를 지정하는 것으로 고속 촬상을 행하는 것이며 조작이 번잡하게 되고, 또, 재생시의 프레임 레이트를 전환하는 수단이 필요하게 된다는 과제가 있었다.

또, 종래의 기록 재생장치에 있어서는, 재생 출력처의 디스플레이가 고속 프레임 레이트에 대응하고 있는지 아닌지 등의 대응 상황에 따른 출력 화상의 프레임 레이트의 조정 및 출력 화상을 재생 출력처의 디스플레이로 표시할 때의 프레임 레이트의 조정을 할 수 없다는 과제가 있었다.

그래서, 하이라이트 신 촬상 시의 프레임 레이트의 전환에 필요로 하는 시간을 생략하고, 소비 전력 및 기억 매체의 용량을 절약할 수 있는 것으로 하기 위해, 이 발명의 촬상장치에서는, 제 1의 프레임 레이트와 제 1의 프레임 레이트보다 높은 제 2의 프레임 레이트로 촬상 가능한 촬상수단과, 하이라이트 신을 검출하는 검출수단과, 검출수단에 의해 하이라이트 신을 검출한 것에 따라, 촬상 수단의 프레임 레이트를 전환하는 제어수단을 갖추는 것이다.

또, 재생 출력처가 고속 프레임 레이트에 대응하고 있는지 아닌지 따라서, 출력 화상의 프레임 레이트의 조정 및 재생 출력처에서 화상을 표시할 때의 프레임 레이트의 조정이 가능해지도록, 이 발명의 재생제어장치는, 기록 매체로부터 동화상 정보와 상기 동화상 정보의 부속정보를 재생하는 재생제어장치에 있어서, 외부 모니터 장치가 대응하고 있는 프레임 레이트와 부속정보에 의거하여, 동화상 정보를 재생할 때의 재생 모드를 솎음(thinning) 재생 모드 또는 비솎음 재생 모드 중 어느 쪽으로 할지 판정하는 판정수단과, 판정수단의 판정 결과에 따라 동화상 정보의 재생 동작을 제어하는 제어수단을 갖추는 것이다.

도 1은, 본 발명의 촬상장치의 구성을 나타내는 블럭도이다.

도 2는, 촬상장치에 있어서의 프레임 레이트 전환 동작을 나타내는 플로차트이다.

도 3은, 하이라이트 신의 검출 처리를 나타내는 플로차트이다.

도 4는, 촬상장치의 기록시와 재생시의 동작(외부 모니터 장치가 고속 프레임 레이트에 대응하고 있지않은 경우)을 설명하기 위한 도면이다.

도 5는, 촬상장치의 기록시와 재생시의 동작(외부 모니터 장치가 고속 프레임 레이트에 대응하고 있는 경우)을 설명하기 위한 도면이다.

도 6은, 고속 프레임 레이트 재생 모드와 통상 프레임 레이트 재생 모드의 전환 동작을 나타내는 플로차트이다.

도 7은, 동영상 파일 구조를 나타내는 설명도이다.

도 8은, 외부 모니터 장치가 고속 프레임 레이트에 대응하고 있지 않을 때, 동영상 파일 구조의 화상 신호를 재생했을 때의 동작을 설명하기 위한 도면이다.

도 9는, 외부 모니터 장치가 고속 프레임 레이트에 대응하고 있을 때, 동영상 파일 구조의 화상 신호를 재생했을 때의 동작을 설명하기 위한 도면이다.

도 10은, 외부기록매체(혹은 내부 기록 매체)에 기록되는 데이터의 구성을 나타내는 도면이다.

도 11은, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치가 접속되었을 때의 재생동작을 설명하기 위한 도면이다.

도 12는, 재생시의 메뉴얼 조작에 의한 프레임 레이트의 선택 동작을 나타내는 플로차트이다.

도 13은, 통상 프레임 레이트 솎음 재생 모드와 통상 프레임 레이트 비솎음 재생 모드의 자동전환동작을 나타내는 플로차트이다.

도 14는, 프레임 레이트 전환정보의 자동생성동작을 나타내는 플로차트이다.

다음에, 본 발명의 실시형태에 대하여 도면을 참조하여 설명한다. 도 1은, 본 발명의 촬상장치의 구성을 나타내는 블럭도이다. 본 발명의 촬상장치는, 촬상장치에 접속하여 이용되는 외부 모니터 장치가, 제 1의 프레임 레이트 뿐만 아니라, 제 1의 프레임 레이트보다 높은 프레임 레이트인 제 2의 프레임 레이트에 대응하고 있는 외부 모니터 장치로 이행할 때까지의 과도기에 있어서, 제 2의 프레임 레이트에 대응한 외부 모니터 장치와 비 대응인 외부 모니터 장치가 혼재하는 것과 촬상 동작시의 전력 및 기록 매체의 용량으로의 영향을 고려한 것이다. 또한, 이하의 설명에서는, 제 1의 프레임 레이트를 표준 텔레비전 방식의 프레임 레이트 예를 들면 60fps(프레임/초) 또는 50fps로 한다(또한, 여기에서는, NTSC, PAL, SECAM 등에 있어서의 「홀수 필드」나 「짝수 필드」의 1필드를 「1프레임」으로서 기재하고 있다.). 또, 제 2의 프레임 레이트를 제 1의 프레임 레이트의 예를 들면 4배인 240fps(프레임/초)로 한다. 또한, 제 1의 프레임 레이트를 통상 프레임 레이트, 제 2의 프레임 레이트를 고속 프레임 레이트라고 한다.

본 발명의 촬상장치는, 이메저(imager) 구동 드라이버(1), 전자 촬상 소자 (이메저)(2), 아날로그 프론트엔드(AFE)(3), 화상·음성처리 ASIC(Application Specific Integr ated Circuit)(4), 마이크(5), 아날로그 앰프(6), 스피커(7), 메모리(8), 패널 구동 드라이버(9), LCD(Liquid Crystal Display) 패널(10), 조작부(11), 배터리(12), 전원관리 IC(13), 외부기록매체(14), 화상 출력 단자(15), 내부 기록 매체(21), 프로그래머블 RAM(Rand om Access Memory)(22), 각속도 센서(23), 렌즈 구동 드라이버(24), 렌즈(25) 및 시스템 MPU(Micro Processing Unit)(26)를 갖추고 있다.

이메저 구동 드라이버(1)는, 전자 촬상 소자(2)를 구동하기 위한 회로이다. 전자 촬상 소자(2)는, 통상 프레임 레이트의 화상 신호뿐만 아니라, 고속 프레임 레이트의 화상 신호의 생성을 행할 수 있는 촬상 소자이다. 전자 촬상 소자(2)로서는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 이메저 등이 이용된다.

AFE(3)는, 아날로그 신호 처리 회로나 A/D컨버터 등을 갖추고 있다. AFE(3)는, 전자 촬상 소자(2)로 생성된 아날로그의 화상 신호의 신호 처리 예를 들면 노이즈 제거 처리나 신호 레벨 조정 처리 등을 실시한다. 또한 신호 처리 후의 화상 신호를 디지털의 화상 신호로 전환한다.

화상·음성 처리 ASIC(4)는, 화상 신호 및 음성 신호를 처리하는 특정용도 집적회로이다. 화상·음성 처리 ASIC(4)는, 예를 들면 AFE(3)로 얻어진 디지털의 화상신호에 대하여 색 처리나 렌즈 보정 처리라고 한 처리를 행한다. 또, 화상 신호의 압축 처리나 신장 처리 등도 실시한다.

마이크(5)는, 음성을 검출하여 상기신호로 전환하여 출력한다. 아날로그 앰프(6)는, 마이크(5)로부터 출력된 전기신호를 증폭하는 회로이다. 스피커(7)는, 아날로그 앰프(6)에 있어서 증폭한 전기신호를 음성으로 전환하여 출력한다. 메모리(8)는, 각종 데이터를 기억하는 회로이다. 패널 구동 드라이버(9)는, 화상·음성 처리 ASIC(4)에 의해 처리한 화상 신호를 기초로 LCD 패널(10)의 각 화소를 구동하는 회로이다. 조작부(11)는 각종 조작 스위치를 갖추고 있다. 배터리(12)는, 이 촬상장치의 각 부로 공급되는 전력을 발생시킨다. 전원 관리 IC(13)는, 배터리(12)의 상태와 음 전하 상태를 검출하고, 이 촬상장치의 전원을 관리하는 회로이다.

외부기록매체(14)는, 이 촬상장치에서 생성된 동화상 정보나 음성 정보 등을 보존하기 위한 외부기록매체이다. 화상 출력 단자(15)는, 이 촬상장치에서 생성된 동화상 정보나 외부기록매체(14)에 기록되고 있는 동화상 정보를 외부 모니터 장치(30)에 공급하여 화상을 모니터할 수 있도록 하기 위한 출력 단자이다. 내부 기록 매체(21)는, 이 촬상장치에 내장된 기억장치이며, 이 촬상장치에서 생성된 동화상 정보나 음성 정보 등을 보존한다.

프로그래머블 RAM(22)은, 이 촬상장치에서 필요한 각종 논리를 구성하고 있다.

각속도 센서(23)는, 이 촬상장치에 있어서의 손떨림 방지 기능을 실현하기 위한 센서이며, 촬상장치가 움직였을 때의 각속도를 검출한다.

렌즈 구동 드라이버(24)는, 렌즈 구동 신호를 기초로 렌즈(25)를 구동하여 줌 동작 등을 행하기 위한 회로이다.

시스템 MPU(26)는, 이 촬상장치의 각부를 제어하는 마이크로 프로세싱 유닛이다.

다음에 동작에 대하여 설명한다. 시스템 MPU(26)는, 촬상장치의 동작 모드가 고속 프레임 레이트의 화상 신호를 생성하는 동작 모드(이하 「고속 모드」라고 함)로 되었을 때, 이메저 구동 드라이버(1)에 대하여 고속 프레임 레이트에 대응한 구동 펄스를 보내고, 전자 촬상 소자(2)를 고속 모드로 구동한다.

또, 시스템 MPU(26)는, AFE(3)나 화상·음성 처리 ASIC(4)도 고속 모드에서 신호 처리를 행하게 하여, 고속 프레임 레이트의 화상 신호를 생성시킨다. 또한, 시스템 MPU(26)는, 고속 프레임 레이트의 화상 신호의 압축 처리를 화상·음성 처리 ASIC(4)로 행하게 한다. 시스템 MPU(26)는, 이와 같이 각부의 동작을 제어하여 얻어진 고속 프레임 레이트의 화상 신호를 화상 출력 단자(15)로부터 출력시키는 처리나, 고속 프레임 레이트의 화상 신호를 압축 처리하여 얻어진 화상 기록 데이터를 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록하는 처리를 행한다. 화상 기록 데이터를 기록할 때, 마이크(5)로부터 입력되는 음성은, 디지털 샘플링이 실시된 후에 압축되어, 고속 프레임 레이트의 촬상 화상에 동기하여 기록된다. 또한, 외부기록매체(14)(혹은 내부 기록 매체(21))에는, 고속 프레임 레이트의 화상 신호를 기록하는 것이라고 해도 좋다. 이와 같이, 동작 모드로서 고속 모드를 선택하면, 시간 해상도가 높은 촬상 화상을 출력 혹은 기록할 수 있다.

시스템 MPU(26)는, 촬상장치의 동작 모드를 통상 프레임 레이트의 화상 신호 를 생성하는 동작 모드(이하 「통상 모드」라고 함)로 할 때, 고속 모드보다 촬상장치의 소비 전력을 저하시키기 위해, 구동 펄스의 주파수 그 자체를 내리고, 전자 촬상 소자(2)나 AFE(3) 및 화상·음성 처리 ASIC(4) 등을 통상 모드로 구동한다.

통상 모드에서는 시간 방향의 해상도가 고속 모드에 비해 저하하지만, 화상 신호의 프레임 레이트가 내려가기 위해 소비 전력, 기록 매체의 용량으로의 부담이 적은 등의 메리트가 생긴다. 또한, 고속 모드와 통상 모드에서는 노광시간이 다르기 때문에, 화상·음성 처리 ASIC(4) 등에서 화상 신호의 게인 조정을 행하는 것으로, 노광시간이 다른 경우에도 신호 레벨이 동등하게 되도록 하면 좋다.

외부 모니터 장치(30)가 고속 프레임 레이트에 대응 가능한 경우, 촬상장치의 화상 출력 단자(15)로부터 출력되는 화상 신호를 이용하고, 촬상 화상을 표시하는 것이 가능하다. 그러나, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지않은 경우, 예를 들면 종래의 텔레비전 장치나 기기에 갖춰진 LCD 패널 등인 경우, 촬상장치의 화상 출력 단자(15)로부터 출력되는 화상 신호의 프레임 레이트가 고속 프레임 레이트일 때는, 촬상 화상을 표시할 수 없다.

따라서, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치에 대해서는, 촬상장치가 갖추고 있는 고속 프레임 레이트의 촬상 기능의 용도로서, 고속 모드로 촬상을 행하는 것에 의해 얻어진 고프레임 레이트의 화상 신호를 통상 프레임 레이트로 출력하는 슬로 재생 모드를 설치한다. 예를 들면 1초당 240매의 프레임 화상(240fps)을 1초당 60매의 프레임 화상(60fps)의 속도로 재생하는 것으로, 4배의 시간을 들여 화상 신호의 출력을 행하는 슬로 재생 모드를 설치한다. 이와 같이 하면, 고속 프레임 레이트의 화상 신호를 이용하여, 시간 해상도가 높은 슬로 재생 화상 표시를 행하는 것이 가능해진다.

이와 같이, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치를 이용하는 경우라도, 슬로 재생 모드를 설치하는 것으로 촬상 화상을 표시할 수 있으므로, 모두 고프레임 레이트로 촬상을 행하는 일도 가능해진다. 그러나, 모두 고프레임 레이트로 촬상을 행하는 것으로 하면, 상술한 대로 촬상장치의 소비 전력이 커지기 때문에 촬상장치의 동작 가능시간이 짧아져 버린다. 또, 고속 모드에서의 해상도를, 통상 모드에서의 해상도와 같다고 한 경우에는, 단위시간 정도의 프레임수가 많기 때문에 기록 가능 시간도 짧아져 버린다.

그래서, 본 발명의 촬상장치는, 촬상 시에 촬상장치로 얻어지는 정보를 기초로 하이라이트 신을 검출하고, 하이라이트 신이 검출되는 것에 따라서, 촬상 화상의 프레임 레이트를 자동적으로 전환한다. 이와 같이 프레임 레이트의 변경을 행하는 것으로, 프레임 레이트의 전환 조작에 필요로 하는 시간을 생략하고, 소비 전력과 매체 용량을 절약하면서, 하이라이트 신의 슬로 모션 영상효과를 자동적으로 작성할 수 있도록 한다.

또한, 하이라이트 신의 검출 및 프레임 레이트 전환은 시스템 MPU(26)에 의해 실현되고 있다.

도 2는, 촬상장치에 있어서의 프레임 레이트 전환 동작을 나타내는 플로차트이다. 도 2의 플로차트에 나타내는 바와 같이, 시스템 MPU(26)는, 하이라이트 신의 검출 처리를 행한다(스텝(S1)). 다음에, 시스템 MPU(26)는, 하이라이트 신이 검출되었는지 아닌지를 판정하고(스텝(S2)), 하이라이트 신이 검출되었을 때, 시스템 MPU(26)는, 동작 모드를 고속 모드로서 240fps의 프레임 레이트로 촬상 동작을 행하게 하여 화상 신호를 생성시킨다(스텝(S3)). 그 후, 시스템 MPU(26)는, 고속 모드에서의 화상 신호의 생성이 소정 시간 경과했는지 아닌지를 판별하고(스텝(S4)), 소정시간이 경과하고 있지 않을 때에는 고속 모드에서의 화상 신호의 생성을 계속하고, 소정시간이 경과했을 때는 하이라이트 신의 검출 처리를 행한다. 또, 하이라이트 신이 검출되어 있지 않을 때, 시스템 MPU(26)는, 동작 모드를 통상 모드로서 60fps의 프레임 레이트로 촬상 동작을 행하게 하여 화상 신호를 생성시킨다(스텝(S5)).

다음에, 하이라이트 신의 검출 처리에 대해 설명한다. 하이라이트 신의 검출이란, 피사체의 움직임의 양이 소정치를 넘었을 때를 나타내고 있다. 시스템 MPU(26)는, 촬상 화상의 화상 신호를 이용하여 하이라이트 신의 검출을 행한다. 예를 들면 화상·음성 처리 ASIC(4)에서 프레임간 차분 연산을 행하여, 얻어진 연산 결과를 시스템 MPU(26)에 공급한다. 시스템 MPU(26)는, 연산 결과와 미리 정해진 임계치를 비교하고, 연산 결과가 임계치를 넘었을 때, 피사체의 움직임의 양이 소정치를 넘은 것으로서 하이라이트 신의 검출로 한다. 또, 연산 결과가 임계치를 넘지 않을 때, 피사체의 움직임의 양이 소정량을 넘고 있지않은 것으로서 하이라이트 신은 검출되어 있지 않다고 한다.

그런데, 촬상장치가 고정되어 있어 촬상 범위에 변화가 없을 때, 프레임간 차분 연산의 연산 결과는, 피사체의 움직임의 양을 나타내는 값이 된다. 그러나, 촬상 범위를 변화시키는 줌 동작이 실시된 경우(예를 들면 줌인이나 줌 아웃 동작이 행해진 경우)나, 촬상 방향이 변화한 경우(예를 들면 팬(pan)·틸트(tilt) 동작이 행해진 경우나 손떨림이 큰 경우 등), 피사체가 움직이지 않아도 프레임간 차분 연산의 연산 결과는 커져 버릴 우려가 있다.

그래서, 시스템 MPU(26)는, 줌 작동 상황 및/또는 손떨림 보정용의 센서(여기에서는 각속도 센서(23)) 출력도 이용하여 하이라이트 신의 검출을 행하면, 하이라이트 신의 검출 정밀도를 향상시킬 수 있다.

도 3은, 하이라이트 신의 검출 처리를 나타내는 플로차트이다. 이 도 3에 나타내는 하이라이트 신의 검출 처리는, 프레임간의 차분 연산 결과뿐만 아니라, 촬상장치의 줌 동작 상황과 각속도 센서(23)의 출력을 이용하여, 하이라이트 신의 검출을 정밀도 좋게 행하는 경우를 나타내고 있다.

도 3에 나타내는 플로차트에 의하면, 먼저 시스템 MPU(26)는, 렌즈 구동 드라이버(24)가 줌(ZOOM) 작동 중인지 아닌지 판정한다(스텝(S11)). 그리고, 줌 작동중이면, 시스템 MPU(26)는 하이라이트 신 미검출로 한다(스텝(S15)).

스텝(Sll)에 있어서 줌 작동중이 아니면, 다음에 시스템 MPU(26)는, 각속도센서(23)의 출력을 기초로, 이 촬상장치에 더해지고 있는 각속도가 큰지 아닌지를 예를 들면 미리 설정되어 있는 임계치와 비교하여 판정한다(스텝(S12)). 이 결과, 각속도 센서(23)에 의해 검출된 각속도의 크기가 임계치보다 큰 경우, 시스템 MPU(26)는 하이라이트 신 미검출로 한다(스텝(S15)).

스텝(S12)에 있어서 각속도가 임계치보다 크지 않다고 판정한 경우, 다음에 시스템 MPU(26)는, 프레임간 차분 연산의 연산 결과가 작을지 아닌지를 예를 들면 미리 설정되어 있는 임계치와 비교하여 판정한다(스텝(S13)). 그 결과, 연산 결과가 임계치보다 작은 경우, 시스템 MPU(26)는 하이라이트 신 미검출로 한다(스텝(S15)).

또, 스텝(S13)에 있어서 연산 결과가 임계치보다 작지 않은 경우, 시스템 MPU(26)는 하이라이트 신을 검출한 것으로 한다(스텝(S14)).

또한, 시스템 MPU(26)는, 촬상 화상의 화상 신호뿐만 아니라, 마이크 등으로부터의 음성 신호를 이용하여 하이라이트 신의 검출을 행하는 것이라고 해도 좋다. 예를 들면 마이크로부터의 음성 신호의 신호 레벨이 임계치보다 커졌을 때 하이라이트 신을 검출한 것으로서, 고속 모드로 화상 신호의 생성을 소정시간 실시하는 것으로, 예를 들면 운동회 등의 레이스 신에 있어서 스타트 신을 하이라이트 신으로 하여 고프레임 레이트로 기록하는 것이 가능하다.

또, 통상의 조작버튼에 맞추어 고속 프레임 레이트 플래그의 설정을 행하는 것으로, 예를 들면 기록 개시의 해제버튼을 길게 누르는 것을 트리거(trigger)로서 플래그를 온 함으로써, 촬상 동작을 계속한 채로 동작 모드를 통상 모드로부터 고속 모드로 전환하는 것이 가능하다.

도 4는, 촬상장치의 기록시와 재생시의 동작을 나타내고 있고, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지않은 경우이다.

도 4(a)는, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지않은 경우이며, 하이라이트 신이 검출되어 있지 않을 때 의 기록시와 재생시의 동작을 나타내고 있다. 즉, 하이라이트 신이 검출되어 있지 않기 때문에, 기록시에는 1/60초 간격으로 촬상장치가 생성한 프레임 번호〔0, 4, 8, 12 ……〕의 프레임이 기록된다. 또, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지 않고, 기록된 프레임이 1/60초 간격이기 때문에, 재생시에는, 프레임 번호〔0, 4, 8, 12 ……〕의 프레임이 1/60초 간격으로 재생된다.

도 4(b)는, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지않은 경우이며, 하이라이트 신이 검출되었을 때의 기록시와 재생시의 동작을 나타내고 있다. 즉, 하이라이트 신이 검출되면 동작 모드가 소정 시간만 고속 모드로 된다. 따라서, 기록시에는, 1/240초 간격으로 촬상장치가 생성한 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 프레임이 기록된다. 그리고, 재생시의 프레임은, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지 않기 때문에, 기록한 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 프레임이 1/60초 간격으로 재생된다.

또, 본 발명의 촬상장치에서는, 고속 프레임 레이트에 대응한 외부 모니터 장치 전용의 용도로서, 고속 프레임 레이트의 화상 신호를 출력하는 고프레임 레이트 재생 모드를 설치한다. 이 고프레임 레이트 재생 모드에 있어서, 출력하는 화상 신호가 고속 모드로 생성된 화상 신호일 때, 프레임 레이트를 변경하지 않고 그대로 출력한다. 또 출력하는 화상 신호가 통상 모드로 생성된 화상 신호일 때, 프레임 화상의 반복 출력을 행하는 것으로, 고속 프레임 레이트의 화상 신호로 전환하여 출력한다.

또한, 도 4에 나타내는 바와 같이 화상 신호를 출력하는 모드를 통상 프레임 레이트 재생 모드라고 부르기로 한다. 즉, 통상 프레임 레이트 재생 모드에서는, 출력하는 화상 신호가 통상 모드로 생성된 화상 신호일 때, 프레임 레이트를 변경하지 않고 그대로 출력한다. 또 출력하는 화상 신호가 고속 모드로 생성된 화상 신호일 때, 이 화상 신호를 통상 모드의 프레임 레이트로 출력한다.

도 5는, 촬상장치의 기록시와 재생시의 동작을 나타내고 있고, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는 경우이다.

도 5(a)는, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는 경우이며, 하이라이트 신이 검출되어 있지 않을 때의 기록시와 재생시의 동작을 나타내고 있다. 즉, 하이라이트 신이 검출되어 있지 않기 때문에, 기록시에는 1/60초 간격으로 촬상장치가 생성한 프레임 번호〔0, 4, 8, 12……〕의 프레임이 기록된다. 또, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있고, 재생시의 프레임은 1/240초 간격이기 때문에, 재생시에 각 프레임 화상을 4회 반복 출력(더미 프레임을 출력)하는 것으로 프레임수를 4배로 하여, 프레임 번호〔0, 0, 0, 0, 4, 4, 4, 4, 8……〕의 프레임이 1/240초 간격으로 재생된다.

도 5(b)는, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는 경우이며, 하이라이트 신이 검출되었을 때의 기록시와 재생시의 동작을 나타내고 있다. 즉, 하이라이트 신이 검출되면 동작 모드가 소정 시간만 고속 모드로 된다. 따라서, 기록시에는, 1/240초 간격으로 촬상장치가 생성한 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 프레임이 기록된다. 그리고, 재생시의 프레임은, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있기 때문에, 기록한 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 프레임이 1/240초 간격으로 재생된다.

또한, 도 5에 나타내는 바와 같이 화상 신호를 출력하는 모드를 고속 프레임 레이트 재생 모드라고 부르기로 한다. 즉, 고속 프레임 레이트 재생 모드에서는, 출력하는 화상 신호가 고속 모드로 생성된 화상 신호일 때, 프레임 레이트를 변경하지 않고 그대로 출력한다. 또 출력하는 화상 신호가 통상 모드로 생성된 화상 신호일 때, 프레임의 보간을 행해 고속 프레임 레이트의 화상 신호로 전환하여 출력한다.

이와 같이, 고속 프레임 레이트 재생 모드에서는, 고속 모드로 생성된 화상 신호가 프레임 레이트를 변경하지 않고 출력된다. 따라서, 하이라이트 신이 검출되고 나서 소정 시간, 시간 해상도가 높은 화상 표시를 행할 수 있다. 또, 통상 프레임 레이트 재생 모드에서는, 고속 모드로 생성된 화상 신호가 통상 모드의 프레임 레이트로 출력된다. 따라서, 하이라이트 신이 검출되고 나서 소정시간 분의 화상을 슬로 모션으로 재생할 수 있다.

다음에, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는지 아닌지에 따라서, 고속 프레임 레이트 재생 모드와 통상 프레임 레이트 재생 모드의 전환을 행하는 경우에 대해 설명한다.

도 6은, 고속 프레임 레이트 재생 모드와 통상 프레임 레이트 재생 모드의 전환 동작을 나타내는 플로차트이다. 시스템 MPU(26)는, 먼저 화상 신호의 출력 처인 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는지 아닌지를 판정한다(스텝(S21)). 이 판정은, 예를 들면 조작부(11)로부터의 신호에 의거하여 실시한다. 즉, 유저는, 출력처의 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는지 아닌지를 판단하고, 판단 결과에 의거하여 조작부(11)를 조작한다. 시스템 MPU(26)는, 조작부(11)로부터의 신호에 의거하여, 고속 프레임 레이트에 대응하고 있는지 아닌지의 판단 결과에 의거한 유저 조작이 실시되었는지 아닌지를 판별하고, 이 유저 조작에 의거하여, 출력처의 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는지 아닌지를 판정한다. 이 판정의 결과, 스텝(S21)에 있어서 출력처의 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있다고 판정했을 때에는 고속 프레임 레이트 재생 모드로 이행한다(스텝(S23)). 또한, 스텝(S21)에 있어서 고속 프레임 레이트에 대응하고 있지 않다고 판정했을 때에는 통상 프레임 레이트 재생 모드로 한다(스텝(S22)).

이와 같이, 하이라이트 신을 검출한 것에 따라서 프레임 레이트를 전환하여 화상 신호의 생성을 행하는 것으로 한다면, 소비 전력 및 기억 매체로 기억되는 데이터량의 억제를 실현할 수 있게 된다. 또한, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하는지 아닌지에 따라서, 출력하는 화상 신호의 프레임 레이트를 전환하는 것으로, 하이라이트 신이 검출되고 나서 소정 시간, 시간 해상도가 높은 화상 표시나 슬로 모션 표시를 행할 수 있다.

또한, 외부 모니터 장치(30)가 고속 대응이 가능할지는 상술한 바와 같이 유저 설정 혹은 케이블 접속시에 전기적 혹은 제어 신호로 판단 가능하다. 예를 들 면 외부 모니터 장치가 HDMI(High Definition Multimedia Interface)에 대응하고 있는 경우에는, HDMI를 통하여 취득한 외부 모니터 장치의 표시 사양에 의거하여 판단하는 것이 생각된다).

도 7은, 통상 모드로 촬상 동작(통상 촬영)을 행하여 얻어진 화상 신호와, 고속 모드로 촬상 동작(고속 촬영)을 행하여 얻어진 화상 신호가 혼재하여 기록된 동영상 파일 구조를 나타내고 있다.

도 8은, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지 않을 때, 도 7에 나타내는 동영상 파일 구조의 화상 신호를 재생했을 때의 동작을 나타내고 있다.

통상 모드로 촬상 동작을 하고 있을 때, 도 3에 나타내는 바와 같은 처리에 의해서 하이라이트 신이 검출되면, 동작 모드가 통상 모드로부터 고속 모드에 자동적으로 소정시간 전환되기 때문에, 통상 모드로 촬상 동작을 행하여 얻어진 화상 신호와, 고속 모드로 촬상 동작을 행하여 얻어진 화상 신호가 혼재하여 기록된다. 또, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지 않기 때문에, 자동적으로 통상 프레임 레이트 재생 모드로 설정되면, 통상 모드와 고속 모드로 촬상 동작을 행하여 얻어진 화상 신호가 통상 프레임 레이트로 차례차례 출력된다. 따라서, 외부 모니터 장치(30)의 화면상에는, 고속 모드로 촬상된 화상이 시간적으로 4배로 지연시켜진 슬로 모션 재생의 화상이 된다.

도 9는, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있을 때, 도 7에 나타내는 동영상 파일 구조의 화상 신호를 재 생했을 때의 동작을 나타내고 있다.

통상 모드로 촬상 동작이 행해지고 있을 때, 도 3에 나타내는 바와 같은 처리에 의해서 하이라이트 신이 검출되면, 동작 모드가 통상 모드로부터 고속 모드에 자동적으로 소정 시간 전환되기 때문에, 통상 모드로 촬상 동작을 행하여 얻어진 화상 신호와, 고속 모드로 촬상 동작을 행하여 얻어진 화상 신호가 혼재하여 기록된다. 또, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있고, 자동적으로 고속 프레임 레이트 재생 모드로 설정되면, 통상 모드와 고속 모드로 촬상 동작을 행하여 얻어진 화상 신호가 고속 프레임 레이트로 차례차례 출력된다. 따라서, 외부 모니터 장치(30)의 화면상에는, 고속 모드로 촬상된 화상이 통상 모드로 촬상된 화상보다 시간 해상도가 높은 화상으로서 표시된다. 또, 통상 모드로 촬상된 화상을 출력할 때는, 프레임 보간 처리를 행하고, 전의 프레임을 더미 프레임으로서 반복하여 삽입하는 것으로 고속 프레임 레이트의 화상 신호로 전환하여 출력한다.

이상 설명한 바와 같이, 본 발명의 촬상장치에 의하면, 예를 들면 줌 작동중이 아니면, 다음에 각속도 센서(23)의 출력을 기초로 이 촬상장치에 더해지고 있는 각속도의 크기가 큰지 아닌지를, 미리 설정되어 있는 임계치를 기초로 판정한다. 이 결과, 각속도 센서(23)에 의해 검출된 각속도가 임계치보다 큰 경우에는, 통상 모드로 촬상 동작을 행한다. 또, 각속도의 크기가 상기 임계치보다 작다고 판정한 경우에는, 다음에 화상·음성 처리 ASIC(4)에서 프레임간 차분 연산을 행해 연산 결과와 임계치를 비교하고, 피사체의 이동량이 소정치를 넘는지 아닌지를 판정 한다. 그 결과, 피사체의 이동량이 소정치를 넘지 않을 때는 통상 모드의 촬상 동작을 행한다. 또, 피사체의 이동량이 소정치를 넘었을 때 하이라이트 신이 검출된 것으로서, 고속 모드의 촬상 동작을 소정 시간 행한다.

이 결과, 보다 확실하게 하이라이트 신을 검출하는 것이 가능해지며, 하이라이트 신이 검출되었을 때만 고속 프레임 레이트에 의한 촬상 동작을 하기 때문에, 소비 전력과 기억 매체의 용량이 절약되며, 또한 촬상 프레임 레이트의 전환 조작에 필요로 하는 시간이 불필요해진다.

바꾸어 말하면, 본 발명의 촬상장치에 의하면, 제 1의 프레임 레이트와 제 1의 프레임 레이트보다 높은 제 2의 프레임 레이트로 촬상이나 촬상 화상의 기록이 가능한 촬상 기기에 있어서, 시간 해상도가 높은 화상이 필요한 하이라이트 신에서 자동적으로 촬상 프레임 레이트를 전환하는 것이 가능하게 된다. 이 결과, 소비 전력과 매체의 용량에 부담을 주지 않고 적은 음전하로 적소에 시간 해상도가 높은 동영상 촬상을 실현할 수 있는 촬상장치가 얻어지는 효과가 있다.

또, 외부 모니터 장치(30)에 맞추어 재생시의 프레임 레이트를 전환하는 것으로, 외부 모니터 장치(30)가 제 2의 프레임 레이트에 대응하고 있지않은 경우라도, 재생시에 제 2의 프레임 레이트로 촬상된 장면을 슬로 모션을 재생하여 표시하는 것이 가능해지며, 제 2의 프레임 레이트로 촬상된 화상을 유효 활용할 수 있다. 또, 제 2의 프레임 레이트에 대응하고 있는 고속 표시 가능한 외부 모니터 장치에 대해서는, 제 1의 프레임 레이트와 제 2의 프레임 레이트의 혼재하는 화상을 시간 방향으로 세밀함을 유지하면서 리얼 타임으로 출력하는 것이 가능하게 된다.

다음에, 본원 발명의 재생제어장치에 대하여 설명한다. 또한, 재생제어장치를 예를 들면 촬상장치에 설치하는 것으로 하면, 도 1의 블럭도는 이 재생제어장치에 있어서도 적용된다.

본원 발명의 재생제어장치는, 향후 과도적으로 혼재하는 고속 프레임 레이트 표시 가능한 외부 모니터 장치와 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치를 고려하고, 기록시의 프레임 레이트는 통상 프레임 레이트(60fps) 보다 높은 고속 프레임 레이트(240fps)에 고정하고, 재생시에는 출력처의 외부 모니터 장치가 대응하는 프레임 레이트에 따라 출력 화상의 프레임 레이트를 조정 가능하게 한다.

이 때문에, 재생제어장치는, 화상 출력처의 외부 모니터 장치(30)가 대응하고 있는 프레임 레이트와, 고속 프레임 레이트로 기록된 화상에 대응하여 기록된 해당 화상의 부속정보에 의거하여, 기록된 화상을 재생할 때의 재생 모드를 솎음 재생 모드 또는 비솎음 재생 모드의 어느 쪽으로 할지 판정하고, 판정 결과에 따라 화상의 재생동작을 제어한다. 이 재생 모드의 판정이나 재생동작의 제어는, 시스템 MPU(26)에 의해 실현되고 있다.

이 재생제어장치를 갖춘 촬상장치는, 도 1에 나타내는 바와 같이, 이메저 구동 드라이버(1), 전자 촬상 소자(2), 아날로그 프론트엔드(AFE)(3), 화상·음성 처리 ASIC(Appli cation Specific Integrated Circuit)(4), 마이크(5), 아날로그 앰프(6), 스피커(7), 메모리(8), 패널 구동 드라이버(9), LCD(Liquid Crystal Display) 패널(10), 조작부(11), 배터리(12), 전원 관리 IC(13), 외부기록매 체(14), 화상 출력 단자(15), 내부 기록 매체(21), 프로그래머블 RAM(Random Access Memory)(22), 각속도 센서(23), 렌즈 구동 드라이버(24), 렌즈(25) 및 시스템 MPU(Micro Processing Unit)(26)를 갖추고 있다.

이메저 구동 드라이버(1)는, 전자 촬상 소자(2)를 구동하기 위한 회로이다. 전자 촬상 소자(2)는, 표준 프레임 레이트의 화상 신호뿐만 아니라, 고속 프레임 레이트의 화상 신호의 생성을 행할 수 있는 촬상 소자이다. 전자 촬상 소자(2)로서는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 이메저 등이 이용된다.

AFE(3)은, 아날로그 신호 처리 회로나 A/D컨버터 등을 갖추고 있다. AFE(3)는, 전자 촬상 소자(2)로 생성된 아날로그의 화상 신호의 신호처리 예를 들면 노이즈 제거 처리나 신호 레벨 조정 처리 등을 실시한다. 또한 신호 처리 후의 화상 신호를 디지털의 화상 신호로 전환한다.

화상·음성 처리 ASIC(4)는, 화상 신호 및 음성 신호를 처리하는 특정용도 전용의 집적회로이다. 화상·음성 처리 ASIC(4)는, 예를 들면 AFE(3)로 얻어진 디지털의 화상 신호에 대해서 색처리나 렌즈 보정 처리라고 한 처리를 행한다. 또, 화상 신호의 압축 처리나 신장 처리 등도 실시한다.

마이크(5)는, 음성을 검출하여 전기신호로 전환하여 출력한다. 아날로그 앰프(6)는, 마이크(5)로부터 출력된 전기신호를 증폭하는 회로이다. 스피커(7)는, 아날로그 앰프(6)에 있어서 증폭한 전기신호를 음성으로 전환하여 출력한다. 메모리(8)는, 각종 데이터를 기억하는 회로이다. 패널 구동 드라이버(9)는, 화상 ·음성 처리 ASIC(4)에 의해 처리한 화상 신호를 기초로 LCD 패널(10)의 각 화소를 구동하는 회로이다. 조작부(11)는 각종 조작 스위치를 갖추고 있다. 배터리(12)는, 이 촬상장치의 각부로 공급되는 전력을 발생시킨다. 전원 관리 IC(13)는, 배터리(12)의 상태와 음전하 상태를 검출하고, 이 촬상장치의 전원을 관리하는 회로이다.

외부기록매체(14)는, 이 촬상장치에서 생성된 동화상 정보나 음성 정보 등을 보존하기 위한 외부기록매체이다. 화상 출력 단자(15)는, 이 촬상장치에서 생성된 동화상 정보나 외부기록매체(14)에 기록되어 있는 동화상 정보를 외부 모니터 장치(30)에 공급하여 화상을 모니터할 수 있도록 하기 위한 출력 단자이다. 내부 기록 매체(21)는, 이 촬상장치에 내장된 기억장치이며, 이 촬상장치로 생성된 동영상 정보나 음성 정보 등을 보존한다.

다음에 동작에 대하여 설명한다. 촬상 화상의 기록시에, 시스템 MPU(26) 는, 이메저 구동 드라이버(1)에 대해서 고속 프레임 레이트에 대응한 구동 펄스를 보내고, 전자 촬상 소자(2)를 고속 모드로 구동한다.

또, 시스템 MPU(26)는, AFE(3)나 화상·음성 처리 ASIC(4)도 고속 모드에서 신호 처리를 행하게 해서, 고속 프레임 레이트의 화상 신호를 생성시킨다. 또한, 시스템 MPU(26)는, 고속 프레임 레이트의 화상 신호의 압축 처리를 화상·음성 처리 ASIC(4)로 실시하게 한다. 시스템 MPU(26)는, 이와 같이 각부의 동작을 제어하여 얻어진 고속 프레임 레이트의 화상 신호를 화상 출력 단자(15)로부터 출력시키는 처리나, 고속 프레임 레이트의 화상 신호를 압축 처리하여 얻어진 화상 기록 데이터를 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록하는 처리를 행한다. 화상 기록 데이터를 기록할 때, 마이크(5)로부터 입력되는 음성은, 디지털 샘플링이 실시된 후에 압축되고, 고속 프레임 레이트의 촬상 화상에 동기하여 기록된다. 또한, 시스템 MPU(26)는, 부속정보를 생성하여 화상 기록 데이터와 시간축을 관련시켜 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록한다. 또한, 외부기록매체(14)(혹은 내부 기록 매체(21))에는, 압축 처리되어 있지않은 고속 프레임 레이트의 화상 신호를 기록하는 것이라고 해도 좋다. 또한, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록된 화상 기록 데이터나 고속 프레임 레이트의 화상 신호는, 동화상 정보라고 한다.

도 10은, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되는 데이터의 구성을 나타내고 있다. 도 10에 나타내는 바와 같이, 여기에서는 화상 기록 데이터(31)나 음성 기록 데이터(32)와는 별개로 부속정보(33)를 기록한다. 또한, 도 10에 나타내는 예에서는 파일 단위로 부속정보를 가지도록 구성했지만, 상술한 바와 같이, 부속정보의 기록 형식은, 이것에 한정되는 것은 아니다.

부속정보(33)에는, 날짜나 프레임 레이트 전환 정보(플래그), 프레임 레이트 전환 정보를 생성하기 위해 이용되는 고속 프레임 레이트의 화상 신호를 생성했을 때의 촬상 상황, 예를 들면 줌 작동 상황이나 각속도 센서(23)로 검출된 각속도 등을 포함하는 것으로 한다. 또한, 유저는, 기록시 혹은 재생시에 임의로 부속정보(33)의 프레임 레이트 전환 정보(플래그)를 변경하는 것이 가능하다.

여기서, 화상 출력 단자(15)에 접속된 외부 모니터 장치(30)가 고속 프레임 레이트에 대응 가능한 경우, 화상 출력 단자(15)로부터 출력되는 동화상 정보에 의거하여 화상 표시를 행하는 것이 가능해진다. 그러나, 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있지않은 경우, 예를 들면 종래의 텔레비전 장치나 기기에 갖추어진 LCD 패널 등인 경우, 화상 출력 단자(15)로부터 출력되는 동화상 정보의 프레임 레이트가 고속 프레임 레이트이면, 화상 출력 단자(15)로부터 출력되는 동화상 정보에 의거하여 화상 표시를 행할 수 없다.

따라서, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치 전용의 기능으로서, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되고 있는 동화상 정보를 재생하는 경우, 재생하는 동화상 정보의 프레임 레이트가 고프레임 레이트일 때는 프레임 솎음을 행하고, 외부 모니터 장치(30)가 대응하는 통상 프레임 레이트로 전환하여 출력하는 통상 프레임 레이트 솎음 재생 모드를 설치한다. 예를 들면 1초당 240매의 프레임 화상(240fps)을 1초당 60매의 프레임 화상(60fps)으로 솎아 재생하는 통상 프레임 레이트 솎음 재생 모드를 설치한다. 이와 같이 하면, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치를 이용하는 경우라도, 고속 프레임 레이트의 동화상 정보에 의거하여 재생 화상 표시를 행할 수 있다. 또, 고속 프레임 레이트인 동화상 정보의 프레임 솎음을 행하지 않고 외부 모니터 장치(30)가 대응하는 통상 프레임 레이트로 출력하는 통상 프레임 레이트 비솎음 재생 모드를 설치한다.

도 11은, 이러한 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치가 접속되었을 때의 재생동작을 나타내고 있다. 도 11(a)는, 통상 프레임 레이트 솎음 재생 모드의 재생동작을 나타내고 있고, 재생하는 동화상 정보가 고프레임 레이트이며, 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 간격은 1/240초로 되어 있다. 이 동화상 정보를 통상 프레임 레이트 솎음 재생 모드로 재생할 때는, 프레임 솎아냄을 실시하고 1/60초 간격인 프레임 번호〔0, 4, 8, 12……〕의 프레임 화상을 출력한다.

도 11(b)는, 통상 프레임 레이트 비솎음 재생 모드의 재생동작을 나타내고 있고, 고프레임 레이트의 동화상 정보를 통상 프레임 레이트 비솎음 재생 모드로 재생할 때는, 프레임 솎음을 행하지 않고 동화상 정보를 외부 모니터 장치(30)가 대응하는 통상 프레임 레이트로 출력한다. 즉, 1/60초 간격으로, 프레임 번호〔0, 1, 2, 3, 4, 5, 6, 7, 8……〕의 프레임 화상을 출력한다.

도 12는, 출력처가 고속 프레임 레이트에 대응한 외부 모니터 장치인지 아닌지에 따라서, 재생시의 메뉴얼 조작에 의한 프레임 레이트의 선택 동작을 나타내는 플로차트이다.

도 12의 플로차트에 나타내는 바와 같이, 시스템 MPU(26)는, 출력처의 외부 모니터 장치(30)가 고속 프레임 레이트에 대응하고 있는지 아닌지를 판별한다(스텝(S51)). 시스템 MPU(26)는, 유저의 메뉴얼 조작에 의해서, 출력처가 고속 프레임 레이트에 대응한 외부 모니터 장치인 것이 나타났을 때, 시스템 MPU(26)는, 화상·음성 처리 ASIC(4)를 제어하여 고속 프레임 레이트 비솎음 재생 모드로 화상 출력을 행한다(스텝(S53)). 고속 프레임 레이트 비솎음 재생 모드에서는, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되어 있는 고속 프레임 레이트(240fps)의 동화상 정보를, 프레임 레이트로 바꾸지 않고 출력한다.

또, 고속 프레임 레이트에 비대응의 외부 모니터 장치인 경우, 시스템 MPU(26)는, 또한 메뉴얼 조작에 의해 설정된 프레임 레이트 전환 정보(플래그)의 온, 오프에 따라서(스텝(S52)), 프레임 레이트 전환 정보가 오프일 때, 통상 프레임 레이트 솎음 재생 모드를 선택한다(스텝(S54)). 통상 프레임 레이트 솎음 재생 모드는, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되어 있는 동화상 정보를 재생할 때에, 화상·음성 처리 ASIC(4) 상에서 프레임 솎음을 행하고, 고속 프레임 레이트(240fps)의 동화상 정보를 외부 모니터 장치가 대응하고 있는 통상 프레임 레이트(60fps)의 동화상 정보로서 출력하는 재생 모드이다. 또, 시스템 MPU(26)는, 프레임 레이트 전환 정보가 온이 되었을 때, 통상 프레임 레이트 비솎음 재생 모드를 선택한다(스텝(S55)). 통상 프레임 레이트 비솎음 재생 모드란, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되어 있는 동화상 정보를 재생 할 때에, 고속 프레임 레이트(240fps)의 동화상 정보를 통상 프레임 레이트(60fps)로 출력하는 모드이다. 예를 들면 1초간의 화상(240매)을 촬상 시간의 4배인 4초간 걸려 슬로 모션 화상으로서 출력함으로써, 시간 해상도가 높은 슬로 재생을 행하는 재생 모드이다.

또한, 재생제어장치에서는, 메뉴얼에 의한 프레임 레이트 전환 외에, 부속정보에 포함되어 있는 프레임 레이트 전환 정보를 기초로, 자동으로 통상 프레임 레이트 솎음 재생 모드와 통상 프레임 레이트 비솎음 재생 모드의 변경을 행한다. 이것에 의해, 자동적으로 예를 들면 재생 화상의 소망한 기간을 시간 해상도가 높은 슬로 모션 화상으로서 표시할 수 있다. 이 경우, 외부기록매체(14)(혹은 내부 기록 매체(21))에 기록되어 있는 부속정보를 재생하여 재생 모드의 판정을 행하고, 이 판정에 이용한 부속정보에 관련하는 동화상 정보를, 판정된 재생 모드로 재생한다.

도 13은, 부속정보(33)에 포함되어 있는 프레임 전환 정보를 기초로 통상 프레임 레이트 솎음 재생 모드와 통상 프레임 레이트 비솎음 재생 모드의 전환을 자동적으로 실시하는 동작을 나타내는 플로차트이다.

시스템 MPU(26)는, 화상 기록 데이터의 재생과 함께, 이 재생되는 화상 기록데이터에 관련한 부속정보의 프레임 레이트 전환 정보가 온으로 되었는지 아닌지를 판별하고(스텝(S61)), 프레임 레이트 전환 정보가 온이 되었을 때는 통상 프레임 레이트 비솎음 재생 모드(스텝(S62))로 한다. 그 후, 시스템 MPU(26)는, 통상 프레임 레이트 비솎음 재생 모드에서의 재생이 소정 시간 경과했는지 아닌지를 판별 하고(스텝(S63)), 소정시간이 경과하고 있지 않을 때에는 통상 프레임 레이트 비솎음 재생 모드에서의 재생을 계속하고, 소정시간이 경과했을 때는 스텝(S61)으로 돌아온다. 시스템 MPU(26)는, 프레임 레이트 전환 정보가 온이 되지 않을 때 통상 프레임 레이트 솎음 재생 모드로 한다(스텝(S64)).

또, 재생제어장치에서는, 부속정보(33)에 포함된 고속 프레임 레이트의 동화상 정보를 촬상장치로 생성했을 때의 줌 동작 및/또는 촬상장치의 움직임의 양을 나타내는 각속도를 나타내는 정보를 이용하여 프레임 레이트 전환 정보의 생성을 행하고, 생성한 프레임 레이트 전환 정보에 의거하여 재생 모드의 전환을 자동적으로 행하는 것도 가능하다.

도 14는, 프레임 레이트 전환 정보의 자동 생성 동작을 나타내는 플로차트이다.

도 14의 플로차트에 나타내는 바와 같이, 시스템 MPU(26)는, 줌(ZOOM) 작동중인지 아닌지를 판정한다(스텝(S71)). 그리고, 줌 작동중이면, 시스템 MPU(26)는 프레임 레이트 전환을 지시하지 않는 것으로서, 프레임 레이트 전환 정보를 오프로 해둔다(스텝(S75)).

스텝(S71)에 있어서 줌 작동중이 아니면, 다음에 시스템 MPU(26)는, 각속도가 큰지 아닌지를, 예를 들면 미리 설정되어 있는 임계치와 비교하여 판정한다(스텝(S72)). 이 결과, 각속도가 임계치보다 큰 경우, 시스템 MPU(26)는 프레임 레이트 전환을 지시하지 않은 것으로 한다(스텝(S75)).

스텝(S72)에 있어서 각속도가 임계치보다 크지 않다고 판정한 경우, 다음에 시스템 MPU(26)는, 재생된 고프레임 레이트의 동화상 정보를 이용하여 프레임간 차분 연산을 행하고, 연산 결과가 임계치보다 작은지 아닌지의 판정을 행한다(스텝(S73)). 그 결과, 임계치보다 연산 결과가 작은 경우, 시스템 MPU(26)는 프레임 레이트 전환을 지시하지 않은 것으로 한다(스텝(S75)).

또, 스텝(S73)에 있어서 임계치보다 연산 결과가 작지 않은 경우, 시스템 MPU(26)는 프레임 레이트 전환을 행하는 것으로서 프레임 레이트 전환 정보를 온으로 한다(스텝(S74)). 또한, 프레임 레이트 전환 정보로는, 프레임 레이트 전환의 타이밍을 타내는 것으로서, 프레임 레이트 전환 정보를 펄스상에 온 시키고, 통상 프레임 레이트 비솎음 재생 모드로의 전환을 행하고, 그 후 통상 프레임 레이트 비솎음 재생 모드의 재생을 소정 시간 행하도록 한다.

또한, 시스템 MPU(26)는, 부속정보뿐만 아니라, 재생된 음성 신호를 이용하여 프레임 레이트 전환 정보의 생성을 행하는 것이라고 해도 좋다. 예를 들면 마이크로부터의 음성 신호의 신호 레벨이 임계치보다 커졌을 때 프레임 레이트 전환 지시를 행하는 것으로 한다.

이와 같이, 프레임 레이트 전환 정보를 생성하는 것으로 한다면, 피사체의 움직임 양이 소정치를 넘었을 때에는, 통상 프레임 레이트 비솎음 재생 모드가 선택되고, 피사체의 움직임의 양이 커지는 하이라이트 신을 시간 해상도가 높은 슬로 모션 화상으로서 표시할 수 있다. 또, 줌 동작이 행해진 것이나 촬상 방향이 변화했던 것에 의해 피사체의 움직임의 양이 커져도, 이러한 경우에는 프레임 레이트의 전환이 행해지지 않기 때문에, 피사체의 움직임의 양이 크지 않을 때에 통상 프 레임 레이트 비솎음 재생 모드로 전환되어 버리는 것을 방지할 수 있다.

또, 음성 신호에 의거하여 프레임 레이트의 전환을 행하도록 하는 것으로, 예를 들면 운동회 등의 레이스 신에 있어서 스타트 신을 시간 해상도가 높은 슬로 모션 화상으로서 표시하는 일도 가능해진다.

이상 설명한 바와 같이, 이 재생제어장치는, 재생시에 고속 프레임 레이트에 대응하는 외부 모니터 장치가 이용되는 경우, 고속 프레임 레이트의 동화상 정보를, 프레임 레이트로 바꾸지 않고 출력하는 고속 프레임 레이트 비솎음 재생 모드를 가지고 있다. 또, 재생시에 고속 프레임 레이트 비대응의 외부 모니터 장치가 이용되는 경우, 화상·음성 처리 ASIC(4) 상에서 고속 프레임 레이트의 동화상 정보에 대해서 솎아냄을 행하고, 외부 모니터 장치가 대응하는 프레임 레이트의 동화상 정보로서 재생하는 통상 프레임 레이트 솎음 재생 모드를 가지고 있다. 또, 고속 프레임 레이트의 동화상 정보를 외부 모니터 장치가 대응하는 프레임 레이트로 차례차례 출력하는 것으로, 촬상시 보다 긴 시간을 들여 재생하는 통상 프레임 레이트 비솎음 재생 모드를 가지고 있다. 이 결과, 고속 프레임 레이트에 대응하고 있는 외부 모니터 장치를 이용할 때, 시간 해상도의 저하 등을 초래하지 않고 고속 프레임 레이트의 동화상 정보의 재생을 행할 수 있다. 또, 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치를 이용할 때, 고속 프레임 레이트의 동화상 정보가, 외부 모니터 장치의 대응하는 프레임 레이트로 출력되어 자동적으로 하이라이트 신을 슬로 모션화하여 표시할 수 있는 등, 고속 프레임 레이트의 화상 소스를 유효 활용할 수 있다. 또한, 고속 프레임 레이트의 동화상 정보의 프 레임 솎음을 행하고, 피사체의 움직임의 속도를 변화시켜 버리지 않고 외부 모니터 장치로 화상 표시를 행할 수 있다.

또, 메뉴얼로 프레임 레이트 전환의 지시를 행하는 경우에는 슬로 모션 재생을 선택하는 시간이 발생하지만, 부속정보를 이용하는 것으로, 프레임 레이트 전환을 자동적으로 행하는 것이 가능해지며, 예를 들면 하이라이트 신을 간단하게 시간 해상도가 높은 슬로 모션 화상으로서 표시시키는 것이 가능하다.

동화상의 기록이나 재생을 행하는 경우, 화상 표시측으로서 고속 프레임 레이트에 대응하고 있지않은 외부 모니터 장치를 이용할 때 매우 적합하다.

본 발명의 촬상장치에 의하면, 하이라이트 신의 검출에 따라 프레임 레이트의 전환이 행해지며 예를 들면 제 1의 프레임 레이트로부터 제 1의 프레임 레이트보다 높은 제 2의 프레임 레이트에 자동적으로 전환된다. 이 때문에, 하이라이트 신 촬상시의 프레임 레이트의 전환조작을 행하는 시간을 생략할 수 있다. 또, 하이라이트 신이 검출되었을 때에 제 2의 프레임 레이트로 전환되므로, 제 2의 프레임 레이트에 고정하는 경우에 비해, 소비 전력 및 기억 매체의 용량을 절약할 수 있다.

또, 본 발명의 재생제어장치에 의하면, 외부 모니터 장치가 대응하고 있는 프레임 레이트와 재생하는 동화상 정보와 함께 재생하는 부속정보에 의거하여, 동화상 정보를 재생할 때의 재생 모드를 솎음 재생 모드 또는 비솎음 재생 모드 중 어느 쪽으로 할지 판정하고, 판정 결과에 따라 동화상 정보의 재생동작의 제어가 행해진다. 예를 들면, 외부 모니터 장치가 대응하고 있는 프레임 레이트보다 동화상 정보의 프레임 레이트가 높다고 판정되었을 때, 솎음 재생 모드로 판정되어, 동화상 정보가 외부 모니터 장치의 대응하고 있는 프레임 레이트로 재생된다. 이 때문에, 재생 출력처의 디스플레이가 고속 프레임 레이트에 대응하고 있는지 아닌지 등의 대응 상황에 따른 출력 화상의 프레임 레이트로 동화상 정보를 출력할 수 있다.

Claims

제 1의 프레임 레이트와 제 1의 프레임 레이트보다 높은 제 2의 프레임 레이트로 촬상 가능한 촬상수단과,

하이라이트 신을 검출하는 검출수단과,

상기 검출수단에 의해 하이라이트 신을 검출한 것에 따라서, 상기 촬상수단의 프레임 레이트를 전환하는 제어수단을 갖추는 것을 특징으로 하는 촬상장치.
제 1항에 있어서,

상기 제어수단은, 상기 검출수단에 의해 하이라이트 신을 검출한 것에 따라서, 상기 촬상수단의 프레임 레이트를 상기 제 1의 프레임 레이트로부터 상기 제 2의 프레임 레이트로 전환하는 것을 특징으로 하는 촬상장치.
제 2항에 있어서,

상기 제어수단은, 상기 촬상수단의 프레임 레이트를 상기 제 1의 프레임 레이트로부터 상기 제 2의 프레임 레이트로 전환한 후, 소정시간 경과 후에 상기 프레임 레이트를 상기 제 2의 프레임 레이트로부터 상기 제 1의 프레임 레이트로 전환하는 것을 특징으로 하는 촬상장치.
제 3항에 있어서,

상기 검출수단은, 피사체의 움직임이 소정치를 넘었을 때 하이라이트 신이 검출된 것으로 하는 것을 특징으로 하는 촬상장치.
제 4항에 있어서,

렌즈 구동수단 및/또는 촬상장치가 움직였을 때의 각속도를 검출하는 센서 수단을 갖추고,

상기 렌즈 구동수단이 줌 작동중이 아닐 때, 및/또는 상기 센서 수단에서 검출된 각속도가 소정치를 넘지 않을 때, 상기 검출수단은, 프레임간 차분 연산을 행해 상기 피사체의 움직임을 산출하는 것을 특징으로 하는 촬상장치.
제 1항에 있어서,

상기 제 1의 프레임 레이트는, 표준 텔레비전 방식의 프레임 레이트인 것을 특징으로 하는 촬상장치.
기록 매체로부터 동화상 정보와 상기 동화상 정보의 부속정보를 재생하는 재생제어장치에 있어서,

외부 모니터 장치가 대응하고 있는 프레임 레이트와 상기 부속정보에 의거하여, 상기 동화상 정보를 재생할 때의 재생 모드를 솎음(thinning) 재생 모드 또는 비솎음 재생 모드 중 어느 쪽으로 할지 판정하는 판정수단과,

상기 판정수단의 판정 결과에 따라 상기 동화상 정보의 재생동작 제어를 행 하는 제어수단을 갖추는 것을 특징으로 하는 재생제어장치.
제 7항에 있어서,

상기 판정수단은, 상기 외부 모니터 장치가 대응하고 있는 프레임 레이트와 상기 동화상 정보의 프레임 레이트가 동일할 때 상기 비솎음 재생 모드로 판정하고,

상기 제어수단은, 프레임 솎음을 행하지 않고 상기 동화상 정보를 재생시키는 것을 특징으로 하는 재생제어장치.
제 8항에 있어서,

상기 판정수단은, 상기 외부 모니터 장치가 대응하고 있는 프레임 레이트 보다 상기 동화상 정보의 프레임 레이트가 높을 때 상기 판정을 행하는 것을 특징으로 하는 재생제어장치.
제 9항에 있어서,

상기 판정수단은, 상기 외부 모니터 장치가 대응하고 있는 프레임 레이트 보다 상기 동화상 정보의 프레임 레이트가 높고 상기 부속정보에서 전환 지시가 나타났을 때에, 상기 비솎음 재생 모드로 판정하고,

상기 제어수단은, 프레임 솎음을 행하지 않고 상기 외부 모니터 장치가 대응하고 있는 프레임 레이트로 상기 동화상 정보를 재생시키는 것을 특징으로 하는 재 생제어장치.
제 10항에 있어서,

상기 제어수단은, 상기 재생 모드가 상기 비솎음 재생 모드로 판정되고 나서 소정시간 경과 후, 상기 솎음 재생 모드로서 프레임 솎음을 행하고 상기 동화상 정보를 상기 외부 모니터 장치가 대응하고 있는 프레임 레이트로 전환하여 재생시키는 것을 특징으로 하는 재생제어장치.
제 11항에 있어서,

상기 부속정보에는, 상기 동화상 정보를 촬상장치로 생성했을 때의 줌 동작 및/또는 상기 촬상장치의 움직임을 나타내는 각속도를 나타내는 정보가 포함되어 있고,

상기 판정수단은, 상기 부속정보에 의거하여 줌 동작이 행해져 있지않은 및/또는 각속도가 소정치를 넘지 않다라고 판별했을 때, 상기 동화상 정보를 이용하여 프레임간 차분 연산을 행해 피사체의 움직임을 산출하고, 상기 움직임이 소정치를 넘었을 때 상기 통상 모드로 판정하는 것을 특징으로 하는 재생제어장치.