KR20160134816A - 촬상 장치, 화상 처리 장치, 표시 제어 장치 및 촬상 표시 장치 - Google Patents

Abstract

촬상 소자의 촬상으로부터 뷰 파인더 상의 표시까지의 지연 시간의 단축은 간단한 회로 구성을 이용하여 실현된다. 라이브 뷰 모드에 있어서, 화상 처리 회로는, 이미지 센서로부터의 촬상 데이터에 대하여 화상 처리를 행하고, 표시 화상의 화상 데이터를 생성한다. 1 라인분에 대한 처리가 종료되면, 진척 정보가 출력된다. 타이밍 제너레이터는, 이 진척 정보에 따라, 제2 수평 동기 신호에 동기하여 표시 화상의 화상 데이터가 출력 가능하면, 데이터 인에이블 신호를 액티브로 하여 상기 화상 데이터를 데이터 입력부에 공급한다. 한편, 화상 데이터가 출력이 가능하지 않으면, 타이밍 제너레이터는, 데이터 인에이블 신호를 비액티브로 하여 더미 데이터를 데이터 입력부에 공급한다.

Description

촬상 장치, 화상 처리 장치, 표시 제어 장치 및 촬상 표시 장치{IMAGING DEVICE, IMAGE PROCESSING DEVICE, DISPLAY CONTROL DEVICE AND IMAGING DISPLAY APPARATUS}

본 발명은, 촬상한 화상을 표시시키는 촬상 장치, 화상 처리 장치, 표시 제어 장치 및 촬상 표시 장치에 관한 것이다.

소위 미러리스 SLR 디지털 카메라에서는, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 이미지 센서에서 촬상하여 얻은 화상 신호에 따른 화상이 하우징 이면에 제공된 액정 패널 또는 하우징 상부에 부착된 전자 뷰 파인더(이하, EVF) 상에 실시간으로 표시되는 소위 라이브 뷰 동작을 통해 피사체의 화상이 확인될 수 있다.

그러나, 이 라이브 뷰에서는, 이미지 센서에서 피사체를 촬상하고 나서부터 뷰 파인더 상에 표시될 때까지 긴 지연이 발생한다. 따라서, 움직이는 피사체에 카메라를 추종시키는 것이 어렵게 된다. 또한, 표시되어 있는 피사체의 화상에 기초하여 정지 화상의 촬상이 지시되면, 표시되어 있는 피사체의 화상과 실제로 촬상되는 정지 화상의 화상 간에 타이밍 차이가 생긴다. 특히, 움직임이 빠른 피사체인 경우에는 의도했던 정지 화상을 촬상하는 것이 어렵게 된다.

따라서, 뷰 파인더 또는 그와 유사한 것 위에 표시된 화상 신호의 이미지 센서에서 촬상으로부터의 지연을 단축시키기 위한 기술이 알려져 있다(예를 들어, 특허문헌 1).

일본 특허 공개 제2011-244170호 공보

특허문헌 1에 기재된 기술에서는, 예를 들어, 화상 신호의 수평 주사 기간의 프런트 포치 시간(front porch time)의 연장을 통해, 화상 신호의 수평 주사 기간이 조정되고, 프레임 단위로 보았을 때에, 이미지 센서에서 촬상하고 나서 EVF 상에 표시될 때까지의 지연은 단축된다. 이러한 동작에서는, 수평 동기 신호의 타이밍이 변동하기 때문에, EVF 등의 구동 회로에 있어서, 수평 동기 신호의 타이밍 변동에 추종하여 표시 제어를 행하기 위한 구성이 필요해 진다. 따라서, 회로 구성이 복잡해진다.

본 발명은 상술한 상황을 감안하여 이루어진 것이고, 본 발명의 목적은 촬상 소자의 촬상부터 표시까지의 지연 시간의 단축을 간단한 회로 구성을 이용하여 실현하는 것이다.

본 발명의 한 양태에 의하면, 촬상 장치가 제공되는데, 이 장치는, 화상을 촬상하여 촬상 신호를 출력하는 촬상 소자; 상기 촬상 신호에 기초하여 화상 신호를 출력하는 화상 신호 출력부; 및 상기 출력된 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하는 제어 신호 출력부를 포함한다.

이러한 양태에 의하면, 제어 신호 출력부는, 상기 출력된 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하므로, 화상 신호 출력부로부터 출력된 화상 신호가 유효 또는 무효인지를 판단하는 것이 가능하다.

상술한 양태에 따른 촬상 장치에 있어서, 상기 수평 동기 신호의 주기는 일정하고, 상기 화상 신호는 무효 화상 신호 및 유효 화상 신호를 포함하고, 상기 수평 동기 신호에 동기하여, 상기 무효 화상 신호 또는 상기 유효 화상 신호 중 어느 하나가 출력되는 것이 바람직하다.

상술한 양태에 따른 촬상 장치에 있어서, 상기 제어 신호 출력부는, 상기 화상 신호가 상기 수평 동기 신호에 동기하여 출력 가능한 경우에는, 상기 화상 신호가 상기 유효 화상 신호인 것을 나타내는 제어 신호를 출력하고, 상기 화상 신호가 상기 수평 동기 신호에 동기하여 출력 가능하지 않은 경우에는, 상기 화상 신호가 상기 무효 화상 신호인 것을 나타내는 제어 신호를 출력하는 것이 바람직하다.

이러한 양태에 의하면, 상기 화상 신호가 무효 화상 신호인 경우에는, 상기 무효 화상 신호를 수신하는 표시 장치(표시부)는, 상기 화상 신호에 동기하는 상기 수평 동기 신호를 더미(dummy)인 것으로 간주해서, 수직 주사 기간을 조정할 수 있다. 또한, 화상 신호가 제어 신호에 기초하여 유효 화상 신호 또는 무효 화상 신호인지를 판단할 수 있으므로, 화상 신호 중 유효 화상 신호를 표시부에 표시시키는 것이 가능하다. 따라서, 화상 신호 출력부가 화상 신호로서 무효 화상 신호를 출력하면, 후단에 제공된 표시부에 있어서의 표시 타이밍을 조정할 수 있다. 또한, 처리 시간이 변동하는 화상 처리는, 1 라인분의 화상 신호를 얻기 위하여 필요한 처리 시간이 변동하는 화상 처리일 수 있다. 이 경우, 화상 처리는 라인 단위의 처리일 수도 있고, 또는 복수 라인마다, 1 라인의 절반마다, 또는 소정 영역마다와 같이 블록 단위의 처리일 수도 있다. 요점은 화상 처리가 처리 결과로서 1 라인분의 화상 신호를 얻는데 필요한 시간이 변동하는 한, 임의의 화상 처리일 수 있다는 것이다.

이러한 양태에 따른 촬상 장치에 있어서, 상기 화상 신호 출력부는, 상기 촬상 신호에 대한 처리 시간이 가변되는 화상 처리를 실시하고, 상기 화상 처리의 진척을 나타내는 진척 정보를 출력하는 화상 처리 회로; 및 적어도 상기 진척 정보에 기초하여 상기 수평 동기 신호에 동기하여 상기 화상 처리 회로의 화상 처리를 통해 얻어진 신호가 상기 유효 화상 신호로서 출력 가능한지 여부를 판정하고, 판정 조건이 긍정인 경우에는 상기 유효 화상 신호를 출력하고, 판정 조건이 부정인 경우에는 상기 무효 화상 신호를 출력하는 화상 출력 회로를 포함하는 것이 바람직하다. 유효 화상 신호를 화상 신호로 출력하는 경우에는, 적어도 화상 처리가 완료되어 있을 필요가 있지만, 이러한 양태에 의하면, 진척 정보에 기초하여 화상 처리가 완료된 것을 감지할 수 있으므로, 필요에 따라 다른 조건이 부가되어, 신호가 출력 가능한지 여부를 판정할 수 있다.

이어서, 본 발명의 또 다른 양태에 의하면, 화상 처리 장치가 제공되는데, 이 장치는, 화상을 촬상하여 얻어진 촬상 신호에 기초하여 화상 신호를 출력하는 화상 신호 출력부; 및 상기 출력된 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하는 제어 신호 출력부를 포함한다.

이러한 양태에 의하면, 제어 신호 출력부는 상기 출력된 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하므로, 화상 신호 출력부로부터 출력된 화상 신호가 유효 또는 무효인지를 판단하는 것이 가능하다.

이어서, 본 발명의 또 다른 양태에 의하면, 표시 제어 장치가 제공되는데, 이 장치는, 화상 신호와, 상기 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 입력하는 입력부; 및 상기 제어 신호에 기초하여, 유효 화상 신호를 표시부에 표시시키도록 제어를 수행하는 표시 제어부를 포함한다. 이러한 양태에 의하면, 표시 제어부는, 제어 신호에 기초하여 입력부가 입력한 화상 신호가 유효 화상 신호 또는 무효 화상 신호인지를 판단하여, 화상 신호 중 유효 화상 신호를 표시부에 표시시킬 수 있게 한다. 따라서, 화상 신호에 무효 화상 신호가 포함되어 있어도, 유효 화상 신호만을 표시 장치에 표시시킬 수 있다.

상술한 양태에 따른 표시 제어 장치에 있어서, 상기 표시부가 표시를 수행할 수 있는 프레임 레이트는, 상기 촬상 신호의 프레임 레이트보다 높을 수 있다. 따라서, 무효 화상 신호가 공급되어도, 표시부에 표시될 때까지의 지연 시간은 순차적으로 단축되어, 동기화가 이루어질 수 있다.

이어서, 본 발명의 또 다른 양태에 따르면, 촬상 표시 장치가 제공되는데, 이 장치는, 본 발명에 따른 촬상 장치; 본 발명에 따른 표시 제어 장치; 및 화상을 표시하는 표시부를 포함한다.

도 1은 한 실시예의 촬상 표시 장치의 구성 예를 나타내는 블록도이다.
도 2는 화상 처리와 진척 정보 간의 관계의 일례를 나타내는 개념도이다.
도 3은 유효 화상 데이터 Dgb를 출력할 때의 1 수평 주사 기간 동안에 화상 출력 회로로부터 EVF 컨트롤러에 공급된 신호의 일례를 나타내는 타이밍 차트이다.
도 4는 유효 화상 데이터 Dgb를 출력하지 않을 때의 1 수평 주사 기간에 화상 출력 회로로부터 EVF 컨트롤러에 공급된 신호의 일례를 나타내는 타이밍 차트이다.
도 5는 촬상 표시 장치를 구성하는 EVF 컨트롤러의 좀 더 상세한 구성 예를 나타내는 블록도이다.
도 6은 레지스터에 설정된 값의 일례를 나타내는 도면이다.
도 7은 이미지 센서의 수광부의 구성 예를 나타내는 개념도이다.
도 8은 이미지 센서의 수광부의 화소 배치 예를 나타내는 개념도이다.
도 9는 액정 패널의 표시 영역과, 수직 방향 및 수평 방향의 구동 타이밍 간의 관계의 일례를 나타내는 개념도이다.
도 10은 화상 출력 회로에 있어서 화상 신호를 출력하는 처리의 일례를 나타내는 흐름도이다.
도 11은 화상 출력 회로에 있어서 더미 데이터의 삽입에 의한 표시 화상의 수직 주사 기간의 변화의 일례를 나타내는 타이밍 차트이다.
도 12는 수직 주사 기간 내에 있어서의 표시 화상의 화상 데이터의 라인마다의 화상 처리와 화상 데이터의 출력 처리의 일례를 나타내는 타이밍 차트이다.
도 13은 EVF 컨트롤러에 있어서 EVF의 구동 동작의 일례를 나타내는 흐름도이다.
도 14는 촬상부의 촬상 신호의 출력부터 EVF의 구동까지의 동작의 일례를 개념적으로 나타내는 개념도이다.
도 15는 변형 예에 관한 촬상 표시 장치를 구성하는 EVF 컨트롤러의 구성 예를 도시하는 블록도이다.
도 16은 LVDS 신호에 있어서의 표시 화상의 1 화소분의 화상 신호(화상 데이터)의 일례를 도시하는 도면이다.
도 17은 LVDS 신호에 있어서의 표시 화상의 1 화소분의 화상 신호(화상 데이터)의 또 다른 예를 나타내는 도면이다.

이하, 본 발명의 촬상 장치의 양호한 실시예를 상세하게 설명한다. 또한, 이 실시예는 예시적인 것이고, 따라서 본 발명의 내용을 한정적으로 해석해서는 안된다. 또한, 각 실시예에서는, 예를 들어, 표시부의 표시 소자로서 전기 광학 장치의 일례인 액정 패널을 사용한 경우에 대해서 하기에 설명한다.

제1 실시예

<촬상 표시 장치의 구성>

도 1은, 이 실시예의 촬상 표시 장치(1)의 구성을 도시하는 블록도이다.

이 촬상 표시 장치(1)는, 피사체를 촬상하여 얻은 촬상 데이터 Ds[촬상 신호]를 제1 수평 동기 신호 SHsync와 동기하여 출력하는 촬상부(10)와, 촬상 데이터 Ds에 대하여 화상 처리를 실시하여 화상 데이터 Dga를 생성하는 화상 처리 회로(20)와, 화상 데이터 Dga를 제2 수평 동기 신호 DHsync와 동기하여 화상 처리 회로(20)로부터 판독하여 화상 데이터 Dgb(D00 내지 D23)[화상 신호]를 출력하는 화상 출력 회로(30)와, 화상 데이터 Dgb에 따라 EVF(50)의 동작을 제어하는 EVF 컨트롤러(40)와, 액정 패널 등의 표시 소자를 갖는 EVF(50)와, 예를 들어, 설정을 변경하고 촬영하라는 지시를 입력하는 조작 입력부(60)와, 촬상 표시 장치(1)의 전체 동작을 제어하는 제어부(70)를 포함하고 있다.

이 촬상 표시 장치(1)는, 소위 미러리스 디지털 카메라이며, 이미지 센서(12)의 전체 화소의 촬상 데이터 Ds를 판독하고, 필터 처리 등의 처리를 행하고, 정지 화상 저장용 메모리(29)에 데이터를 저장하는 촬영 동작뿐만 아니라, 촬상부(10)의 촬상을 통해 얻어진 화상을 실시간으로 EVF(50) 상에 표시하는 소위 라이브 뷰 동작이 수행될 수 있다.

이어서, 촬상부(10)는, 피사체의 화상을 형성하는 촬상 광학계(11)와, 매트릭스 형태로 배열된 수광 소자로부터의 신호를 선-순차적으로 주사하여 피사체의 화상에 따른 촬상 데이터 Ds를 출력하는 이미지 센서(12)와, 이미지 센서(12)에 대하여 각종 타이밍 신호를 출력하는 타이밍 제너레이터(TG)(13)를 포함하고 있다. 타이밍 제너레이터(13)는, 제1 수직 동기 신호 SVsync, 제1 수평 동기 신호 SHsync, 및 제1 도트 클럭 SCLK를 생성하고, 이들 신호를 이미지 센서(12)에 출력한다. 또한, 제1 수직 동기 신호 SVsync, 제1 수평 동기 신호 SHsync, 및 제1 도트 클럭 SCLK는, 화상 처리 회로(20)에 출력될 수 있다.

화상 처리 회로(20)는, 촬상 데이터 Ds를 일시적으로 저장하는 라인 버퍼(21)와, 라인 버퍼(21)에 저장된 촬상 데이터 Ds에 대하여 보간 처리를 수행하는 화상 보간 처리부(22)와, 보간된 촬상 데이터 Ds에 대하여 색 재현 처리를 수행하는 색 재현 처리부(23)와, 색 재현된 촬상 데이터 Ds에 대하여 필터링 처리를 수행하는 필터 처리부(24)와, 필터링 처리된 촬상 데이터 Ds에 대하여 감마 처리를 수행하는 감마 처리부(25)와, 감마 처리된 촬상 데이터 Ds를 일시적으로 저장하는 라인 버퍼(26)와, 라인 버퍼에 저장된 촬상 데이터 Ds에 대하여 사이즈를 조정하는 리사이징 처리를 수행하는 리사이징 처리부(27)와, 리사이징 처리된 촬상 데이터 Ds를 표시 화상 데이터 Dga로서 일시적으로 유지하는 VRAM/라인 버퍼(28)를 포함하고 있다.

이 VRAM/라인 버퍼(28)는, 1 라인분의 화상 데이터 Dga의 처리가 완료되어 화상 데이터가 출력이 가능해지면, 표시 화상의 1 라인분의 기입이 종료했을 때의 기입 완료 신호를 출력하지만, 이 신호는 편의를 위해 진척 정보 P로서 사용된다. 이 예에서, 진척 정보 P로서는 "화상 데이터가 출력 가능"을 나타내는 하이 레벨의 펄스를 출력한다. 이 펄스는 1 라인의 처리가 완료될 때마다 출력되므로, 프레임의 처음(후술하는 제2 수직 동기 신호 DVsync의 하강 에지)부터 펄스 수를 카운트하고, 따라서 어느 라인의 화상 데이터 Dga가 출력 가능한지를 인식할 수 있다.

모든 라인의 화상 처리 시간이 일정하면, 일정 주기로 1 라인분의 화상 데이터 Dg의 처리가 완료되기 때문에, 진척 정보 P는 불필요하다. 그러나, 사이즈의 조정을 수행하는 리사이징 처리, 필터링 처리, 등에서는, 알고리즘(처리법)에 따라서, 표시 화상의 화상 데이터 Dga의 생성에 필요한 처리 시간이 표시 화상의 라인마다 상이할 수 있다. 따라서, 이 실시예에 있어서는, 후단의 화상 출력 회로(30)가, 화상 처리 회로(20)가 1 라인분의 화상 데이터 Dga를 출력할 수 있게 된 것을 감지할 수 있도록 진척 정보 P가 생성된다.

도 2는, 제1 내지 제6 라인의 화상 처리와 진척 정보 P 간의 관계의 일례를 나타낸다. 도 2에서, 그물친 부분은, 1 라인의 화상 처리에 필요한 시간을 나타내고 있다. 이 예에서는, 제1 내지 제3 및 제5 라인의 화상 데이터 Dga의 생성에 필요한 화상 처리 시간은 Ta이며, 제4 및 제6 라인의 화상 데이터 Dga의 생성에 필요한 화상 처리 시간은 Tb이다. 또한, 화상 처리 시간 Tb는 화상 처리 시간 Ta보다도 길다. 이러한 방식으로 화상 처리에 필요한 시간이 라인에 따라 상이하면, 진척 정보 P의 펄스 간격이 화상 처리 시간에 따라 변동한다.

이 예에서는, 제1 내지 제6 라인의 화상 처리가 종료되는 시각 t1 내지 t6에 있어서, 각자의 펄스 p1 내지 p6이 생성된다. 여기서, 펄스 p1과 펄스 p2 간의 간격 및 펄스 p2와 펄스 p3 간의 간격은 동일하다. 그러나, 제4 라인의 화상 처리에 필요한 시간 Tb는, 화상 처리 시간 Ta보다 길다. 따라서, 시각 t4에서 발생된 펄스 p4와 펄스 p3 간의 간격은, 펄스 p2와 펄스 p3 간의 간격보다 길다.

이 진척 정보 P를 참조함으로써, 후단의 화상 출력 회로(30)는 특정 라인의 화상 데이터 Dga의 출력에 대한 준비가 완료된 것을 감지할 수 있다. 또한, 화상 출력 회로(30)로부터 판독 요청이 있으면, VRAM/라인 버퍼(28)는 1 라인분의 화상 데이터 Dga를 데이터 출력 회로(30)에 출력한다.

도 1에 도시된 화상 출력 회로(30)는, EVF 컨트롤러(40)에 대한 화상 데이터 Dgb(D00 내지 D23)의 출력을 제어하는 데이터 출력 제어부(31)와, 예를 들어, EVF 컨트롤러(40)의 레지스터(43a)의 설정 파라미터를 전송하는 직렬 인터페이스(I/F) (33)와, 각종 타이밍 신호를 생성하는 타이밍 제너레이터(35)를 포함하고 있다. 이 타이밍 제너레이터(35)는, 제2 수직 동기 신호 DVsync, 제2 수평 동기 신호 DHsync, 제2 도트 클럭 DCLK 및 데이터 인에이블 신호 DE[제어 신호]를 생성한다. 여기서, 제2 도트 클럭 DCLK는 상술한 제1 도트 클럭 SCLK와 비동기이다. 따라서, 동기화에 필요한 PLL회로 또는 분주 회로를 사용하지 않고, 타이밍 제너레이터(35)를 구성할 수 있다.

데이터 인에이블 신호 DE는, 유효 화상 데이터 Dgb(D00 내지 D23)를 출력하는 기간 동안에 액티브(이 예에서는, 하이 레벨)가 되고, 다른 기간에서는 비액티브(이 예에서는, 로우 레벨)가 되는 신호이다.

타이밍 제너레이터(35)는, 이하의 조건을 충족하는 경우에, n번째 라인의 데이터 인에이블 신호 DE를 액티브로 한다.

첫번째, 이미지 센서(12)로부터 n번째 라인을 생성하기 위하여 필요한 촬상 데이터 Ds의 판독이 완료되어 있는 것이 필요하다. 리사이징 처리에 있어서 라인 수의 변환을 실행하는 경우, 예를 들어 EVF(50)의 n번째 라인이 이미지 센서(12)의 m번째 라인에 상당하는 것이면, 이미지 센서(12)로부터 m번째 라인의 촬상 데이터 Ds가 화상 처리 회로(20)에 판독되어 있는 것이 필요하다(제1 조건).

두번째, EVF(50) 상에 표시해야 할 n번째 라인의 화상 데이터 Dga의 생성이 완료되어 있는 것이 필요하다(제2 조건).

세번째, n번째 라인에 있어서, 표시 타이밍의 준비가 완료되어 있는 것이 필요하다. 구체적으로는, 1 수평 주사 기간 1H 동안에, 기간이 화상 데이터 Dgb가 유효해지는 수평 표시 액티브 기간(수평 유효 화상 기간) HDISP(도 3 참조)이 되는 것이 필요하다(제3 조건).

제2 조건인, n번째 라인의 화상 데이터 Dga의 생성을 완료하기 위해서는, 제1 조건을 충족하는 것이 필요하다. 또한, 제2 조건이 충족되었는지 여부는 진척 정보 P에 기초하여 식별될 수 있다. 그러나, n번째 라인에 대하여 진척 정보 P가 액티브로 되었다고 해도 이것은 필요 조건이며, 이러한 조건만으로는, 데이터 인에이블 신호 DE는 액티브가 되지 않는다. 즉, 타이밍 제너레이터(35)는, 진척 정보 P를 감시하면서, 현재 출력 중인 (n-1)번째 라인의 다음에 표시해야 할 n번째 라인이 출력 가능한지를 판단하여, n번째 라인의 화상 데이터 Dga를 VRAM/라인 버퍼(28)로부터 판독하도록 데이터 출력 제어부(31)를 제어하고, 제2 수평 동기 신호 DHsync를 발행하고, 데이터 인에이블 신호 DE를 액티브로 하여, n번째 라인의 화상 데이터 Dgb를 EVF 컨트롤러(40)에 출력한다.

도 3은, 데이터 인에이블 신호 DE가 액티브가 되는 1 수평 주사 기간 1H 동안에 데이터 인에이블 신호 DE와 화상 데이터 Dgb 간의 관계를 나타내는 타이밍 차트이다. 도 3에 도시하는 바와 같이, 1 수평 주사 기간 1H는, 제2 수평 주사 신호 DHsync가 액티브(로우 레벨)가 되는 수평 동기 기간 HS, 수평 백 포치 기간 HBP, 수평 표시 액티브 기간 HDISP, 및 수평 프런트 포치 기간 HFP를 포함한다. 수평 표시 액티브 기간 HDISP는, 유효 화상 데이터 Dgb를 출력하기 위한 기간이며, 데이터 인에이블 신호 DE는 수평 표시 액티브 기간 HDISP 동안에 액티브가 되고, 유효 화상 데이터 Dgb는 데이터 출력 제어부(31)로부터 EVF 컨트롤러(40)에 출력된다. 한편, 데이터 인에이블 신호 DE는, 수평 표시 액티브 기간 HDISP 이외의 수평 동기 기간 HS, 수평 백 포치 기간 HBP, 및 수평 프런트 포치 기간 HFP 동안에 비액티브(로우 레벨)가 되고, 이들 기간 동안에 무효 화상 데이터 Dgb가 출력된다. EVF 컨트롤러(40)는, 데이터 인에이블 신호 DE가 액티브가 되는 기간 동안에 화상 데이터 Dgb를 페치하고, 데이터 인에이블 신호 DE가 비액티브가 되는 기간 동안에는 화상 데이터 Dgb를 페치하지 않는다.

여기서, 수평 동기 기간 HS, 수평 백 포치 기간 HBP, 및 수평 프런트 포치 기간 HFP 동안의 제2 도트 클럭 DCLK의 수는 미리 정해져 있다. 상술한 제3 조건인 표시 타이밍의 준비가 완료되어 있다는 것은, 1 수평 주사 기간 1H가 개시하고 수평 백 포치 기간 HBP가 종료되는 시각 tx에 이르는 것을 의미한다.

또한, 데이터 인에이블 신호 DE의 상승 타이밍 및 하강 타이밍은, 제2 도트 클럭 DCLK의 하강 에지에 동기하고 있다. 이로 인해, EVF 컨트롤러(40)가 화상 데이터 Dgb를 제2 도트 클럭 DCLK의 상승 타이밍에 래치하면, 시간적인 마진이 유지될 수 있다.

도 4는, 데이터 인에이블 신호 DE가 비액티브가 될 때의 1 수평 주사 기간 1H 동안에 데이터 인에이블 신호 DE와 화상 데이터 Dgb 간의 관계를 나타내는 타이밍 차트이다. 도 4에 도시하는 바와 같이, 데이터 인에이블 신호 DE는 항상 비액티브가 되므로, 화상 데이터 Dgb는 모두 무효가 된다. 이 경우, EVF 컨트롤러(40)에 있어서, 해당 라인의 화상 데이터 Dgb는 페치되지 않는다.

이상의 설명에 있어서, 화상 처리 회로(20) 및 화상 출력 회로(30) 중, 타이밍 제너레이터(35)를 제외한 부분들은, 촬상 신호 Ds에 기초하여 화상 신호 Dgb를 출력하는 화상 신호 출력부로서 기능하고, 타이밍 제너레이터(35)는, 출력된 화상 신호 Dgb가 유효 또는 무효인지를 나타내는 인에이블 신호 DE(제어 신호)를 수평 동기 신호 DHsync에 동기하여 출력하는 제어 신호 출력부로서 기능한다.

도 1을 다시 참조하면, EVF 컨트롤러(40)는, EVF(50)에 각종 타이밍 신호와 화상 데이터 Dgc를 공급한다. EVF(50)는, 화소가 주사선과 데이터선이 교차하는 위치에 매트릭스 형상으로 배열된 액정 패널(51)과, 액정 패널(51)의 주사선을 선택하는 주사선 선택부(52)와, 데이터선을 구동하는 데이터선 구동부(53)와, 액정 패널(51)의 화상을 확대하여 화상이 관찰 가능하게 된 접안 광학계(55)를 포함하고 있다.

도 5는 EVF 컨트롤러(40)) 및 EVF(50)의 상세한 구성을 도시하는 블록도이다. 도 5에 도시하는 바와 같이, EVF 컨트롤러(40)는, 데이터 출력 제어부(31)로부터의 화상 데이터 Dgb를 입력하는 데이터 입력부(41)와, 상술한 데이터 인에이블 신호 DE와 제2 수평 동기 신호 DHsync에 따라 유효 화상 데이터의 라인 수를 카운트하는 카운터(42)와, EVF(50)의 구동 타이밍을 생성하는 타이밍 생성부(43)와, EVF(50)에 화상 데이터를 출력하는 데이터 출력부(44)와, 예를 들어, 직렬 I/F(33)로부터의 커맨드의 수신을 수행하는 직렬 I/F(45)를 포함하고 있다.

타이밍 생성부(43)는 레지스터(43a)를 포함하고 있고, 레지스터(43a)의 값은 예를 들어, 직렬 I/F(45)를 통해 수신된 화상 출력 회로(30)로부터의 커맨드에 따라 설정된다. 구체적으로는, 직렬 I/F(33) 및 직렬 I/F(45)는, I2C(Inter-Integrated Circuit) 또는 SPI(Serial Peripheral Interface) 등의 프로토콜에 따라 통신을 수행한다. 직렬 I/F(33)는, 설정 파라미터를 포함한 커맨드를 데이터 출력부(44)에 전송한다. 데이터 출력부(44)는, 수신된 설정 파라미터에 따라 레지스터(43a)의 값을 설정한다.

레지스터(43a)에 설정된 설정 파라미터(설정 항목)는, 예를 들어, 도 6에 도시한 바와 같이, 액정 패널(51)의 1 수평 동기 기간(도 9의 제2 수평 동기 신호 DHsync의 간격 1H), 수평 백 포치 기간(도 9의 HBP), 수평 화소 수(도 9의 HDISP에 대응하는 표시 영역의 수평 방향의 화소 수), 수평 프런트 포치 기간(도 9의 HFP), 1 수직 동기 기간(도 9의 수직 동기 신호 DVsync의 간격 1V), 수직 백 포치 기간(도 9의 VBP), 수직 화소 수(도 9의 VDISP에 대응하는 표시 영역의 라인 수), 및 수직 프런트 포치 기간(도 9의 VFP)을 포함한다.

따라서, 화상 출력 회로(30)로부터, EVF(50)의 사양에 기초하는 타이밍을 설정할 수 있으므로, 사이즈가 상이한 액정 패널(51) 또는 프레임 레이트 등의 EVF(50)의 사양이 변경된 경우에도 EVF 컨트롤러(40)를 변경할 필요가 없다. 따라서, 시스템의 범용성을 향상시키는 것이 가능하다.

그런데, 보다 상세하게는, 상술한 이미지 센서(12)는, 예를 들어, 도 7에 도시한 바와 같이, 5400×3600 화소(사용된 화소 영역: 5280×3520 화소)의 약 1800만의 화소를 갖는 CMOS 이미지 센서를 포함할 수 있다. 이러한 이미지 센서(12)는, 라이브 뷰 동작을 수행하는 라이브 뷰 모드에서는, 예를 들어, 출력될 라인의 화소의 데시메이션(decimation)을 통해, 120Hz의 프레임 레이트로 촬상 데이터 Ds를 출력할 수 있게 되어 있다. 구체적으로는, 이미지 센서(12)의 화소는, 예를 들어, 도 8에 도시한 바와 같이, R, G, 및 B 광 빔을 수광하는 수광부가 지그재그 형상(베이어 배열)으로 배열되는 방식으로 구성된다. 라이브 뷰 모드에서는, 이미지 센서(12)는, 예를 들어, 출력 라인을 5분의 1로 설정하고, 수평 방향의 3 화소분의 평균을 출력한다. 따라서, 이미지 센서(12)로부터 화상 처리 회로(20)에 공급된 화상 데이터 Ds의 화소 수가 1800×720(사용된 화소 수: 1760×704)이 된다. 또한, 라이브 뷰 모드에 있어서, 타이밍 제너레이터(13)가 생성한 제1 수직 동기 신호 SVsync, 제1 수평 동기 신호 SHsync, 제1 도트 클럭 SCLK 등의 타이밍은, 이러한 프레임 레이트 및 화소 수에 좌우된다.

또한, 보다 상세하게는, 액정 패널(51)은, 예를 들어, 도 9에 도시한 바와 같이, 표시 영역이 1024×768 화소(라인의 전체 수 N=768)인 액정(LCD) 패널 등의 표시 소자를 포함할 수 있다. 또한, 도 5는, 액정 패널(51)의 표시 영역과, 해당 액정 패널(51)의 제어에 사용된 제2 수직 동기 신호 DVsync, 제2 수평 동기 신호 DHsync, 데이터 인에이블 신호 DE, 및 도트 클럭 DCLK 등의 신호와의 관계를 개념적으로 나타낸다. 이러한 액정 패널(51)은, 이미지 센서(12)의 프레임 주기보다 짧은 주기로 1 프레임을 표시할 수 있게 된다. 구체적으로는, 이러한 액정 패널(51)은, 예를 들어, 최고속으로, 약 160Hz의 프레임 레이트(1/프레임 주기)로 화상 데이터 Dgc에 따른 화상을 표시할 수 있다.

따라서, 촬상 표시 장치(1)에서는, EVF(50)에 표시 가능한 1 프레임의 주기가 촬상부(10)의 1 프레임의 주기보다 짧기 때문에, EVF(50)의 타이밍으로 표시를 위한 화상 데이터 Dga의 출력이 수행되어도, 촬상부(10)로부터의 촬상 데이터 Ds의 출력과 화상 처리 회로(20)에 있어서의 화상 처리가 제시간에 수행되지 않는다. 따라서, 이러한 촬상 표시 장치(1)에서는, 후술하는 바와 같이, 라이브 뷰 모드에 있어서, 화상 출력 회로(30)로부터의 화상 데이터 Dgb의 출력 타이밍을 화상 처리 회로(20)로부터의 화상 데이터 Dga의 출력에 따라 조정함으로써, EVF(50)의 표시를 촬상부(10)로부터의 촬상 데이터 Ds의 출력 타이밍에 추종시키게 한다.

또한, 이미지 센서(12)로부터의 촬상 데이터 Ds(예를 들어, 1760×704 화소분)에 따른 화상을 액정 패널(51)(예를 들어, 촬영 조건 등의 표시 영역[OSD(On Screen Display) 영역]을 제외한 1024×682 화소분)에 표시하면, 화소 수의 차이에 따라, 예를 들어 상술한 리사이징 처리부(27)를 이용한 사이즈의 조정(리사이징)을 행할 필요가 있다. 표시 화상의 화상 데이터의 생성에 필요한 처리 시간은 이러한 리사이징 처리의 알고리즘(처리법)에 따라 표시 화상의 라인마다 상이할 수 있다.

또한, 렌즈의 왜보정 처리 또는 필터링 처리가 수행되는 경우, 처리의 종류에 따라서는, 표시 화상 데이터의 생성에 필요한 처리 시간이 라인마다 상이할 수 있다. 따라서, 화상 처리 회로(20)에 있어서의 화상 처리에 필요한 시간이 표시 화상의 라인마다 상이할 수 있다. 즉, 표시 화상의 생성된 화상 데이터 Dga가 출력 가능해지는 타이밍은 라인마다 상이할 수 있다. 따라서, 표시 화상의 화상 데이터가 출력 가능해지는 타이밍의 최대 변동량에서 안전율을 예상한 고정 타이밍에서 표시 화상의 화상 데이터를 출력할 때, 이미지 센서(12)의 촬상으로부터 액정 패널(51)에 표시될 때까지의 지연 시간은 증가한다.

따라서, 이러한 촬상 표시 장치(1)에서는, 화상 출력 회로(30)로부터의 표시 화상의 화상 데이터의 출력 타이밍을, EVF(50)의 수평 주사 기간(수평 동기 신호의 주기)의 단위로 조정함으로써, 화상 처리 회로(20)로부터 표시 화상의 화상 데이터가 출력 가능해지는 타이밍에 대응하여, 이미지 센서(12)의 촬상으로부터 액정 패널(51)에 표시될 때까지의 지연을 최소로 한 상태를 유지하게 되어 있다.

<동작>

이어서, 상술한 촬상 표시 장치(1)의 동작에 대하여 설명한다. 촬상 표시 장치(1)는 적어도 촬영 모드와 라이브 뷰 모드에서 동작한다. 사용자가 조작 입력부(60)를 조작하여 정지 화상의 촬영을 지시하면, 모드는 촬영 모드로 이행한다. 촬영 모드에서는, 화상 처리 회로(20)가 이미지 센서(12)의 전체 화소의 촬상 데이터 Ds를 판독하고, 필터 처리 등의 처리를 수행하고, 정지 화상 저장용 메모리(29)에 최종 데이터를 저장한다. 한편, 사용자가 조작 입력부(60)를 조작하여 라이브 뷰 모드를 선택하면, 촬상 표시 장치(1)는, 상술한 바와 같이, 이미지 센서(12)의 촬상을 통해 얻어진 촬상 데이터 Ds를 실시간으로 액정 패널(51)에 표시하는 라이브 뷰 동작을 실행한다.

라이브 뷰 모드에서는, 화상 처리 회로(20)는, 액정 패널(51)의 화소 수와의 차이에 따른 화소 수의 변환 등의 처리를 수행하여, 표시 화상의 화상 데이터 Dga를 생성하고, 이 화상 데이터 Dga를 VRAM/라인 버퍼(28)에 기록한다. VRAM/라인 버퍼(28)는, 표시 화상의 1 라인분의 기입이 종료했을 때의 기입 완료 신호를 출력하지만, 이 신호를 편의를 위해 진척 정보 P로서 사용한다. 타이밍 제너레이터(35)는, 진척 정보 P에 따라, 제2 수직 동기 신호 DVsync, 제2 수평 동기 신호 DHsync, 및 데이터 인에이블 신호 DE 등의 타이밍 신호를 생성한다. 데이터 출력 제어부(31)는, 타이밍 제너레이터(35)가 생성한 타이밍 신호에 따라, VRAM/라인 버퍼(28)에 기록된 표시 화상의 화상 데이터 Dga를 라인마다 판독하여, 화상 데이터 Dga를 EVF 컨트롤러(40)에 공급한다. EVF 컨트롤러(40)는, 데이터 출력 제어부(31)로부터 공급된 화상 데이터 Dgb에 따라 액정 패널(51)을 구동하여 화상을 표시한다.

도 10은, 라이브 뷰 모드에 관련된 화상 처리 회로(30) 및 제어부(70)의 동작을 나타내는 흐름도이다. 사용자가 조작 입력부(60)를 조작하여, 라이브 뷰 모드를 선택하면, 초기 설정 처리가 실행된다(S1). 초기 설정 처리에 있어서, 제어부(70)는 라이브 뷰 표시에 대응하는 촬상 데이터 Ds를 출력하게 이미지 센서(12)를 제어한다. 따라서, 이미지 센서(12)로부터 라이브 뷰 모드에 최적인 데시케이션 판독 동작을 통해 라이브 뷰 출력이 실행된다. 또한, 초기 설정 처리에 있어서, 화상 처리 회로(30)는 EVF 컨트롤러(40)에 설정 파라미터를 전송한다. 따라서, 설정 파라미터는 EVF 컨트롤러(40)의 레지스터(43a)에 설정되어 있다. 초기 설정 처리에서는, 라이브 뷰 동작을 위한 EVF 컨트롤러(40)의 설정 및 EVF(50)의 라이브 뷰 표시를 위한 일련 준비가 이루어지고, 이미지 센서(12)로부터 페치된 라이브 뷰 화상의 표시를 위한 일련의 준비가 완료된다. 또한, 전력 공급의 초기 상태에 있어서 라이브 뷰 모드가 선택되는 경우에는, 전력 공급 후에 초기 설정 처리가 실행될 수 있다.

이어서, 화상 출력 회로(30)의 데이터 출력 제어부(31)는 수직 프런트 포치 기간 VFP, 수직 동기 기간 VS, 및 수직 백 포치 기간 VBP에 있어서, 화상 데이터 Dgb가 무효가 되게 한다. 구체적으로는, 화상 데이터 Dgb는 "0"이 되고, 더미 데이터는 데이터 출력 제어부(31)로부터 출력된다(S2). 또한, 타이밍 제너레이터(35)는, 수직 프런트 포치 기간 VFP, 수직 동기 기간 VS, 및 수직 백 포치 기간 VBP 동안에 제2 수평 동기 신호 DHsync를 출력하고, 수직 동기 기간 VS 동안에 제2 수직 동기 신호 DVsync를 액티브가 되게 한다(S2).

이어서, 제2 수직 동기 신호 DVsync가 액티브가 되면, 데이터 출력 제어부(31)는, 내부의 카운터(n)를 리셋하고(S3), 다음의 제2 수평 동기 신호 DHsync가 액티브가 되는 타이밍이 도달할 때까지 대기한다(S4). 다음의 제2 수평 동기 신호 DHsync가 액티브가 되는 타이밍이 도달하면, 타이밍 제너레이터(35)는, 데이터 출력 제어부(31)로부터 EVF 컨트롤러(40)에 유효 화상 데이터 Dgb가 출력 가능한지 여부를 판정한다(S5). 구체적으로는, 상술한 제1 및 제2 조건을 충족하는지 여부를 판정한다. 즉, 다음에 출력해야 할 화상 데이터 Dgb가 n번째 라인에 상당하는 경우에는, 이미지 센서(12)로부터 n번째 라인을 생성하기 위하여 필요한 촬상 데이터 Ds의 판독이 완료되고(제1 조건), VRAM/라인 버퍼(28)에 n번째 라인의 화상 데이터 Dga가 기록되고 있는지(제2 조건)를 판정한다.

단계 S5에 있어서, 표시 화상의 화상 데이터 Dgb의 n번째 라인이 출력 가능한 경우에는, 타이밍 제너레이터(35)는, 예를 들어, 도 3에 도시한 바와 같이, 유효 화상 데이터 Dgb를 출력시키는 수평 표시 액티브 기간 HDISP 동안에, 데이터 인에이블 신호 DE를 액티브(하이 레벨)가 되게 한다(S6). 또한, 데이터 출력 제어부(31)는 도트 클럭 DCLK에 동기시켜 1 라인분의 표시 화상의 화상 데이터 Dga를 VRAM/라인 버퍼(28)로부터 판독하고, 화상 데이터 Dgb를 EVF 컨트롤러(40)의 데이터 입력부(41)에 공급하고(S7), 그 다음 1 라인분의 유효 화상 데이터 Dgb의 출력이 종료된 후, 데이터 인에이블 신호 DE를 비액티브(로우 레벨)가 되게 한다(S8).

이후, 타이밍 제너레이터(35)는, 상술한 카운터(n)의 값에 기초하여 표시 화상의 1 프레임 내의 모든 라인(N 라인)의 화상 데이터 Dgb의 출력이 종료되었는지 여부를 확인하고(S11), 출력이 종료되면 상술한 단계 S2로 복귀되어 다음의 프레임의 표시 화상의 화상 데이터 Dgb에 대한 처리를 개시한다. 처리가 종료되면, 타이밍 제너레이터(35)는 카운터(n)의 값을 증가시키고(S12), 다음의 제2 수평 동기 신호 DHsync의 타이밍을 대기한다(S4).

그러한 처리를 실행함으로써, 예를 들어, 도 11에 도시하는 1 프레임분의 제2 수직 동기 신호 DVsync, 제2 수평 동기 신호 DHsync, 및 데이터 인에이블 신호 DE가 얻어진다. 도 11(A)는, 표시 화상의 1 프레임 내의 모든 라인의 화상 데이터 Dgb가 EVF(50)의 제2 수평 동기 신호 DHsync에 동기하여 출력 가능한 경우이며, 1 프레임 내의 모든 라인에 대하여 상술한 단계 S5의 판정 조건이 충족된 경우이다. 이 경우, 수직 표시 액티브 기간 VDISP의 전체 수평 주사 기간에 있어서, 화상 출력 회로(30)는 유효 화상 데이터 Dgb를 출력하기 때문에, 더미 DHsync 기간은 삽입되지 않는다. 한편, 도 11(B)는, 1 프레임 내의 일부 라인에 대하여, 상술한 단계 S5의 판정 조건이 충족되지 않은 경우를 나타낸다. 이 경우, 수직 표시 액티브 기간 VDISP의 일부의 수평 주사 기간에 있어서, 화상 출력 회로(30)는 무효 화상 데이터 Dgb(더미 데이터)를 출력한다. 즉, 단계 S5에 있어서, 유효 화상 데이터 Dgb가 출력 불가능이라고 판정된 경우에는, 해당 라인에 있어서 데이터 인에이블 신호 DE가 비액티브가 된다. 이하, 수직 표시 액티브 기간 VDISP에서 무효 화상 데이터 Dgb(더미 데이터)가 출력되는 수평 주사 기간은 더미 DHsync 기간이라고 칭해진다.

도 11(B)에 나타내는 예에서는, 기간 Tc 및 기간 Td에 있어서 유효 화상 데이터 Dgb가 출력 불가능이라고 판정된 결과, 데이터 인에이블 신호 DE는 비액티브가 되어 있다. 이들 기간은, 더미 DHsync 기간에 대응하고 있다. 따라서, 1 프레임의 수직 표시 액티브 기간 VDISP는, 도 11(A)과 비교하여, 더미 DHsync 기간이 삽입된 기간만큼 길어진다. 따라서, 1 프레임의 수직 표시 액티브 기간 VDISP의 길이는, 수평 주사 기간의 단위로 조정된다. 또한, 데이터가 출력 가능한 타이밍으로 조정된 유효 화상 데이터 Dgb는 화상 출력 회로(30)로부터 EVF 컨트롤러(40)에 공급될 수 있다. 타이밍 조정을 행한 표시 화상의 화상 데이터 Dgb에 따라 EVF(50)를 구동함으로써, 이미지 센서(12)로부터의 촬상 데이터 Ds의 타이밍에 동기화(수평 주사 기간 단위의 정밀도로 동기화)하여 표시를 수행할 수 있다. 또한, 상술한 바와 같이, 더미 DHsync 기간의 삽입을 최소한으로 할 수 있고, 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력으로부터 액정 패널(51)에 표시될 때까지의 지연(위상차)을 최소로 할 수 있다.

도 12는, 상술한 바와 같이 타이밍 조정에 의해, 화상 출력 회로(30)로부터 EVF 컨트롤러(40)에 출력된 표시 화상의 화상 데이터 Dgb가 이미지 센서(12)로부터의 촬상 데이터 Ds에 동기화되는 처리를 나타내는 도면이다. 도 12는, 이미지 센서(12)의 촬상 데이터 Ds의 프레임 레이트는 120 FPS[프레임/초](8.33mS의 프레임 주기)이며, EVF(50)에 표시 가능한 화상 데이터 Dgb의 프레임 레이트는 160 FPS(6.25mS의 프레임 주기)인 경우에 대하여 예시하고 있다.

또한, 도 12에 도시된 데이터 인에이블 신호 DE'는, 1 수직 주사 기간에 있어서의 데이터 인에이블 신호 DE를 대략 파악하여 얻은 것이다. 즉, 엄밀하게는, 데이터 인에이블 신호 DE'를 해칭으로 나타낸 부분에 대해서는, 항상 하이 레벨이 되는 것이 아니고, 도 11에 도시한 바와 같이, 1 수평 주사 기간 1H 중 수평 표시 액티브 기간 HDISP 동안에 하이 레벨이 된다.

도 12에 도시하는 바와 같이, 이미지 센서(12)로부터 출력된 촬상 데이터 Ds[1]는 시각 t10에서 종료되는 한편, 화상 데이터 Dgb[1]는 시각 t11에서 종료한다. 이 경우, 촬상 데이터 Ds[1]와 화상 데이터 Dgb[1] 간의 지연 시간 ΔT1(위상차)은 비교적 길다. 여기서, 긴 지연 시간 ΔT1은, 화상 처리 회로(20)에 있어서의 화상 처리의 종료로부터 화상 출력 회로(30)에 있어서의 표시 화상의 화상 데이터 Dgb의 출력의 개시까지 충분한 시간이 있다는 것을 의미한다. 이와 같이 시간이 충분하다면, 더미 DHsync 기간은 삽입되지 않는다.

이 예에서는, EVF 표시 주기(6.25ms)가 센서 출력 주기(8.33ms)보다도 짧으므로, 다음의 프레임의 촬상 데이터 Ds[2]의 출력이 종료되는 시각 t20으로부터 화상 출력 회로(30)로부터의 프레임에 대응하는 표시 화상의 화상 데이터 Dgb[2]의 출력이 종료되는 시각 t21까지의 지연 시간 ΔT2는, ΔT1보다 짧다. 따라서, 출력 타이밍의 조정이 진행되면, 지연 시간이 단축된다. 그러나, 지연 시간이 어느 정도 단축된 단계에서, 화상 처리 회로(20)에 있어서의 표시 화상의 화상 데이터 Dgb는 제시간에 생성되지 않는다. 따라서, 화상 출력 회로(30)에 있어서, 제2 수평 동기 신호 DHsync에 동기하여 출력될 수 없는 표시 화상의 화상 데이터 Dgb의 라인이 발생하고, 더미 DHsync 기간이 삽입된다(예를 들어, 도 12의 화상 데이터 Dgb[3]). 그 결과, 라인이 출력 가능해질 때까지 최소한의 더미 DHsync 기간이 삽입되고, 프레임의 수직 표시 액티브 기간 VDISP가 연장되며, 출력 타이밍의 조정이 진행한다. 최종적으로는, 지연 시간은 최소 지연(최소 위상차)인 일정한 지연 시간 ΔTmin에 수렴되어 안정되고, 화상 출력 회로(30)로부터의 화상 데이터의 출력 타이밍이 이미지 센서(12)로부터의 촬상 신호의 출력 타이밍에 동기화된다(예를 들어, 도 12의 화상 데이터 Dgb[3] 이후).

이와 같이 동기화된 상태에서는, 출력 타이밍의 조정은, 더미 DHsync 기간의 삽입에 의해 행해지기 때문에, 타이밍 제너레이터(35)가 생성한 제2 수평 동기 신호 DHsync의 주기에서 지연 시간 ΔTmin이 변동할 가능성이 있다. 그러나, 상술한 바와 같이, 표시 화상의 화상 데이터 Dgb의 라인마다 제2 수평 동기 신호 DHsync에 동기한 출력이 가능한 지에 대해 판단이 이루어지고(도 10에 도시된 단계 S5), 더미 DHsync 기간의 삽입은 해당 라인의 화상 데이터 Dgb의 출력이 가능해질 때까지의 최소한의 기간이다. 따라서, 동기화된 상태에 있어서, 예를 들어, 화상 처리 회로(20)에 있어서의 화상 처리의 상황에 따른 최소의 지연 시간 ΔTmin으로의 조정이 수행된다. 즉, 이 촬상 표시 장치(1)에서는, 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력으로부터 액정 패널(51)에 있어서의 표시까지의 지연(위상차)이 최소화된다. 따라서, 이 촬상 표시 장치(1)에서는, 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력 타이밍에 동기화시켜, 지연 시간을 최소로 한 EVF(50)의 표시를 수행할 수 있다.

이어서, EVF 컨트롤러(40)의 라이브 뷰 모드에 관련한 동작에 대하여 설명한다. 도 13에서는 EVF 컨트롤러(40)에 의해 실행된 라이브 뷰 모드의 처리 내용을 나타낸다. 먼저, 라이브 뷰 모드의 동작을 개시하기에 앞서, EVF 컨트롤러(40)는, 직렬 I/F(45)를 통해 공급된 화상 출력 회로(30)로부터의 커맨드(예를 들어, 레지스터의 변수명과 값을 포함하는 설정 파라미터)의 수신되는 지의 여부를 판정하고(S21), 커맨드가 수신되면, 화상 출력 회로(30)로부터의 커맨드에 따라 레지스터(43a)의 값을 설정한다(S22).

이어서, 타이밍 생성부(43)는, 화상 출력 회로(30)로부터 공급된 제2 수직 동기 신호 DVsync가 액티브로 되는 지의 여부를 판정한다(S23). 제2 수직 동기 신호 DVsync가 액티브가 되면, 타이밍 생성부(43)는, 카운터(42)의 계수치를 리셋한다(S24). 그 다음, 데이터 입력부(41)는, 제2 수평 동기 신호 DHsync가 액티브인지 여부를 판정한다(S25). 제2 수평 동기 신호 DHsync가 액티브가 되면, 데이터 입력부(41)는 데이터 출력 제어부(31)로부터 공급된 데이터 인에이블 신호 DE가 액티브인지 여부를 판정한다(S26).

데이터 인에이블 신호 DE가 액티브이면, 데이터 입력부(41)는 데이터 출력 제어부(31)로부터의 표시 화상의 화상 데이터 Dgb를 1 라인분 페치한다(S27). 이 경우, 카운터(42)는, 카운트값 VC를 증분한다(S28). 또한, 타이밍 생성부(43)는, 주사선 선택부(52)로 하여금, 카운트값 VC에 대응하는 라인(주사선)의 선택하게 하고, 데이터 출력부(44)로 하여금, 데이터 입력부(41)가 페치한 1 라인분의 화상 데이터를 데이터선 구동부(53)에 공급한다. 데이터선 구동부(53)는, 공급된 화상 데이터를, 데이터선을 통해, 타이밍 생성부(43)가 선택한 주사선의 화소에 기입한다. 따라서, 선택된 라인의 화상이 액정 패널(51)에 표시된다.

그 다음, 타이밍 생성부(43)는, 카운터(42)의 카운트값 VC가 RV(레지스터(43a)에 설정된 "수직 화소 수(유효 라인 수)")에 도달한 지 여부를 판정한다(S29). 카운트값 VC가 유효 라인 수 RV와 동등하면, 1 프레임 내의 모든 라인의 화상 데이터 Dgb의 수신이 종료되기 때문에, 데이터 입력부(41)는, 단계 S23으로 복귀하여, 다음의 프레임의 제2 수직 동기 신호 DVsync를 대기한다. 카운트값 VC가 RV와 동등하지 않으면, 1 프레임 내의 모든 라인의 화상 데이터 Dgb의 수신이 종료하지 않기 때문에, 데이터 입력부(41)는, 단계 S25에 복귀되어, 제2 수평 동기 신호 DHsync가 액티브가 되는 것을 대기한다.

또한, 상술한 단계 S26에 있어서, 데이터 인에이블 신호 DE가 비액티브이면, 데이터 출력 제어부(31)로부터의 화상 데이터 Dgb가 더미 데이터(무효 데이터)이기 때문에, 화상 데이터 Dgb가 페치되지 않고, 처리는 단계 S25에 복귀되어, 제2 수평 동기 신호 DHsync가 액티브가 되는 것을 대기한다.

상기 동작에서, EVF 컨트롤러(40)는, 화상 출력 회로(30)로부터 공급된 화상 데이터 Dgb 중, 데이터 인에이블 신호 DE가 액티브인 기간 동안에 표시 화상의 화상 데이터 Dgb에 기초하여, 액정 패널(51) 상의 표시를 제어할 수 있다.

도 14는, 동작 상태가 상이한 프레임에 관한, 상술한 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력, 화상 출력 회로(30)로부터의 표시 화상의 화상 데이터 Dgb의 출력, 및 EVF(50) 상의 표시까지의 타이밍을 개략적으로 도시하는 개념도이며, 상술한 도 12와 대응하고 있다. 이미지 센서(12)로부터 출력된 촬상 데이터 Ds[1]에 대해서는, 지연 시간 ΔT1이 비교적 길기 때문에, 화상 출력 회로(30)의 처리에 충분한 시간이 있다. 따라서, 더미 DHsync 기간이 삽입되지 않고 화상 데이터 Dgb[1]이 생성된다. 다음의 프레임의 지연 시간 ΔT2가 지연 시간 ΔT1보다도 짧은데, 이것은 EVF(50)의 프레임 레이트가 이미지 센서(12)의 프레임 레이트보다도 짧기 때문이다. 그 다음의 프레임에 있어서는, 지연 시간이 더 짧아져 최소의 지연 시간 ΔTmin이 되지만, 화상 처리 회로(20)에서의 처리가 제시간에 수행되지 않고, 더미 DHsync 기간이 삽입된다. 그 결과, 화상 데이터 Dg[3]은 무효 데이터를 포함하고, 유효 데이터는 간헐적이 된다. 화상 출력 회로(30)로부터의 표시 화상의 화상 데이터 Dgb의 출력은, 상술한 화상 처리 회로(20)로부터의 진척 정보 P에 따라, 수평 주사 기간(제2 수평 동기 신호 DHsync의 간격) 단위로 간헐적이 될 수 있다. 이 경우에는, EVF(50)에 있어서의 표시 또한, 수평 주사 기간 단위로 간헐적이 된다. 즉, EVF(50)에 있어서의 1 프레임 내의 각 라인의 구동 타이밍이 수평 주사 기간(수평 동기 신호의 간격) 단위로 약간 변동하지만, 이러한 변동은 1 프레임의 표시 기간(수직 주사 기간)보다 충분히 작기 때문에, 사람에게는 인식되지 않는다.

<효과>

상술한 바와 같이, 이러한 촬상 표시 장치(1)에서는, 화상 출력 회로(30)가, 화상 처리 회로(20)로부터의 진척 정보 P에 따라, 표시 화상의 화상 데이터 Dgb의 1 라인분을 제2 수평 동기 신호 DHsync에 동기시켜 출력가능 한지 여부를 판단하여, 라인이 출력 가능한 경우에는 제2 수평 동기 신호 DHsync에 동기시켜 1 라인분의 표시 화상의 화상 데이터 Dgb를 EVF 컨트롤러(40)에 출력하고, 라인이 출력가능 하지 않은 경우에는 더미 데이터를 출력함으로써, 표시 화상의 화상 데이터 Dgb를 출력하는 타이밍을 수평 주사 기간 단위로 조정할 수 있다. 이러한 타이밍 조정을 행함으로써, 화상 출력 회로(30)로부터 출력된 표시 화상의 화상 데이터 Dgb의 출력 타이밍을 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력 타이밍에 동기화시킬 수 있다. 이 경우, 동기화는 수평 주사 기간의 단위의 정밀도로 수행된다.

또한, 상술한 진척 정보 P에 있어서, 이미지 센서(12)로부터의 촬상 데이터 Ds에 대한 화상 처리를 행하고, 표시 화상의 화상 데이터 Dga의 1 라인분의 생성이 종료되고, VRAM/라인 버퍼(28)에 대한 기입이 종료된 타이밍으로 하이 레벨에서의 펄스가 출력된다. 이러한 진척 정보 P에 따라 화상 출력 회로(30)로부터의 표시 화상의 화상 데이터 Dgb의 출력 타이밍을 조정함으로써, 최소의 지연 시간으로 표시 화상의 화상 데이터 Dgb를 출력할 수 있다. 따라서, 이러한 촬상 표시 장치(1)에서는, 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력 타이밍에 동기화시켜, 지연 시간의 증가를 억제한 표시 화상에 대한 데이터 Dgb를 출력할 수 있다. 그 결과, 이러한 촬상 표시 장치(1)에서는, 액정 패널(51) 상에서의 화상의 표시가 이미지 센서(12)로부터의 촬상 데이터 Ds의 출력 타이밍에 동기되고, 액정 패널(51) 상에 표시될 때까지의 지연 시간은 (수평 주사 기간 단위로) 최소화된다.

여기에서, 액정 패널(51) 상에서의 표시 화상의 표시를 이미지 센서(12)의 촬상 데이터 Ds의 출력 타이밍에 동기화시키기 위해서는, 표시 화상의 화상 데이터 Dgb가 출력 가능해지는 타이밍에 따라, 액정 패널(51) 상의 도트 클럭 주기의 단위로 수평 주사 기간의 길이의 조정이 수행되고, 결과적으로, 수직 주사 기간의 타이밍 조정을 고려할 수 있다. 이러한 타이밍 조정을 행하는 경우에는, EVF(50) 측에 수평 주사 기간의 변동(수평 동기 신호의 타이밍 변동)에 추종할 수 있는 회로가 필요해지기 때문에, 회로의 구성이 복잡해진다.

이에 반하여, 이러한 촬상 표시 장치(1)에서는, 액정 패널(51) 측의 수평 주사 기간의 단위로 타이밍 조정을 행하고, 결과적으로, 수직 주사 기간의 타이밍 조정을 행하기 때문에, 액정 패널(51) 측의 수평 동기 신호는 일정한 타이밍으로 출력된다. 이러한 수평 동기 신호에 추종하는 회로는, 일정한 프레임 레이트로 수평 동기 신호의 일정한 간격으로 표시 화상의 화상 데이터가 공급되는 경우와 동일한 정도로 수평 동기 신호의 추종이 가능해질 수 있다. 따라서, 이러한 촬상 표시 장치(1)에서는, 상술한 데이터 인에이블 신호 DE에 기초하여 수직 주사 기간 내의 유효 화상 데이터 Dgb의 라인 수를 카운트하는 카운터를 추가할 필요가 있지만, 액정 패널(51) 측의 도트 클럭 단위의 단위로 타이밍이 변하는 경우에 비교하여 구성이 복잡하지는 않다. 따라서, 이러한 촬상 표시 장치(1)에서는, 이미지 센서(12)에서의 촬상부터 액정 패널(51) 상의 표시까지의 지연 시간의 단축을 간단한 회로 구성으로 실현할 수 있다.

<변형 예>

본 발명은, 상술한 각 실시예에 한정되는 것은 아니고, 이하에 설명될 각종 변형예가 가능하다. 또한, 각 변형예는 변형예들의 적절한 조합일 수도 있고, 또한 상술한 실시예들의 적절한 조합일 수도 있다.

(1) 상술한 설명에서는, 액정 패널(51)의 예로서 액정 패널의 예가 설명되었지만, 본 발명은 OLED(organic light emitting diode) 패널 또는 플라즈마 표시 패널 등의 표시 소자를 사용한 경우에도, 상술한 실시예와 유사하게, 적용될 수 있다.

(2) 상술한 설명에서는, 화상 처리 회로(20)가 표시 화상의 화상 데이터의 1 라인분이 출력 가능해졌을 때에, 진척 정보 P로서 하이 레벨에서의 펄스를 출력하도록 동작하지만, 표시 화상의 소정 개수의 라인(블록 단위) 분이 출력 가능해졌을 때에, 진척 정보 P로서 하이 레벨에서의 펄스를 출력할 수도 있다. 이 경우, 화상 출력 회로(30)는, 진척 정보 P에 따라, 소정 개수의 이후의 라인(블록 단위) 분의 표시 화상의 화상 데이터를 수평 동기 신호에 동기시켜 EVF 컨트롤러(40)에 출력하고, 그 다음, 진척 정보 P로서 하이 레벨에서의 펄스가 공급되는 것을 대기한다. 또한, 1 라인의 절반마다 또는 소정 영역마다 블록 단위로서 사용하여, 블록의 단위로서 블록의 단위 분의 표시 화상의 출력이 가능해졌을 때에, 진척 정보 P로서 하이 레벨에서의 펄스를 출력할 수도 있다.

(3) 상술한 실시예에서는, 화상 신호 Dgb가 유효 화상 신호인 경우에 액티브가 되고, 화상 신호 Dgb가 무효 화상 신호인 경우에 비액티브가 되는 인에이블 신호 DE를 제어 신호의 일례로서 설명했지만, 본 발명은, 이에 한정되는 것은 아니다. 예를 들어, 화상 신호 Dgb가 무효 화상 신호인 경우에 액티브가 되고, 화상 신호가 유효 화상 신호인 경우에 비액티브가 되는 디스에이블(disable) 신호를 사용할 수도 있다. 즉, 화상 신호 Dgb가 유효 또는 무효인 것을 나타내는 제어 신호를 사용할 수도 있다.

또한, 상술한 실시예에서는, 화상 처리 회로(20)에 있어서의 화상 처리의 처리 시간은 가변이지만, 본 발명은 이에 한정되는 것은 아니고, 처리 시간은 고정일 수도 있다. 이 경우에도, 진척 정보 P를 사용하여, 화상 신호 Dgb와 함께, 화상 신호가 유효 또는 무효인 것을 나타내는 인에이블 신호 DE를 화상 출력 회로(30)로부터 출력함으로써, 이미지 센서(12)의 출력과 EVF(50)의 표시와의 지연 시간이 긴 경우에도, 지연 시간은 점차 단축될 수 있고, 수평 동기 기간 단위의 정밀도로 동기화가 수행될 수 있다.

(4) 상술한 설명에서는, 화상 출력 회로(30)와 EVF 컨트롤러(40) 사이의 데이터 전송은 병렬 I/F(D00 내지 D23)를 이용하여 행해지지만, 데이터 전송은 저전압 차동(LVDS)의 직렬 I/F를 이용하여 행해질 수도 있다. 이 경우, 예를 들어, 도 15에 도시한 바와 같이, 화상 출력 회로(30)와 EVF 컨트롤러(40)에, 각각 LDVS I/F(34)와 LDVS I/F(46)가 제공된다.

LDVS I/F(34)는, 제2 도트 클럭 DCLK를 7 체배하는 7 체배 PLL 회로(34a)와, 데이터 출력 제어부(31)로부터의 표시 화상의 화상 데이터(병렬)를 직렬 신호로 변환하는 직렬 변환기(34b)와, 직렬 변환된 화상 데이터를 전송하는 데이터 전송 회로(34c)를 포함하고 있다. 또한, LDVS I/F(46)는, 수신한 클럭을 7 체배하는 7 체배 PLL 회로(46a)와, 데이터 전송 회로(34c)로부터의 화상 데이터(직렬)를 수신하는 데이터 수신 회로(46b)와, 표시 화상의 수신된 화상 데이터(직렬)를 병렬 신호로 변환하여 병렬 신호를 데이터 입력부(41)에 공급하는 병렬 변환기(46c)를 포함하고 있다.

LDVS I/F(34)와 LDVS I/F(46) 사이에서는, 수직 동기 신호 DVsync(VS), 수평 동기 신호 DHsync(HS), 데이터 인에이블 신호 DE, 및 화상 데이터 Dgb(D00 내지 D23: RGB 색들의 8비트: R0 내지 R7, G0 내지 G7, 및 B0 내지 B7)는, 예를 들어 도 16(JEIDA 방식) 또는 도 17(VESA 방식)과 같이, 클럭 INCLK에 동기하여, 4-차동 입력 및 출력분의 직렬 신호로서 전송된다. 또한, 도 15에서는, LDVS 전송 후와 전송 전 간의 신호 및 데이터를 구별하기 위하여, 화상 데이터(LD00 내지 LD23), 데이터 인에이블 신호 LDE, 제2 수평 동기 신호 LHsync, 및 제2 수직 동기 신호 LVsync가 기재되어 있지만, 이들은, 화상 데이터(D00 내지 LD23), 데이터 인에이블 신호 DE, 제2 수평 동기 신호 DHsync, 및 제2 수직 동기 신호 DVsync에 각각 대응하고 있다.

이러한 LDVS I/F를 사용하여, 화상 출력 회로(30)와 EVF 컨트롤러(40) 사이에 표시 화상의 화상 데이터 등의 전송을 행하여도, 상술한 실시예에서와 마찬가지의 작용 및 효과를 달성할 수 있다.

(5) 상술한 설명에서는, 레지스터(43a)의 값은, 직렬 I/F(33)과 직렬 I/F(45) 사이에 전송되지만, 상술한 바와 같이 LDVS I/F를 사용하는 경우에는, 값은 데이터 인에이블 신호 DE가 비액티브인 기간의 데이터(D00 내지 D23)로서 전송될 수도 있다.

(6) 상술한 설명에서는, 촬상 표시 장치(1)에 EVF가 내장되어 있는 경우에 대하여 설명했지만, EVF 컨트롤러(40)) 및 EVF(50)는 예를 들어, 디지털 카메라의 외부에 접속된 파인더(표시 장치)로서 구성될 수도 있다. 이 경우, 장치는 화상 출력 회로(30)를 더 포함한 촬상 장치일 수도 있다.

(7) 상술한 설명에서는, 발명이 촬상 표시 장치(1)로서 구성되어 있는 경우에 대하여 설명했지만, 본 발명은 이에 한정되는 것은 아니고, 예를 들어 프로젝터 장치, 헤드업 디스플레이(HUD), 또는 헤드 마운트 디스플레이(HMD) 등의 전자 기기(표시 장치)로서 구성될 수도 있다. 또한, 본 발명은 라이브 뷰를 행하는 표시 장치라면, 예를 들어 전자 쌍안경, 전자 안경, 전자 현미경, 의료용 전자 안경의 파인더, 차량 탑재의 백 모니터, 차량 탑재의 사이드 미러의 모니터에도 적용될 수 있고, 촬상부터 표시까지의 지연을 저감시킬 수 있다. 또한, 표시 장치의 양태에 있어서는, 촬상부(10)를 반드시 포함하고 있지 않아도 된다. 즉, 촬상 데이터 Ds가 공급되는 화상 처리 회로(20), 화상 출력 회로(30), EVF 컨트롤러(40), 및 EVF(50)를 표시 장치로서 간주할 수도 있다.

1: 촬상 표시 장치
12: 이미지 센서
20: 화상 처리 회로
30: 화상 출력 회로
31: 데이터 출력 제어부
40: EVF 컨트롤러
41: 데이터 입력부
42: 카운터
43: 타이밍 생성부
44: 데이터 출력부
50: EVF
51: 액정 패널
52: 주사선 선택부
53: 데이터선 구동부

Claims (8)

1. 촬상 장치로서,
   화상을 촬상하여 촬상 신호를 출력하는 촬상 소자;
   상기 촬상 신호에 기초하여 화상 신호를 출력하는 화상 신호 출력부; 및
   상기 출력되는 화상 신호가 유효인지 아니면 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하는 제어 신호 출력부
   를 포함하는 촬상 장치.
2. 제1항에 있어서, 상기 수평 동기 신호의 주기는 일정하고,
   상기 화상 신호는, 무효 화상 신호 및 유효 화상 신호를 포함하고, 상기 수평 동기 신호에 동기하여, 상기 무효 화상 신호 또는 상기 유효 화상 신호 중 어느 하나가 출력되는, 촬상 장치.
3. 제2항에 있어서, 상기 제어 신호 출력부는,
   상기 화상 신호가 상기 수평 동기 신호에 동기하여 출력 가능한 경우에는, 상기 화상 신호가 상기 유효 화상 신호인 것을 나타내는 제어 신호를 출력하고, 상기 화상 신호가 상기 수평 동기 신호에 동기하여 출력 가능하지 않은 경우에는, 상기 화상 신호가 상기 무효 화상 신호인 것을 나타내는 제어 신호를 출력하는, 촬상 장치.
4. 제2항 또는 제3항에 있어서, 상기 화상 신호 출력부는,
   상기 촬상 신호에 처리 시간이 가변이 되는 화상 처리를 수행하고, 상기 화상 처리의 진척을 나타내는 진척 정보를 출력하는 화상 처리 회로; 및
   적어도 상기 진척 정보에 기초하여, 상기 수평 동기 신호에 동기하여 상기 화상 처리 회로의 상기 화상 처리를 통해 얻어진 신호를 상기 유효 화상 신호로서 출력가능한지 여부를 판정하고, 판정 조건이 긍정인 경우에는 상기 유효 화상 신호를 출력하고, 상기 판정 조건이 부정인 경우에는 상기 무효 화상 신호를 출력하는 화상 출력 회로를 포함하는, 촬상 장치.
5. 화상 처리 장치로서,
   화상을 촬상하여 얻은 촬상 신호에 기초하여 화상 신호를 출력하는 화상 신호 출력부; 및
   상기 출력되는 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 출력하는 제어 신호 출력부
   를 포함하는 화상 처리 장치.
6. 표시 제어 장치로서,
   화상 신호와, 상기 화상 신호가 유효 또는 무효인지를 나타내는 제어 신호를, 수평 동기 신호에 동기하여 입력하는 입력부; 및
   상기 제어 신호에 기초하여, 유효 화상 신호를 표시부에 표시시키도록 제어를 수행하는 표시 제어부
   를 포함하는 표시 제어 장치.
7. 제6항에 있어서, 상기 표시부의 프레임 레이트는 촬상 신호의 프레임 레이트보다 높은, 표시 제어 장치.
8. 촬상 표시 장치로서,
   제2항 내지 제4항 중 어느 한 항에 따른 촬상 장치;
   제5항 또는 제6항에 따른 표시 제어 장치; 및
   화상을 표시하는 표시부
   를 포함하는 촬상 표시 장치.

Images