KR100965947B1 - 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 기록 매체 - Google Patents

Abstract

입력 화상의 화상 신호 SDin을 이용하여, 신 체인지 검출부(21)에서 입력 화상의 신 체인지 검출을 행한다. 움직임 검출부(22)에서는 입력 화상의 화상 움직임을 검출한다. 표시 위치 결정부(231)는 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 입력 화상의 표시 위치를 결정한다. 광화각 화상 생성부는, 표시 위치가 결정된 연속 신의 기간 중의 입력 화상을 중첩하여 광화각 화상의 화상 신호 SB를 생성한다. 입력 화상 이동부(233)에 의해 입력 화상을 표시 위치로 이동한 화상 신호 SDg를 생성한다. 화상 중첩부(234)에서 광화각 화상에 표시 위치를 이동한 입력 화상을 중첩하여, 입력 화상의 화상 움직임에 따라 입력 화상의 표시 위치가 이동되는 광화각의 표시 화상의 화상 신호 SDp를 생성한다.

스크린, 프로젝터, 화상 처리 장치, 신 체인지 검출부, 입력 화상 이동부

Description

화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM RECORDING MEDIUM}

본 발명은 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램에 관한 것이다.

종래, 텔레비전 방송 프로그램이나 영화 등의 화상을 표시하는 화상 표시 시스템에서는, 텔레비전 장치의 표시 화면이나 스크린 등과 같이, 1개의 고정된 화상 프레임을 이용하여 화상 표시가 이루어지고 있다. 또한, 방송 프로그램이나 영화 등의 화상 콘텐츠를 제작하는 경우에도, 이러한 고정 화상 프레임으로 화상 표시를 행하는 것을 전제로 하여 콘텐츠 제작이 행해지고 있다.

또한, 최근에는 현장감을 높인 화상 표시를 행하기 위해 다화면 표시 시스템이나 곡면 디스플레이, 광화각(廣畵角) 디스플레이, 헤드 마운트 디스플레이 등이 실용화되고 있다. 그러나, 이러한 다화면 표시 시스템 등을 이용하는 경우에도, 이 시스템에 의해 형성되는 화상 표시 영역을 1개의 고정 화상 프레임으로서 이용하여, 이 고정 화상 프레임에 맞춘 화상 표시를 행하는 것을 전제로 하여 콘텐츠 제작이 행해지고 있다.

그런데, 이와 같이, 고정 화상 프레임에 맞추어 제작된 화상 콘텐츠에서, 촬 영 시에 카메라 움직임을 포함한 화상 등이 포함되어 있는 경우, 고정 화상 프레임으로 촬영 화상을 표시함과 함께, 이 촬영 화상에서의 배경의 움직임에 따라 카메라 움직임을 표현하는 것이 행해지고 있다. 즉, 시청자는 고정 화상 프레임 내에 표시된 화상의 배경이 이동함으로써, 그 안의 피사체가 배경의 움직임과 역 방향으로 움직이고 있는 것을 인식함과 함께, 시청자는 마치 자신이 피사체의 움직임에 맞추어 방향을 바꾸고 있는 것과 같은 감각을 얻는다.

이것은, 촬영된 넓은 공간의 화상을 무리하게 고정 화상 프레임 내의 2차원 평면에 사영한 결과이며, 시청자는 실제로 움직이고 있지 않더라도 배경의 움직임에 따라 감각적으로는 움직인다는 느낌을 받기 때문에, 현실 공간과의 부정합에 의해 부자연스럽게 되어서, 현장감이 높은 화상 표시를 행할 수 없다.

<발명의 개시>

본 발명의 화상 처리 장치는, 입력 화상의 신 체인지를 검출하는 신 체인지 검출 수단과, 상기 입력 화상 내의 화상 움직임을 검출하는 움직임 검출 수단과, 상기 신 체인지 검출 수단에 의해 검출된 신 체인지에 기초하여 연속 신의 기간을 판별하고, 그 연속 신의 기간 중에 상기 움직임 검출 수단에 의해 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 표시 화상 생성 수단을 포함하는 것이다.

또한, 화상 처리 방법은 입력 화상의 신 체인지와 상기 입력 화상 내의 화상 움직임을 검출하고, 검출된 신 체인지에 기초하여 연속 신의 기간을 판별하고, 그 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 것이다.

또한, 화상 처리 프로그램은 컴퓨터에, 입력 화상의 신 체인지를 검출하는 단계와, 상기 입력 화상 내의 화상 움직임을 검출하는 단계와, 검출된 신 체인지에 기초하여 연속 신의 기간을 판별하고, 그 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 단계를 실행시키는 것이다.

본 발명에서는, 입력 화상의 신 체인지 검출이 행해져서 연속 신이 판별됨과 함께, 입력 화상의 화상 움직임이 검출된다. 이 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 입력 화상의 표시 위치가 결정되며, 이 연속 신의 기간 중의 입력 화상을 역시간 순으로 순차 중첩함으로써 광화각 화상이 생성된다. 또한, 입력 화상이 결정된 표시 위치로 이동되고, 이 표시 위치가 이동된 입력 화상을 광화각 화상에 중첩함으로써, 입력 화상보다도 광화각이고 입력 화상의 위치가 화상 움직임에 따라 변화되는 표시 화상이 생성된다.

또한, 표시 화상에서의 입력 화상 부분이 화상 표시 영역을 초과하지 않도록, 광화각 화상의 표시 위치가 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 이동됨과 함께, 이 광화각 화상의 이동에 수반하여, 연속 신의 기간 중의 입력 화상에 대한 표시 위치가 보정된다. 또한, 표시 화상을 표시하는 화상 표시 영역 이 복수의 표시 영역으로 구성되어 있을 때에는, 복수의 표시 영역에 대응시켜서 표시 화상이 분할된다.

도 1은 화상 표시 시스템의 구성을 도시하는 도면.

도 2는 화상 처리 장치(20-1)의 구성을 도시하는 도면.

도 3은 신 체인지 검출부의 구성을 도시하는 도면.

도 4는 프레임 위치와 정규화값의 관계를 나타내는 도면.

도 5는 화소의 씨닝 처리를 나타내는 도면.

도 6은 신 체인지 검출부의 다른 구성을 도시하는 도면.

도 7은 프레임 위치와 상관 계수의 관계를 나타내는 도면.

도 8은 움직임 검출부의 구성을 도시하는 도면.

도 9는 광화각 화상 생성부의 구성을 도시하는 도면.

도 10은 연속 신의 판별을 설명하기 위한 도면.

도 11A, 11B는 위치 결정부의 동작을 설명하기 위한 도면.

도 12는 광화각 화상의 생성 동작을 설명하기 위한 도면.

도 13A, 13B는 표시 위치 보정 방법을 설명하기 위한 도면.

도 14의 (A)∼(G)는 다른 표시 위치 보정 방법을 설명하기 위한 도면.

도 15의 (A)∼(C)는 표시 화상의 생성 동작을 설명하기 위한 도면.

도 16은 컴퓨터를 이용했을 때의 구성을 도시하는 도면.

도 17은 화상 처리 동작을 나타내는 흐름도.

도 18은 신 체인지 검출 동작을 나타내는 흐름도.

도 19는 광화각 화상의 생성 동작을 나타내는 흐름도.

도 20은 표시 화상의 생성 동작을 나타내는 흐름도.

도 21A, 21B는 제2 형태에서의 화상 표시 동작을 설명하기 위한 도면.

도 22는 화상 처리 장치(20-2a)의 구성을 도시하는 도면.

도 23은 화상 처리 장치(20-2b)의 구성을 도시하는 도면.

도 24A, 24B는 화상 표시 동작을 설명하기 위한 도면.

도 25는 화상 처리 장치(20-2c)의 구성을 도시하는 도면.

도 26은 표시 위치 제어부(25c)와 표시 제어부(27c)의 구성을 도시하는 도면.

도 27A∼27C는 화상 신호의 생성 동작을 설명하기 위한 도면.

도 28A, 28B는 화상 처리 장치의 동작을 설명하기 위한 도면.

도 29는 화상 처리 장치(20-2d)의 구성을 도시하는 도면.

도 30은 표시 위치 제어부(25d)의 구성을 도시하는 도면.

도 31A, 31B는 움직임 누적값을 설명하기 위한 도면.

도 32는 가동 폭의 산출 동작을 설명하기 위한 도면.

도 33A∼33D는 초기 위치의 설정 동작을 설명하기 위한 도면.

도 34A∼34C는 이동 보정 동작을 설명하기 위한 도면.

도 35는 제2 형태에서의 화상 처리 프로그램의 전체 구성을 도시하는 흐름도.

도 36은 리얼타임 처리인 경우의 동작을 나타내는 흐름도.

도 37은 오프 라인 처리인 경우의 동작을 나타내는 흐름도.

도 38은 오프 라인 처리에 의한 표시 동작을 나타내는 흐름도.

도 39는 리얼타임 처리에 의해 화상의 움직임에 따라 표시 위치를 가변시키는 경우의 동작을 나타내는 흐름도.

도 40은 오프 라인 처리에 의해 화상의 움직임에 따라 표시 위치를 가변시키는 경우의 동작을 나타내는 흐름도.

도 41은 오프 라인 처리에 의한 표시 동작을 나타내는 흐름도.

도 42는 화상 처리 장치(20-3)와 정보 취득 장치(30)의 구성을 도시하는 도면.

도 43은 정보 취득 장치(30)의 다른 구성을 도시하는 도면.

도 44A, 44B는 화상 메모리의 구성을 도시하는 도면.

도 45A, 45B는 촬영 방향과 촬상 제시 방향의 관계를 나타내는 도면.

도 46A, 46B는 표시 위치의 산출 동작을 나타내는 도면.

도 47A, 47B는 화상 표시 시스템의 동작을 나타내는 도면.

도 48은 리얼타임으로 화상 표시를 행하는 경우의 구성을 도시하는 도면.

도 49A, 49B는 오프 라인에서 화상 표시를 행하는 경우의 구성을 도시하는 도면.

도 50A, 50B는 오프 라인에서 화상 표시를 행하는 경우의 다른 구성을 도시하는 도면.

도 51은 제3 형태에서의 화상 처리 동작을 나타내는 흐름도.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명을 보다 상세히 설명하기 위해, 첨부 도면을 이용하여 본 발명을 설명한다. 도 1은, 본 발명에서의 화상 처리 장치를 이용한 화상 표시 시스템의 전체 구성을 나타내고 있다. 이 화상 표시 시스템은 예를 들면, 3개의 스크린을 사용자의 전면과 양측면에 배치하여, 3개의 표시 영역으로 하나의 화상 표시 영역이 구성되어 있다. 또한, 각 스크린(11L, 11C, 11R)에 대응시켜 프로젝터(12L, 12C, 12R)를 제공하고 있다. 이 각각의 프로젝터(12L, 12C, 12R)를 이용하여 화상을 투영함으로써, 3개의 스크린으로 구성되는 광범위한 화상 프레임을 이용하여 화상의 표시가 행해진다. 프로젝터(12L, 12C, 12R)는 화상 처리 장치(20-1, 20-2, 20-3)와 접속되어 있다.

다음으로, 제1 형태로서, 화상 처리 장치(20-1)를 이용하는 경우를 이하에 설명한다. 화상 처리 장치(20-1)는 입력 화상의 화상 신호 SDin에 기초하여, 신(scene) 체인지 검출을 행함으로써 연속 신을 판별한다. 이 판별한 연속 신에 포함되는 입력 화상을 순차 이용하여 전체 화면의 움직임 검출을 행하고, 움직임 검출에 의해 구한 화상 움직임에 기초하여 각 입력 화상의 표시 위치를 설정한다. 또한, 설정된 표시 위치의 각 입력 화상을 역시간 순으로 중첩시킴으로써 입력 화상보다도 광화각인 광화각 화상을 생성한다. 또한, 입력 화상의 화상 움직임에 기초하여, 움직임이 검출된 입력 화상의 예를 들면, 배경 부분의 화상과 광화각 화상이 일치하도록 입력 화상을 광화각 화상에 중첩함으로써, 입력 화상보다도 광화각 임과 함께, 입력 화상의 위치가 화상 움직임에 따라 변화되는 표시 화상을 생성한다. 또한, 표시 화상의 화상 신호 SDp로부터 예를 들면, 화상 출력 신호 SDL, SDC, SDR을 생성하여, 화상 출력 신호 SDL을 프로젝터(12L)에, 화상 출력 신호 SDC를 프로젝터(12C)에, 화상 출력 신호 SDR을 프로젝터(12R)에 각각 공급함으로써, 스크린(11L, 11C, 11R)을 이용하여 광화각의 표시 화상을 표시한다. 또한, 3개의 스크린(11L, 11C, 11R)으로 구성된 화상 표시 영역보다도 표시하는 화상의 표시 사이즈가 클 때에는 화상 움직임에 따라 광화각 화상을 이동하면서 화상 표시를 행한다.

여기서, 입력 화상의 화상 사이즈는 예를 들면, NTSC 방식 등의 SD 사이즈인 경우 720 화소×480 라인으로 된다. 화상 표시 영역의 사이즈는 입력 화상보다도 큰 사이즈 예를 들면, 2160 화소×480 라인으로 한다. 또한, 영화 등에서는 어스펙트비가 SD 사이즈의 화상보다도 가로로 길기 때문에, SD 사이즈의 화상보다도 상하 폭이 작아진다. 이 때문에, 화상 표시 영역의 사이즈가 상하 방향에 대해서도 입력 화상보다 클 때에는, 입력 화상의 표시 위치를 화상 움직임에 따라 상하 좌우로 이동시켜 중첩함으로써, 광화각의 화상 표시를 행한다.

도 2는 화상 처리 장치(20-1)의 구성을 나타내고 있다. 화상 처리 장치(20-1)는 입력 화상의 화상 신호 SDin을 신 체인지 검출부(21)와 움직임 검출부(22)와 표시 화상 생성부(23)의 광화각 화상 생성부(232) 및 입력 화상 이동부(233)에 공급한다.

신 체인지 검출부(21)는, 화상 신호 SDin에 기초하여 신 체인지 검출, 즉 연 속 신과 이 연속 신과는 상이한 신과의 이음매 부분인 화상의 불연속 위치를 검출한다. 도 3은 신 체인지 검출부(21)의 구성을 도시하고 있으며, 예를 들면, 2 프레임분의 화상 신호를 이용하여 연속하는 신인지의 여부를 검출하는 것이다.

신 체인지 검출부(21)의 지연부(211)는 화상 신호 SDin을 1 프레임 지연시켜서 지연 화상 신호 SDa로 하여 차분 평균 산출부(212)에 공급한다. 차분 평균 산출부(212)는 화상 신호 SDin과 지연 화상 신호 SDa에 기초하여, 2 프레임 간의 차분 평균값 Dav를 산출하여 정규화부(214)에 공급한다. 이 차분 평균값 Dav의 산출은, 각 화소에서의 2 프레임 간의 화소값의 차분값, 예를 들면, 화소마다 휘도 레벨의 차분값을 산출하고, 얻어진 차분값의 평균값을 차분 평균값 Dav로 하여 정규화부(214)에 공급하는 것이다. 또, 1 프레임의 화상의 화소 수가 「N」이며, 화상 신호 SDin에 기초하는 휘도 레벨을 「YC」, 지연 화상 신호 SDa에 기초하는 휘도 레벨을 「YP」로 했을 때, 차분 평균값 Dav는 수학식 1에 기초하여 산출할 수 있다.

여기서, 차분 평균값 Dav는 화상의 휘도 레벨에 따라 크게 변화한다. 예를 들면, 화상이 밝은 경우, 신의 전환이 행해지지 않아도 화상의 일부가 어두운 화상으로 변화하는 것만으로 차분 평균값 Dav가 커지게 된다. 한편, 화상이 어두운 경 우, 신의 전환이 행해져도 휘도 레벨의 변화가 작기 때문에, 차분 평균값 Dav는 커지지 않는다. 이 때문에, 신 체인지 검출부(21)에 정규화부(214)를 제공함으로써, 화상의 밝기에 따라 차분 평균값 Dav의 정규화를 행하여, 화상의 밝기의 영향을 적게 하여 신 체인지 검출을 정확하게 할 수 있다.

화소값 평균 산출부(213)는, 화상 신호 SDin에 기초하여, 각 화소의 화소값에 기초하여 1 프레임에서의 화소값의 평균값, 예를 들면, 각 화소의 휘도 레벨에 기초하여 1 프레임에서의 휘도 레벨의 평균값을 산출하여, 휘도 평균값 Yav로 하여 정규화부(214)에 공급한다. 또, 상술한 바와 같이, 1 프레임의 화상의 화소 수가 「N」이며, 화상 신호 SDin에 기초하는 화소의 휘도 레벨을 「YC」로 했을 때, 휘도 평균값 Yav는 수학식 2에 기초하여 산출할 수 있다.

정규화부(214)는 화상의 밝기에 따른 차분 평균값 Dav의 정규화를 행한다. 즉, 수학식 3에 나타낸 바와 같이, 화상의 밝기를 나타내는 휘도 평균값 Yav에 따라 차분 평균값 Dav를 보정하여 차분 평균 정규화값(이하, 단순히「정규화값」이라 함) E를 생성한다.

이 정규화부(214)에서 생성된 정규화값 E는 판정부(215)에 공급된다.

판정부(215)는 미리 설정된 임계값 RLr을 갖고 있으며, 정규화값 E와 임계값 RLr을 비교하여, 정규화값 E가 임계값 RLr보다도 클 때에는 신 체인지로 판정한다. 또한, 정규화값 E가 임계값 RLr 이하일 때에는 신 체인지가 아닌 연속 신으로 판정한다. 또한, 판정부(215)는 이 판정 결과를 나타내는 신 체인지 검출 신호 SC를 생성하여 도 2에 도시하는 움직임 검출부(22)와 표시 화상 생성부(23)의 표시 위치 결정부(231)에 공급한다.

이와 같이, 정규화부(214)는 화상의 밝기에 따른 차분 평균값 Dav의 정규화를 행하며, 판정부(215)는 정규화값 E를 이용하여 신 체인지인지 연속 신인지의 판별을 행하기 때문에, 화상의 밝기의 영향을 적게 하여 신 체인지를 정확하게 검출할 수 있다.

도 4는 프레임 위치와 정규화값의 관계를 예시적으로 나타낸 것이다. 여기서, 임계값 RLr이 「0.4」로 설정되어 있는 경우, 정규화값 E가 「0.4」를 초과하는 프레임 위치를 신 체인지 검출 위치 Psc로 한다.

그런데, 상술한 신 체인지 검출부(21)에서는, 1 프레임 내의 전체 화소의 신호를 이용하여, 신 체인지 검출을 행하는 것으로 하였지만, 전체 화소의 신호를 이용하여 차분 평균값 Dav나 휘도 평균값 Yav를 산출하면, 연산 처리에 시간을 필요로 한다. 또한, 연산 처리에 필요한 시간을 짧게 하기 위해 연산 처리를 고속화하면, 연산 처리 비용이 방대해지게 된다. 이 때문에, 화소 씨닝 처리, 예를 들면, 도 5에 도시한 바와 같이, 1 프레임의 화상을 8×4 화소의 영역으로 구분하여 각 영역으로부터, 사선으로 나타내는 바와 같이, 1 화소만을 선택함으로써 화소의 씨닝을 행하여, 선택된 화소의 신호를 이용하여 차분 평균값 Dav나 휘도 평균값 Yav를 산출한다. 이와 같이, 화소의 씨닝을 행하는 것으로 하면, 연산량이 적어지기 때문에 연산 처리를 간단히 행할 수 있음과 함께, 연산 처리를 고속으로 행할 필요가 없어서 연산 처리 비용이 방대하게 되는 것도 방지할 수 있다.

또한, 상술한 신 체인지 검출부(21)에서는 정규화값 E를 이용하여 신 체인지 검출을 행하는 것으로 하였지만, 2 프레임 간의 화상의 상관 계수 r을 구하여, 이 상관 계수 r과 임계값을 비교함으로써, 높은 정밀도로 신 체인지 검출을 행할 수도 있다. 이 상관 계수 r을 이용하는 경우의 구성을 신 체인지 검출부의 다른 구성으로서 도 6에 도시한다. 신 체인지 검출부(21a)의 지연부(211)는, 화상 신호 SDin을 1 프레임 지연시켜 지연 화상 신호 SDa로 하여 상관 계수 산출부(216)에 공급한다. 상관 계수 산출부(216)는 화상 신호 SDin과 지연 화상 신호 SDa에 기초하여, 상관 계수 r의 산출을 행한다.

여기서, 1 프레임의 화상의 화소 수를 「N」, 최초 프레임의 화상 신호에 기초하는 화소의 휘도 레벨을 「YF」, 다음 프레임의 화상 신호에 기초하는 화소의 휘도 레벨을 「YS」, 최초 프레임의 화상 신호에 기초하는 화소의 휘도 레벨 평균을 「YFav」, 다음 프레임의 화상 신호에 기초하는 화소의 휘도 레벨 평균을 「YSav」로 했을 때, 상관 계수 r은 수학식 4를 이용하여 산출할 수 있다.

이 상관 계수 산출부(216)에 의해 산출된 상관 계수 r은 판정부(217)에 공급된다.

판정부(217)는 미리 설정된 임계값 RLr을 갖고 있으며, 상관 계수 r과 임계값 RLr을 비교하여, 상관 계수 r이 임계값 RLr 이하일 때에는 신 체인지로 판정한다. 또한, 상관 계수 r이 임계값 RLr 이하가 아닐 때에는 신 체인지가 아닌 연속 신으로 판정한다. 또한, 판정부(217)는 이 판정 결과를 나타내는 신 체인지 검출 신호 SC를 생성하여, 움직임 검출부(22)와 표시 위치 결정부(231)에 공급한다. 또, 도 7은 프레임 위치와 상관 계수 r의 관계를 예시적으로 나타낸 것이다. 여기서, 임계값 RLr이 예를 들면「0.4」로 설정되어 있는 경우, 상관 계수 r이 「0.4」 이하로 되는 프레임 위치를 신 체인지 검출 위치 Psc로 한다.

움직임 검출부(22)는 신 체인지 검출부(21)(21A)로부터의 신 체인지 검출 신호 SC에 의해 연속 신인 것이 나타난 프레임에 관하여, 전체 화면의 화상 움직임의 검출을 행하여, 표시 면적이 넓은 부분의 화상 움직임, 예를 들면, 배경 부분의 움직임 벡터를 검출한다. 도 8은 움직임 검출부(22)의 구성을 도시하고 있으며, 예를 들면, 블록 매칭 방법을 이용하는 경우이다.

움직임 검출부(22)의 지연부(221)는 화상 신호 SDin을 1 프레임 지연시켜 지연 화상 신호 SDb로 하여 화상 시프트부(222)에 공급한다. 화상 시프트부(222)는 지연 화상 신호 SDb에 기초하는 화상의 위치를 미리 설정된 움직임 탐색 범위 내(예를 들면, 수평 방향 ±80 화소, 수직 방향 ±40 라인)에서 수평 방향이나 수직 방향으로 순차 변경하여(예를 들면, 1 화소 혹은 1 라인씩 변경하여) 새로운 화상 출력 신호 SDC를 순차 생성한다. 이 생성된 화상 출력 신호 SDC는 차분 연산부(223)에 공급된다. 또한, 화상 시프트부(222)는 화상의 이동 방향과 이동량을 나타내는 움직임 벡터 MV를 최소값 판정부(224)에 공급한다.

차분 연산부(223)는, 화상 출력 신호 SDC와 화상 신호 SDin과의 차분값 DM을 순차 산출하여, 최소값 판정부(224)에 공급한다.

최소값 판정부(224)는 차분값 DM과, 이 차분값 DM의 산출에 이용한 화상 출력 신호 SDC를 생성할 때의 움직임 벡터 MV를 관련시켜 보존한다. 또한, 화상 시프트부(222)에 의해 움직임 탐색 범위 내에서의 화상의 이동을 완료하였을 때, 최소값 판정부(224)는 보존하고 있는 차분값 DM으로부터 최소값을 판별하여, 이 최소값으로 되는 차분값 DM과 관련되어 보존되어 있는 움직임 벡터 MV를 움직임 검출 정보 MVD로 하여 도 2에 도시하는 표시 위치 결정부(231)에 공급한다.

표시 위치 결정부(231)는 신 체인지 검출 신호 SC에 기초하여 연속 신의 기간을 판별함과 함께, 이 연속 신의 기간 중에서의 움직임 검출 정보 MVD에 기초하여, 연속 신의 기간 중의 각 입력 화상에 대한 표시 위치를 결정하고, 결정된 표시 위치를 나타내는 표시 위치 정보 JO를 광화각 화상 생성부(232)와 입력 화상 이동 부(233)에 공급한다.

이 표시 위치의 결정에서는 예를 들면, 움직임 검출 정보 MVD로 나타낸 움직임 벡터를 누적하여, 움직임 벡터의 시간 추이 정보인 움직임 누적값 MVT를 생성한다. 또한, 움직임 누적값 MVT에 기초하여 제1 이동 방향(예를 들면, 우측 방향이나 위쪽 방향)의 최대값 MVT-1과, 제1 방향과는 역방향인 제2 이동 방향(예를 들면, 좌측 방향이나 아래쪽 방향)의 최대값 MVT-2를 구하여, 최대값 MVT-1과 최대값 MVT-2에 기초하여 움직임 누적값 MVT의 변동폭 LM이나 변동폭 LM의 중앙값 MVTct를 산출한다. 또한, 이 중앙값 MVTct가 화상 표시 영역의 소정 위치 예를 들면, 중앙으로 되도록 연속 신에서의 최초의 입력 화상의 표시 위치인 초기 위치 Hst를 결정한다. 또한, 초기 위치 Hst를 기준으로 하여, 그 후의 각 프레임의 입력 화상에 대한 표시 위치를 각 입력 화상의 움직임 검출 정보 MVD에 기초하여, 배경 부분의 화상이 일치하도록 결정한다.

도 9는 광화각 화상 생성부(232)의 구성을 나타내고 있다. 광화각 화상 생성부(232)의 중첩 처리부(232a)는 연속 신으로 판별된 n 프레임분의 입력 화상의 화상 신호 SDin을 이용하여, 연속 신의 최후의 프레임으로부터 역시간 순으로 각 프레임의 입력 화상을 중첩하여, 하나의 광화각 화상을 생성한다. 여기서, 표시 위치 정보 JO는 각 프레임의 입력 화상의 배경 부분이 일치하도록 표시 위치가 움직임 검출 정보 MVD에 기초하여 결정되어 있다. 이 때문에, 표시 위치 정보 JO로 나타낸 표시 위치의 화상을 역시간 순으로 가산하면, 배경 부분이 일치된 입력 화상보다도 광화각인 광화각 화상을 생성할 수 있다. 이와 같이 하여 생성한 광화각 화상의 화상 신호 SB를 광화각 화상 위치 보정부(232c)에 공급한다.

표시 범위 판정부(232b)는, 연속 신의 각 입력 화상을 표시 위치 정보 JO로 나타낸 표시 위치에 표시하는 것으로 하였을 때, 입력 화상이 화상 표시 영역에 전부 들어가는지 여부를 판별한다. 여기서, 입력 화상이 화상 표시 영역에 전부 들어가지 않을 때에는, 시간의 경과와 함께 광화각 화상의 표시 위치를 이동시킴으로써, 화상 표시 영역을 유효하게 활용하여 광화각 화상을 표시시키는 보정 신호 CH를 생성하여 광화각 화상 위치 보정부(232c)와, 도 2에 도시하는 입력 화상 이동부(233)에 공급한다.

광화각 화상 위치 보정부(232c)는 표시 범위 판정부(232b)로부터 보정 신호 CH가 공급되어 있지 않을 때, 중첩 처리부(232a)로부터 공급된 화상 신호 SB를 도 2에 도시하는 화상 중첩부(234)에 공급한다. 또한, 후술하는 화상 중첩부(234)로부터 표시 화상의 화상 신호 SDp가 공급되었을 때에는, 이 화상 신호 SDp를 화상 신호 SB로 하여 화상 중첩부(234)에 공급한다.

또한, 표시 범위 판정부(232b)로부터 보정 신호 CH가 공급되었을 때, 광화각 화상의 표시 위치를 보정 신호 CH에 기초하여 보정하고, 위치의 보정이 행해진 광화각 화상의 화상 신호 SBa를 화상 중첩부(234)에 공급한다. 또한, 화상 중첩부(234)로부터 표시 화상의 화상 신호 SDp가 공급되었을 때에는, 이 광화각 화상의 위치를 보정 신호 CH에 기초하여 보정하고, 이 위치의 보정이 행해진 광화각 화상의 화상 신호를 화상 신호 SBa로 하여 화상 중첩부(234)에 공급한다.

입력 화상 이동부(233)는 입력 화상의 화상 신호 SDin과 표시 위치 정보 JO 에 기초하여, 연속 신의 각 입력 화상의 표시 위치를 표시 위치 정보 JO로 나타낸 위치로 한 화상 신호 SDg를 생성하여 화상 중첩부(234)에 공급한다. 또한, 표시 범위 판정부(232b)로부터 보정 신호 CH가 공급되었을 때에는, 이 보정 신호 CH에 기초하여 연속 신의 각 입력 화상의 표시 위치를 보정한다.

화상 중첩부(234)는, 화상 신호 SB(SBa)에 기초하는 광화각 화상에 대하여, 화상 신호 SDg에 기초하는 입력 화상을 중첩시켜서 표시 화상의 화상 신호 SDp를 생성한다. 여기서, 광화각 화상은 표시 위치 정보 JO로 나타낸 표시 위치의 화상을 역시간 순으로 가산한 화상이다. 또한, 표시 화상은 광화각 화상에 대하여, 입력 화상을 표시 위치 정보 JO로 나타낸 표시 위치로 하여 중첩한 것이다. 이 때문에, 표시 화상에서는, 화상 움직임이 검출된 예를 들면, 입력 화상의 배경 부분과 광화각 화상이 일치한 화상으로 되어, 광화각 화상에 입력 화상을 중첩시켜도 자연스러운 표시 화상을 얻을 수 있다. 이 표시 화상의 화상 신호 SDp는 화상 분할부(24)와 광화각 화상 생성부(232)의 광화각 화상 위치 보정부(232c)에 공급된다.

여기서, 메모리를 이용하여 화상 중첩부(234)를 구성하는 경우, 광화각 화상이나 입력 화상의 화상 신호의 기입 위치를 제어함으로써, 광화각 화상에 입력 화상을 중첩한 표시 화상의 화상 신호를 생성할 수 있다. 즉, 광화각 화상 위치 보정부(232c)는, 중첩 처리부(232a)에서 생성한 광화각 화상의 화상 신호 SB나 표시 화상의 화상 신호 SDp를 광화각 화상의 화상 신호로 하여 메모리에 기입할 때에, 보정 신호 CH에 기초하여 기입 위치를 제어한다. 또한, 입력 화상 이동부(233)는 입력 화상의 화상 신호 SDin을 메모리에 기입할 때에, 표시 위치 정보 JO에 기초하여 기입 위치를 제어하여, 입력 화상의 배경 부분이 광화각 화상과 일치하도록 입력 화상을 광화각 화상에 중첩시킨다. 또한, 보정 신호 CH에 의해 광화각 화상의 기입 위치가 이동되어 있을 때에는, 입력 화상의 기입 위치도 보정 신호 CH에 의해 보정함으로써, 입력 화상을 광화각 화상에 정확히 중첩시킬 수 있다.

화상 분할부(24)는, 화상 신호 SDp에 기초하여 예를 들면, 스크린(11L)에 표시할 화상의 화상 출력 신호 SDL을 생성한다. 마찬가지로, 스크린(11C, 11R)에 표시할 화상의 화상 출력 신호 SDC, SDR을 생성한다. 또, 메모리를 이용하여 화상 중첩부(234)를 구성하는 경우, 스크린(11L, 11C, 11R)에 대응한 영역에 광화각 화상이나 입력 화상의 화상 신호를 기입하는 것으로 하면, 각각의 영역으로부터 화상 신호를 판독함으로써, 간단히 화상 출력 신호 SDL, SDC, SDR을 생성할 수 있다. 또, 스크린(11L, 11C, 11R) 상에서, 화상 표시가 행해지고 있지 않은 영역은 예를 들면 흑색 표시로 되도록 화상 출력 신호 SDL, SDC, SDR을 생성한다.

또, 화상 중첩부(234)의 메모리 사이즈가 화상 표시 영역분으로 되어 있을 때, 표시 화상의 화상 신호 SDp를 이용하여 표시 위치의 보정을 행하면, 광화각 화상에 누락 부분이 발생하게 된다. 이 경우, 광화각 화상 위치 보정부(232c)는, 중첩 처리부(232a)에서 생성한 광화각 화상으로부터 누락 부분의 화상을 추출하여 화상 표시 영역분의 광화각 화상을 생성한다.

다음으로, 화상 처리 장치(20-1)의 동작에 대하여 설명한다. 신 체인지 검출부(21)는, 정규화값 E 혹은 상관 계수 r에 기초하여, 입력 화상의 신 체인지 위 치를 검출한다. 예를 들면, 화상 신호 SDin에 기초하는 화상이 도 10에 도시하는 것인 경우, 신 체인지 검출에 의해 프레임 F(a-1)과 프레임 F(a) 사이 및 프레임 F(a+4)와 프레임 F(a+5) 사이에서 신 체인지로 검출되어, 프레임 F(a)∼F(a+4)의 화상이 연속 신의 화상이라고 판별할 수 있다. 또한, 움직임 검출부(22)는 각 프레임의 화상에 기초하여 움직임 검출을 행하여, 움직임 검출 정보 MVD를 생성한다.

표시 위치 결정부(231)는, 연속 신의 기간 중의 각 입력 화상에 대한 표시 위치를 결정할 때에, 예를 들면, 연속 신의 기간 중의 움직임 검출 정보 MVD에 기초하는 움직임량을 누적함으로써 움직임 누적값 MVT를 생성한다. 또한, 이 움직임 누적값 MVT에 기초하여 연속 신의 기간 중의 화상 움직임에 기초하여 표시 위치를 결정한다.

도 11A, 도 11B는 움직임 누적값 MVT에 기초하는 예를 들면, 좌우 방향의 누적된 움직임 누적값을 나타내고 있다. 여기서, 도 10에 도시한 바와 같이, 연속 신의 입력 화상이 우측 방향으로 이동하는 피사체(차량) OB를 촬영한 것인 경우, 입력 화상에 대한 전체 화면의 움직임 검출에서는 배경 부분의 화상 움직임이 검출되어 움직임 검출 정보 MVD가 생성된다. 이 때문에, 움직임 누적값 MVT의 움직임량은 도 11A에 도시한 바와 같이, 좌측 방향으로 증가한다.

다음으로, 움직임 누적값 MVT에 기초하여 제1 이동 방향(예를 들면, 오른쪽 방향)의 최대값 MVT-1과, 제1 방향과는 역방향인 제2 이동 방향(예를 들면, 왼쪽 방향)의 최대값 MVT-2를 구하고, 최대값 MVT-1과 최대값 MVT-2에 기초하여 움직임 누적값 MVT의 변동폭 LM을 구하여 연속 신에서의 화상의 이동 범위를 판별한다. 이 이동 범위의 중심이 화상 표시 영역 내의 이동 가능 범위 LD(화상 표시 영역의 우측 단부에 화상을 표시했을 때와, 화상을 수평 이동시켜서 좌측 단부에 표시했을 때의 화상의 중심 간의 거리)의 중앙으로 되도록 프레임 F(a)의 입력 화상의 표시 위치인 초기 위치 Hst를 결정한다.

예를 들면, 도 11A에 도시한 바와 같이, 움직임 누적값 MVT의 변동폭 LM의 1/2인 중앙값 MVTct가 화상 표시 영역의 예를 들면, 중앙으로 되도록, 연속 신에서의 최초의 입력 화상의 표시 위치인 초기 위치 Hst를 결정한다. 여기서, 배경 부분의 움직임량이 좌측 방향으로 증가하기 때문에, 배경 부분을 일치시켜서 각 프레임의 입력 화상을 표시시키기 위해서는 입력 화상의 표시 위치를 순차적으로 우측 방향으로 이동시킬 필요가 있다. 이 때문에, 초기 위치 Hst는 화상 표시 영역의 좌측에 설정한다. 또한, 프레임 F(a+1)∼프레임 F(a+4)의 화상에 대해서는, 움직임 검출 정보 MVD로 나타낸 움직임 방향과는 역방향으로 움직임량분만큼 순차 이동시킨 위치를 입력 화상의 표시 위치로 하여, 각 프레임의 입력 화상의 표시 위치를 나타내는 표시 위치 정보 JO를 생성한다. 이와 같이, 표시 위치를 순차 이동시킴으로써, 배경 부분을 일치시켜서 각 프레임의 입력 화상을 표시할 수 있다.

또한, 피사체가 우측 방향뿐만 아니라 좌측 방향으로도 이동하여, 프레임 F(b)∼프레임 F(b+k)의 화상에 기초하는 움직임 누적값 MVT가 도 11B에 도시한 바와 같이, 우측 방향이나 좌측 방향으로 된 경우에도 마찬가지로, 움직임 누적값 MVT의 변동폭 LM의 1/2의 위치가 화상 표시 영역의 중앙 위치로 되도록 초기 위치 Hst를 설정하고, 그 후의 연속 신의 프레임 화상에 대해서는 움직임 검출 정보 MVD 에 기초하여 표시 위치를 순차 이동시킨다. 이와 같이 하여, 각 프레임의 입력 화상의 표시 위치를 결정함으로써, 피사체가 우측 방향뿐만 아니라 좌측 방향으로도 이동하는 경우에도, 각 프레임의 입력 화상의 표시 위치를 나타내는 표시 위치 정보 JO를 생성할 수 있다.

광화각 화상 생성부(232)의 중첩 처리부(232a)는, 도 10에 도시하는 연속 신의 각 프레임 F(a)∼F(a+4)의 화상을 표시 위치 정보 JO로 나타낸 표시 위치로 하여, 도 12에 도시한 바와 같이 이 표시 위치 정보 JO로 나타낸 표시 위치로 된 프레임 F(a)∼F(a+4)의 화상을 역시간 순으로, 즉 프레임 F(a+4)의 화상으로부터 순차 가산한다. 이 입력 화상을 순차 중첩한 화상은, 입력 화상의 배경 부분이 일치한 화상임과 함께 입력 화상보다도 광화각으로 된다. 여기서, 연속 신의 각 입력 화상을 중첩하여 얻어진 광화각의 화상을 광화각 화상으로 하여, 이 광화각 화상의 화상 신호 SB를 생성한다. 이와 같이, 표시 위치 정보 JO로 나타낸 표시 위치의 입력 화상을 역시간 순으로 순차 가산하는 것만으로, 입력 화상의 배경 부분이 일치한 화상임과 함께 입력 화상보다도 광화각인 광화각 화상을 간단히 생성할 수 있다. 또한, 광화각 화상은 표시 위치 정보 JO로 나타낸 위치의 입력 화상을 역시간 순으로 연속 신의 최초까지 중첩한 것이기 때문에, 연속 신 내의 입력 화상을 표시 위치 정보 JO에 기초하여 이동시켰을 때에 화상의 표시가 행해지는 표시 범위와 광화각 화상의 화상 사이즈가 동일하게 된다.

표시 범위 판정부(232b)는, 연속 신의 최초의 입력 화상을 초기 위치 Hst에 표시하고 나서, 움직임 검출 정보 MVD로 나타낸 움직임량만큼 표시 위치를 움직임 벡터 방향과는 역방향으로 이동시켰을 때, 입력 화상이 화상 표시 영역을 초과하게 되는지 여부를 판별한다. 예를 들면, 움직임 누적값 MVT에 기초하여 변동폭 LM을 산출하고, 이 변동폭 LM과 화상 표시 영역 내의 이동 가능 범위 LD를 비교하여, 도 11A, 도 11B에 도시한 바와 같이, 변동폭 LM이 이동 가능 범위 LD 이하인지, 혹은 도 13A, 도 13B에 도시한 바와 같이, 변동폭 LM이 이동 가능 범위 LD보다도 큰지를 판별한다. 여기서, 변동폭 LM이 이동 가능 범위 LD보다도 크다고 판별했을 때에는, 입력 화상을 표시 위치 정보 JO에 기초하여 이동시켜도 화상 표시 영역을 초과하게 되지 않도록, 표시 위치를 보정하는 보정 신호 CH를 생성하여 광화각 화상 위치 보정부(232c)와 입력 화상 이동부(233)에 공급한다.

이 입력 화상이 화상 표시 영역을 초과하게 되지 않도록 표시 위치를 보정하는 표시 위치 보정 방법으로서는, 예를 들면 도 13A 및 도 13B에 도시한 바와 같이, 화상 표시 영역의 중앙 위치 PC를 기준으로 함과 함께, 중앙값 MVTct의 위치를 화상 표시 영역의 중앙 위치 PC로 하여, 중앙 위치 PC로부터 각 입력 화상의 표시 위치까지의 거리 LP를 산출한다. 여기서, 계수 (LD/LM)을 보정 신호 CH로 하여 거리 LP에 승산하면, 파선으로 나타낸 바와 같이, 입력 화상이 화상 표시 영역을 초과하게 되지 않도록 표시 위치를 보정할 수 있다.

다음으로, 다른 표시 위치 보정 방법을 설명한다. 여기서 도 14의 (A)에 도시하는 것 같이, 광화각 화상의 수평 방향의 화상 사이즈를 「ZB」로, 도 14의 (B)에 도시한 바와 같이, 화상 표시 영역의 수평 방향의 표시 사이즈를 「ZW」로, 도 14의 (C)에 도시한 바와 같이, 입력 화상의 수평 방향의 화상 사이즈를 「ZP」로 한다.

화상 표시 영역의 예를 들면, 좌측 단부를 기준으로 한 경우, 계수 {(ZB-ZW)/(ZB-ZP)}를 보정 신호 CH로 하여, 이 보정 신호 CH를 수학식 5에 나타낸 바와 같이, 움직임 검출 정보 MVD로 나타낸 움직임량 Va에 승산하여, 새로운 움직임량 Vb를 산출한다.

이 움직임량 Vb에 기초하여 표시 위치를 결정한다.

이와 같이, 광화각 화상의 화상 사이즈를 이용하여도, 이 광화각 화상의 화상 사이즈가 입력 화상의 표시 범위와 동일하기 때문에, 새로운 운동량 Vb에 기초하여 표시 위치를 결정하면, 도 14의 (D)∼도 14의 (F)에 도시한 바와 같이, 광화각 화상이나 입력 화상이 피사체(차량) OB가 움직이는 방향과는 역방향으로 이동되기 때문에, 화상 표시 영역을 유효하게 활용하여, 효과적으로 광화각의 화상 표시를 행할 수 있다.

또한, 초기 위치 Hst가 화상 표시 영역의 좌측 단부가 아닐 때에는, 수학식 6에 나타내는 바와 같이, 초기 위치의 보정을 행하여, 새로운 초기 위치 Hst'을 설정한다.

이 초기 위치 Hst'으로부터 움직임량 Vb에 기초하여 표시 위치를 순차 설정함으로써, 입력 화상이 화상 표시 영역을 초과하게 되지 않도록 표시 위치를 보정할 수 있다.

또한, 수직 방향에 대해서도, 수평 방향인 경우와 마찬가지로 처리함으로써, 입력 화상이 화상 표시 영역을 초과하게 되지 않도록 표시 위치를 보정할 수 있다. 또, 입력 화상의 표시 위치를 이동하여도, 입력 화상이 화상 표시 영역을 초과하게 되지 않을 때에는, 표시 위치의 보정을 행하지 않는 것으로 하여, 도 14의 (G)에 도시한 바와 같이, 화상 표시 영역의 중앙에 화상을 표시한다.

광화각 화상 위치 보정부(232c)는 보정 신호 CH가 공급되었을 때, 이 보정 신호 CH에 기초하여 광화각 화상의 표시 위치를 이동시키며, 이 이동 후의 광화각 화상의 화상 신호 SBa를 화상 중첩부(234)에 공급한다.

또한, 광화각 화상 위치 보정부(232c)에는 후술하는 화상 중첩부(234)로부터 표시 화상의 화상 신호 SDp가 공급되었을 때, 이 표시 화상의 화상 신호 SDp를 새로운 광화각 화상의 화상 신호 SB로 하여 화상 중첩부(234)에 공급한다. 또, 표시 화상의 화상 신호 SDp를 새로운 광화각 화상의 화상 신호 SBa로서 이용할 때에, 보정 신호 CH에 기초하여 광화각 화상의 표시 위치를 이동시키며, 화상이 없는 부분이 발생하게 될 때에는 상술한 바와 같이, 화상이 없는 부분의 화상을 중첩 처리부(232a)에서 생성한 광화각 화상으로부터 추출하여 이용하는 것으로 한다.

입력 화상 이동부(233)는 표시 위치 정보 JO에 기초하여, 화상 신호 SDin에 기초하는 입력 화상의 표시 위치를 결정한다. 또한, 보정 신호 CH에 기초하여 광 화각 화상의 표시 위치가 이동될 때에는, 광화각 화상 위치 보정부(232c)와 마찬가지로 보정 신호 CH에 기초하여 화상 신호 SDin에 기초하는 입력 화상의 표시 위치를 광화각 화상에 대응시켜 이동한다. 이 이동 후의 입력 화상의 화상 신호 SDg를 화상 중첩부(234)에 공급한다.

화상 중첩부(234)는, 광화각 화상에 대하여 입력 화상을 중첩하여, 표시 화상의 화상 신호 SDp를 생성한다. 또한, 생성한 표시 화상의 화상 신호 SDp를 화상 분할부(24)와 광화각 화상 위치 보정부(232c)에 공급한다.

화상 분할부(24)에서는, 화상 신호 SDp로부터 화상 출력 신호 SDL, SDC, SDR을 생성하여, 화상 출력 신호 SDL을 프로젝터(12L)에, 화상 출력 신호 SDC를 프로젝터(12C)에, 화상 출력 신호 SDR을 프로젝터(12R)에 각각 공급함으로써, 스크린(11L, 11C, 11R)를 이용하여 입력 화상보다도 광화각의 화상 표시를 행한다.

이와 같이, 화상 신호 SDin에 기초하는 입력 화상을 광화각 화상에 중첩하여 표시 화상으로 함과 함께, 이 표시 화상을 새로운 광화각 화상으로 하면, 도 15의 (A)에 도시하는 입력 화상이 도 15의 (B)에 도시하는 광화각 화상에 중첩되어, 도 15의 (C)에 도시한 바와 같이, 원하는 피사체 OB가 순차 이동하는 광화각의 표시 화상을 생성할 수 있다. 또한, 입력 화상의 표시 위치를 화상 움직임에 기초하여 이동시켰을 때, 화상 표시 영역을 초과하게 되는 경우가 발생하여도, 화상 표시 영역을 초과하게 되지 않도록 표시 위치의 보정이 행해져서, 피사체가 표시 화면 상에서 이동하는 것뿐만 아니라 광화각 화상도 역방향으로 이동되기 때문에, 화상 표시 영역을 유효하게 활용하여 광화각의 화상 표시를 행할 수 있다.

그런데, 상술한 화상 처리 장치에서의 화상 처리 동작은 컴퓨터를 이용하여 소프트웨어에 의해 실현하는 것으로 하여도 된다. 이 경우의 구성을 도 16에 도시한다. 컴퓨터는 도 16에 도시한 바와 같이, CPU(Central Processing Unit)(501)를 내장하고 있으며, 이 CPU(501)에는 버스(520)를 통해 ROM(502), RAM(503), 하드 디스크 드라이브(504), 입출력 인터페이스(505)가 접속되어 있다. 또한, 입출력 인터페이스(505)에는 입력부(511)와 기록 매체 드라이브(512), 통신부(513), 화상 신호 입력부(514), 화상 신호 출력부(515)가 접속되어 있다.

외부 장치로부터 명령이 입력되거나, 키보드나 마우스 등의 조작 수단 혹은 마이크 등의 음성 입력 수단 등을 이용하여 구성된 입력부(511)로부터 명령이 입력되면, 이 명령이 입출력 인터페이스(505)를 통해 CPU(501)에 공급된다.

CPU(501)는 ROM(502)이나 RAM(503) 혹은 하드 디스크 드라이브(504)에 기억되어 있는 프로그램을 실행하여, 공급된 명령에 따른 처리를 행한다. 또한, ROM(502)이나 RAM(503) 혹은 하드 디스크 드라이브(504)에는, 상술한 화상 처리 장치와 마찬가지인 처리를 컴퓨터에 의해 실행시키기 위한 화상 처리 프로그램을 미리 기억시켜서, 화상 신호 입력부(514)에 입력된 화상 신호 SDin에 기초하여 화상 출력 신호 SDL, SDC, SDR을 생성하고, 화상 신호 출력부(515)로부터 출력한다. 또한, 기록 매체에 화상 처리 프로그램을 기록해 두는 것으로 하여, 기록 매체 드라이브(512)에 의해, 화상 처리 프로그램을 기록 매체에 기록하거나 혹은 기록 매체에 기록되어 있는 화상 처리 프로그램을 판독하여 컴퓨터에 의해 실행하는 것으로 하여도 된다. 또한, 통신부(513)에 의해, 전송로를 통한 화상 처리 프로그램의 송 신 혹은 수신을 행하는 것으로 하여, 수신한 화상 처리 프로그램을 컴퓨터에 의해 실행하는 것으로 하여도 된다.

도 17은 화상 처리 동작을 나타내는 흐름도이다. 단계 ST1에서는 신 체인지 검출을 행한다. 도 18은 신 체인지 검출 동작을 나타내는 흐름도이다. 단계 ST11에서는, 프레임 간의 차분 평균값 Dav와 프레임 내의 휘도 평균값 Yav를 산출하여 단계 ST12로 진행한다. 단계 ST12는, 휘도 평균값 Yav를 이용하여 차분 평균값 Dav의 정규화를 행하여 정규화값 E를 산출한다.

단계 ST13은, 정규화값 E와 임계값 RLr을 비교하여 신 체인지인지의 여부를 판별한다. 여기서, 정규화값 E가 임계값 RLr 이하일 때에는 단계 ST14로 진행하여, 연속 신으로 판별한다. 또한, 정규화값 E가 임계값 RLr보다도 클 때에는 단계 ST15로 진행하여, 신 체인지라고 판별한다. 이와 같이 하여 정규화값 E에 기초하여 연속 신을 판별한다.

또, 신 체인지 검출에서는 상술한 바와 같이, 상관 계수 r을 산출하여, 이 상관 계수 r과 임계값을 비교하여 연속 신을 판별하는 것으로 하여도 된다. 이 경우, 단계 ST11과 단계 ST12의 처리 대신, 상술한 수학식 4에서 나타낸 상관 계수 r의 산출을 행하며, 단계 ST13에서는 상관 계수 r이 임계값보다도 작을 때에는 단계 ST14로 진행하여 연속 신으로 판별한다. 또한, 상관 계수 r이 임계값보다도 작을 때에는 단계 ST15로 진행하여, 신 체인지라고 판별한다.

도 17의 단계 ST2에서는, 연속 신의 입력 화상에 대하여 전체 화면의 움직임 검출을 행하고, 입력 화상의 예를 들면, 배경 부분의 움직임량이나 움직임 방향을 나타내는 움직임 검출 정보를 생성하여 단계 ST3으로 진행한다. 단계 ST3은, 움직임 검출 정보에 기초하여 연속 신의 각 프레임의 입력 화상에 대한 표시 위치를 산출하여 단계 ST4로 진행한다. 단계 ST4에서는, 연속 신의 각 입력 화상을 이용하여 광화각 화상을 생성한다.

도 19는, 광화각 화상의 생성 동작을 나타내고 있다. 단계 ST21에서는, 변수 i를 연속 신의 프레임 수 KF로 설정하여 단계 ST22로 진행한다. 단계 ST22에서는 변수 i가 「0」보다도 큰지 여부를 판별한다.

여기서, 변수 i가 「0」보다도 클 때에는 단계 ST23으로 진행하여, i 번째의 프레임의 입력 화상을 단계 ST3에서 산출한 표시 위치로 하여 화상의 중첩을 행하고 단계 ST24로 진행한다. 단계 ST24에서는, 변수 i로부터 「1」을 감산하여, 얻어진 감산값을 새롭게 변수 i로서 설정하여 단계 ST22로 되돌아간다. 이 단계 ST22∼단계 ST24의 처리를 반복함으로써 도 12에 도시하는 처리가 행해진다. 그 후, 연속 신의 최초의 입력 화상이 중첩되면 변수 i가 「0」으로 되기 때문에 광화각 화상의 생성 처리가 종료된다.

도 17의 단계 ST5에서는, 단계 ST3에서 산출된 표시 위치에 입력 화상을 표시시켰을 때, 입력 화상이 화상 표시 영역을 초과하게 되는지 여부를 판별한다. 여기서, 입력 화상이 화상 표시 영역을 초과하게 되지 않을 때에는 단계 ST7로 진행한다. 또한, 입력 화상이 화상 표시 영역을 초과하게 될 때에는 단계 ST6으로 진행한다. 단계 ST6에서는, 표시 위치의 보정을 행한다. 이 표시 위치의 보정에서는 광화각 화상과 입력 화상의 표시 위치를 보정하여 단계 ST7로 진행한다. 단 계 ST7에서는, 광화각 화상에 입력 화상을 중첩하여 표시 화상을 생성한다.

도 20은 표시 화상의 생성 동작을 나타내는 흐름도이다. 단계 ST31에서는, 변수 j를 「1」로 설정하여 단계 ST32로 진행한다. 단계 ST32에서는, 변수 j의 값이 연속 신의 프레임 수 KF보다도 큰지 여부를 판별한다. 여기서, 변수 j의 값이 연속 신의 프레임 수 KF보다도 크지 않을 때에는 단계 ST33으로 진행한다.

단계 ST33에서는, 광화각 화상에 입력 화상을 중첩한다. 또, 화상을 중첩시킬 때에는 단계 ST3에서 산출된 표시 위치, 혹은 단계 ST7에서 표시 위치의 보정이 행해졌을 때에는, 보정된 표시 위치에 기초하여 광화각 화상과 입력 화상을 중첩시킨다. 이 때, 입력 화상과 움직임을 검출한 배경 부분의 화상은 일치하게 된다. 단계 ST34에서는, 입력 화상을 중첩시킨 화상을 j 프레임째의 표시 화상으로 하여 단계 ST35로 진행한다. 단계 ST35에서는, 이 표시 화상을 새로운 광화각 화상으로 하여 단계 ST36으로 진행한다.

단계 ST36에서는, 새로운 광화각 화상을 보정된 표시 위치에 표시시켰을 때, 화상의 누락 부분이 발생하고 있는지의 여부를 판별한다. 여기서, 화상의 누락 부분이 없을 때에는 단계 ST38로 진행한다. 또한, 화상의 누락 부분이 발생했을 때에는 단계 ST37로 진행한다. 단계 ST37에서는, 누락 부분에 대응하는 화상을 단계 ST4에서 생성한 광화각 화상으로부터 추출함으로써, 누락 부분의 화상을 보충하여 단계 ST38로 진행한다.

단계 ST38에서는, 변수 j에 「1」을 가산하여, 얻어진 가산값을 새롭게 변수 j로 하여 단계 ST32로 되돌아간다. 이 단계 ST32∼단계 ST38의 처리를 반복함으로 써, 연속 신의 각 입력 화상으로부터 광화각의 표시 화상을 생성할 수 있다.

그 후, 연속 신의 최후의 입력 화상이 중첩되면 변수 i가 「KF+1」로 되며 단계 ST32에서 변수 i가 「KF」보다도 크다고 판별되면, 표시 화상의 생성 처리를 종료한다.

도 17의 단계 ST8에서는, 생성된 표시 화상을 화상 표시 장치에 대응시켜 분할하여, 화상 출력 신호를 생성한다. 예를 들면, 도 1에 도시한 바와 같이, 3개의 프로젝터(12L, 12C, 12R)를 이용하여, 표시 화상을 스크린(11L, 11C, 11R)에 표시시키는 경우, 표시 화상을 스크린(11L, 11C, 11R)마다 분할하고, 이 분할 화상의 화상 신호를 화상 출력 신호 SDL, SDC, SDR로 하여, 프로젝터(12L, 12C, 12R)에 공급한다.

이와 같이, 상술한 형태에 따르면, 종래의 고정 위치에서 표시되어 있었던 입력 화상을 입력 화상 내의 화상 움직임에 따라 표시 위치가 이동되는 화상으로 하여 표시할 수 있음과 함께, 예를 들면, 배경 부분이 광화각 화상으로서 표시되기 때문에, 현장감이 높거나, 혹은 이해하기 쉬운 시청이 가능해진다. 또, 촬영 시의 카메라 움직임, 혹은 카메라의 방향에 충실한 표현이 가능하여, 현실 세계와 동일한 위치, 동일한 방향으로 화상이 제시되기 때문에, 시청자는 현실과 동일한 공간, 혹은 움직임을 시청 시에 취득할 수 있다. 또한, 화면 자체의 움직임에 의해, 종래보다도 큰 약동감을 광화각의 표시 화상으로부터 얻는 것이 가능하며, 시청자 자신의 얼굴 방향의 움직임 등에 의해, 완전히 수동적이었던 움직임 표현의 시청을, 시선을 움직이는 액티브한 조작으로 느끼는 것이 가능해진다.

또, 상술한 화상 처리 장치(20-1)는 연속 신을 판별하고 나서, 이 연속 신에서의 전체 화면의 움직임 벡터에 기초하여 표시 위치를 이동시키는 것이며, 복수의 연속 신의 화상 출력 신호 SDL, SDC, SDR을 리얼타임으로 생성하는 것이 곤란하다. 이 때문에, 화상 출력 신호 SDL, SDC, SDR을 기록 매체에 기록하고, 그 후 기록 매체에 기록되어 있는 화상 출력 신호 SDL, SDC, SDR을 동기하여 재생함으로써, 복수의 스크린을 이용하여, 광화각임과 함께 피사체의 움직임에 대응시켜서 피사체의 표시 위치를 이동시킬 수 있다. 또한, 화상 신호 SDin과 표시 위치 결정부(231)에서 결정된 표시 위치를 나타내는 표시 위치 정보 JO 및 연속 신마다의 광화각 화상 등을 관련시켜 기록 매체에 기록하며, 화상 표시를 행할 때에는 화상 신호 SDin과 이 화상 신호 SDin에 관련되어 기억되어 있는 표시 위치 정보 JO나 광화각 화상을 기록 매체로부터 판독하여 화상 출력 신호 SDL, SDC, SDR도 생성하는 것으로 하여도 된다. 이 경우에는, 화상 출력 신호 SDL, SDC, SDR을 기록해 둘 필요가 없기 때문에, 기록하는 신호량을 적게 할 수 있다. 또한, 영상 콘텐츠의 송출측에서 상술한 처리를 행하고나서 송신을 행하는 것으로 하면, 화상 신호 SDin이나 표시 위치 정보 JO 및 광화각 화상 등을 관련시켜 기록해 두지 않고 현장감이 높은 광화각의 화상 표시를 행할 수 있다.

또한, 화상 표시 영역을 설정하고 나서 표시 위치의 결정이나 화상 출력 신호 SDL, SDC, SDR의 생성을 행할 수 있기 때문에, 스크린 사이즈나 스크린 수 등이 변경되어도 용이하게 대응시켜서 현장감이 높은 화상 표시를 행할 수 있다.

또한, 새롭게 영상 소스나 다른 포맷을 만들지 않아도, 종래의 텔레비전용이 나 비디오 영상 등의 콘텐츠의 화상 신호를 이용하여 본원의 처리를 실시함으로써, 종래의 영상 감상 이상의 현장감을 얻을 수 있다.

이와 같이, 입력 화상의 신 체인지와 입력 화상 내의 화상 움직임을 검출하여, 검출된 신 체인지에 기초하여 판별된 연속 신의 기간 중에서의 화상 움직임에 기초하여, 연속 신의 기간 중의 입력 화상을 중첩시켜서, 입력 화상보다도 광화각이고 입력 화상의 위치가 화상 움직임에 따라 변화되는 표시 화상이 생성된다. 이 때문에, 현장감이 높은 광화각의 화상 표시를 행할 수 있다.

또한, 연속 신의 기간 중에 검출된 화상 움직임에 기초하여, 입력 화상의 표시 위치를 결정하는 것으로 하여, 표시 위치가 결정된 입력 화상을 중첩시켜, 입력 화상보다도 광화각인 광화각 화상을 생성하며, 표시 위치로 이동된 입력 화상을 광화각 화상에 중첩함으로써 표시 화상이 생성된다. 이 때문에, 표시 화상에서는 화상 움직임이 검출된 예를 들면, 입력 화상의 배경 부분과 광화각 화상이 일치한 화상으로 되어, 광화각 화상에 입력 화상을 중첩시켜도 자연스러운 표시 화상을 얻을 수 있다.

또한, 표시 위치가 결정된 연속 신의 기간 중의 입력 화상을 역시간 순으로 순차 중첩함으로써 광화각 화상이 생성된다. 이 때문에, 광화각 화상을 용이하게 생성할 수 있다. 또한, 생성한 광화각 화상의 사이즈가 표시 화상을 표시하는 화상 표시 영역의 사이즈보다도 큰 경우, 연속 신의 기간 중에 광화각 화상의 표시 위치가, 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 이동됨과 함께, 광화각 화상의 이동에 수반하여, 연속 신의 기간 중의 입력 화상에 대한 표시 위치가 보정된다. 이 때문에, 입력 화상이 화상 표시 영역 내에 들어가도록 표시 화상을 생성할 수 있음과 함께, 자연스러운 표시 화상을 얻을 수 있다. 또한, 표시 화상을 표시하는 화상 표시 영역이 복수의 표시 영역으로 구성되어 있을 때, 복수의 표시 영역에 대응시켜서 표시 화상이 분할되기 때문에, 화상 표시 영역의 구성에 따라 현장감이 높은 화상 표시를 행할 수 있다.

그런데, 고정된 화상 프레임에 순차적으로 화상을 표시하는 경우, 표시 화상에서의 신의 전환을 정확히 파악하지 않으면, 방송 프로그램이나 영화 등의 내용을 간단히 이해하는 것이 곤란한 경우가 발생하게 된다. 또한, 신 전환이 반복하여 행해지면, 각 신의 관련성을 파악하는 것도 곤란해진다. 또한, 이전 신의 화상을 보고 있지 않으면, 다음 신의 내용을 이해할 수 없는 경우도 생각할 수 있다. 이 때문에, 화상 처리 장치(20-2)를 이용하여, 현장감이 높으며 이해하기 쉬운 화상 표시를 행하는 경우를 제2 형태로 하여 설명한다.

이 화상 처리 장치(20-2)는 입력 화상의 화상 신호 SDin에 기초하여 신 체인지 검출을 행함으로써 신 전환을 판별하고, 판별 결과에 기초하여 신마다 화상 표시 위치를 전환한다. 또한, 화상 표시 위치를 전환하는 경우, 내용이 동일한 신이나 내용이 연속하고 있는 신(이하「관련 신」이라 함)은 관련 신 간에 존재하는 다른 신의 수가 적을 때, 관련 신인 것을 용이하게 파악할 수 있도록 동일한 위치에 표시한다.

도 21A, 도 21B는 제2 형태에서의 화상 표시 동작을 나타내고 있다. 입력 화상의 신이 예를 들면, 도 21A에 도시하는 순서로 되어 있으며, 신 2와 신 4는 관 련 신이다. 이 경우, 도 21B에 도시한 바와 같이, 예를 들면 신 CN1의 화상을 스크린(11L)에 표시한다. 다음 신 CN2의 화상은 스크린(11C)에 표시함과 함께, 신 CN3의 화상은 스크린(11R)에 표시한다. 신 CN4는 신 CN2와 관련된 신이기 때문에, 신 CN2의 화상이 표시되어 있는 스크린(11C)에 신 CN4의 화상을 표시한다. 또한, 각 신 CN의 최후의 화상을 다음 신이 표시될 때까지 정지 화상으로서 표시한다.

여기서, 상술한 바와 같이, 신마다 표시 위치를 전환하는 경우, 화상 처리 장치(20-2)는 리얼타임 처리 혹은 오프 라인 처리에 의해 표시 위치의 전환을 행한다. 리얼타임 처리인 경우, 화상 처리 장치(20-2)는 입력 화상의 화상 신호 SDin에 기초하여 신 체인지 검출을 행함과 함께, 과거의 신으로부터 관련 신을 판별한다. 이 신 체인지 검출 결과와 관련 신 판별 결과에 기초하여, 입력 화상의 표시 위치를 리얼타임으로 전환한다. 또한, 전환된 표시 위치에 입력 화상을 표시하는 화상 출력 신호 SDL, SDC, 및 SDR을 생성하여 출력한다.

또한, 오프 라인 처리의 경우, 화상 처리 장치(20-2)는 축적되어 있는 화상 신호 SDin을 판독하여 신 체인지 검출을 행한다. 또한, 신 체인지 검출에 의해 검출된 각 신의 관련성을 판별하여, 과거나 미래의 신으로부터 현재의 신의 표시 위치를 결정한다. 또한, 결정한 표시 위치를 나타내는 표시 위치 정보 JP를 화상 신호 SDin과 관련시켜 보존한다. 그 후, 화상 표시를 행하는 경우에는 입력 화상의 화상 신호 SDin과 표시 위치 정보 JP를 판독하고, 이 화상 신호 SDin과 표시 위치 정보 JP에 기초하여, 전환된 표시 위치에 입력 화상을 표시하는 화상 출력 신호 SDL, SDC, SDR을 생성하여 출력한다.

도 22는, 리얼타임 처리를 행하는 경우의 화상 처리 장치(20-2a)의 구성을 도시하고 있다. 입력 화상의 화상 신호 SDin은, 신 체인지 검출부(21)와 표시 위치 제어부(27a)의 위치 설정부(251) 및 표시 제어부(27a)의 위치 전환부(271)에 공급된다.

신 체인지 검출부(21)는, 화상 신호 SDin에 기초하여 신 체인지 검출, 즉 연속 신과 이 연속 신과는 상이한 신의 이음매 부분인 화상의 불연속 위치를 검출한다. 이 신 체인지 검출부(21)는 상술한 도 3이나 도 6에 도시한 바와 같이 구성함으로써, 신 체인지 검출 신호 SC를 생성할 수 있다.

위치 설정부(251)는, 신 체인지 검출 신호 SC가 공급되었을 때에, 후술하는 1 프레임 지연부(252L, 252c, 252R)로부터 공급된 전(前)프레임 화상 출력 신호 SDL-d, SDC-d, SD-d와 화상 신호 SDin과의 차분을 계산한다. 또한, 가장 작은 차분값을 판별하여, 이 차분값이 소정값보다도 작을 때, 차분값이 가장 작아지는 전프레임 화상 신호에 따른 화상 표시 위치를 입력 화상의 표시 위치로 설정한다. 또한, 가장 작은 차분값이 소정값보다도 작을 때에는 소정의 순서로 표시 위치를 전환한다. 이와 같이 하여 설정한 표시 위치를 나타내는 표시 위치 정보 JP를 위치 전환부(271)에 공급한다.

위치 전환부(271)는, 표시 위치 정보 JP에 기초하여, 신호 출력부(272L, 272C, 272R) 중 어느 하나에 화상 신호 SDin을 공급한다. 신호 출력부(272L, 272C, 272R)는, 화상 메모리를 이용하여 구성한다. 신호 출력부(272L)는 화상 신호 SDin이 공급되었을 때, 화상 메모리에 순차적으로 화상 신호 SDin을 기입한다. 또한, 기입된 화상 신호 SDin을 판독하여 1 프레임 지연부(252L)에 공급함과 함께 화상 출력 신호 SDL로서 출력한다. 또한, 신호 출력부(272L)는, 화상 신호 SDin의 공급이 정지되었을 때, 최후의 프레임의 화상 신호 SDin을 보존하며, 이 보존하고 있는 신호를 반복하여 판독하는 것으로 한다.

신호 출력부(272C, 272R)도 신호 출력부(272L)와 마찬가지로 구성되어 있으며, 공급된 화상 신호 SDin을 화상 메모리에 순차 기입한다. 또한, 기입된 화상 신호 SDin을 판독하여 1 프레임 지연부(252C, 252R)에 공급함과 함께, 화상 출력 신호 SDC, SDR로서 출력한다. 또한, 화상 신호 SDin의 공급이 정지되었을 때에는, 최후의 프레임의 화상 신호 SDin을 보존하고, 이 보존하고 있는 신호를 반복하여 판독한다.

여기서, 도 21A에 도시하는 신 순서의 화상 신호 SDin이 화상 처리 장치(20-2a)에 공급되었을 때, 신 CN1의 화상 신호 SDin은 예를 들면, 신호 출력부(272L)에 공급되어 화상 출력 신호 SDL로서 출력된다. 신 CN2는 신 CN1과 관련되어 있지 않기 때문에, 차분값이 소정값보다도 작아지지 않아서, 신 CN2의 화상 신호 SDin은 예를 들면 신호 출력부(272C)에 공급되어 화상 출력 신호 SDC로서 출력된다. 신 CN3도 신 CN1, CN2와 관련되어 있지 않기 때문에, 신 CN3의 화상 신호 SDin은 예를 들면, 신호 출력부(272R)에 공급되어 화상 출력 신호 SDR로서 출력된다. 신 CN4과 신 CN2는 관련 신이기 때문에, 화상 신호 SDin과 전프레임 화상 출력 신호 SDC-d와의 차분값이 최소로 됨과 함께 소정값보다도 작아진다. 이 때문에, 신 CN4의 화상 신호 SDin은 신 CN2의 화상 신호 SDin이 공급된 신호 출력부(272C)에 공급되어 화 상 출력 신호 SDC로서 출력된다.

이 때문에, 화상 처리 장치(20-2a)로부터의 화상 출력 신호 SDL, SDC, SDR에 의해, 도 21B에 도시하는 화상 표시가 행해져서, 신의 전환이 명확해져, 이해하기 쉬운 시청이 가능해진다. 또한, 촬영 시의 카메라 전환이나 편집 시의 화면 전환 등을 표시 위치의 변화로서 표현할 수 있기 때문에, 다채로운 화상 표시가 가능해진다. 또, 과거의 신이 정지 화상으로서 별도의 화면에 표시되기 때문에, 과거의 신을 놓치더라도 확인할 수 있음과 함께, 신끼리 비교할 수도 있다. 또한, 관련 신이 동일한 위치에 표시되기 때문에, 각 신의 관련성도 파악할 수 있다.

다음으로, 오프 라인 처리의 경우에 대하여 도 23을 이용하여 설명한다. 화상 처리 장치(20-2b)는 축적부(29)를 갖고 있으며, 이 축적부(29)에 입력 화상의 화상 신호 SDin을 기억한다. 또한, 축적부(29)에 기억되어 있는 화상 신호 SDin은, 판독되어 신 체인지 검출부(21)에 공급된다.

신 체인지 검출부(21)는 상술한 바와 같이, 신 체인지 검출 신호 SC를 생성하여 표시 위치 제어부(25b)의 관련 신 판별부(253)에 공급한다. 관련 신 판별부(253)는 신 체인지 검출 신호 SC에 기초하여, 화상 신호 SDin의 각 신을 검출함과 함께, 후술하는 상관값 산출부(254)에 의해 산출된 신 상관값을 이용하여, 관련 신의 판별을 행한다.

여기서, 관련 신을 동일한 위치에 표시하는 것으로 하여도, 표시 영역의 수가 한정되어 있기 때문에, 관련 신 간에 다른 신이 많이 표시되면, 관련 신을 동일한 위치에 표시하여도, 시청자는 신의 관련성을 파악할 수 없다. 이 때문에, 소정 의 신 범위에서 관련 신이 있을 때, 관련 신을 동일한 위치에 표시시킨다. 이 관련 신의 판정에서는, 소정의 신 범위를 관련 신의 탐색 범위로 함과 함께, 이 탐색 범위를 표시 영역의 수에 따라 설정하고, 이 탐색 범위 내에서 관련 신의 판정을 순차적으로 행한다. 예를 들면, 상술한 바와 같이, 3개의 표시 영역을 이용할 때에는 미래의 5 신까지를 탐색 범위로 하여, 신 CN1부터 신 CN6까지를 탐색 범위로 한다. 또한, 신 CN2에 대하여 신 CN7까지를 탐색 범위로 한다. 이하 마찬가지로 탐색 범위를 설정하여, 관련 신의 판정을 행한다.

관련 신 판별부(253)는, 탐색 범위에 포함되는 각 신의 화상 신호를 신 단위로 판독하기 위한 신 판독 정보 JC를 생성하여, 축적부(29)에 공급한다. 축적부(29)에서는, 신 판독 정보 JC로 나타낸 각 신의 화상 신호 SDin을 판독하여, 상관값 산출부(254)에 공급한다.

상관값 산출부(254)에서는, 축적부(29)로부터 공급된 화상 신호를 이용하여, 탐색 범위 내의 선두 신과 다른 신과의 신 상관값 CV를 각각 산출한다.

이 신 상관값 CV의 산출에서는, 선두 신의 최종 프레임의 화상 신호와, 다른 신에서의 선두 프레임의 화상 신호를 이용하여, 상술한 신 체인지 검출과 마찬가지로 정규화값을 산출하고, 이 정규화값을 신 상관값 CV로 하여 관련 신 판별부(253)에 공급한다. 또, 신 상관값 CV로서 상관 계수를 이용하는 것으로 하여도 되는 것은 물론이다.

또한, 신 상관값 CV의 산출은, 평균화 화상을 이용하는 것으로 하여도 된다. 이 평균화 화상은 신 내의 각 프레임의 화상을 화소마다 가산하여 신 내의 프레임 수로 제산함으로써 생성한다. 이와 같이, 평균화 화상을 이용함으로써 화상 자체가 평균화되기 때문에, 선두 신에서의 최종 프레임의 화상과, 선두 신에 관련한 새로운 신에서의 선두 프레임의 화상이 상이한 화상으로 되어 있어도, 정규화값이 작아진다. 또한, 선두 신의 최종측의 복수 프레임과, 다른 신의 선두측 복수 프레임을 이용하여 평균화 화상을 생성하는 것으로 하여도 된다. 이 경우에는, 1개의 신의 시간이 긴 경우에도 평균화 화상의 생성을 빠르게 행할 수 있다. 또한, 2개의 신이 연속하고 있을 때, 정규화값을 작게 할 수 있다.

관련 신 판별부(253)에서는, 상관값 산출부(254)로부터 공급된 신 상관값 CV와 임계값 RLs1을 비교하여, 관련 신을 판별한다. 예를 들면, 신 상관값 CV로서 정규화값을 이용한 경우, 신 상관값 CV가 임계값 RLs보다도 작을 때에, 관련 신이라고 판별한다. 또한, 신 상관값 CV로서 상관 계수를 이용한 경우, 신 상관값 CV가 임계값 RLs2보다도 클 때에, 관련 신이라고 판별한다.

이와 같이 하여, 탐색 범위마다 관련 신의 판별을 행하고, 이 판별 결과를 나타내는 관련 신 판별 정보 JR을 생성하여 위치 설정부(255)에 공급한다.

위치 설정부(255)는 각 신의 표시 위치를 관련 신 판별 정보 JR에 기초하여 설정하고, 이 표시 위치를 나타내는 표시 위치 정보 JP를 생성한다. 이 표시 위치의 설정에서는, 각 표시 영역에 각 신을 시간순으로 분류한다. 다음으로 관련 신을 동일한 표시 영역으로 분류한다. 또한, 관련 신이 없을 때에는, 가장 오래된 신의 표시 영역으로 분류한다. 여기서, 가장 오래된 신의 표시 영역에, 관련 신의 분류가 예정되어 있을 때에는 다음으로 오래된 신의 표시 영역으로 분류한다. 또 한, 이 표시 영역에도 관련 신의 분류가 예정되어 있을 때에는, 다음으로 오래된 신의 표시 영역으로 분류한다. 이하 마찬가지로 하여, 각 신을 각 표시 영역으로 분류하여, 신마다 결정한 표시 위치를 나타내는 표시 위치 정보 JP를 생성하여 화상 신호 SDin과 관련시켜 축적부(29)에 기억시킨다.

도 24A, 도 24B는 예를 들면, 3개의 표시 영역에 신 CN1로부터 신 CN10까지를 표시하는 경우의 표시 위치의 결정 처리를 나타내고 있다. 여기서, 관련 신 판별 정보 JR에 의해, 도 24A에 도시한 바와 같이, 신 CN2, CN4가 관련 신으로 되어 있으며, 신 CN3, CN7, CN9이 관련 신으로 판별되어 있는 것으로 한다.

표시 위치의 결정 처리에서는, 최초로 각 표시 영역에 대하여 시간순으로 신을 분류한다. 예를 들면, 도 24B에 도시한 바와 같이, 신 CN1과 신 CN3은 관련 신이 아니기 때문에, 신 CN1, CN2, 및 CN3의 표시 위치를 스크린(11L, 11C, 11R)에 순차 분류한다. 다음으로, 신 CN4의 표시 위치를 결정하는 경우, 신 CN2와 신 CN4가 관련 신이기 때문에, 신 CN4의 표시 위치는 신 CN2가 표시된 스크린(11C)에 설정한다.

신 CN5의 표시 위치를 결정하는 경우, 신 CN5와 관련되는 신이 없음과 함께 가장 시간적으로 오래된 신 CN1이 표시되어 있는 스크린(11L)에는, 관련 신의 표시 예정이 없다. 이에 따라, 신 CN5의 표시 위치는 신 CN1이 표시된 스크린(11C)에 설정한다.

신 CN6의 표시 위치를 결정하는 경우, 신 CN6과 관련되는 신이 없음과 함께 가장 시간적으로 오래된 신 CN3이 표시되어 있는 스크린(11R)에는 관련 신인 신 CN7이 표시될 예정이다. 또한, 2번째로 오래된 신 CN4가 표시되어 있는 스크린(11C)에는 관련 신을 표시할 예정이 없다. 이에 따라, 신 CN6의 표시 위치는 신 CN4가 표시된 스크린(11C)에 설정한다.

신 CN7의 표시 위치는, 관련 신인 신 CN3이 표시된 스크린(11R)에 설정한다. 또한, 마찬가지의 처리를 행함으로써, 신 CN8의 표시 위치는 스크린(11L)에, 신 CN9의 표시 위치는 스크린(11R)에, 신 CN10의 표시 위치는 스크린(11C)에 설정한다.

이와 같이, 관련 신이 과거 혹은 미래에 존재하고 있는지의 여부에 기초하여 표시 위치의 설정을 행함으로써, 관련 신을 동일한 위치에 표시시킬 수 있다.

다음으로, 화상 표시를 행하는 경우, 축적부(29)에 기억되어 있는 화상 신호 SDin과 화상 신호 SDin에 관련시켜 기억되어 있는 표시 위치 정보 JP를 판독하여, 표시 제어부(27b)의 위치 전환부(271)에 공급한다.

위치 전환부(271)는 상술한 바와 같이, 표시 위치 정보 JP에 기초하여, 신호 출력부(272L, 272C, 272R) 중 어느 하나에 화상 신호 SDin을 공급한다. 신호 출력부(272L, 272C, 272R)는 화상 메모리를 이용하여 구성한다. 신호 출력부(272L)는 화상 신호 SDin이 공급되었을 때, 화상 메모리에 순차적으로 화상 신호 SDin을 기입한다. 또한, 기입된 화상 신호 SDin을 판독하여 화상 출력 신호 SDL로서 출력한다. 또한, 신호 출력부(272L)는 화상 신호 SDin의 공급이 정지되었을 때, 최후의 프레임의 화상 신호 SDin을 보존하고, 이 보존하고 있는 신호를 반복하여 판독하는 것으로 한다.

신호 출력부(272C, 272R)도 신호 출력부(272L)와 마찬가지로, 공급된 화상 신호 SDin을 화상 메모리에 순차 기입한다. 또한, 기입된 화상 신호 SDin을 판독하여 화상 출력 신호 SDC, SDR로서 출력한다. 또한, 화상 신호 SDin의 공급이 정지되었을 때에는, 최후의 프레임의 화상 신호 SDin을 보존하고, 이 보존하고 있는 신호를 반복하여 판독한다.

이와 같이 처리함으로써, 리얼타임 처리의 경우와 마찬가지의 화상 표시나 작용 효과를 얻을 수 있다. 또한, 현재의 신보다도 이후에 표시되는 신을 고려하여 현재의 신의 표시 위치가 결정되기 때문에, 리얼타임 처리에 비해, 관련 신을 동일한 위치에 의해 정확히 표시시키는 것이 가능해져서, 화상 표시의 연속성을 높일 수 있다.

이와 같이, 입력 화상을 표시하는 표시 영역을 신 단위로 전환함으로써, 신의 전환을 분명하게 함과 함께, 과거의 신도 현재의 신과 동시에 표시할 수 있다. 그러나, 움직임이 있는 화상 표시는 현재의 신을 표시하고 있는 표시 영역뿐이며, 다른 표시 영역에서는 과거의 신에서의 최후의 화상이 정지 화상으로서 표시되어 있다. 이 때문에, 신의 전환이 분명한 반면, 현장감이 부족한 화상 표시로 되게 된다. 따라서, 신의 전환이 분명함과 함께 현장감이 높은 화상 표시를 행할 수 있는 화상 처리 장치에 대하여 다음에 설명한다.

이 화상 처리 장치에서는, 움직임이 있는 화상을 표시할 때에, 화상의 움직임에 맞추어 표시 위치를 가변시키는 것이다. 또, 이 화상 처리 장치에서도, 리얼타임 처리 혹은 오프 라인 처리에 의해 화상 표시를 행한다.

먼저, 도 25에 화상 처리 장치의 다른 구성으로서 리얼타임 처리를 행하는 화상 처리 장치(20-2c)를 도시한다. 입력 화상의 화상 신호 SDin은 신 체인지 검출부(21)와 움직임 검출부(22)와 표시 위치 제어부(25c)에 공급된다. 신 체인지 검출부(21)는 신 체인지 검출 신호 SC를 생성하여 움직임 검출부(22)와 표시 위치 제어부(25c)에 공급한다.

움직임 검출부(22)는 신 체인지 검출부(21)로부터의 신 체인지 검출 신호 SC에 기초하여, 신 내의 각 프레임 화상에 관하여 전체 화면의 움직임 검출을 행하여, 표시 면적이 넓은 부분의 화상의 움직임, 예를 들면, 배경 부분의 움직임 벡터를 검출한다. 이 움직임 검출부(22)는 상술한 도 8에 도시하는 구성으로 한다. 움직임 검출부(22)에서 생성된 움직임 검출 정보 MVD는 표시 위치 제어부(25c)에 공급된다.

표시 위치 제어부(25c)에서는, 움직임 검출 정보 MVD에 기초하여 각 프레임의 화상의 표시 위치를 이동시킨다. 도 26은 표시 위치 제어부(25c)와 표시 제어부(27c)의 구성을 나타내고 있다.

표시 위치 제어부(25c)의 초기 위치 설정부(256)에서는, 화상 표시 영역의 사이즈와 위치 설정부(257)로부터 공급된 이전 신의 표시 위치 정보 JQ-p에 기초하여, 화상이 표시되어 있지 않은 영역을 판별한다. 또한, 이 판별된 영역의 중앙 위치를 현재의 신의 초기 표시 위치 PS로 하여 위치 설정부(257)에 공급한다.

위치 설정부(257)는 움직임 검출 정보 MVD에 기초하여, 각 프레임 화상의 화상 표시 위치를 초기 표시 위치 PS로부터 순차적으로 이동시킨다. 예를 들면, 움 직임 검출부(22)에 의해 배경 부분의 움직임을 검출하고 있을 때에는, 움직임 검출부(22)에 의해 검출된 움직임과는 역방향으로 표시 위치를 이동시킨다. 이와 같이, 표시 위치를 이동함으로써, 배경 부분을 정지시켜 피사체의 움직임에 맞추어 현재의 신의 표시 위치를 이동시킬 수 있다. 이와 같이 하여 설정된 표시 위치를 나타내는 표시 위치 정보 JQ를 생성하여 표시 제어부(27c)의 기입 판독 제어부(273)에 공급한다. 또한, 현재의 신에서의 최후의 표시 위치를 나타내는 정보를 표시 위치 정보 JQ-p로 하여 초기 위치 설정부(256)에 공급한다. 또, 위치 설정부(257)는 표시 위치를 순차적으로 이동시켰을 때, 화상이 화상 표시 영역을 초과하게 되는 경우에는 표시 위치의 이동을 금지한다.

표시 제어부(27c)는, 표시 위치 정보 JQ에 기초하여 각 프레임 화상의 표시 위치를 전환한다. 여기서, 표시 위치의 전환을 행하는 경우, 예를 들면, 상술한 바와 같이, 화상 표시 영역이 3개의 영역(스크린(11L, 11C, 11R))으로 구성되어 있을 때에는, 화상 신호 SDin과 표시 위치 정보 JQ에 기초하여, 각 영역에 대하여 화상 표시를 행하기 위한 화상 출력 신호 SDL, SDC, SDR을 생성해야 한다. 이 때문에, 예를 들면, 화상 표시 영역에 대응한 기억 영역을 갖는 화상 메모리를 제공하는 것으로 하여, 화상 메모리에 대한 화상 신호 SDin의 기입 위치를 표시 위치 정보 JQ에 기초한 위치로 한다. 이와 같이, 화상 신호 SDin을 기입하는 것으로 하면, 3개의 영역에 대응한 화상 메모리의 기억 영역으로부터 판독한 화상 신호를 각각 이용함으로써 화상 출력 신호 SDL, SDC, SDR을 용이하게 생성할 수 있다.

기입 판독 제어부(273)는, 화상 메모리(274)에 화상 신호 SDin을 기입하기 위한 기입 제어 신호 CW와, 화상 메모리(274)에 기입되어 있는 화상 신호를 판독하기 위한 판독 제어 신호 CR을 생성하여, 화상 메모리(274)에 공급한다. 여기서, 기입 판독 제어부(273)는 표시 위치 제어부(25c)에서 설정된 표시 위치와 대응하는 기억 영역에 화상 신호 SDin을 기억시키기 위해, 표시 위치 정보 JQ에 기초하여 기입 제어 신호 CW를 생성한다. 또한, 기입 판독 제어부(273)는 신이 전환되었을 때, 이전 신에서의 최후의 프레임 화상의 화상 신호를 화상 메모리(274)에 그대로 보존시켜서, 정지 화상으로서 표시시킨다. 또, 신의 전환은 신 체인지 검출 신호 SC를 이용하여도 되며, 또한 표시 위치의 이동량이 소정량을 초과했을 때에 전환으로 판별해도 된다. 즉, 신 간에서는, 다른 신의 화상을 다른 위치에 표시하기 때문에, 표시 위치의 차분이 1 프레임 화상분보다도 커진다. 한쪽 신 내에서는 피사체의 움직임에 따라 표시 위치를 이동시키기 때문에, 표시 위치의 차분은 작아진다. 이 때문에, 프레임 간의 표시 위치의 차분에 기초하여, 신의 전환을 판별할 수 있다.

화상 메모리(274)는, 기입 제어 신호 CW에 기초하여 화상 신호 SDin을 기억한다. 또, 화상 신호 SDin이 기억되어 있지 않은 영역에는 예를 들면, 흑 표시로 되는 신호를 기억시킨다. 또한, 화상 메모리(274)는, 기입 판독 제어부(273)로부터의 판독 제어 신호 CR에 기초하여, 기억 영역에 기억되어 있는 화상 신호를 판독하여 화상 신호 SDe로 하여 화상 분할부(275)에 공급한다.

화상 분할부(275)는, 화상 신호 SDe로부터 예를 들면, 스크린(11L)에 대응하는 기억 영역의 신호를 이용하여 화상 출력 신호 SDL을 생성한다. 마찬가지로, 스 크린(11C, 11R)에 대응하는 기억 영역의 신호를 이용하여 화상 출력 신호 SDC, SDR을 생성한다. 이와 같이 하여 생성한 화상 출력 신호 SDL을 프로젝터(12L)에, 화상 출력 신호 SDC를 프로젝터(12C)에, 화상 출력 신호 SDR을 프로젝터(12R)에 각각 공급함으로써, 복수의 스크린을 이용하여 하나의 화상을 표시할 수 있음과 함께, 표시 화상이 복수의 스크린에 걸쳐 있을 때에는 표시 화상이 스크린마다 분할되어 표시된다. 또한, 화상 신호 SDe가 기억되어 있지 않은 영역에 흑 표시로 되는 신호를 기억시켰을 때에는, 화상 신호 SDin에 기초하는 화상 주위가 흑 표시로 된다.

또, 표시 제어부(27c)는 표시 위치 정보 JQ에 기초한 표시 위치에 화상을 표시하기 위한 화상 신호를 생성하는 것이면 되고, 화상 메모리(274)에 대한 화상 신호의 기입 위치를 표시 위치에 따라 제어하는 것에 한정되는 것은 아니다. 예를 들면, 현재의 신의 화상 신호나 이전 신의 최종 프레임의 화상 신호를 기억하는 프레임 메모리를 제공하는 것으로 하고, 이 프레임 메모리로부터의 신호의 판독 타이밍을 표시 위치 정보 JQ에 기초하여 제어하여도, 화상 출력 신호 SDL, SDC, SDR을 생성할 수 있다.

다음으로, 화상 처리 장치(20-2c)의 동작에 대하여 설명한다. 또, 설명을 간단히 하기 위해 움직임 검출 정보 MVD로 나타낸 움직임 벡터 방향의 좌우 방향 성분에 대해서만 설명한다.

화상 처리 장치(20-2c)에 공급하는 화상 신호 SDin은 예를 들면, 도 27A에 도시한 바와 같이, 정지하고 있는 피사체 OBa를 비디오 카메라(100)로 촬영한다. 다음으로, 신을 전환하여, 도 27B에 도시한 바와 같이, 비디오 카메라(100)를 패닝 시켜 전진, 후퇴, 전진의 순으로 이동하는 피사체 OBb를 촬영한다. 또한, 신을 전환하여, 도 27C에 도시한 바와 같이, 정지하고 있는 피사체 OBc를 촬영하여 얻은 화상 신호인 것으로 한다. 또한, 도 28A는 화상 신호 SDin에 기초하는 화상이고, 프레임 F(g-1)까지가 신 CN(M)의 화상, 프레임 F(g)∼프레임 F(g+k)가 신 CN(M+1)의 화상, 프레임 F(g+k+1)에서부터 신 CN(M+2)의 화상이다.

화상 신호 SDin이 프레임 F(g-1)에서부터 프레임 F(g)로 되면, 신 체인지 검출부(21)는 정규화값 E 혹은 상관 계수 r에 기초하여, 이 신 체인지 위치를 검출한다.

초기 위치 설정부(256)에서는, 화상 표시 영역의 사이즈와 과거의 신의 표시 위치 정보 JQ-p로부터, 화상이 표시되어 있지 않은 영역을 판별하여, 도 28B에 도시한 바와 같이 이 판별된 영역의 중앙 위치를 신 CN(M+1)의 선두 프레임의 표시 위치 PS1로 한다. 그 후, 신 CN(M+1)의 각 프레임 화상을 움직임 검출 정보 MVD에 기초하여 이동시킨다. 이 때문에, 신 CN(M+1)의 화상의 표시 위치는 피사체 0Bb의 움직임에 따라 이동된다.

그 후, 화상 신호 SDin이 프레임 F(g+k)로부터 프레임 F(g+k+1)로 되면, 신 체인지 검출부(21)는 정규화값 E 혹은 상관 계수 r에 기초하여, 이 신 체인지 위치를 검출한다.

초기 위치 설정부(256)는, 화상 표시 영역의 사이즈와 과거의 신의 표시 위치로부터, 화상이 표시되어 있지 않은 영역을 판별하여, 이 판별된 영역의 중앙 위치를 신 CN(M+2)의 선두 프레임의 표시 위치 PS2로 한다. 또한, 이전 신의 최종 프레임의 화상을 정지 화상으로서 표시한다.

이와 같이, 화상 처리 장치(20-2c)에 의해, 신의 전환이 분명함와 함께 현장감이 높은 화상 표시를 행할 수 있다.

다음으로, 오프 라인 처리인 경우에서의 화상 처리 장치의 구성을 도 29에 도시한다. 화상 처리 장치(20-2d)는 축적부(29)를 갖고 있으며, 이 축적부(29)에 화상 신호 SDin을 기억한다. 또한, 축적부(29)로부터 판독된 화상 신호 SDin은 신 체인지 검출부(21)와 움직임 검출부(22)에 공급된다.

신 체인지 검출부(21)는, 신 체인지 검출 신호 SC를 생성하여 움직임 검출부(22)와 표시 위치 제어부(25d)에 공급한다. 움직임 검출부(22)는, 신마다 움직임 검출을 행하여, 움직임 검출 정보 MVD를 생성하여 표시 위치 제어부(25d)에 공급한다.

표시 위치 제어부(25d)는, 신 체인지 검출 신호 SC와 움직임 검출 정보 MVD에 기초하여, 신 내의 화상의 움직임량이나, 선두 프레임에 대한 최종 프레임의 변위량에 기초하여, 각 프레임 화상의 표시 위치를 설정한다.

도 30은 표시 위치 제어부(25d)의 구성을 나타내고 있다. 움직임 누적부(258)는 신 체인지 검출 신호 SC와 움직임 검출 정보 MVD에 기초하여, 신마다 움직임 검출 정보 MVD로 나타낸 움직임 벡터를 누적하여, 움직임 벡터의 시간 추이 정보인 움직임 누적값 MVT를 생성한다. 또한, 움직임 누적값 MVT에 기초하여 제1 이동 방향(예를 들면, 우측 방향이나 위쪽 방향)의 최대값 MVT-1과, 제1 방향과는 역방향인 제2 이동 방향(예를 들면, 좌측 방향이나 아래쪽 방향)의 최대값 MVT-2를 구하여, 최대값 MVT-1과 최대값 MVT-2에 기초하여 움직임 누적값 MVT의 변동폭 LM을 신마다 산출한다. 이 움직임 누적부(258)에서 산출한 움직임 누적값 MVT와 변동폭 LM은 초기 위치 설정부(259)와 이동 보정부(260)에 공급된다.

영역 판별부(262)에는, 후술하는 위치 설정부(261)로부터 이전 신의 표시 위치를 나타내는 표시 위치 정보 JQ-P가 공급되어 있으며, 이 표시 위치 정보 JQ-p에 기초하여, 이전 신의 최종 프레임 화상이 표시되어 있지 않고, 현재의 신의 화상이 표시 가능한 최대의 표시 영역을 판별한다. 또한, 이 표시 영역을 현재의 신의 표시 가동 범위로 하여, 이 표시 가동 범위의 가동 폭 LW를 구하여, 초기 위치 설정부(259)와 이동 보정부(260)에 공급한다.

초기 위치 설정부(259)는, 변동폭 LM이 가동 폭 LW 이상일 때에는 변동폭 LM의 중앙값 MVTct를 구하고, 이 중앙값 MVTct가 가동 폭 LW의 중앙으로 되도록 선두 프레임 화상의 표시 위치를 결정하여 초기 표시 위치 PS로 한다. 이 초기 표시 위치 PS를 위치 설정부(261)에 통지한다. 또한, 변동폭 LM이 가동 폭 LW보다도 작을 때에는, 현재의 신의 각 프레임 화상이 가동 폭 LW 내에 들어감과 함께, 현재의 신의 최종 프레임 화상을 표시하고 이전 신의 표시는 종료했을 때, 다음 신에 대한 가동 폭 LW가 최대로 되도록 현재의 신의 선두 프레임 화상의 초기 표시 위치 PS를 설정한다. 또, 최초의 신에서는, 이전 신의 화상이 표시되어 있지 않기 때문에, 가동 폭 LW는 화상 표시 영역의 사이즈로부터 표시 화상의 사이즈를 감산한 값으로 된다.

이동 보정부(260)는, 변동폭 LM이 가동 폭 LW를 초과하게 될 때, 표시 화상 이 가동 폭 LW 내에 들어가도록 움직임 검출 정보 MVD를 보정하여, 움직임 검출 정보 MVE로 하여 위치 설정부(261)에 공급한다. 또한, 변동폭 LM이 가동 폭 LW를 초과하지 않을 때에는 움직임 검출 정보 MVD의 보정을 행하지 않고 위치 설정부(261)에 공급한다.

위치 설정부(261)는, 초기 위치 설정부(259)로부터 공급된 초기 표시 위치 PS를 선두 프레임 화상의 표시 위치로 한다. 그 후, 움직임 검출 정보 MVE에 기초하여, 움직임 검출 정보 MVE로 나타낸 움직임 벡터의 방향과는 역방향으로 화상을 이동시킨 위치를 표시 위치로 하여, 이 표시 위치를 나타내는 정보를 표시 위치 정보 JQ로서 생성한다. 또한, 생성한 표시 위치 정보 JQ를 화상 신호 SDin과 관련시켜 축적부(29)에 기억시킨다.

다음으로, 화상 표시를 행하는 경우, 축적부(29)에 기억되어 있는 화상 신호 SDin과 화상 신호 SDin에 관련시켜 기억되어 있는 표시 위치 정보 JQ를 판독하여, 표시 위치 정보 JQ를 기입 판독 제어부(273)에 공급함과 함께 화상 신호 SDin을 화상 메모리(274)에 공급한다.

기입 판독 제어부(273)는 상술한 바와 같이, 화상 메모리(274)에 화상 신호 SDin을 기입하기 위한 기입 제어 신호 CW와, 화상 메모리(274)에 기입되어 있는 화상 신호를 판독하기 위한 판독 제어 신호 CR을 생성한다. 또한, 기입 판독 제어부(273)는, 표시 위치 정보 JQ에 기초하여 기입 제어 신호 CW를 생성하여 화상 신호 SDin의 기입 위치를 제어함으로써 화상의 표시 위치를 이동시킨다.

또한, 신 전환이 행해진 것을 판별했을 때에는, 이전 신의 화상 신호를 소거 하여 다음 신을 위한 표시 영역을 제공하는 것으로 한다. 또, 신 전환은 축적부(29)에 신 분할에 관한 정보를 기억시키고 이 정보를 판독함으로써 판별할 수 있다. 또한, 상술한 바와 같이, 표시 위치의 이동량에 기초하여 판별할 수도 있다.

화상 메모리(274)는 기입 제어 신호 CW에 기초하여 화상 신호 SDin을 기억한다. 또, 현재의 신의 현재 프레임 화상의 화상 신호나 이전 신의 최종 프레임 화상의 화상 신호가 기억되어 있지 않은 영역에는 예를 들면, 흑 표시로 되는 신호를 기억시킨다. 또한, 화상 메모리(274)는 기입 판독 제어부(273)로부터의 판독 제어 신호 CR에 기초하여, 기억 영역에 기억되어 있는 화상 신호를 판독하여 화상 신호 SDe로서 화상 분할부(275)에 공급한다.

화상 분할부(275)는, 화상 신호 SDe로부터 화상 출력 신호 SDL, SDC, SDR을 생성한다. 이와 같이 하여 생성한 화상 출력 신호 SDL을 프로젝터(12L), 화상 출력 신호 SDC를 프로젝터(12C), 화상 출력 신호 SDR을 프로젝터(12R)에 각각 공급함으로써, 복수의 스크린을 이용하여 하나의 화상을 표시할 수 있음과 함께, 표시 화상이 복수의 스크린에 걸쳐 있을 때에는 표시 화상이 스크린마다 분할되어 표시된다.

다음으로, 화상 처리 장치(20-2d)의 동작에 대하여 설명한다. 또, 설명을 간단히 하기 위해 움직임 검출 정보 MVD로 나타낸 움직임 벡터 방향의 좌우 방향 성분에 대해서만 설명한다. 상술한 도 14의 (B)에 도시한 바와 같이, 비디오 카메라(100)를 패닝시켜 화상 신호 SDin을 생성했을 때, 움직임 누적부(258)에서는 움 직임 검출 정보 MVD로 나타낸 움직임 벡터를 누적하여, 움직임 벡터의 시간 추이 정보인 움직임 누적값 MVT를 생성한다. 예를 들면, 프레임 F(g)로부터 프레임 F(g+k)까지의 패닝량이 작을 때, 움직임 누적값 MVT는 도 31A에 도시하는 것으로 되고, 패닝량이 클 때에는 도 31B에 도시하는 것으로 된다. 이 움직임 누적값 MVT의 최대값 MVT-1, MVT-2에 기초하여 움직임 누적값 MVT의 변동폭 LM을 신마다 산출한다.

영역 판별부(262)는 이전 신의 표시 위치 정보 JQ-p를 이용하여 화상의 가동 폭 LW를 구한다. 즉, 도 32에 도시한 바와 같이, 이전 신의 최종 프레임의 화상 GP이 표시되어 있지 않으며, 현재의 신의 화상 GN이 표시 가능한 최대의 표시 영역 AW를, 표시 위치 정보 JQ-p와 화상 표시 영역의 사이즈로부터 판별한다. 또한, 화상 GN과 표시 영역 AW의 사이즈로부터, 표시 화상을 이동할 수 있는 범위인 가동 폭 LW를 구한다.

여기서, 도 33A에 도시한 바와 같이, 표시 영역 AWn에 기초하여 구한 가동 폭 LW보다도 변동폭 LM이 작을 때, 초기 위치 설정부(259)는 도 33B나 도 33C, 도 33D에 도시한 바와 같이, 현재의 신의 각 프레임의 화상 GN이 이 가동 폭 LW 내에 들어감과 함께 현재의 신의 최종 프레임의 화상 GN-e를 표시하고 이전 신의 화상 GP를 종료하였을 때, 다음 신에 대한 표시 영역 AW(n+1)이 최대로 되도록 초기 표시 위치 PS를 설정한다.

예를 들면, 도 33B에 도시한 바와 같이, 현재의 신의 선두 프레임의 화상 GN-s와 최종 프레임의 화상 GN-e 사이의 화상 GN-k가 화상 GP와는 역방향으로 최대한 이동하는 경우, 이 화상 GN-k가 표시 영역 AWn을 초과하지 않도록 초기 표시 위치 PS를 설정한다. 또한, 도 33C에 도시한 바와 같이, 최종 프레임의 화상 GN-e가 화상 GP와는 역방향으로 최대한 이동하는 경우, 이 화상 GN-e가 표시 영역 AWn을 초과하지 않도록 초기 표시 위치 PS를 설정한다. 또한, 도 33D에 도시한 바와 같이, 화상의 표시 위치가 화상 GP의 방향으로 이동하는 경우, 최종 프레임의 화상 GN-e가 화상 GP 방향으로 최대한 이동하는 경우, 다음 신에 대한 표시 영역 AW(n+1)이 최대로 되도록, 선두 프레임의 화상 GN-s를 화상 CP와는 역방향으로 최대한 이동한 위치로 하는 초기 표시 위치 PS를 설정한다.

또한, 도 34A에 도시한 바와 같이, 변동폭 LM이 가동 폭 LW 이상일 때, 초기 위치 설정부(259)는 도 34B에 도시한 바와 같이, 변동폭 LM의 중앙값 MVTct가 가동 폭 LW의 중앙으로 되도록, 선두 프레임 화상의 표시 위치를 결정하여 초기 표시 위치 PS로 한다. 또한, 이동 보정부(260)에 의해, 표시 화상이 가동 폭 LW 내에 들어가도록 움직임 검출 정보 MVD를 보정하여, 움직임 검출 정보 MVE에 기초하여 도 34C에 도시한 바와 같이, 표시 위치를 결정한다.

화상 표시를 행할 때에는, 이전 신의 최종 프레임 화상을 표시함과 함께, 현재의 신에서는 표시 위치 정보 JQ에 기초하여, 표시 위치를 화상의 움직임에 따라 이동하면서 표시한다. 이 때문에, 신의 전환이 분명함과 함께, 화상 표시 영역을 유효하게 이용하여 현장감이 높으며 이해하기 쉬운 화상 표시를 행할 수 있다. 또한, 표시 화상이 가동 폭 LW 내에 들어가도록 표시 위치가 제어되기 때문에, 표시 화상 중 일부가 화상 표시 영역으로부터 돌출되어 누락하는 것을 방지하여, 정확하 게 화상을 표시할 수 있다.

또한, 상술한 처리는 하드웨어뿐만 아니라 소프트웨어에 의해 실현하는 것으로 하여도 된다. 이 경우의 하드웨어의 구성은 예를 들면, 상술한 도 16에 도시하는 구성으로 한다.

도 35는, 화상 처리 프로그램의 전체 구성을 도시하는 흐름도이다. 단계 ST41에서는, 신 체인지 검출을 행한다. 이 신 체인지 검출은, 도 18에 도시하는 처리를 행한다.

단계 ST42에서는, 신의 전환이 검출되었는지의 여부를 판별하여 신 전환이 판별되어 있지 않을 때에는 단계 ST41로 되돌아간다. 단계 ST42에서 신 전환이라고 판별되었을 때에는 단계 ST43으로 진행한다.

단계 ST43에서는, 신 전환 후의 화상의 표시 위치를 신 전환 전의 화상의 표시 위치와는 다른 위치에 설정한다.

단계 ST44에서는, 단계 ST43에서 판별된 표시 위치에 새로운 신의 화상을 표시함과 함께, 신 전환 전의 화상을 정지 화상으로 하여 표시하는 화상 출력 신호 SDL, SDC, SDR을 생성하여 단계 ST41로 되돌아간다. 이 출력 신호의 생성에서는, 프레임 메모리에 신 전환 전의 화상과 신 전환 후의 화상을 기억시키는 것으로 하여, 화상의 표시 위치에 따른 타이밍에서 프레임 메모리로부터 화상 신호를 판독하고, 이 판독한 화상 신호를 스크린마다 분할함으로써, 화상 출력 신호 SDL, SDC, SDR을 생성할 수 있다. 혹은, 기억 영역이 화상 표시 영역에 대응되어 있는 메모리에, 표시 위치에 따라 신 전환 전의 화상과 신 전환 후의 화상의 화상 신호를 기 억시키는 것으로 하여, 각 스크린에 대응하는 영역의 신호를 이용함으로써, 화상 출력 신호 SDL, SDC, SDR을 생성할 수 있다.

도 36 내지 도 41에 도시하는 흐름도는 상술한 화상 처리 프로그램을 보다 상세히 나타낸 것이며, 상술한 화상 처리 장치(20-2a, 20-2b, 20-2c, 20-2d)의 동작과 대응하는 것이다.

도 36은 리얼타임 처리의 경우를 나타내고 있다. 단계 ST51에서는, 단계 ST41과 마찬가지로 신 체인지 검출을 행한다. 다음으로, 단계 ST52에서, 신의 전환이 검출되었을 때에는 단계 ST53으로 진행한다.

단계 ST53에서는, 표시 중의 각 표시 화상과의 차분값을 계산하여 단계 ST54로 진행한다.

단계 ST54에서는, 가장 작은 차분값이 소정값보다도 작을 때에는, 이 차분값이 가장 적은 화상의 표시 위치를 신 체인지 검출 후의 표시 위치로 한다. 또한, 가장 작은 차분값이 소정값보다도 작을 때에는 소정의 순서로 표시 위치를 설정하여 단계 ST55로 진행한다.

단계 ST55는, 단계 ST54에서 판별된 표시 위치에 새로운 신의 화상을 표시함과 함께, 신 전환이 검출되기 전의 신을 정지 화상으로서 표시하는 화상 출력 신호 SDL, SDC, SDR을 생성하여 단계 ST51로 되돌아간다. 이와 같이 처리함으로써 도 21B에 도시하는 화상 표시를 행할 수 있다.

도 37은 오프 라인 처리의 경우를 나타내고 있다. 단계 ST61에서는, 축적되어 있는 화상 신호 SDin을 판독하여 신 체인지 검출을 행하고 단계 ST62로 진행한 다. 단계 ST62에서, 신 체인지가 검출되었다고 판별되었을 때에는 단계 ST63으로 진행하고, 신 체인지가 검출되어 있지 않을 때에는 단계 ST61로 되돌아간다.

단계 ST63에서는, 신 체인지 검출이 완료하였는지 여부를 판별한다. 이 단계 ST63에서, 화상 신호 SDin에 대한 신 체인지 검출이 완료하였을 때에는 단계 ST64로 진행하고, 완료하고 있지 않을 때에는 단계 ST61로 되돌아간다.

단계 ST64에서는, 판별된 각 신으로부터 관련 신을 판별한다. 이 관련 신의 판별에서는 탐색 범위를 설정하여, 이 탐색 범위 내에서의 관련 신을 판별한다.

단계 ST65에서는, 관련 신의 판별 결과를 이용하여, 관련 신을 동일한 위치에 표시하도록 각 신의 표시 위치를 결정하고, 이 결정된 표시 위치를 나타내는 표시 위치 정보 JP를 생성한다. 단계 ST66에서는, 단계 ST65에서 생성된 표시 위치 정보 JP를 화상 신호 SDin에 관련시켜 축적시킨다.

또한, 표시 동작을 행하는 경우, 도 38의 단계 ST71에서는 축적되어 있는 표시 위치 정보 JP와 화상 신호 SDin을 판독하여 단계 ST72로 진행한다. 단계 ST72에서는, 신 전환이 발생하였는지 여부를 판별하여, 신 전환이 발생했을 때에는 단계 ST73으로 진행하며, 신 전환 전에 표시되어 있었던 신의 최종 프레임 화상을 정지 화상 표시로 하여 단계 ST74로 진행한다. 또한, 신 전환이 판별되어 있지 않을 때에는 단계 ST74로 진행한다.

단계 ST74에서는, 판독한 표시 위치 정보 JP에 기초하여, 표시 위치를 결정하여 화상 신호 SDin으로부터 화상 출력 신호 SDL, SDC, SDR을 생성하여 단계 ST71로 되돌아간다. 이와 같이 처리함으로써 도 24B에 도시한 바와 같이, 화상 표시를 행할 수 있다.

도 39는, 리얼타임 처리에 의해 화상의 움직임에 따라 표시 위치를 가변시키는 경우의 동작을 나타내고 있다. 단계 ST81에서는, 신 체인지 검출을 행하여 단계 ST82로 진행한다. 단계 ST82에서는, 신 체인지 검출의 결과, 신 체인지가 검출되었는지의 여부를 판별한다. 여기서, 신 체인지가 검출되었을 때에는 단계 ST83으로 진행한다. 단계 ST83에서는, 신 전환 전의 신의 최종 프레임 화상을 정지 화상으로서 설정한다. 또한, 정지 화상으로서 표시하고 있는 최종 프레임 화상이 있는 경우에는, 이 표시를 소거한다. 단계 ST84에서는, 정지 화상이 표시되어 있지 않은 영역에, 신 전환 후의 신의 초기 표시 위치를 설정하여 단계 ST87로 진행한다.

또한, 단계 ST82에서 신 체인지가 판별되어 있지 않을 때에는 단계 ST85로 진행하여, 움직임 검출을 행한다. 이 움직임 검출에서는, 전체 화면 움직임 검출을 행하고, 표시 면적이 넓은 부분의 움직임 벡터를 검출하여 단계 ST86으로 진행한다. 단계 ST86에서는, 단계 ST85에서 검출된 움직임 벡터에 기초하여 표시 위치를 이동시킨다. 여기서, 표시 위치를 이동했을 때, 표시 화상이 화상 표시 영역으로부터 벗어나게 되는 경우나 표시되어 있는 정지 화상과 중첩이 발생하게 될 때에는 표시 위치의 이동을 금지하여 단계 ST87로 진행한다.

단계 ST87에서는, 단계 ST84에서 설정된 초기 표시 위치에 새로운 신의 화상을 표시함과 함께, 신 전환이 검출되기 전의 신을 정지 화상으로서 표시한다. 또한, 단계 ST86에 의해 순차 이동된 위치에 화상을 표시하는 화상 출력 신호 SDL, SDC, SDR을 생성하고 단계 ST81로 되돌아간다. 이와 같이 처리함으로써, 도 28B에 도시하는 표시를 행할 수 있다.

도 40은, 오프 라인 처리에 의해 화상의 움직임에 따라 표시 위치를 가변시키는 경우의 동작을 나타내고 있다. 단계 ST91에서는, 축적되어 있는 화상 신호를 판독하여 신 체인지 검출을 행하여 단계 ST92로 진행한다. 단계 ST92에서는, 신 체인지가 검출되었는지의 여부를 판별한다. 여기서, 신 체인지가 검출되어 있지 않을 때에는 단계 ST91로 되돌아간다. 또한, 신 체인지가 검출되었을 때에는 단계 ST93으로 진행한다. 단계 ST93에서는 신마다 신 내의 선두 프레임 화상으로부터 최종 프레임 화상까지의 움직임 검출을 행하고, 검출한 움직임 검출 정보 MVD에 기초하여, 움직임 벡터를 누적하여 움직임 누적값 MVT를 생성한다. 또한, 움직임 누적값 MVT로부터 신마다 변동폭 LM을 산출하여 단계 ST94로 진행한다. 단계 ST94에서는 이전 신의 표시 위치에 기초하여 표시의 가동 폭 LW를 산출하고, 변동폭 LM과 가동 폭 LW로부터 신마다 화상의 초기 표시 위치 PS를 설정하여 단계 ST95로 진행한다.

단계 ST95에서는, 초기 표시 위치 PS와 움직임 검출 정보 MVD에 기초하여, 각 프레임 화상의 표시 위치를 설정하고, 각 프레임의 화상의 표시 위치를 나타내는 표시 정도 위치 정보 JQ를 생성한다. 단계 ST96에서는, 생성한 표시 위치 정보 JQ를 화상 신호 SDin에 관련시켜 축적시킨다.

또한, 표시 동작을 행하는 경우, 도 41의 단계 ST101에서는 축적되어 있는 표시 위치 정보 JQ와 화상 신호 SDin을 판독한다. 단계 ST102에서는, 신 전환이 발생하였는지 여부를 판별하여, 신의 전환이 발생했을 때에는 단계 ST103으로 진행한다. 단계 ST103에서는, 신 전환 전의 신의 최종 프레임 화상을 정지 화상으로서 설정한다. 또한, 정지 화상으로서 표시하고 있는 최종 프레임 화상이 있는 경우에는, 이 표시를 소거하여 단계 ST104로 진행한다.

단계 ST102에서 신의 전환이 발생하고 있지 않다고 판별되었을 때에는 단계 ST104로 진행한다.

단계 ST104에서는, 표시 위치 정보 JQ에 기초한 위치에 현재의 신의 화상을 표시시키는 화상 출력 신호 SDL, SDC, SDR의 생성을 행하여, 단계 ST101로 되돌아간다.

이와 같이 처리함으로써, 도 33B, 도 33C에 도시한 바와 같이, 현재의 신의 화상을 움직임에 맞추어 이동하여 표시할 수 있음과 함께, 이전 신의 화상을 정지 화상으로 하여 아울러 표시할 수 있다.

또한, 상술한 제2 형태에서는 화상 처리 장치(20-2)의 내부에 축적부(29)를 제공하는 것으로 하였지만, 외부의 정보 기억 장치를 이용하는 것으로 하여도 된다. 또한, 축적부(529)를 착탈가능하게 하면, 표시 제어부의 기능을 갖는 다른 화상 표시 시스템에서도, 이 축적부(29)에 기억된 화상 신호 SDin이나 표시 위치 정보 JP, JQ를 이용함으로써, 상술한 바와 같은 현장감이 높으며 이해하기 쉬운 화상 표시를 행하는 것이 가능해진다.

또한, 제2 형태에서도, 새롭게 영상 소스나 다른 포맷을 만들지 않아도, 이미 존재하고 있는 콘텐츠의 화상 신호를 이용하여 본 발명의 처리를 실시함으로써, 종래보다도 현장감이 높으며 이해하기 쉬운 화상 표시를 행할 수 있다.

이 제2 형태에 따르면, 입력 화상의 신 전환이 검출되고, 신 전환의 검출 결과에 기초하여, 신 전환 후의 화상 표시 위치가 신 전환 전의 화상 표시 위치와 상이한 위치에 설정되며, 이 설정된 위치에 신 전환 후의 화상이 표시됨과 함께, 신 전환 전의 화상을 정지 화상으로 하여 아울러 표시시킨다. 이 때문에, 신의 전환을 용이하게 파악하는 것이 가능해져서 이해하기 쉬운 화상 표시를 행할 수 있다.

또한, 정지 화상으로서, 신 전환 전의 복수 신의 화상이 표시되고, 신 전환 후의 화상과 복수의 정지 화상과의 차분이 가장 작은 정지 화상의 화상 표시 위치에 신 전환 후의 화상 표시 위치가 설정된다. 혹은, 신 간의 상관값을 산출하여, 이 상관값에 기초하여 관련되는 신이 판별되며, 신 전환 후의 화상 표시 위치가, 관련되는 신의 화상 표시 위치에 설정된다. 이 때문에, 신의 관련성을 용이하게 파악할 수 있다.

또한, 화상 신호에 기초하여 입력 화상의 움직임이 검출되며, 정지 화상이 표시되어 있지 않은 표시 영역에, 신 전환 후의 최초의 화상의 화상 표시 위치가 설정됨과 함께, 그 후 움직임 검출 결과에 기초하여 화상 표시 위치가 이동된다. 이 때문에, 피사체의 움직임에 맞추어 표시 위치를 이동시키는 것이 가능해져서, 현장감이 높으며 이해하기 쉬운 화상 표시를 행할 수 있다.

또한, 신 전환 후의 최초의 화상의 화상 표시 위치가, 정지 화상이 표시되어 있지 않은 표시 영역의 중앙에 설정된다. 혹은, 움직임 검출 결과를 신 내에서 누적한 움직임 누적 결과와, 정지 화상이 표시되어 있지 않은 표시 영역의 크기를 판 별한 영역 판별 결과에 기초하여 설정된다. 이 때문에, 정지 화상이 표시되어 있지 않은 표시 영역을 유효하게 활용하여 화상 표시를 행할 수 있다. 또한, 다음 신을 표시할 때에, 다음 신의 이동 범위를 넓게 설정하는 것도 가능해진다.

또한, 신 전환 후의 화상의 화상 표시 위치를 움직임 검출 결과에 기초하여 이동시켰을 때, 정지 화상이 표시되어 있지 않은 표시 영역을 입력 화상이 초과하게 되면 움직임 누적 결과와 영역 판별 결과에 기초하여 판별되었을 때, 입력 화상이 정지 화상이 표시되어 있지 않은 표시 영역을 초과하지 않도록 화상 표시 위치의 이동이 보정되기 때문에, 표시 화상의 일부가 누락되어 표시되는 것을 방지하여, 정확하게 화상을 표시할 수 있다.

그런데, 촬영된 넓은 공간을 고정 화상 프레임의 2차원 평면 상에 사영하는 화상 표시 시스템에서는, 인간의 착각을 이용하여 공간의 확대나 그 안의 움직임을 표현하고 있기 때문에, 현실 공간과의 부정합에 의해 부자연스러워진다. 예를 들면, 피사체가 움직이고 있는 경우, 현실 공간에서는 피사체의 움직임에 맞추어 시점을 이동시키면, 피사체를 계속 인식할 수 없다. 그러나, 종래의 화상 표시 시스템에서는, 시청자가 시점의 위치를 고정 화상 프레임 내에 고정하여 두는 것 뿐으로, 피사체를 계속 인식하는 것이 가능해짐과 함께 착각에 의해 시점을 이동시키게 되어, 부자연스러워진다. 또한, 프로그램이나 영화의 제작은 고정 화상 프레임 내에 여러가지 화상을 표시하는 것을 상정하여 행해지고 있기 때문에, 화상의 표현력이 좁혀지게 되어, 보다 현실적인 화상 표시를 행할 수 없다. 또한, 촬영된 자연 화상을 화상 표시 시스템으로 표시하는 경우에 한하지 않으며, 편집된 화상이나, 게임, CG, 애니메이션 등과 같이 화상을 만들어서 표시하는 경우에도 마찬가지의 경우를 말할 수 있다. 이 때문에, 화상 처리 장치(20-3)를 이용하여, 현장감이 높아서 부자연스러움이 없는 화상 표시를 행하는 경우를 제3 형태로서 설명한다.

이 화상 처리 장치(20-3)는 도 42에 도시한 바와 같이, 정보 취득 장치(30)로부터 촬영 화상의 화상 신호 SDv와 화상의 움직임을 나타내는 움직임 정보 IFM을 입수하여, 이 화상 신호 SDv와 움직임 정보 IFM에 기초하여, 촬영 화상의 표시 위치를 화상의 움직임에 따라 이동시키는 표시 위치 이동 처리를 행한다. 또한, 이 표시 위치 이동 처리 후의 화상 출력 신호 SDL, SDC, SDR을 생성하여, 도 1에 도시한 바와 같이, 화상 출력 신호 SDL을 프로젝터(12L), 화상 출력 신호 SDC를 프로젝터(12C), 화상 출력 신호 SDR을 프로젝터(12R)에 각각 공급한다.

정보 취득 장치(30)는, 촬상부(예를 들면, 비디오 카메라)(31)와, 이 촬상부(31)의 촬영 방향의 움직임(촬영 방향의 변화)을 취득하여 움직임 정보 IFM을 생성하는 움직임 정보 생성부(32)를 갖고 있다.

촬상부(31)는 촬영 화상의 화상 신호 SDv를 생성하여 화상 처리 장치(20-3)에 공급한다. 움직임 정보 생성부(32)는 촬상부(31)에서의 촬영 방향을 수동으로 움직이는 경우, 예를 들면, 자기 센서나 삼차원 자이로 등을 이용한 각속도 센서 혹은 삼차원 가속도 센서 등을 이용하여 구성한다. 이 센서를 촬상부(31)에 부착하여 촬상부(31)의 자세 변화를 검출함으로써, 촬영 방향에 대한 움직임을 취득한다. 또한, 취득한 움직임을 나타내는 센서 신호를 움직임 정보 IFM으로 하여 화상 처리 장치(20-3)에 공급한다.

또한, 촬상부(31)에서의 촬영 방향이 원격 제어되는 경우, 이 원격 제어를 위한 제어 데이터를 움직임 정보 IFM으로서 이용한다. 예를 들면, 도 43에 도시한 바와 같이, 외부의 원격 제어 장치로부터 움직임 정보 IFM으로서 제어 데이터가 공급되었을 때, 이 움직임 정보 IFM을 제어부(36)에 공급함과 함께, 화상 처리 장치(20-3)에 공급한다. 제어부(36)는, 공급된 움직임 정보 IFM에 기초하여 구동 신호 SMd를 생성하여 방향 조정부(37)에 공급한다. 방향 조정부(37)는, 예를 들면, 카메라 받침대를 이용하여 구성되어 있음과 함께 이 방향 조정부(37)에는 촬상부(31)가 부착되어 있다. 방향 조정부(37)는 구동 신호 SMd에 기초하여 촬상부(31)의 촬영 방향을 변경하고, 움직임 정보 IFM에 기초한 팬 동작이나 틸트 동작을 행한다. 이와 같이, 움직임 정보 IFM으로서 제어 데이터를 이용하는 경우, 센서 등을 촬상부(31)에 제공할 필요가 없기 때문에, 정보 취득 장치(30)가 저가로 간단한 구성으로 된다.

화상 처리 장치(20-3)의 표시 위치 산출부(281)는, 정보 취득 장치(30)로부터 공급된 움직임 정보 IFM에 기초하여 화상의 표시 위치를 결정하며, 이 결정한 표시 위치를 나타내는 표시 위치 정보 IPS를 화상 이동부(282)에 공급한다. 화상 이동부(282)는, 정보 취득 장치(30)로부터 공급된 화상 신호 SDv에 기초하는 화상의 표시 위치를 표시 위치 산출부(281)로부터 공급된 표시 위치 정보 IPS로 나타낸 위치에 설정한다. 예를 들면, 도 44A에 도시한 바와 같이, 스크린(11L, 11C, 11R)에서 형성되는 표시 영역 AR에 대응시켜, 도 44B에 도시한 바와 같이, 화상 메모리(151)를 제공하는 것으로 하여, 화상 신호 SDv를 화상 메모리(151)에 기입할 때의 기입 위치를 표시 위치 정보 IPS에 기초하여 제어함으로써, 화상의 표시 위치를 표시 위치 정보 IPSL로 나타낸 위치에 설정할 수 있다.

화상 출력 신호 생성부(283)는, 표시 위치가 이동된 화상을 표시하기 위한 화상 신호를 표시 장치에 따라 생성한다. 예를 들면, 스크린(11L, 11C, 11R)을 이용하여 화상 표시를 행할 경우, 이들 스크린(11L, 11C, 11R)을 이용하여 표시 위치의 이동이 행해진 화상을 표시하기 위해 화상 출력 신호 SDL, SDC, SDR을 생성한다.

여기서, 상술한 바와 같이, 화상 이동부(282)에서는 표시 영역 AR에 대응하여 제공한 화상 메모리(151)를 이용하여, 표시 위치가 이동된 화상의 화상 신호를 기억하는 경우, 화상 메모리(151)의 각 스크린에 대응하는 영역마다 신호를 판독함으로써, 화상 출력 신호 SDL, SDC, SDR을 간단히 생성할 수 있다. 예를 들면, 스크린(511L)에 대응한 영역(151L)으로부터 신호를 판독함으로써 화상 출력 신호 SDL을 간단히 생성할 수 있다. 마찬가지로, 스크린(11C, 11R)에 대응한 영역(151C, 151R)으로부터 신호를 판독함으로써 화상 출력 신호 SDC, SDR을 간단히 생성할 수 있다. 또, 화상 메모리(151)에서, 화상 신호 SDv가 기입되어 있지 않은 영역에 흑 레벨의 신호를 기입하는 것으로 하면, 스크린 상에 촬영 화상만을 표시할 수 있다.

또한, 화상 이동부(282)는, 1 화면분의 화상 신호 SDv를 기억하는 화상 메모리와, 기억되어 있는 화상 신호 SDv를 판독할 때에, 표시 위치 정보 IPS에 기초하여 판독 어드레스 위치를 변환하는 어드레스 변환부를 제공하는 것으로 하여도 된다. 이 경우, 화상 출력 신호 생성부(283)는 표시 영역 AR 상의 위치를 지정하여 화상 메모리에 대한 신호의 판독을 행하고, 판독된 신호를 이용하여 화상 출력 신호 SDL, SDC, SDR을 생성한다. 여기서, 화상 이동부(282)는 지정된 표시 영역 AR 상의 위치가 화상의 표시 위치로 되었을 때에, 화상 메모리에 기억되어 있는 화상 신호 SDv가 판독되도록 어드레스 변환을 행한다. 이와 같이, 어드레스 변환을 행하면, 화상 표시 영역분의 기억 용량을 갖는 화상 메모리를 이용하지 않고, 제공하지 않고 화상 출력 신호 SDL, SDC, SDR을 생성할 수 있다. 또, 지정된 표시 영역 AR 상의 위치가 화상의 표시 위치가 아닐 때에는, 흑 레벨의 신호를 화상 출력 신호 생성부(283)에 공급함으로써, 스크린 상에 촬영 화상만을 표시할 수 있다.

다음으로, 화상 제시 시스템의 동작에 대하여 설명한다. 여기서, 정보 취득 장치(30)의 촬상부(31)는 예를 들면, NTSC 방식 등의 SD 사이즈(720 화소×480 라인)의 화상 신호 SDv를 생성한다. 또한, 표시 영역 AR의 사이즈는 예를 들면, SD 사이즈의 화면을 가로 방향으로 3 화면 배열한 사이즈(2160 화소×480 라인)로서, 촬상부(31)에서의 촬영 화상보다도 광화각의 화상 표시 영역을 제공한다. 또, 본 형태에서는 설명을 간단히 하기 위해, 화상 신호 SDv에 기초하는 화상의 수직 방향 사이즈와 표시 영역 AR의 수직 방향 사이즈가 동일한 경우를 설명한다.

정보 취득 장치(30)의 움직임 정보 생성부(32)는 센서로부터의 출력 신호나 제어 데이터에 기초하여, 움직임 정보 IFM으로서 예를 들면, 수평 방향의 방향의 각속도 Yaω를 생성한다. 화상 처리 장치(20-3)의 표시 위치 산출부(281)는, 움직임 정보 IFM에 기초하여 화상의 표시 위치를 산출한다. 이 표시 위치의 산출에서는, 촬상부(31)의 촬영 방향과 시청자로부터 보았을 때의 화상 제시 방향이 일치하 도록 표시 위치를 설정한다. 이 때문에, 도 45A에 도시한 바와 같이, 촬상부(31)의 기준 방향 QF를 시청자로부터 보았을 때의 정면 방향으로 하며, 촬상부(31)의 촬영 방향이 기준 방향 QF에 대하여 우측 방향에 각도 「φ」를 갖는 경우, 도 45B에 도시한 바와 같이, 화상 제시 방향은 정면 방향에 대하여 우측 방향으로 각도 「φ」를 갖는 것으로 한다. 또, 도 45A, 도 45B에서, 각도 「θ」는 시청자가 하나의 스크린 전면을 인식할 때의 수평 방향의 시야각이다. 즉 3개의 스크린을 이용하여, 시야각「3θ」의 범위 내에서 화상 표시가 행해진다.

이와 같이, 화상 표시의 범위가 한정되어 있는 경우, 촬상부(31)의 촬영 방향에 따라 화상의 표시 위치를 이동시키면, 각도 「φ」가 큰 경우에는 화상의 표시 위치가 스크린으로부터 벗어나게 된다. 따라서, 제한된 화상 표시 범위 내에서 촬상부(31)의 수평 움직임을 되도록이면 충실히 표현하기 위해, 움직임 정보 생성부(32)로부터 움직임 정보 IFM으로서 공급된 각속도 Yaω에 따라 화상의 표시 위치를 이동시킨다.

도 46A, 도 46B는 표시 위치의 산출 동작을 나타내고 있다. 표시하는 화상의 갱신 주파수, 예를 들면, 프레임 주파수가 60Hz일 때, (1/60)초 당 촬상부(31)의 이동 각도는 각속도 Yaω를 시간으로 나누어 산출할 수 있고, 이 이동 각도를 「ω」로 한다. 또, 도 46B에 도시한 바와 같이, 표시 영역 AR은 다각면으로 되어 있기 때문에, 엄밀하게는 화상 상의 좌표와 수평 방향의 각도는 다르지만, 표시 영역 AR을 원주면에 근사하고, 수평 방향 각도와 수평 방향의 좌표 위치는 선형의 관계에 있다고 가정하여 계산한다.

이와 같이, 표시 위치의 산출을 위한 조건 설정을 행하는 경우, 도 46A에 도시한 바와 같이 「n-1」 프레임과 「n」 프레임과의 사이에 촬영 방향이 이동 각도 ω만큼 이동되어 있는 것이 움직임 정보 IFM으로 나타났을 때, 이 이동 각도 ω를 수학식 7에 대입함으로써, 도 46B에 도시한 바와 같이, 표시할 「n」 프레임 화상의 중심을 나타내는 표시 위치 「Xn」을 나타내도록 결정할 수 있다.

또, 「L」은 1 화면의 수평 화소 수(예를 들면, L= 720 화소)이며, 「θ」는 상술한 바와 같이, 수평 방향의 시야각(예를 들면, 48도)이다. 또한, 「Xn-1」은 1 프레임 전의 화상의 좌표를 나타내고 있으며, 「Xn」의 단위는 화소로 된다.

여기서, 정면을 좌표의 기준 「0」으로 하였을 때, 표시 위치 「Xn」이 「-L」보다도 작아지는 경우나 표시 위치 「Xn」이 「L」보다도 커지면, 표시 화상이 표시 영역 AR을 초과하게 된다. 이 때문에, 표시 위치 「Xn」이 「-L≤Xn≤L」의 조건을 만족할 때, 화상의 중심이 수학식 7에서 산출한 표시 위치 「Xn」으로 되도록 표시 화상의 이동을 행한다. 또한, 표시 위치 「Xn」이 「Xn<-L」의 조건을 만족할 때, 표시 화상이 표시 영역 AR을 초과하게 되지 않도록, 표시 영역 AR의 좌측단과 표시 화상의 좌측단이 일치하도록 표시 화상의 위치를 설정한다. 또한, 표시 위치 「Xn」이 「Xn>L」의 조건을 만족할 때, 표시 화상이 표시 영역 AR을 초과하게 되지 않도록, 표시 영역 AR의 우측단과 표시 화상의 우측단이 일치하도록 표시 화상의 위치를 설정한다.

이와 같이, 표시 위치를 결정함으로써, 도 47A에 도시한 바와 같이, 촬상부(31)는 움직임이 있는 피사체 OBd가 촬영 화면의 중앙 위치로 되도록 촬영을 행하여 화상 신호 SDv를 생성했을 때, 스크린(11L, 11C, 11R)에는 도 47B에 도시한 바와 같이, 움직임이 있는 피사체 OBd가 실제의 움직임에 맞추어 이동하여 표시되기 때문에, 현장감이 높아서 부자연스러움이 없는 화상 표시를 행할 수 있다. 또한, 기준 방향에 대한 촬영 방향의 각도 「φ」가 커져도, 표시 화상이 표시 영역 AR로부터 벗어나게 되는 것도 방지할 수 있다.

또한, 실제의 움직임에 맞추어 표시 위치를 이동시켜 화상 표시를 행하는 처리는, 리얼타임 혹은 오프 라인 중 어느 것에 의해서도 행할 수 있다,

리얼타임으로 화상 표시를 행하는 경우, 도 48에 도시한 바와 같이, 정보 취득 장치(30)에는 화상 신호 SDv와 움직임 정보 IFM에 기초하여 전송 신호 TD를 생성하여 송신하는 송신부(39)를 제공한다. 또한, 화상 처리 장치(20-3)는 전송 신호 TD를 수신하여, 움직임 정보 IFM을 표시 위치 산출부(281)에 공급함과 함께 화상 신호 SDv를 화상 이동부(282)에 공급하는 수신부(285)를 제공하여, 송신부(39)와 수신부(285)를 유선 혹은 무선의 전송로를 통해 접속한다. 또, 송신부(39)에서는 부호화 처리를 행함과 함께 수신부(285)에서는 복호화 처리를 행하는 것으로 하면, 전송 신호 TD의 신호량을 삭감할 수 있다. 또한, 다중화 처리 등을 행하는 것으로 하면, 다른 프로그램 등의 화상을 동시에 전송할 수 있다.

오프 라인으로 화상 표시를 행할 경우, 도 49A에 도시한 바와 같이, 정보 취득 장치(30)에서 생성한 화상 신호 SDv와 움직임 정보 IFM을 정보 축적 장치(60)에 공급한다. 정보 축적 장치(60)는, 광학적 수단이나 자기적 수단을 이용하여, 화상 신호 SDv와 움직임 정보 IFM을 기록 매체에 축적한다. 또, 기록 매체는 정보 축적 장치(60)에 고정되어 있는 것이어도 되며, 또한 교환 가능한 것이어도 된다. 화상 표시를 행할 때에는 정보 축적 장치(60)에 축적되어 있는 화상 신호 SDv와 움직임 정보 IFM을 판독하여 화상 처리 장치(20-3)에 공급함으로써, 상술한 바와 같이, 화상의 움직임에 맞추어 표시 위치를 이동시킬 수 있다. 또, 화상 신호 SDv와 움직임 정보 IFM을 정보 축적 장치(60)에 축적하는 경우, 화상 신호 SDv와 움직임 정보 IFM의 타이밍이 일치하지 않으면, 화상의 움직임과 표시 위치의 이동이 동기하지 않게 되며, 화상의 움직임이 없을 때에 표시 위치가 이동되게 되는 등의 문제점이 발생할 우려가 있다. 이 때문에, 화상 신호 SDv와 움직임 정보 IFM을 동기하여 재생할 수 있도록 정보 축적 장치(60)에 축적시킨다.

또한, 정보 축적 장치(60)에 축적하는 정보는 화상 신호 SDv와 움직임 정보 IFM에 한정되는 것이 아니며, 도 49B에 도시한 바와 같이, 화상 처리 장치(20-3)에서 생성한 화상 출력 신호 SDL, SDC, SDR을 축적할 수도 있다. 이 정보 축적 장치(60)에 축적되어 있는 화상 출력 신호 SDL, SDC, SDR을 판독하여 프로젝터(12L, 12C, 12R)에 공급하면, 화상의 움직임에 맞추어 표시 위치를 이동시킬 수 있다.

이와 같이, 정보 축적 장치(60)에 화상 신호 SDv와 움직임 정보 IFM을 축적하면, 화상 출력 신호 SDL, SDC, SDR을 축적하는 경우에 비해 정보량을 적게 할 수 있다. 또한, 화상 출력 신호 SDL, SDC, SDR을 축적하면, 화상 표시 시에 연산 처 리를 행할 필요가 없기 때문에, 용이하게 화상 표시를 행할 수 있다.

또한, 리얼타임 혹은 오프 라인으로 화상 표시를 행할 수 있기 때문에, 예를 들면, 국(局)측에서는 프로그램의 송신 혹은 배신 시에 화상 신호 SDv와 움직임 정보 IFM을 동시에 송신한다. 또한, 시청자측에는 화상 처리 장치(20-3)나 스크린 및 프로젝터를 제공하는 것으로 하면, 현장감이 높은 프로그램 시청이 가능해진다. 또한, 상술한 도 49A, 도 49B에서의 정보 축적 장치(60)로서 자기 테이프나 광 디스크 등을 이용하는 것으로 하여, 도 50A에 도시한 바와 같이, 배포나 판매가 가능한 패키지 미디어화하면, 이 패키지 미디어(61)를 플레이어(70)에 의해 재생함으로써, 현장감이 높은 화상 제시를 행할 수 있다. 또한, 현장감이 높은 화상 제시를 행할 수 있는 콘텐츠를 널리 유통시킬 수 있다. 또, 패키지 미디어(61)에 화상 신호 SDv와 움직임 정보 IFM을 기록하는 경우, 플레이어(70)는 상술한 화상 처리 장치(20-3)의 기능을 갖는 것으로 한다.

또한, 정보 축적 장치(60)로서 하드 디스크 장치 등의 스토리지(62)를 이용하는 것으로 하면, 도 50B에 도시한 바와 같이, 필름을 이용하지 않고 스크린에 화상을 표시하는 전자 영화관 등에 대하여, 스토리지(62)에 기억되어 있는 정보를 배신함으로써, 보다 현실적이며 현장감이 높은 영화 감상이 가능해진다. 또, 스토리지(62)에 화상 신호 SDv와 움직임 정보 IFM을 기록하는 경우, 스토리지 재생 장치(75)는 상술한 화상 처리 장치(20-3)의 기능을 갖는 것으로 한다.

또한, 상술한 화상 처리 장치(20-3)에서의 처리는 하드웨어 뿐만 아니라 소프트웨어에 의해 실현하는 것으로 하여도 된다. 이 경우의 구성은 예를 들면, 상 술한 도 16에 도시하는 구성으로 한다.

도 51은 화상 처리 프로그램의 구성을 도시하는 흐름도이다. 단계 ST111에서는, 화상 신호 SDv와 움직임 정보 IFM을 취득하여 단계 ST112로 진행한다. 단계 ST112에서는, 촬영 방향과 시청자로부터 보았을 때의 화상 제시 방향이 일치하도록 표시 위치를 설정하여, 움직임 정보 IFM에 기초하여 표시 위치를 산출한다. 단계 ST113에서는, 단계 ST113에서 산출된 위치로 되도록, 화상 신호 SDv에 기초하는 화상의 표시 위치를 이동시킨다. 단계 ST114에서는, 표시 위치를 이동시킨 화상으로부터 화상 출력 신호 SDL, SDC, SDR을 생성하여 처리를 종료한다.

이와 같이, 촬영 화상의 화상 신호와 촬영 방향의 움직임에 따른 움직임 정보를 생성하여, 촬영 화상보다도 광화각의 화상 표시 영역을 제공하며, 화상 출력 신호에 기초하여 화상 표시를 행하여, 화상 출력 신호에 기초하는 화상이, 상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 상기 화상 표시 영역에서 이동하는 화상으로 되도록, 상기 화상 신호와 상기 움직임 정보에 기초하여 상기 화상 출력 신호가 생성된다. 이와 같이, 촬영 화상의 움직임에 따라 화상 표시 위치가 이동되기 때문에, 현장감이 높아서 부자연스러움이 적은 화상 표시를 간단한 구성으로 행할 수 있다.

또한, 움직임 정보 생성 수단이 촬상 수단에 부착되어, 화상 신호와 움직임 정보가 동시에 생성된다. 또한, 촬상 수단의 촬영 방향을 제어하기 위해 이용하는 정보가 움직임 정보로 되기 때문에, 실제의 화상의 움직임에 맞추어 표시 위치를 이동시킬 수 있다.

또한, 촬영 방향의 움직임과 촬영 화상의 표시 위치의 이동이 동일해지도록 화상 출력 신호가 생성되기 때문에, 시청자는 현실과 동일한 공간 혹은 움직임을 시청 시에 취득할 수 있다.

또한, 생성된 화상 신호와 움직임 정보가 전송로를 통해 전송되어 처리되기 때문에, 리얼타임으로 화상 표시를 행할 수 있다. 또한, 화상 신호와 움직임 정보가 축적되며, 그 후 축적된 화상 신호나 움직임 정보가 판독되어 화상 출력 신호의 생성이 행해지기 때문에, 오프 라인에서도 현장감이 높은 화상 표시를 행할 수 있다.

또, 상술한 형태에서의 스크린이나 프로젝터는 예시적인 것이며, 화면 사이즈나 수도 자유롭게 변경 가능하다. 또한, 다른 종류의 디스플레이 예를 들면, 1면의 광화각 디스플레이나, 원통형 등의 곡면 디스플레이 등을 이용하여도 된다. 이와 같이, 표시 화상의 사이즈보다도 화상 표시 영역이 크면, 현실 세계에 충실하며 현장감이 높은 화상 표시가 가능하다.

이와 같이, 본 발명은 상술한 제2 형태로부터, 이하의 기술적 특징도 갖는다.

(A1) 입력 화상의 화상 신호에 기초하여 상기 입력 화상의 신 전환을 검출하는 신 체인지 검출 수단과,

상기 신 체인지 검출 수단에서의 검출 결과에 기초하여, 신 전환 후의 화상 표시 위치를 신 전환 전의 화상 표시 위치와 상이한 위치에 설정하는 표시 위치 제어 수단과,

상기 표시 위치 제어 수단에 의해 설정된 위치에, 상기 신 전환 후의 화상을 표시시킴과 함께, 상기 신 전환 전의 화상을 정지 화상으로 하여 아울러 표시시키는 표시 제어 수단을 포함하는 화상 처리 장치.

(A2) 상기 표시 제어 수단에서는, 상기 정지 화상으로서 상기 신 전환 전의 복수 신의 화상을 표시하는 것으로 하며,

상기 표시 위치 제어 수단은, 상기 신 전환 후의 화상과 상기 복수의 정지 화상과의 차분을 검출하여, 그 차분이 가장 작은 정지 화상의 화상 표시 위치를 상기 신 전환 후의 화상 표시 위치에 설정하는 (A1)에 기재된 화상 처리 장치.

(A3) 상기 표시 위치 제어 수단은, 신 간의 상관값을 산출하는 상관값 산출 수단과,

상기 상관값에 기초하여 관련하는 신을 판별하는 관련 신 판별 수단을 포함하며,

상기 신 전환 후의 화상 표시 위치를, 관련하는 신의 화상 표시 위치에 설정하는 (A1)에 기재된 화상 처리 장치.

(A4) 상기 화상 신호에 기초하여 상기 입력 화상의 움직임을 검출하는 움직임 검출 수단을 제공하며,

상기 표시 위치 수단에서는, 상기 정지 화상이 표시되어 있지 않은 표시 영역에 신 전환 후의 최초의 화상의 화상 표시 위치를 설정함과 함께, 그 후 상기 움직임 검출 수단에서의 움직임 검출 결과에 기초하여 화상 표시 위치를 이동시키는 (A1)에 기재된 화상 처리 장치.

(A5) 상기 표시 위치 수단에서는, 상기 정지 화상이 표시되어 있지 않은 표시 영역의 중앙에, 상기 신 전환 후의 최초의 화상의 화상 표시 위치를 설정하는 (A4)에 기재된 화상 처리 장치.

(A6) 상기 표시 위치 제어 수단은,

상기 움직임 검출 결과를 신 내에서 누적하는 움직임 누적 수단과,

상기 정지 화상이 표시되어 있지 않은 표시 영역의 크기를 판별하는 영역 판별 수단을 포함하고,

상기 신 전환 후의 최초의 화상의 화상 표시 위치는 상기 움직임 누적 수단에 의해 얻어진 움직임 누적 결과와 상기 영역 판별 수단에 의해 얻어진 영역 판별 결과에 기초하여 설정하는 (A4)에 기재된 화상 처리 장치.

(A7) 상기 표시 위치 제어 수단은,

상기 신 전환 후의 화상의 화상 표시 위치를 상기 움직임 검출 결과에 기초하여 이동시켰을 때, 상기 정지 화상이 표시되어 있지 않은 표시 영역을 상기 입력 화상이 초과하게 되면, 상기 움직임 누적 결과와 상기 영역 판별 결과에 기초하여 판별되었을 때, 상기 입력 화상이 상기 정지 화상이 표시되어 있지 않은 표시 영역을 초과하지 않도록, 화상 표시 위치의 이동을 보정하는 이동 보정 수단을 포함하는 (A6)에 기재된 화상 처리 장치.

(A8) 입력 화상의 화상 신호에 기초하여 상기 입력 화상의 신 전환을 검출하며,

상기 신 전환의 검출 결과에 기초하여, 신 전환 후의 화상 표시 위치를 신 전환 전의 화상 표시 위치와 상이한 위치에 설정하고,

상기 설정된 위치에, 상기 신 전환 후의 화상을 표시시킴과 함께, 상기 신 전환 전의 화상을 정지 화상으로 하여 아울러 표시시키는 화상 처리 방법.

(A9) 상기 정지 화상으로서, 상기 신 전환 전의 복수 신의 화상을 표시하는 것으로 하며,

상기 신 전환 후의 화상과 상기 복수의 정지 화상과의 차분을 검출하여, 그 차분이 가장 작은 정지 화상의 화상 표시 위치를 상기 신 전환 후의 화상 표시 위치에 설정하는 (A8)에 기재된 화상 처리 방법.

(A10) 신 간의 상관값을 산출하며,

상기 상관값에 기초하여 관련하는 신을 판별하고,

상기 신 전환 후의 화상 표시 위치를, 관련하는 신의 화상 표시 위치에 설정하는 (A8)에 기재된 화상 처리 방법.

(A11) 상기 화상 신호에 기초하여 상기 입력 화상의 움직임을 검출하며,

상기 정지 화상이 표시되어 있지 않은 표시 영역에 신 전환 후의 최초의 화상의 화상 표시 위치를 설정함과 함께, 그 후 상기 움직임 검출 결과에 기초하여 화상 표시 위치를 이동시키는 (A8)에 기재된 화상 처리 방법.

(A12) 상기 정지 화상이 표시되어 있지 않은 표시 영역의 중앙에, 상기 신 전환 후의 최초의 화상의 화상 표시 위치를 설정하는 (A11)에 기재된 화상 처리 방법.

(A13) 상기 신 전환 후의 최초의 화상의 화상 표시 위치는, 상기 움직임 검 출 결과를 신 내에서 누적한 움직임 누적 결과와, 상기 정지 화상이 표시되어 있지 않은 표시 영역의 크기를 판별한 영역 판별 결과에 기초하여 설정하는 (A11)에 기재된 화상 처리 방법.

(A14) 상기 신 전환 후의 화상의 화상 표시 위치를 상기 움직임 검출 결과에 기초하여 이동시켰을 때, 상기 정지 화상이 표시되어 있지 않은 표시 영역을 상기 입력 화상이 초과하게 되면, 상기 움직임 누적 결과와 상기 영역 판별 결과에 기초하여 판별되었을 때, 상기 입력 화상이 상기 정지 화상이 표시되어 있지 않은 표시 영역을 초과하지 않도록, 화상 표시 위치의 이동을 보정하는 (A13)에 기재된 화상 처리 방법.

(A15) 컴퓨터에,

입력 화상의 화상 신호에 기초하여 상기 입력 화상의 신 전환을 검출하는 단계와,

상기 신 전환의 검출 결과에 기초하여, 신 전환 후의 화상 표시 위치를 신 전환 전의 화상 표시 위치와 상이한 위치에 설정하는 단계와,

상기 설정된 위치에, 상기 신 전환 후의 화상을 표시시킴과 함께, 상기 신 전환 전의 화상을 정지 화상으로 하여 아울러 표시시키는 단계

를 실행시키는 화상 처리 프로그램.

또한, 본 발명은 상술한 제3 형태로부터, 이하의 기술적 특징도 갖는다.

(B1) 촬영 화상의 화상 신호와 촬영 방향의 움직임에 따라 움직임 정보를 생성하는 정보 생성 수단과,

상기 촬영 화상보다도 광화각의 화상 표시 영역을 이용하여, 화상 출력 신호에 기초한 화상 표시를 행하는 화상 표시 수단과,

상기 화상 출력 신호에 기초하는 화상이, 상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 상기 화상 표시 영역에서 이동하는 화상으로 되도록, 상기 화상 신호와 상기 움직임 정보에 기초하여 상기 화상 출력 신호를 생성하는 화상 처리 수단을 포함하는 화상 표시 시스템.

(B2) 상기 정보 생성 수단은, 촬영 화상의 화상 신호를 생성하는 촬상 수단과, 상기 움직임 정보를 생성하는 움직임 정보 생성 수단을 포함하며,

상기 움직임 정보 생성 수단은 센서를 이용하여 형성하고,

상기 움직임 정보 생성 수단을 상기 촬상 수단에 부착함으로써, 상기 화상 신호와 상기 움직임 정보를 동시에 생성하는 (B1)에 기재된 화상 표시 시스템.

(B3) 상기 정보 생성 수단은, 촬영 화상의 화상 신호를 생성하는 촬상 수단과, 상기 촬상 수단의 촬영 방향을 제어하는 방향 제어 수단을 포함하며,

상기 방향 제어 수단에 의해 촬영 방향을 제어하기 위해 이용하는 정보를 상기 움직임 정보로 함으로써, 상기 화상 신호와 상기 움직임 정보를 동시에 생성하는 (B1)에 기재된 화상 표시 시스템.

(B4) 상기 화상 처리 수단은 상기 촬영 방향의 움직임과 상기 촬영 화상의 표시 위치의 이동이 동일해지도록 상기 화상 출력 신호를 생성하는 (B1)에 기재된 화상 표시 시스템.

(B5) 상기 정보 생성 수단에 의해 생성된 화상 신호와 움직임 정보를 전송로 를 통해 상기 화상 처리 수단에 공급하는 (B1)에 기재된 화상 표시 시스템.

(B6) 상기 정보 생성 수단에 의해 생성된 화상 신호와 움직임 정보를 정보 축적 수단에 축적시키는 것으로 하며,

상기 화상 처리 수단은, 상기 정보 축적 수단에 축적되어 있는 화상 신호와 움직임 정보를 이용하여 상기 화상 출력 신호를 생성하는 (B1)에 기재된 화상 표시 시스템.

(B7) 화상 신호와 촬영 방향의 움직임에 따른 움직임 정보를 이용하여 화상 표시용의 화상 출력 신호를 생성하는 화상 처리 장치에 있어서,

촬영 방향의 움직임에 따른 움직임 정보에 기초하여, 화상의 표시 위치를 결정하는 표시 위치 산출 수단과,

상기 표시 위치 산출 수단에 의해 결정된 표시 위치에, 상기 화상 신호에 기초하는 화상을 이동시키는 화상 이동 수단과,

상기 화상 이동 수단에 의해 이동된 화상의 화상 신호를 이용하여 상기 화상 출력 신호를 생성하는 화상 출력 신호 생성 수단을 포함하는 화상 처리 장치.

(B8) 상기 위치 산출 수단은 상기 움직임 정보에 기초하여, 상기 촬영 방향의 움직임과 상기 화상의 표시 위치의 이동이 동일해지도록 상기 표시 위치를 결정하는 (B7)에 기재된 화상 처리 장치.

(B9) 촬영 화상의 화상 신호와 촬상 방향의 움직임에 따른 움직임 정보가 입력되는 입력 수단과,

상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 결정하는 화상 처리 수단을 포함하는 화상 처리 장치.

(B10) 촬영 화상의 화상 신호와 촬영 방향의 움직임에 따른 움직임 정보를 생성하고,

상기 촬영 화상보다도 광화각의 화상 표시 영역을 제공하며, 화상 출력 신호에 기초하여 화상 표시를 행하며,

상기 화상 출력 신호에 기초하는 화상이, 상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 상기 화상 표시 영역에서 이동하는 화상으로 되도록, 상기 화상 신호와 상기 움직임 정보에 기초하여 상기 화상 출력 신호를 생성하는 화상 표시 방법.

(B11) 상기 촬영 방향의 움직임과 상기 촬영 화상의 표시 위치의 이동이 동일해지도록 상기 화상 출력 신호를 생성하는 (B10)에 기재된 화상 표시 방법.

(B12) 촬영 화상의 화상 신호와 촬상 방향의 움직임에 따른 움직임 정보를 입력하며,

상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 결정하는 화상 처리 방법.

(B13) 컴퓨터에,

촬영 화상의 화상 신호와 촬상 방향의 움직임에 따른 움직임 정보를 입력하는 단계와,

상기 촬영 화상의 표시 위치를 상기 움직임 정보에 기초하여 결정하는 단계와,

상기 결정된 표시 위치에 상기 촬영 화상을 표시하는 화상 출력 신호를 상기 화상 신호를 이용하여 생성하는 단계

를 실행시키는 화상 처리 프로그램.

이상과 같이, 본 발명에 따른 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램은 넓은 화상 표시 영역을 사용하여 화상 표시를 행하는 데에 유용하며, 특히 현장감을 높인 화상 표시를 행하는 데 적합하다.

Claims (20)

1. 화상 처리 장치로서,

   입력 화상의 신 체인지를 검출하는 신 체인지 검출 수단과,

   상기 입력 화상 내의 화상 움직임을 검출하는 움직임 검출 수단과,

   상기 신 체인지 검출 수단에 의해 검출된 신 체인지에 기초하여 연속 신의 기간을 판별하며, 상기 연속 신의 기간 중에 상기 움직임 검출 수단에 의해 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 표시 화상 생성 수단을 포함하고,

   상기 표시 화상 생성 수단은,

   상기 연속 신의 기간 중에 상기 움직임 검출 수단에 의해 검출된 화상 움직임에 기초하여, 상기 입력 화상의 표시 위치를 결정하는 표시 위치 결정 수단과,

   상기 표시 위치 결정 수단에 의해 표시 위치가 결정된 상기 연속 신의 기간 중의 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각인 광화각 화상을 생성하는 광화각 화상 생성 수단과,

   상기 입력 화상을 상기 표시 위치 결정 수단에 의해 결정된 표시 위치로 이동하는 입력 화상 이동 수단과,

   상기 입력 화상 이동 수단에 의해 표시 위치가 이동된 입력 화상을 상기 광화각 화상에 중첩함으로써 상기 표시 화상을 생성하는 화상 중첩 수단

   을 갖는, 화상 처리 장치.
2. 제1항에 있어서,

   상기 신 체인지 검출 수단은,

   상기 입력 화상 내의 인접 프레임 간의 상관값을 산출하는 상관값 산출 수단과,

   상기 상관값에 기초하여, 신 체인지의 유무를 판정하는 판정 수단을 갖는 화상 처리 장치.
3. 제2항에 있어서,

   상기 상관값은 상관 계수인 화상 처리 장치.
4. 제2항에 있어서,

   상기 상관값 산출 수단은,

   인접 프레임 간의 차분값의 평균값을 차분 평균값으로 하여 산출하는 차분 평균 산출 수단과,

   1 프레임의 화소값의 평균값을 화소 평균값으로 하여 산출하는 화소 평균값 산출 수단과,

   상기 화소 평균값을 이용하여, 상기 차분 평균값을 정규화하며, 정규화된 상기 차분 평균값을 상기 상관값으로 하여 출력하는 정규화 수단을 갖는 화상 처리 장치.
5. 삭제
6. 제1항에 있어서,

   상기 광화각 화상 생성 수단은, 상기 표시 위치 결정 수단에 의해 표시 위치가 결정된 상기 연속 신의 기간 중의 입력 화상을 역시간 순으로 순차 중첩함으로써 상기 광화각 화상을 생성하는, 화상 처리 장치.
7. 제1항에 있어서,

   상기 광화각 화상 생성 수단은, 상기 표시 화상에서의 상기 입력 화상 부분이 상기 표시 화상을 표시하는 화상 표시 영역을 초과하지 않도록, 상기 광화각 화상의 표시 위치를 상기 연속 신의 기간 중에 상기 움직임 검출 수단에 의해 검출된 화상 움직임에 기초하여 이동시키는 것으로 하며,

   상기 입력 화상 이동 수단은, 상기 광화각 화상 생성 수단에서의 상기 광화각 화상의 이동에 수반하여, 상기 표시 위치 결정 수단에 의해 결정된 표시 위치를 보정하는, 화상 처리 장치.
8. 제1항에 있어서,

   상기 광화각 화상 생성 수단은, 상기 광화각 화상과 상기 화상 표시 영역과의 크기에 기초하여, 상기 표시 위치를 상기 연속 신의 기간 중에 상기 움직임 검출 수단에 의해 검출된 화상 움직임에 기초하여 이동시키는 것으로 하며,

   상기 입력 화상 이동 수단은, 상기 광화각 화상 생성 수단에서의 상기 광화각 화상의 이동에 수반하여, 상기 표시 위치 결정 수단에 의해 결정된 표시 위치를 보정하는, 화상 처리 장치.
9. 제1항에 있어서,

   상기 표시 화상을 분할하는 화상 분할 수단을 포함하며,

   상기 화상 분할 수단은, 상기 표시 화상을 표시하는 화상 표시 영역이 복수의 표시 영역으로 구성되어 있을 때, 상기 복수의 표시 영역에 대응시켜 상기 표시 화상을 분할하는 화상 처리 장치.
10. 입력 화상 내의 화상의 움직임에 따라, 화상의 표시 위치를 변경하는 화상 처리 장치에 있어서,

    상기 입력 화상 내의 화상 움직임을 검출하는 움직임 검출 수단과,

    상기 움직임 검출 수단에 의해 검출된 화상 움직임의 복수 프레임분의 정보에 기초하여, 상기 입력 화상의 표시 위치를 결정하는 표시 위치 결정 수단과,

    상기 입력 화상을 상기 표시 위치 결정 수단에 의해 결정된 표시 위치로 이동하는 입력 화상 이동 수단을 포함하는 화상 처리 장치.
11. 화상 처리 방법으로서,

    입력 화상의 신 체인지와 상기 입력 화상 내의 화상 움직임을 검출하는 단계와,

    검출된 신 체인지에 기초하여 연속 신의 기간을 판별하고, 상기 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 단계를 포함하고,

    상기 표시 화상을 생성하는 단계는,

    상기 연속 신의 기간 중에 검출된 화상 움직임에 기초하여, 상기 입력 화상의 표시 위치를 결정하는 단계와,

    상기 표시 위치가 결정된 상기 연속 신의 기간 중의 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각인 광화각 화상을 생성하는 단계와,

    상기 입력 화상을 상기 표시 위치로 이동시키는 단계와,

    상기 표시 위치가 이동된 입력 화상을 상기 광화각 화상에 중첩함으로써 상기 표시 화상을 생성하는 단계

    를 포함하는 것을 특징으로 하는 화상 처리 방법.
12. 제11항에 있어서,

    상기 입력 화상 내의 인접 프레임 간의 상관값을 산출하고, 상기 상관값에 기초하여, 신 체인지의 유무를 판정하는 화상 처리 방법.
13. 제12항에 있어서,

    상기 상관값은 상관 계수인 화상 처리 방법.
14. 제12항에 있어서,

    인접 프레임 간의 차분값의 평균값을 차분 평균값으로 하여 산출하며,

    1 프레임의 화소값의 평균값을 화소 평균값으로 하여 산출하고,

    상기 화소 평균값을 이용하여 상기 차분 평균값을 정규화하며, 정규화된 상기 차분 평균값을 상기 상관값으로서 이용하는 화상 처리 방법.
15. 삭제
16. 제11항에 있어서,

    상기 표시 위치가 결정된 상기 연속 신의 기간 중의 입력 화상을 역시간 순으로 순차 중첩함으로써 상기 광화각 화상을 생성하는, 화상 처리 방법.
17. 제11항에 있어서,

    상기 표시 화상에서의 상기 입력 화상 부분이 상기 표시 화상을 표시하는 화상 표시 영역을 초과하지 않도록, 상기 광화각 화상의 표시 위치를 상기 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 이동시키는 것으로 하며,

    상기 광화각 화상의 이동에 수반하여, 상기 연속 신의 기간 중의 입력 화상에 대한 표시 위치를 보정하는, 화상 처리 방법.
18. 제11항에 있어서,

    상기 표시 화상을 표시하는 화상 표시 영역이 복수의 표시 영역으로 구성되어 있을 때, 상기 복수의 표시 영역에 대응시켜 상기 표시 화상을 분할하는 화상 처리 방법.
19. 입력 화상 내의 화상의 움직임에 따라서, 화상의 표시 위치를 변경하는 화상 처리 방법으로서,

    상기 입력 화상 내의 화상 움직임을 검출하며, 상기 검출된 화상 움직임의 복수 프레임분의 정보에 기초하여, 상기 입력 화상의 표시 위치를 결정하여, 상기 입력 화상을 상기 결정된 표시 위치로 이동하는 화상 처리 방법.
20. 컴퓨터에,

    입력 화상의 신 체인지를 검출하는 단계와,

    상기 입력 화상 내의 화상 움직임을 검출하는 단계와,

    검출된 신 체인지에 기초하여 연속 신의 기간을 판별하고, 상기 연속 신의 기간 중에 검출된 화상 움직임에 기초하여 상기 연속 신의 기간 중의 상기 입력 화상을 중첩시켜, 상기 입력 화상보다도 광화각이고 상기 입력 화상의 위치가 상기 화상 움직임에 따라 변화되는 표시 화상을 생성하는 단계를 실행시키는 화상 처리 프로그램을 기록한 기록 매체로서,

    상기 표시 화상을 생성하는 단계는,

    상기 연속 신의 기간 중에 검출된 화상 움직임에 기초하여, 상기 입력 화상의 표시 위치를 결정하는 단계와,

    상기 표시 위치가 결정된 상기 연속 신의 기간 중의 입력 화상을 중첩시켜서, 상기 입력 화상보다도 광화각인 광화각 화상을 생성하는 단계와,

    상기 입력 화상을 상기 표시 위치로 이동시키는 단계와,

    상기 표시 위치가 이동된 입력 화상을 상기 광화각 화상에 중첩함으로써 상기 표시 화상을 생성하는 단계

    를 포함하는 것을 특징으로 하는 화상 처리 프로그램을 기록한 기록 매체.

Images