KR101344797B1 - 화상 처리 장치 및 방법, 데이터 기록 매체와 프로그램 기록 매체 - Google Patents

Abstract

원래의 화상 데이터에 처리를 가하는 일 없이 화상을 재생시킬 때에 화상에 대해서 정확히 소정의 처리를 가하여 실현한다. 이를 위해 본 발명은, 화상으로부터 특징량을 추출하기 위해 구성되는 특징량 추출부와; 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 수단과; 화상의 특징량에 대응지어서 설정 정보를 데이터 기록 매체에 기록하는 수단을 포함한다. 이때, 특징량 추출부(41)는 화상으로부터 특징량을 추출한다. 설정 정보 결정부(46)는, 그 화상에 대한 처리를 가하기 위한 설정 정보를 설정한다. 특징량 설정 정보 기록부(61)는 화상의 특징량에 대응지어서 설정 정보를 특징량 설정 정보 축적부(62)에 기록한다. 특징량 추출부(41)는, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생위치 특징량으로서 추출한다. 동기 검출부(42)는 특징량 설정 정보 축적부(62)의 특징량과, 재생 위치 특징량을 동기 시킨다. 특징량 설정 정보 판독부(63)는 특징량 설정 정보 축적부(62)로부터, 동기한 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어낸다. 반영부(49)는, 읽어낸 설정 정보에 적용할 수가 있다

화상, 영상, TVR, 동기, 편집

Description

화상 처리 장치 및 방법, 데이터 기록 매체와 프로그램 기록 매체{IMAGE PROCESSING APPARATUS AND METHOD, DATA RECORDING MEDIUM, AND PROGRAM RECORDING MEDIUM}

도 1은 본 발명의 실시예에 따른 화상 처리 장치의 개념을 설명하기 위한 도면.

도 2는 본 발명의 실시예에 따른 화상 처리 장치의 개념을 설명하기 위한 도면.

도 3은 본 발명을 적용한 화상 처리 장치의 일실시 형태의 구성을 도시하는 블록도.

도 4는 도 3의 특징량 추출부의 예시적인 구성예를 도시하는 블록도.

도 5는 화상 신호의 예시적인 구성예를 설명하는 도면.

도 6은 도 3의 동기 검출부의 예시적인 구성예를 도시하는 블록도.

도 7은 도 3의 화상 처리 장치에 의한 화상 처리를 설명하는 흐름도.

도 8은 도 7의 특징량 추출 처리를 설명하는 흐름도.

도 9는 도 7의 특징량 추출 처리를 설명하는 도면.

도 10은 도 7의 동기 검출 처리를 설명하는 흐름도.

도 11은 도 7의 동기 검출 처리를 설명하는 도면.

도 12는 도 3의 화상 처리 장치에 의한 화상 처리에 의해 실현되는 화상 처리 동작을 설명하는 도면.

도 13은 본 발명의 실시예에 따른 본 발명을 적용한 화상 처리 장치의 또 다른 예시적인 구조의 블록도를 설명하는 도면.

도 14는 도 13의 화상 처리 장치에 의한 화상 처리를 설명하는 흐름도.

도 15는 본 발명의 실시예에 따른 본 발명을 적용한 화상 처리 장치의 또 다른 예시적인 구조의 블럭도를 설명하는 도면.

도 16은 도 15의 화상 처리 장치에 의한 화상 처리를 설명하는 흐름도.

도 17은 도 15의 화상 처리 장치에 의한 화상 처리를 설명하는 도면.

도 18은 본 발명의 실시예에 따른 본 발명을 적용한 화상 처리 장치의 또 다른 예시적인 구조의 블럭도를 설명하는 도면.

도 19는 도 18의 화상 처리 장치에 의한 화상 처리를 설명하는 흐름도.

도 20은 도 18의 화상 처리 장치에 의한 화상 처리를 설명하는 도면.

도 21은 본 발명의 실시예에 따른 본 발명을 적용한 화상 처리 장치의 또 다른 예시적인 구조의 블럭도를 설명하는 도면.

도 22는 도 21의 화상 처리 장치에 의한 포맷 처리를 설명하는 흐름도.

도 23은 도 21의 화상 처리 장치에 의한 포맷 처리를 설명하는 도면.

도 24는 본 발명의 실시예에 따른 본 발명을 적용한 화상 처리 장치의 또 다른 예시적인 구조의 블럭도를 설명하는 도면.

도 25는 도 24의 화상 처리 장치에 의한 화상 처리를 설명하는 흐름도.

도 26은 도 24의 화상 처리 장치에 의한 화상 처리를 설명하는 도면.

도 27은 개인용 컴퓨터를 설명하는 도면.

****도면의 주요 부호설명****

11: 기록 미디어, 　12:　화상 재생부,

13:　화상 처리 장치, 　 14:　리모트 컨트롤러,

15:　표시부, 　41:　특징량 추출부,　

42:　동기 검출부, 　 43:　축적 블록,　

44:　수광부, 　 45:　조작 정보 인식부,　

46:　설정 정보 결정부, 　 47:　선택부,　

48:　지연부,　 49:　반영부,

61:　특징량 설정 정보 기록부,　62:　특징량 설정 정보 축적부,

63:　특징량 설정 정보 판독부

　본 발명은, 화상 처리 장치 및 방법, 데이터 기록 매체, 프로그램 기록 매체, 및 프로그램에 관계되어, 특히, 화상에 가하는(apply) 처리와, 화상의 특징량을 대응지어서 기억시키는 것으로, 화상을 재생시킬 때마다, 소정의 처리를 가한 화상을 재현할 수 있도록 한 화상처리장치 및 방법, 데이터 기록 매체, 프로그램 기록 매체, 및 프로그램에 관한 것이다.

화상을 간편하게(손쉽게) 처리하기 위한 기술이 보급되어 있다. 종래, 비디오 카메라 등으로 촬상된 화상을 편집하려면, 원래의 화상 데이터를 재생시키면서, 각종 처리를 가하는 조작을 실행하고, 처리 결과가 되는 화상을 다른 기록 매체에 기록시킨다고 하는 리니어 편집이 주류였다.

또, 상술한 바와 같은 판독 편집의 경우, 원래의 화상 데이터가 일회 카피(COPY ONCE)의 경우, 한 번 VCR(Video Cassette Recorder)에 기록한 것을 재생하고, 또한, 편집한 영상에 대해서는 기록할 수 없다고 하는 문제가 있었다.

　　그래서, 화상을 편집시키기 위한 처리를 지시하는 조작을 기억시킬 방법이 제안되고 있다(일본특개 제2003－202944호 공보 참조).

그렇지만, 판독 편집의 경우, 화상과, 그 화상의 시간을 나타내는 타임 코드를 동시에 통신하는 것으로 타임 코드에 맞추어 편집할 수가 있지만, 보급용(民生用)의 VCR 등에서 타임 코드는 VCR 내부에 있어, 타임 코드를 외부로 전하는 것은 사실상 할 수 없는 상태이며, 화상과 화상을 편집시키기 위한 처리를 지시하는 조작을 동기(同期; synchronization) 시키는 것을 할 수 없기 때문에, 조작을 단순히 기억시키도록 해도, 정확히 화상의 재생에 동기하면서, 화상에 처리를 가하여 표시시키는 것은 곤란했다.

　본 발명은 이와 같은 상황에 감안하여 이루어진 것이며, 특히, 원래의 화상 데이터에 처리를 가하는 일 없이, 화상에 가하는 처리와, 화상의 특징량을 대응 지어서 기억시키는 것으로, 화상을 재생시킬 때마다, 화상에 대해서 정확히 소정의 처리를 가하여 재현할 수 있도록 하는, 화상 처리 장치 및 방법, 데이터 기록 매체, 프로그램 기록 매체, 및 프로그램을 제공하는 것을 목적으로 하고 있다.

따라서, 본 발명의 제1의 측면의 화상 처리 장치는, 화상으로부터 특징량을 추출하는 특징량 추출 수단과, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 수단과, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 수단을 포함한다.

상기 특징량 추출 수단에는, 상기 화상을 구성하는 소정 영역의 화소의 화소값의 가산값을 특징량으로서 추출시키도록 할 수가 있다.

상기 화상 처리 장치는, 상기 화상에 대한 처리를 지정하는 조작을 하는 조작 수단을 더 포함할 수 있다. 상기 설정 수단은, 상기 조작 수단의 조작 내용에 의해, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정시키도록 할 수 있다. 상기 기록 수단은, 상기 화상의 특징량에 대응지어서 상기 조작 내용을 상기 데이터 기록 매체에 기록할 수 있다. 　

상기 조작 수단에 의한 상기 화상에 대한 처리를 지정하는 조작 내용이, 상기 화상에 대한 직전(直前)의 처리와의 상대적인 처리를 지정하는 것인 경우, 상기 기록 수단은, 상기 화상의 특징량에 대응지어서 상기 조작 내용 및 상기 직전의 처리에 의한 설정 정보를 상기 데이터 기록매체에 기록할 수가 있다.

상기 기록 수단은, 상기 데이터 기록 매체위의 제1의 어드레스에 상기 화상 의 특징량을 기록하고, 상기 설정 정보를, 상기 제 1의 어드레스와 대응지어진 제2의 어드레스에 기록할 수 있다.

상기 기록 수단은, 상기 화상의 특징량과 상기 설정 정보가 대응지어진 테이블을 상기 데이터 기록 매체에 기록할 수 있다.

본 발명의 제1의 측면의 화상 처리 방법은, 화상으로부터 특징량을 추출하는 특징량 추출 단계와, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 단계와, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계를 포함한다.

본 발명의 제1의 측면의 프로그램 기록 매체의 프로그램은, 화상으로부터 특징량을 추출하는 특징량 추출 단계와, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 단계와, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계를 포함한다.

본 발명의 제1의 프로그램은, 화상으로부터 특징량을 추출하는 특징량 추출 단계와, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 단계와, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계를 포함하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제2의 측면의 데이터 기록 매체는, 화상의 특징량에 대응지어서, 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 구조를 포함한다.

상기 데이터 기록 매체는, 착탈식 매체로 할 수 있다.

본 발명의 제3의 측면의 화상 처리 장치는, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 수단과, 상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기 시키는 동기 수단과, 상기 동기 수단에 의해 상기 데이터 기록매체의 특징량과, 상기 재생 위치 특징량이 동기했을 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 수단과, 상기 판독 수단에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 수단을 포함한다.

상기 동기 수단은, 상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체로부터, 상기 특징량을 검색 위치 특징량으로서 순차 추출하는 검색 위치 특징량 추출 수단과, 상기 재생 위치 특징량과 상기 검색 위치 특징량을 순차 비교하는 비교 수단을 포함할 수 있다.상기 비교 결과가 일치했을 경우, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 것으로 간주될 수 있다.

본 발명의 제3의 측면의 화상 처리 방법은, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계와, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 단계와, 상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기 했을 경우, 상기 데이터 기록매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 단계와, 상기 판독 단계의 처리에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계를 포함한다.

본 발명의 제3의 측면의 프로그램 기록 매체의 프로그램은, 재생 위치의 화상으로부터 재생위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계와, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 단계와, 상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 단계와, 상기 판독 단계의 처리에 의해 읽어내진 설정정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계를 포함한다.

본 발명의 제3의 측면의 프로그램은, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계와, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 단계와, 상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기 했을 경우, 상기 데이터 기록매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 단계와, 상기 판독 단계의 처리에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계를 포함하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제1의 측면의 화상 처리 장치 방법, 및 프로그램에 있어서는, 화상으로부터의 특징량이 추출되고, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 설정되어 상기 화상의 특징량에 대응지어서 상기 설정 정보가 데이터 기록 매체에 기록된다.

본 발명의 제2의 측면의 데이터 기록 매체에 있어서는, 화상의 특징량에 대응지어서, 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 구조가 포함된다.

본 발명의 제3의 측면의 화상 처리 장치 방법, 및 프로그램에 있어서는, 재생위치의 화상으로부터 재생 위치의 특징량이 재생 위치 특징량으로서 추출되고, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록매체의 특징량과, 상기 재생 위치 특징량이 동기시켜지고, 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기했을 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보가 읽어 내어지고, 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리가 반영된다.

본 발명의 실시예에 따른, 화상 처리 장치는 화상 프로세싱 처리를 실행하기 위해 구성된 독립된 장치여도 좋고, 화상 처리를 행하는 블록이어도 좋다.

본 발명의 제 1 실시예에 따라, 사전 결정된 처리가 원래의 화상 데이터에 처리를 가할 필요없이 처리된 화상을 재생성(reproduce)하기 위해 정확히 화상에 가해질 수 있다.

본 발명의 제 1 실시예에 따라, 화상 처리를 위한 설정 정보는 화상의 특징량에 대응지어서 기록될 수 있다.

본 발명의 제 2 실시예에 따라, 매시간 화상은 재생되고, 사전 결정된 처리가 화상에 정확히 가해질 수 있으며, 원래 화상 데이터에 처리를 가할 필요없이, 처리된 화상이 재생성될 수 있다.

본 발명의 제 2 실시예에 따라, 화상 처리를 위한 설정 정보는, 화상 처리의 결과를 기록할 필요없이 이미지의 특징량에 대응지어서 기록될 수 있다.

본 발명의 제 3 실시예에 따라, 사전 결정된 처리는 원래 화상 데이터에 처리를 가할 필요없이 처리된 화상을 재생성하기 위해 화상에 정확하게 가해질 수 있다. 비록 복제 금지된 화상 데이터의 경우라도, 화상이 재생될 때마다 동일한 처리가 가해질 수 있고, 화상은 반복적으로 재생될 수 있다.

본 발명의 제 3 실시예에 따라, 화상처리를 위한 설정 정보는 화상의 특징량에 대응지어서 판독되며, 상기 화상에 가해질 처리는 상기 설정 정보에 의지하여 반영될 수 있다.

이하에 본 발명의 실시의 형태를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시의 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시형태가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시형태 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되지 않은 실시형태가 있었다고 해도, 그것은, 그 실시의 형태가, 그 발명에 대응하는 것이 아님을 의미하는 것은 아니다. 반대로, 실시의 형태가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시형태가, 그 발명 이외의 발명에는 대응하지 않는 것임을 의미하는 것도 아니다.

또한 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명이며, 이 출원에서는 청구되어있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.

즉, 본 발명의 1측면의 화상 처리 장치는, 화상으로부터 특징량을 추출하는 특징량 추출 수단(예를 들면, 도 3의 특징량 추출부(41))과, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하는 설정 수단(예를 들면, 도 3의 설정 정보 결정부(46))과, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체(예를 들면, 도 3의 특징량 설정 정보 축적부(62))에 기록하는 기록 수단(예를 들면, 도 3의 특징량 설정 정보 기록부(61))을 포함한다.

상기 특징량 추출 수단(예를 들면, 도 3의 특징량 추출부(41))은, 상기 화상을 구성하는 소정영역의 화소의 화소값의 가산값을 특징량으로서 추출시키도록 할 수가 있다.

상기 화상 처리 장치는, 상기 화상에 대한 처리를 지정하는 조작을 하는 조 작 수단(예를 들면, 도 13의 리모트 컨트롤러(14))을 더 포함할 수 있다. 상기 설정 수단(예를 들면, 도 13의 설정 정보 결정부(153))은, 상기 조작 수단의 조작 내용에 의해, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정시키도록 할 수가 있다. 상기 기록 수단(예를 들면, 도 13의 특징량 설정 정보 기록부 (161))은, 상기 화상의 특징량에 대응지어서 상기 조작 내용을 상기 데이터 기록 매체(예를 들면, 도 13의 특징량 설정 정보 축적부(162))에 기록할 수 있다.

상기 조작 수단에 의한 상기 화상에 대한 처리를 지정하는 조작 내용이, 상기 화상에 대한 직전의 처리와의 상대적인 처리를 지정하는 것인 경우, 상기 기록 수단(예를 들면, 도 15의 특징량 설정 정보 기록부(191))는, 상기 화상의 특징량에 대응지어서 상기 조작 내용 및 상기 직전의 처리에 의한 설정 정보와 상기 데이터 기록 매체(예를 들면, 도 15의 특징량 설정 정보 축적부(192))에 기록할 수 있다.

상기 기록 수단(예를 들면, 도 3의 특징량 설정 정보 기록부(61))은, 상기 데이터 기록 매체위의 제1의 어드레스에 상기 화상의 특징량을 기록하고, 상기 설정 정보를, 상기 제1의 어드레스와 대응지어진 제2의 어드레스에 기록할 수 있다.

상기 기록 수단(예를 들면, 도 18의 특징량 설정 정보 기록부(211))은, 상기 화상의 특징량과 상기 설정 정보가 대응지어진 테이블을 상기 데이터 기록 매체(예를 들면, 도 18의 특징량 설정 정보 테이블 축적부(212))에 기록할 수 있다.

본 발명의 제1의 측면의 방법 및 프로그램은, 화상으로부터 특징량을 추출하는 특징량 추출단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S3의 처리)와, 상기 화상에 대해 처리를 가하기 위한 설정 정보를 설정하는 설정 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S5의 처리)와, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S6의 처리)를 포함한다.

본 발명의 제2의 측면의 데이터 기록 매체(예를 들면, 도 3의 특징량 설정 정보 축적부(62))는, 화상의 특징량에 대응지어서, 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 구조를 포함한다.

본 발명의 제3의 측면의 화상 처리 장치는, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 수단(예를 들면, 도 3의 특징량 추출부(41))과, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 수단(예를 들면, 도 3의 동기 검출부(42))과, 상기 동기 수단에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기했을 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 수단(예를 들면, 도 3의 특징량 설정 정보 판독부(63))과, 상기 판독 수단에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 수단(예를 들면, 도 3의 반영부(49))을 포함한다.

상기 동기 수단에는, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체로부터, 상기 특징량을 검색 위치 특징량으로서 순차 추출하는 검색 위치 특징량 추출 수단(예를 들면, 도 6의 검색 위치 특징량판독부(104))과, 상기 재생 위치 특징량과 상기 검색 위치 특징량을 순차 비교하는 비교 수단(예를 들면, 도 6의 비교부(103))을 포함시키도록 할 수가 있고, 상기 비교 결과가 일치했을 경우, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 것으로 간주될 수 있다.

본 발명의 제3의 측면의 화상 처리 방법 및 프로그램은, 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S3의 처리)와, 상기 화상의 특징량에 대응지어져서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S9의 처리)와, 상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기했을 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S13의 처리)와, 상기 판독 단계의 처리에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계(예를 들면, 도 7의 흐름도에 있어서의 단계 S7의 처리)를 포함한다.

우선, 도 1, 도 2를 참조하여, 본 발명을 적용한 화상 처리 장치의 개념에 대해서 설명한다. 본 발명을 적용한 화상 처리 장치는, 미리 기록된 화상에 대한, 사용자에 의해 지시된 처리를 가한다. 이 때, 화상 처리 장치는, 화상의 특징량을 추출하여, 특징량에 대응지어서 처리 내용의 정보를 축적시킨다. 또한, 화상 처리 장치는, 미리 기록된 화상을 재생할 때, 미리 축적된 처리 내용의 정보를 읽어내어, 화상에 처리를 행하여 처리된 화상을 표시한다.

보다 구체적으로는, 화상 처리 장치(2)의 동작은, 크게 나누어 기록 모드와 재생 모드인 2개의 모드로 이루어진다.

기록 모드에서는, 도 1에서 도시되는 바와 같이, 화상 처리 장치(2)는, 예를 들면, DVD(Digital Versatile Disc)등의 동화상을 포함하는 컨텐츠가 미리 기록되어 있는 기록 미디어(1)로부터 DVD 플레이어 등에 의해 재생되는 화상을 표시부(3)에 표시시킨다. 이 상태로, 리모트 컨트롤러 등이 사용자 등에 의해 조작되는 것에 의해, 소망으로 하는 화상에의 처리로서 예를 들면, 줌, 팬, 틸트(zoom, pan, tilt) 등이 지시되면, 화상 처리 장치(2)는, 조작내용에 대응하는 설정 정보를 생성함과 동시에, 설정 정보에 대응지어진 처리를 화상에 행하여 표시부(3)에 표시시킨다. 또한, 화상 처리 장치(2)는, 화상으로부터 특징량을 추출하고, 추출한 특징량에 대응지어서 설정 정보를 조작 이력 격납부(4)에 축적시킨다.

다음에, 재생 모드에서는, 도 2에서 도시되는 바와 같이, 화상 처리 장치(2)는, 동화상을 포함하는 컨텐츠가 미리 기록되어 있는 기록 미디어(1)로부터 DVD 플레이어 등에 의해 재생되는 화상을 읽어냄과 동시에, 특징량을 추출한다. 이 때, 화상 처리 장치(2)는, 조작 이력 격납부(4)에 특징량에 대응지어져 기록되어 있는 설정 정보를, 기록 미디어(1)로부터 읽어낸 화상의 특징량에 동기하여 읽어냄과 동시에, 읽어낸 설정 정보에 의거하여, 화상에 처리를 행하고, 표시부(3)에 표시시킨 다.

이상과 같은 동작에 의해, 화상 처리 장치(2)는, 미리 기록된 화상에 대한 처리 내용만을 축적하여, 처리 결과인 화상을 기록하는 일 없이, 처리 결과인 화상을 반복 재생할 수 있도록 할 수가 있다. 결과적으로, 일회 카피(Copy Once)등의 복제 회수(複製回數)에 제한이 있는 것 같은 미리 기록된 화상에 대해서, 여러 가지 화상 처리를 가한다고 한 가공 처리를 반복하는 것이 가능해진다.

이하, 도 1, 도 2를 참조하여 설명한 화상 처리 장치(2)에 대해 상세하게 설명한다.

도 3은, 도 1, 도 2의 화상 처리 장치(2)에 대응하는 본 발명의 실시예에 따른 화상 처리 장치(13)의 구성을 도시한 도면이다.

화상 재생부(12)는, 도 1, 도 2의 기록 미디어(1)에 대응하는 기록 미디어(11)에 미리 소정의 형식에서 인코딩된 상태로 기록된 화상을 디코딩하고, 순차 화상으로서 특징량 추출부(41) 및 지연부(48)에 공급한다.

특징량 추출부(41)는, 화상 재생부(12)로부터 순차 공급되어 오는 화상의 특징량을 추출하여, 동기 검출부(42), 및 축적 블록(43)의 특징량 설정 정보 기록부(61)에 공급한다. 또, 특징량 추출부(41)의 구성에 대해서는, 도 4를 참조하여 상세하게 후술한다.

리모트 컨트롤러(14)는, 키 나 버튼 등으로 구성되고, 도 1, 도 2에서 도시되는 바와 같이 사용자가 소망으로 하는 화상에 대한 처리의 내용을 지시할 때 조작되고, 사용자의 조작에 따라서 조작 신호를 발생함과 동시에, 발생한 조작 신호 에 따라서 적외선 등으로 이루어지는 발광패턴을 생성하고, 화상 처리 장치(13)의 수광부(44)에 발광한다.

수광부(44)는, 리모트 컨트롤러(14)의 발광 패턴에 의거하여, 리모트 컨트롤러(14)의 조작 신호로 변환하고, 조작 정보 인식부(45)에 공급한다. 조작 정보 인식부(45)는, 수광부(44)로부터 공급되어 오는 조작 신호에 의거하여, 사용자가 소망으로 하는 화상에의 처리에 대응지어져 있는 조작 정보를 인식하고, 인식 결과인 조작 신호를 설정 정보 결정부(46)에 공급한다. 또, 축적 블록(43)은, 리모트 컨트롤러(14)로부터의 조작 정보에 의거하여, 온(ON) 또는 오프(OFF)를 제어하는 일도 가능하고, 이 때문에, 조작 정보 인식부(45)에 있어서, 축적 블록(43)의 온 또는 오프가 제어되는 조작 정보가 인식되었을 경우, 조작 정보 인식부(45)는, 축적 블록(43)의 동작을 온 또는 오프로 제어한다.

설정 정보 결정부(46)는, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보에 의거하여, 후술하는 반영부(49)에 대한 화상에의 처리 내용을 지시하기 위한 설정 정보를 결정하고, 특징량 설정 정보 기록부(61) 및 선택부(47)에 공급한다.

축적 블록(43)의 특징량 설정 정보 기록부(61)는, 특징량 추출부(41)로부터 공급되어 오는 특징량과, 설정 정보 결정부(46)로부터 공급되어 오는 설정 정보를 대응지어서 특징량 설정 정보 축적부(62)(도 1, 도 2의 조작 이력 격납부(4)에 대응하는 것)에 축적시킨다.

동기 검출부(42)는, 특징량 설정 정보 축적부(62)에 축적되어 있는 특징량 (후술 하는 검색위치 특징량) 중, 특징량 추출부(41)로부터 공급되어 오는 화상 재생부(12)에 의해 재생되고 있는 화상의 특징량(후술 하는 재생 위치 특징량)을 검색하고, 동일한 특징량이 검출됐을 때, 화상의 동기 위치로서 검출 결과를 특징량 설정 정보 판독부(63)에 공급한다. 또, 동기 검출부(42)의 구성에 대해서는, 도 6을 참조하여 상세하게 후술한다.

특징량 설정 정보 판독부(63)는, 동기 검출부(42)로부터 동기 위치로서 검출된 특징량(검색 위치 특징량)을 취득하면, 그 특징량에 대응지어져서, 특징량 설정 정보 축적부(62)에 기억되어 있는 설정 정보를 읽어내고, 선택부(47)에 공급한다. 선택부(47)는, 설정 정보 결정부(46)로부터 설정 정보가 공급되어 왔을 경우, 가령, 동일한 타이밍에서 특징량 설정 정보 판독부(63)로부터 설정 정보가 공급되는 일이 있어도, 설정 정보 결정부(46)로부터의 설정 정보를 반영부(49)에 공급한다. 또, 선택부(47)는, 설정 정보 결정부(46)로부터 설정 정보의 공급이 없고, 특징량 설정 정보 판독부(63)로부터 설정 정보가 공급되었을 경우, 특징량 설정 정보 판독부(63)로부터 공급된 설정 정보를 반영부(49)에 공급한다. 또한 설정 정보 결정부(46) 또는 특징량 설정 정보 판독부(63)로부터도 설정 정보가 공급되어 오지 않는 경우, 선택부(47)는, 설정 정보를 반영부(49)에 공급하지 않는다.

지연부(48)는, 특징량 추출부(41), 동기 검출부(42), 축적 블록(43) 및 선택부(47)의 처리에 있어서의 지연시간(遲延時間)만큼, 화상 재생부(12)로부터 공급되어 오는 화상을 일시적으로 기억하고, 반영부(49)에 출력한다. 반영부(49)는, 선택부(47)로부터 설정 정보가 공급되어 오는 경우, 지연부(48)로부터 공급되어 오는 화상에 대한 처리를 반영하여, 표시부(15)에 표시한다. 또, 반영부(49)는, 선택부(47)로부터 설정 정보가 공급되어 오지 않는 경우, 지연부로부터 공급되어 오는 화상을, 그대로 표시부(15)에 표시시킨다.

다음에, 도 4를 참조하여, 특징량 추출부(41)의 상세한 구성에 대해서 설명한다.

DFF(D형 플립 플롭)(81)는, 직전의 입력 신호를 기억하여, 도시하지 않는 클락 신호 발생기로부터의 클락 신호(clk)가 입력되는 타이밍에서 가산기(82)에 출력한다. 또, DFF(81)는, 입력 신호가 화상의 신호중 화상 데이터 영역 밖(外)의 것일 때, 리셋 신호가 입력되고, 입력 신호가 소거되어 출력된다. 즉, 화상 신호는, 도 5에서 도시되는 바와 같이 동기 데이터 영역과 화상 데이터 영역으로 구성되어 있다. 도면 중의 수평방향의 샘플과 수직 방향의 라인의 동그라미 표시의 원점(原点)인 프레임 개시점 S로부터 순차 입력되어 오는 위치의 정보에 따라서, 화상 데이터 영역 밖의 동기 데이터의 경우, 리셋신호가 입력되고, 동기 데이터를 구성하는 신호가, 가산기(82)에 출력되지 않는다. 즉, DFF(81)는, 화상을 구성하는 입력 신호 중, 화상 데이터 영역의 데이터만을 클락 신호에 동기하여 가산기(82)에 공급한다.

가산기(82)는, DFF(81)로부터 공급되어 오는 신호와 DFF(83)로부터 공급되어 오는 신호를 가산하여 DFF(83)에 출력한다. 보다 상세하게는, 가산기(82)는, DFF(81)로부터 공급되어 오는 신호와 DFF(83)로부터 공급되어 오는 신호와의 가산 결과 중, 최하위(least significant) 8비트를 추출하여 DFF(83)에 공급한다.

DFF(83)는, 가산기(82)로부터 공급되어 오는 신호를 도시하지 않는 클락 발생기로부터 발생되는 클락 신호(clk)가 입력되는 타이밍에서 가산기(82) 및 출력부(84)에 공급한다. 또, DFF(83)는, 프레임 개시점(開始点(도면 중의 수평 방향의 샘플과 수직 방향의 라인 동그라미 표시의 원점) S의 신호가 입력될 때, 리셋신호가 입력되고 입력 신호가 소거되어 출력된다. 즉, DFF(83)는, 화상을 구성하는 입력 신호 중, 화상 데이터 영역의 데이터만이 가산기(82)에 의해 누적적으로 가산된 값을 출력부(84)에 공급한다.

출력부(84)는, 1프레임(또는, 1 필드)의 값이 DFF(83)로부터 공급되어 왔을 때, 그 값을 프레임(또는, 그 필드) 분(分)의 화상의 특징량으로서 출력한다. 즉, 출력부(84)는, 화상 데이터 영역의 데이터만이 가산기(82)에 의해 누적적으로 가산된 값의 최하위 8비트를 그 프레임(또는, 그 필드)의 특징량으로서 출력한다. 또, 특징량은, 화상을 1프레임 단위로 식별할 수 있는 정보이면 좋기 때문에, 화상 데이터 영역의 데이터만(화소값만)이 누적적으로 가산된 값의 최하위 8비트에 한정되는 것은 아니고, 예를 들면, 화상 데이터 영역의 중앙 근방의 소정 영역내의 화소값만의 가산 결과를 그대로 사용해도 좋다.

다음에, 도 6을 참조하여, 동기 검출부(42)의 상세한 구성에 대해서 설명한다.

특징량 버퍼(101－1 내지 101－3)는, 공급되어 온 특징량을 일시적으로 기억함과 동시에, 그때까지 기억하고 있던 특징량을 재생 위치 특징량 생성부(102) 및 후단의 특징량 버퍼(101－2, 101－3)에 순차 출력한다. 또, 특징량 버퍼(101－3) 는, 후단의 특징량 버퍼(101)가 존재하지 않기 때문에, 재생 위치 특징량 생성부(102)에만 출력한다. 재생 위치 특징량 생성부(102)는, 특징량 버퍼(101－1 내지 101－3)로부터 공급되어 오는 최신의 특징량을 포함한 과거 3프레임 분의 특징량을 순차 취득하고, 이것을 합쳐서 재생 위치 정보(재생 위치 특징량)로서 생성하고, 비교부(103)에 출력한다. 즉, 재생 위치 특징량 생성부(102)는, 재생 위치를 특정하기 위한 특징량으로서 최신의 프레임으로부터 3프레임 전까지의 합계 4개의 특징량을 사용하여, 재생 위치 특징량을 생성한다.

검색 위치 특징량 판독부(104)는, 특징량 설정 정보 축적부(62)에 축적되어 있는 특징량을 연속하는 4개씩을 순차로 읽어내고, 검색 위치 특징량으로서 비교부(103) 및 검출부(105)에 공급한다. 비교부(103)는, 재생 위치 특징량 생성부(102)로부터 공급되어 오는 재생위치 특징량과, 검색 위치 특징량 판독부(104)로부터 순차 공급되어 오는 검색 위치 특징량을 비교한다. 비교부(103)는, 재생 위치 특징량과 일치하는 검색 위치 특징량을 검색했을 경우, 동기가 검출되었다고 간주하고, 검출 결과로서 동기가 검출된 것을 검출부(105)에 통지한다. 검출부(105)는, 비교부(103)로부터 동기가 검출되었다고 간주된 타이밍에서, 검색위치 특징량 판독부(104)로부터 공급되어 온 검색 위치 특징량을 동기 검출 결과로서 출력한다.

다음에, 도 7의 흐름도를 참조하여, 도 3의 화상 처리 장치(13)에 의한 화상 처리에 대해서 설명한다. 또, 이후의 설명에 있어서는, 축적 블록(43)은, 온(ON) 상태에 제어되어 있는 것이 전제(前提)이다.

단계 S1에 있어서, 지연부(48)는 새로운 화상이 화상 재생부(12)로부터 공급 되어 왔는지의 여부를 판정하고, 새로운 화상이 공급되어 올 때까지, 그 처리를 반복한다.

예를 들면, 화상 재생부(12)가 기록 미디어(11)에 기록되어 있는 화상을 읽어내고, 지연부(48)가, 새로운 화상이 공급되어 왔다고 판정했을 경우, 단계 S2에 있어서, 지연부(48)는, 공급되어 온 화상을 1 프레임 만큼 일시적으로 지연시키기 위해서 기억한다. 또, 이후에 있어서는, 화상을 1프레임 단위로 처리하는 것으로서 설명이 진행되지만, 당연히, 화상은, 1 프레임 단위에 한정되지 않고, 예를 들면, 1필드 단위로 처리하도록 해도 좋다.

단계 S3에 있어서, 특징량 추출부(41)는, 특징량 추출 처리를 실행하고, 화상 재생부(12)로부터 공급되어 온 1 프레임 내에서의 화상의 특징량을 추출한다. 즉, 지연부(48)가, 새로운 화상을 1 프레임 만큼 지연시키기 위해서 일시적으로 기억할 때, 마찬가지로 1 프레임 내에서의 동일한 화상이 특징량 추출부(41)에도 공급되고 있기 때문에, 동일한 타이밍에서, 동일한 화상이, 한 쪽에서는 지연을 위해 일시적으로 기억되고, 다른 한쪽에서는 동일한 화상의 특징량이 추출된다.

여기서, 도 8의 흐름도를 참조하여, 특징량 추출 처리에 대해서 설명한다.

단계 S21에 있어서, DFF(83)는, 프레임 개시점S(도 5)에 의해 리셋 된다.

단계 S22에 있어서, 미처리(未處理)의 화소가 선택되고, 단계 S23에 있어서, 화상 데이터 영역 밖 인지의 여부가 판정된다. 보다 상세하게는, 예를 들면, 레스터 스캔(raster scanning) 순(順)으로 1프레임 분의 화상으로부터 미처리된 화소가 순차 읽어 내지고, 화상 데이터 영역 밖 인지의 여부가 판정된다.

도 5에서 도시되는 바와 같이, 최초의 화소(프레임 개시점S의 화소)의 경우, 동기 데이터에 포함되기 때문에 화상 데이터 영역 밖이므로, 단계 S25에 있어서, DFF(81)는 리셋되어, 0을 화소값으로서 출력한다. 한편, 레스터 스캔 순으로 처리 대상이 되는 화소가 선택되고, 예를 들면, 화상 데이터 영역내(內)인 경우, 단계 S24에 있어서, DFF(81)는, 클락 신호의 발생 타이밍에서 화소값을 가산기(82)에 공급한다.

단계 S26에 있어서, 가산기(82)는, 입력된 화소값과 DFF(83)로부터 공급되어 오는 신호를 가산하여 DFF(83)에 공급한다.

단계 S27에 있어서, DFF(83)는, 클락 신호의 발생 타이밍에서 가산기(82)로부터 공급되어 온 가산 결과의 최하위 8비트를 가산기(82)에 되돌린다. 이 때, DFF(83)는, 가산 결과를 출력부(84)에도 공급하지만, 출력부(84)는, 가산 결과를 출력하지 않는다.

단계 S28에 있어서, 미처리된 화소가 있는지의 여부가 판정되고, 미처리된 화소가 있을 경우, 그 처리는, 단계 S22로 되돌아간다. 즉, 1프레임 분의 화소가 모두 처리될 때 까지, 단계 S22 내지 S28의 처리가 반복된다. 그리고, 1프레임 분 의 화소의 모두가 처리되었다고 판정되었을 경우, 단계 S29에 있어서, 출력부(84)는, DFF(83)로부터 공급되어 오는 가산 결과, 즉, 화상 데이터 영역에 속하는 화소값의 누적 가산결과(accumulative sum)의 최하위 8비트를 1 프레임의 화상의 특징량으로서 출력한다.

이상의 처리에 의해, 1프레임 분의 화상 신호로부터 화상 데이터 영역의 모 든 화소값의 누적 가산 결과의 최하위 8비트가, 그 프레임의 특징량으로서 추출되게 된다.

여기서, 도 7의 흐름도의 설명으로 되돌아간다.

단계 S4에 있어서, 조작 정보 인식부(45)는, 리모트 컨트롤러(14)가 사용자에 의해 조작되고, 화상의 처리가 지시되었는지의 여부를 판정한다. 예를 들면, 표시부(15)에 표시되어 있는 화상을 보면서, 사용자가, 2배의 줌(2x 줌) 처리를 지시했을 경우, 리모트 컨트롤러(14)의 발광 패턴이 수광부(44)에 의해 수광되고, 수광부(44)로부터 수광한 발광패턴에 의거한 신호가, 조작 정보 인식부(45)에 공급되는 것에 의해, 조작 정보 인식부(45)는, 조작이 이루어졌다고 판정하고, 그 처리는, 단계 S5로 진행된다.

단계 S5에 있어서, 조작 정보 인식부(45)는, 수광부(44)로부터 공급된 신호에 의거하여, 조작 정보를 인식하고, 인식 결과로서 설정 정보 결정부(46)에 공급한다. 설정 정보 결정부(46)는, 조작 정보에 의거하여, 반영부(49)에 대해서 화상에 처리를 행하기 위한 설정 정보를 결정하고, 특징량 설정 정보 기록부(61) 및 선택부(47)에 공급한다. 즉, 지금의 경우, 2배의 줌 처리를 화상에 행하는 것이 지시되고 있으므로, 반영부(49)에 대한 2배의 줌 처리를 행하는 지시를 내리기 위한 설정 정보가 결정되어, 특징량 설정 정보 기록부(61) 및 선택부(47)에 공급된다.

단계 S6에 있어서, 특징량 설정 정보 기록부(61)는, 특징량 추출부(41)로부터 공급되어 오는 특징량을 특징량 설정 정보 축적부(62)에 기록시킴과 동시에, 그 특징량에 대응지어서, 설정 정보 결정부(46)로부터 공급되어 오는 설정 정보를, 특 징량 설정 정보 축적부(62)에 기록시키는 것으로, 특징량과 설정 정보를 축적시킨다. 보다 상세하게는, 도 9에서 도시되는 바와 같이, 특징량 C1을 소정의 어드레스 A에 기록시켰을 경우, 그 m배의 어드레스, 즉, 어드레스 mｘA에, 특징량 C1에 대응지어진 설정 정보 E1을 기억시킨다. 또, 도 9에 있어서는, 특징량 설정 정보 축적부(62)의 내부에 있어서의 특징량과 설정 정보가 기억되는 어드레스의 배치가 도시되고 있다.

이후, 특징량 설정 정보 기록부(61)는, 마찬가지로 하여, 특징량 C2를 어드레스 B에 기억시킬 때, 대응하는 설정 정보 E2를 mｘB에 기억시키고, 또한 특징량 C3을 어드레스 C에 기억시킬 때, 대응하는 설정 정보 E3을 mｘC에 기억시킨다. 이와 같이 특징량에 대응지어서 설정 정보를 기억시키는 것에 의해, 특징량이 정(決)해지면, 특징량의 어드레스로부터 설정 정보의 어드레스를 특정할 수 있으므로, 설정 정보 축적부(62)내에 있어서의 특징량마다의 설정 정보의 검색을 매끄럽게 하는 것이 가능해진다. 또, 특징량 및 설정 정보는, 동일한 처리가 연속해서 지정되어 있는 기간에 대해서 연속해서 기록된다. 즉, 예를 들면, 도 9에 있어서의 특징량 C1 내지 C3은, 모두 1프레임 분의 특징량에 한정되는 것은 아니고, 연속해서 처리가 지정되어 있는 기간의 프레임 수의 특징량이 연속적으로 기록되어 있다. 또, 마찬가지로 해서, 설정 정보에 대해서도, 예를 들면, 도 9에 있어서의 설정 정보 E1 내지 E3은, 특징량 C1 내지 C3에 대응지어진 어드레스로부터, 모두 1프레임 분의 특징량에 한정되는 것은 아니고, 연속해서 처리가 지정되어 있는 기간의 프레임 수의 설정 정보가 연속적으로 기록되어 있다.

단계 S7에 있어서, 선택부(47)는, 설정 정보 결정부(46)로부터 설정 정보가 공급되므로, 설정 정보 결정부(46)로부터 공급되어 온 설정 정보를 반영부(49)에 공급한다. 반영부(49)는, 지연부(48)에 기억되어 있는 화상에 대해서, 선택부(47)로부터 공급되어 온 설정 정보에 의거하여, 처리를 가하고, 사용자로부터의 지시 내용에 따른 처리를 반영시켜서 표시부(15)에 표시시킨다.

단계 S8에 있어서, 조작 정보 인식부(45)는, 동작의 종료가 지시되었는지의 여부를 판정하고, 종료가 지시되었다고 판정되었을 경우, 처리를 종료한다. 한편, 동작의 종료가 지시되지 않았다고 판정되었을 경우, 처리는, 단계 S1로 되돌아간다.

즉, 사용자에 의해 리모트 컨트롤러(14)가 조작되어, 화상에 대한 처리를 행하는 지시가 계속 내려지고 있는 한, 단계 S1내지 S8의 처리가 반복되고, 특징량과 함께, 특징량에 대응지어져서, 처리 내용에 수반한 설정 정보가 특징량 설정 정보 축적부(62)에 축적되어 간다. 이 단계 S1내지 S8이 반복되는 동작 상태가, 도 1, 도 2를 참조하여 설명한 기록 모드에 대응하는 동작이다.

한편, 단계 S4에 있어서, 조작되어 있지 않다고 판정되었을 경우, 그 처리는, 단계 S9로 진행되고, 동기 검출부(42)는, 동기 검출 처리를 실행하여, 재생중인 화상의 특징량과, 화상에 처리를 행하기 위한 설정 정보가 대응지어져 있는 특징량과의 동기를 검출한다.

여기서, 도 10의 흐름도를 참조하여, 동기 검출 처리에 대해서 설명한다.

단계 S41에 있어서, 동기 검출부(42)의 재생 위치 특징량 생성부(102)는, 특 징량 추출부(41)로부터 특징량이 공급되어 왔는지의 여부를 판정하고, 공급되어 올 때까지 그 처리를 반복한다. 예를 들면, 단계 S3의 특징량 추출 처리에 의해 특징량이 추출되고, 특징량 추출부(41)로부터 지금 현재 재생중인 화상의 특징량이 공급되어 왔을 경우, 그 처리는, 단계 S42로 진행된다.

단계 S42에 있어서, 검색 위치 특징량 판독부(104)는, 검색 위치의 특징량을 카운트하기 위한 카운터 i를 0으로 초기화한다.

단계 S43에 있어서, 재생 위치 특징량 생성부(102)는, 공급되어 온 특징량을 취득함과 동시에, 특징량 버퍼(101－1 내지 101－3)에 그때까지 기억하고 있던 특징량을 취득한다. 즉, 특징량 버퍼(101－1)는, 새롭게 특징량이 공급되어 오면, 그때까지 기억하고 있던 특징량을, 재생 위치 특징량 생성부(102) 및 특징량 버퍼(101－2)에 공급한다. 마찬가지로, 특징량 버퍼(101－2)는, 공급되어 온 특징량을 기억함과 동시에, 그때까지 기억하고 있던 특징량을, 재생 위치 특징량 생성부(102) 및 특징량 버퍼(101－3)에 공급한다. 또한 특징량 버퍼(101－3)는, 특징량 버퍼(101－2)로부터 공급되어 온 특징량을 기억함과 동시에, 그때까지 기억하고 있던 특징량을, 재생 위치 특징량 생성부(102)에 공급한다. 결과적으로, 재생 위치 특징량 생성부(102)에는, 최신의 프레임의 특징량과, 특징량 버퍼(101－1 내지 101－3)에 가각 기억되어 있던 과거 3프레임 분의 특징량이 공급되어 오게 된다. 그래서, 재생 위치 특징량 생성부(102)는, 재생중인 프레임을 포함한 4프레임 분의 특징량을 재생 위치특징량으로서 비교부(103)에 공급한다.

단계 S44에 있어서, 검색 위치 특징량 판독부(104)는, 특징량 설정 정보 축 적부(62)에 축적되어 있는 특징량의 선두 위치로부터 i번째부터 연속하는 4프레임의 특징량을 검색 위치 특징량으로서 읽어내어 비교부(103) 및 검출부(105)에 공급한다.

단계 S45에 있어서, 비교부(103)는, 재생 위치 특징량 생성부(102)로부터 공급되어 온 재생중인 프레임을 포함하는 과거 3프레임 분의 합계 4개의 특징량으로 이루어지는 재생 위치 특징량과, 검색 위치 특징량 판독부(104)로부터 공급되어 온, 특징량 설정 정보 축적부(62)에 축적되어 있는 특징량의 선두 위치에서 i번째부터 연속하는 4프레임의 특징량으로 이루어지는 검색 위치 특징량을 비교한다.

단계 S46에 있어서, 비교부(103)는, 비교 결과에 의거하여 일치하고 있는지의 여부를 판정한다. 단계 S46에 있어서, 예를 들면, 일치하지 않는다고 판정되었을 경우, 단계 S48에 있어서, 검색 위치 특징량 판독부(104)는, 특징량 설정 정보 축적부(62)에 축적되어 있는 모든 특징량에 대해서, 재생 위치 특징량과 비교했는지의 여부를 판정한다. 예를 들면, 단계 S48에 있어서, 모든 특징량과 비교하지 않았다고 판정되었을 경우, 단계 S49에 있어서, 검색 위치 특징량 판독부(104)는, 카운터 i를 1씩 증가(increment)하고, 그 처리는, 단계 S44로 되돌아간다. 즉, 이 처리에 의해, 재생 위치 특징량과, 검색 위치 특징량이 일치하지 않고, 또한, 축적되어 있는 모든 특징량과 비교될 때까지, 단계 S44 내지 S46, S48, S49의 처리가 반복되고, 순차 1프레임 간격으로 어긋나면서, 연속하는 4프레임 분의 특징량으로 이루어지는 검색 위치 특징량과, 재생 위치 특징량과의 비교가 반복된다.

즉, 검색 위치 특징량이란, 예를 들면, 도 11의 오른쪽 윗부분(右上部)에서 도시되는 바와 같이, 특징량 추출부(41)로부터 순차 축적되어 있는 특징량 중, 지금의 경우, 연속하는 4개의 특징량의 덩어리(bulk)이다. 또, 도 11에 있어서는, 도면 중의 세로로 긴 직사각형장의 매스(match)는, 1프레임 분의 특징량을 도시하고 있고, 사선부(斜線部)의 G1, G2는 동일의 연속하는 특징량이 배치되어 있는 것을 도시하고 있다. 또, 재생 위치 특징량이란, 도 11의 오른쪽 아래 부분에서 도시되고 있는 바와 같이, 특징량 추출부(41)로부터 공급되어 오는 재생중인 특징량을 포함한 연속하는 4프레임 분의 특징량의 덩어리이다.

예를 들면, 도 11에서 도시되는 바와 같이 재생 위치 특징량(G2)에서 도시되는 바와 같은 경우, 재생 위치 특징량(G2)이 검색 위치 특징량(G0)과 비교되는 경우, 재생 위치 특징량(G2)이 검색 위치 특징량(G0)과 일치되지 않으므로, 동기 위치로서는 검출되지 않는다. 또한, 축적되어 있는 모든 특징량과의 비교가 되어 있지 않기 때문에, 카운터 i가 1씩 증가되고, 검색 위치 특징량(G0')과 재생 위치 특징량(G2)이 비교된다. 이와 같이, 검색 위치 특징량이 도면 중의 우측방향에 1 프레임 간격으로 쉬프트되면서, 재생 위치 특징량(G2)과의 비교가 반복된다.

단계 S46에 있어서, 예를 들면, 재생 위치 특징량 G2와 검색 위치 특징량(G1)이 비교되는 경우, 검색 위치 특징량(G1)이 재생 위치 특징량(G2)과 동일한 구성으로 되어있기 때문에, 따라서 검색 위치 특징량(G1)이 재생 위치 특징량(G2)과 일치되는 것으로 간주된다. 단계 S47에 있어서, 비교부(103)는, 검색 위치 특징량(G1)이 재생 위치 특징량(G2)과 일치한 것을 검출부(105)에 통지한다. 검출부(105)는, 이 통지에 의거하여, 지금 현재 검색 위치 특징량 판독부(104)로부터 공급되고 있는 검색 위치 특징량의 선두 위치, 즉, 선두 위치에서 i번째의 특징량을 동기 위치 정보로서 특징량 설정 정보 판독부(63)에 공급한다.

한편, 단계 S48에 있어서, 축적되어 있는 모든 검색 위치 특징량과의 비교가 종료했다고 판정되었을 경우, 단계 S50에 있어서, 검출부(105)는, 재생 위치 특징량과 일치 하는 검색 위치 특징량이 존재하지 않고, 동기하지 않는 것을 출력한다.

이상의 처리에 의해, 특징량 설정 정보 축적부(62)에 축적되어 있는 특징량과, 재생중인 화상의 특징량을 동기시키는 것이 가능해진다. 즉, 동기 검출부(42)는, 재생중인 프레임의 특징량만을, 특징량 설정 정보 축적부(62)에 축적되어 있는 특징량과 비교하는 것으로써, 우연히 특징량이 일치해 버리는 것으로, 잘못된 위치에서 동기가 검출될 가능성을 저감(低減)시키기 위해서, 현재 재생되어 있는 프레임의 특징량만이 아니라, 재생되어 있는 프레임을 포함하는 과거 3프레임 분의 4프레임으로 비교하는 것에 의해 정확히 동기 검출을 실행하고 있다. 따라서, 동기 검출이 더 정확히 실행될 수 있다. 이와 같이 특징량을 사용하는 것에 의해, 각 프레임 단위에서의 타임코드 대신에 특징량을 설정하는 것이 가능해지고, 타임 코드를 사용하는 일 없이, 프레임 단위에서의 동기 검출을 행하는 것이 가능해진다.

여기서, 도 7의 흐름도의 설명으로 되돌아간다.

단계 S10에 있어서, 특징량 설정 정보 판독부(63)는, 재생중인 프레임의 재생 위치 특징량과, 일치하는 특징량이 특징량 설정 정보 축적부(62)에 축적되어 있는지의 여부를 판정한다. 예를 들면, 도 10의 흐름도의 단계 S47의 처리에 의해 동기 위치 정보가 공급되어 왔을 경우, 재생중인 프레임의 재생 위치 특징량과, 일치 하는 특징량이 특징량 설정정보 축적부(62)에 축적되어 있게 되므로, 그 처리는, 단계 S11로 진행된다.

단계 S11에 있어서, 특징량 설정 정보 판독부(63)는, 동기한 특징량에 대응지어진 설정 정보가 특징량 설정 정보 축적부(62)에 축적되어 있는지의 여부를 판정한다. 즉, 특징량은, 설정 정보가 없는 상태에서도 특징량 설정 정보 축적부(62)에 축적하는 것이 가능하므로, 이 처리에 의해, 특징량에 대응지어진 설정 정보의 유무가 단계 S11에서 판정된다.

단계 S11에 있어서, 예를 들면, 특징량에 대응지어진 설정 정보가 축적되어 있지 않다고 판정되었을 경우, 단계 S12에 있어서, 특징량 설정 정보 판독부(63)는, 선택부(47)에 대한 설정 정보를 공급하지 않는다. 이 처리에 의해, 선택부(47)는, 설정 정보 결정부(46) 및 특징량 설정 정보 판독부(63)의 어느 쪽으로부터도 설정 정보의 공급이 없는 상태가 되기 때문에, 반영부(49)에 대한 처리를 지정하는 설정 정보가 공급되지 않게 된다. 결과적으로, 반영부(49)는, 지연부(48)에 일시적으로 기억된 1프레임 분의 화상을, 그대로의 상태로 표시부(15)에 표시시킨다.

한편, 단계 S11에 있어서, 예를 들면, 특징량에 대응지어진 설정 정보가 축적되어 있다고 판정되었을 경우, 단계 S13에 있어서, 특징량 설정 정보 판독부(63)는, 특징량 설정 정보 축적부(62)로부터, 동기 위치 정보의 특징량에 대응지어서 축적되어 있는 설정 정보를 읽어내어 선택부(47)에 공급하고, 그 처리는, 단계 S7로 진행된다. 즉, 지금의 경우, 선택부(47)에는, 설정 정보 결정부(46)로부터는 설정 정보가 없고, 특징량 설정 정보 판독부(63)로부터 설정 정보가 공급되기 때문 에, 특징량 설정 정보 판독부(63)로부터의 설정 정보가 반영부(49)에 공급되고, 그 설정 정보에 의거하여 지연부(48)에 축적되어 있던 1프레임 분의 화상에 처리가 반영되어, 표시부(15)에 표시된다.

또, 단계 S1 내지 S4, 단계 S9 내지 S13, 및 단계 S7, S8의 처리가, 도 1, 도 2를 참조하여 설명한 재생 모드에 대응하는 처리이다.

이상의 처리에 의해, 예를 들면, 도 12에서 도시되는 바와 같은 처리가 가능해진다. 즉, 시각t0 내지 t1로 도시되는 비디오로 이루어지는 화상이 기록 미디어(11)에 미리 기록되어 있는 경우, 시각 t0보다 뒤(後)의 타이밍인 시각t11로 재생을 개시하고, 또 뒤의 시각 t101 내지 t102에 있어서, 사용자에 의해 리모트 컨트롤러(14)가 조작되어, 화상에의 처리가 지시되면, 동일한 타이밍에서 특징량과 함께, 특징량에 대응지어진 설정 정보가, 특징량 설정 정보 축적부(62)에 축적된다.

또, 시각 t12에 있어서, 고속 전진가 개시되고, 시각 t21 내지 t22에 있어서 다시 재생이 개시된 후, 시각 t31까지 고속 전진 되어, 시각 t31에 있어서 재생이 개시 되었을 때, 시각 t111 내지 t112에 있어서, 사용자에 의해 리모트 컨트롤러(14)가 조작되어, 화상에의 처리가 지시되면, 동일한 타이밍에서 특징량과 함께, 특징량에 대응 지어진 설정 정보가, 특징량 설정 정보 축적부(62)에 축적된다.

또한 시각 t32까지 재생된 후, 시각 t121까지 되감기 되어, 재생이 개시된다. 시각 t131 내지 t132에 있어서, 사용자에 의해 리모트 컨트롤러(14)가 조작 되어, 화상에의 처리가 지시되면, 동일한 타이밍에서 특징량과 함께, 특징량에 대응 지어진 설정 정보가, 특징량 설정 정보 축적부(62)에 축적되어 간다.

그 후, 선두 위치에 가까운 시각 t151까지 되감기되고, 시각 t152까지 리모트 컨트롤러(14)가 조작되는 일 없이 비디오가 재생되면, 리모트 컨트롤러(14)에서 화상에의 처리를 지시하는 조작이 이루어진 시각t101 내지 t102, 시각 t131 내지 t132, 및 시각 t111 내지 t112의 타이밍에서 재생 위치 특징량에 의거하여, 동기 위치 정보가 생성되고, 동기 위치 정보의 특징량에 대응지어서 축적되어 있는 설정 정보가 읽어내지는 것에 의해, 화상에 설정 정보에 의거한 처리가 반영된다.

또, 도 12에 있어서는, 최상단(最上段)에는 비디오 1 개분의 스케일이 시각 t0내지 t1 인 것이 도시되어 있다. 또, 제2단 째에는, 첫 번째의 재생 수순으로서, 시각 t11 내지 t12, t21 내지 t22, t31 내지 t32에 있어서, 통상의 재생이 실행되고, 시각 t12 내지 t21, 및 t22 내지 31에 있어서 고속 전진 재생이 실시된 것이 도시되어 있다.

제3단 째에는, 첫 번째의 재생 중에 있어서의, 리모트 컨트롤러(14)의 조작 타이밍이 나타내어져 있고, 제4단 째에는, 첫 번째 재생 중에서의, 설정 정보가 기록되는 타이밍이 나타내어져 있다. 제3단 째, 제4단 째에서는, 시각 t101 내지 t102 및 시각 t111 내지 t112에서 리모트 컨트롤러(14)가 조작되고, 동일한 타이밍에서 리모트 컨트롤러(14)의 조작에 대응하는 설정 정보가 기록되어 있음이 나타내어져 있다. 또, 설정 정보가 기록될 때, 설정 정보에 대응하는 처리가 시행되게 되므로, 리모트 컨트롤러(14)가 조작되어 있는 동일한 타이밍에서, 사용자가 소망하는 처리가 화상에 반영된 상태로 표시된다.

제5단 째에는, 첫 번째의 재생 수순이 종료한 후, 되감기 조작에 의해 시각 t121까지 되감기한 후의 두 번째 재생 순서가 나타내어져 있고, 시각 t121 내지 t122에 있어서 통상의 재생이 실시되어 있는 것을 나타내고 있다.

제6단 째에는, 두 번째의 재생 중에 있어서의, 리모트 컨트롤러(14)의 조작 타이밍이 나타내어져 있고 제7단 째에는, 두 번째의 재생 중에 있어서의, 설정 정보가 기록되는 타이밍이 나타내어져 있다. 제6단 째, 제7단 째에서는, 시각 t131 내지 t132 에 있어서 리모트 컨트롤러(14)가 조작되어, 동일한 타이밍에서 리모트 컨트롤러(14)의 조작에 대응하는 설정 정보가 기록되어 있는 것이 나타내어져 있다. 또, 설정 정보가 기록될 때, 설정 정보에 대응하는 처리가 행해지게 되므로, 리모트 컨트롤러(14)가 조작되어 있는 동일한 타이밍에서, 사용자가 소망으로 하는 처리가 화상에 반영된 상태로 표시된다.

제8단 째에는, 두 번째의 재생 수순이 종료한 후, 되감기 조작에 의해 시각 t151까지 되감기 한 후의 세 번째의 재생 수순이 나타내지고 있고, 시각 t151 내지 t152에 있어서 통상의 재생이 실시되어 있는 것이 나타내어져있다.

제9단 째에는, 세 번째의 재생 중에 있어서의, 동기 검출부(42)에 의한 동기 처리가 실행되는 타이밍이 나타내어져 있고, 제10단 째(최하단)에는, 세 번째의 재생 중에 있어서의, 설정정보가 재생되는(설정 정보가 화상에 반영된다) 타이밍이 나타내어져 있다. 즉, 제9단 째, 제10단 째에 있어서는, 세 번째의 재생 중에, 첫 번째 및 두 번째의 재생 중에 리모트 컨트롤러(14)가 조작되는 것에 의해 기록된 설정 정보에 의거하여, 동일한 타이밍인 시각t101 내지 t102, t111 내지 t112 및 시각 t131 내지 t132에 있어서 리모트 컨트롤러(14)가 조작되는 것에 의해 기록된 설정 정보가, 읽어내져 화상에 반영되는 것이 나타내어져 있다.

또, 도 12중의 점선(点線)에서 상부(上部)의 처리가 도 1, 도 2에 있어서의 기록 모드이며, 점선에서 하부의 처리가 재생 모드의 처리이다.

이상의 처리에 의해, 사용자가 리모트 컨트롤러(14)를 조작하여, 미리 기록되어 있는 화상을 재생할 때, 재생되어 있는 화상에 행하는 처리를 지시하면, 지시를 받은 화상의 특징량에 대응지어서, 처리 내용을 도시하는 설정 정보가 축적된다. 또, 특징량에 대응지어서 설정 정보가 기록되는 것에 의해 미리 기록되어 있는 화상을 재생할 때, 재생하고 있는 화상의 특징량에 의해, 프레임 단위의 타임 코드와 같이 특징량을 사용하는 것으로써, 축적되어 있는 특징량과의 동기를 취하는 것이 가능해지고, 동기한 특징량에 대응 지어진 설정 정보에 의해, 재생하고 있는 화상에 처리가 반영된다.

결과적으로, 타임 코드 등을 이용하는 일 없이, 축적된 설정 정보에 의거한 편집처리를 화상에 반영시키는 것이 가능해진다. 또, 기록되는 것은 특징량과 설정 정보만 이고, 미리 기록되어 있는 화상이 일체 기록되는 일이 없기 때문에, 예를 들면, 일회 카피(Copy Once)등의 제한이 마련되어 있는 화상이어도, 편집 처리를 행한 상태로 반복하여 재생시키는 것이 가능해진다.

특징량은, 이상에 있어서는, 1 프레임 분의 화상 신호 중의 화상 데이터 영역의 화소값의 적산값을 이용하는 예에 대해서 설명해 왔지만, 그 이외의 특징량이어도 좋고, 예를 들면, 움직임 벡터(전(全)화면 움직임과 로컬 움직임), 특정의 파 형(波形) 패턴이 얼마만큼 출현할지를 도시하는 값, 축소 화상에 있어서의 화소값의 적산값, 화상의 특정 부분의 화소값의 적산값, 이들을 복수 프레임 분 이용한 값, 또는, 이들 복수의 특징량의 조합 등이어도 좋다.

또, 설정 정보에 대해서는, 줌 배율을 예로 하여 설명해 왔지만, 그 이외의 정보라도 좋고, 예를 들면, 줌 위치(중심 위치), 또는 줌 위치와 줌 배율과의 조합 등의 줌 파라미터, 밝기, 콘트라스트, 감마 보정, DRC(Digital Reality Creation) 팔레트값(해상도 설정값, 및 노이즈 설정값)등의 화질 설정 파라미터, 또는, 음량, 음성 전환(사용 언어의 전환)등의 음성 파라미터 등을 이용하도록 해도 좋다.

이상의 예에 있어서는, 리모트 컨트롤러(14)가 조작되면, 조작 내용에 따른 설정 정보가, 화상의 특징량에 대응지어져 축적되어 가는 예에 대해서 설명해 왔지만, 조작 내용을 나타내는 조작 정보를 기록하도록 해도 좋다.

도 13은, 조작 정보를 설정 정보 대신에, 특징량에 대응지어서 기록하도록 한 화상처리 장치(13)의 구성예를 도시하고 있다. 또, 도 13에 있어서, 도 3과 동일한 구성에 대해서는, 동일한 부호를 붙이고 있고, 그 설명은 적당히 생략하는 것으로 한다.

즉, 특징량 추출부(41), 동기 검출부(42), 수광부(44), 조작 정보 인식부(45), 지연부(48), 및 반영부(49)에 대해서는, 도 3의 화상 처리 장치(13)와 같다. 도 13의 화상 처리 장치(13)에 있어서, 도 3의 화상 처리 장치(13)와 다른 것은, 축적 블록(43), 설정 정보 결정부(46), 및 선택부(47)에 대신해서 축적 블록(151), 설정 정보 결정부(153), 및 선택부(152)가 설치되어 있는 점이다.

축적 블록(151)은, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보를 특징량에 대응지어서 축적함과 동시에, 축적된 조작 정보를 재생중인 화상의 특징량에 대응지어서 읽어내고, 선택부(152)에 공급한다.

축적 블록(151)의 특징량 조작 정보 기록부(161)는, 특징량 추출부(41)로부터 공급되어 오는 특징량과, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보를 대응지어서 특징량 조작 정보 축적부(162)에 축적시킨다.

특징량 조작 정보 판독부(163)는, 동기 검출부(42)로부터 동기 위치로서 검출된 특징량, 즉, 검색 위치 특징량을 취득하면, 그 특징량에 대응지어져서 기억되어 있는 조작 정보를 읽어내어 선택부(152)에 공급한다. 선택부(152)는, 조작 정보 인식부(45)로부터 조작 정보가 공급되어 왔을 경우, 가령, 특징량 조작 정보 판독부(163)로부터 조작 정보가 공급되어 와도, 조작 정보 인식부(45)로부터 공급되어 온 조작 정보를 설정 정보 결정부(153)에 공급한다. 또, 선택부(152)는, 조작 정보 인식부(45)로부터 조작 정보의 공급이 없고, 특징량 조작 정보 판독부(163)로부터 조작 정보가 공급되었을 경우, 특징량 조작 정보 판독부(163)로부터 공급된 조작 정보를 설정 정보 결정부(153)에 공급한다. 또한 조작 정보 인식부(45) 또는 특징량 조작 정보 판독부(163)으로부터도 조작 정보가 공급되어 오지 않는 경우, 선택부(152)는, 조작 정보를 설정 정보 결정부(153)에 공급하지 않는다.

설정 정보 결정부(153)는, 선택부(152)로부터 공급되어 오는 조작 정보에 의거하여, 반영부(49)에 대한 화상에의 처리 내용을 지시하기 위한 설정 정보를 결정하고, 반영부(49)에 공급한다.

다음에, 도 14의 흐름도를 참조하여 도 13의 화상 처리 장치(13)에 의한 화상 처리에 대해서 설명한다. 또, 도 14의 흐름도에서의 단계 S71 내지 S74, S78 내지 S80, S82의 처리에 대해서는, 도 7의 흐름도에서의 단계 S1 내지 S4, S8 내지 10, S12의 처리와 마찬가지이므로, 그 설명은 생략한다.

지연부(48)가, 화상 재생부(12)로부터 공급되어 오는 화상을 기억하고, 특징량 추출부(41)로부터 특징량이 추출되고, 또한 리모트 컨트롤러(14)가 조작되면, 단계 S75에 있어서, 조작 정보 인식부(45)는, 수광부(44)로부터 공급된 신호에 의거하여, 조작 정보를 인식하고, 인식 결과인 조작 정보를, 특징량 조작 정보 기록부(161)에 공급한다. 특징량 조작 정보 기록부(161)는, 특징량 추출부(41)로부터 공급되어 오는 특징량을 특징량 조작 정보 축적부(162)에 축적시킴과 동시에, 특징량에 대응지어서, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보를, 특징량 조작 정보 축적부(162)에 축적시킨다. 보다 상세하게는, 상술한 설정 정보와 마찬가지로, 도 9에서 도시되는 바와 같이, 특징량 C1을 소정의 어드레스 A에 기록시켰을 경우, 그 m배의 어드레스, 즉, 어드레스 mｘA에, 특징량 C1에 대응지어진 설정 정보 E1과 마찬가지로 조작 정보를 기억시킨다.

단계 S76에 있어서, 선택부(152)는, 조작 정보 인식부(45)로부터 조작 정보가 공급되어 오고 있으므로, 조작 정보 인식부(45)로부터 공급되어 온 조작 정보를 설정 정보 결정부(153)에 공급한다. 설정 정보 결정부(153)는, 공급된 조작 정보에 의거하여, 설정 정보를 결정하고, 반영부(49)에 공급한다.

단계 S77에 있어서, 반영부(49)는, 지연부(48)에 기억되어 있는 화상에 대 한, 설정 정보 결정부(153)로부터 공급되어 온 설정 정보에 의거하여, 처리를 가하고, 사용자로부터의 지시 내용에 따른 처리를 반영시켜서 표시부(15)에 표시시킨다.

한편, 단계 S74에 있어서, 조작이 되어 있지 않다고 판정되었을 경우, 단계 S79에 있어서, 동기 검출 처리가 실행된다. 또한 단계 S80에 있어서, 동기하는 특징량이 축적되어 있다고 판정되었을 경우, 단계 S81에 있어서, 특징량 설정 정보 판독부(163)는, 동기한 특징량에 대응지어진 조작 정보가 특징량 조작 정보 축적부(162)에 축적되어 있는지의 여부를 판정한다. 즉, 특징량은, 조작 정보가 없는 상태에서도 특징량 조작 정보 축적부(162)에 축적하는 것이 가능하므로, 이 처리에 의해, 특징량에 대응지어진 조작 정보의 유무가 단계 S81에서 판정된다.

단계 S81에 있어서, 예를 들면, 특징량에 대응지어진 조작 정보가 없다고 판정되는 경우, 단계 S82에 있어서, 특징량 조작 정보 판독부(163)는, 선택부(152)에 대해서 설정 정보를 공급하지 않는다. 이 처리에 의해, 선택부(152)는, 조작 정보 인식부(45) 및 특징량 조작 정보 판독부(163)의 어느 쪽으로부터도 조작 정보의 공급이 없는 상태가 되기 때문에, 설정 정보 결정부(153)에 대해서 설정 정보를 결정하기 위한 조작 정보가 공급되지 않게 된다. 결과적으로, 반영부(49)에 있어서는, 처리를 지정하는 설정 정보가 공급되지 않게 되므로, 반영부(49)는, 지연부(48)에 일시적으로 기억된 1프레임 분의 화상을, 그대로의 상태로 표시부(15)에 표시시킨다.

한편, 단계 S81에 있어서, 예를 들면, 특징량에 대응지어진 조작 정보가 있 다고 판단되었을 경우, 단계 S83에 있어서, 특징량 조작 정보 판독부(163)는, 특징량 조작 정보 축적부(162)로부터, 동기 위치 정보의 특징량에 대응지어서 축적되어 있는 조작 정보를 읽어내어, 선택부(152)에 공급하고, 그 처리는, 단계 S76으로 진행된다.

이상에 의하면, 리모트 컨트롤러(14)의 조작 내용을 도시하는 조작 정보를, 화상의 특징량에 대응지어서 기록시키도록 하는 것으로써, 타임 코드 등을 이용하는 일 없이, 축적된 설정 정보에 의거한 편집 처리를 화상에 반영시키는 것이 가능해진다.

또, 이상의 예에 있어서는, 조작 정보가 설정 정보에 대해 1대1로 대응하는 절대값인 경우에 대해서 설명해 왔다. 즉, 조작 정보가 2배 줌인 경우, 설정 정보도 2배 줌이며, 또한 배율을 변경하는 경우, 조작 정보가 3배 줌인 경우, 설정 정보도 3배 줌이 되도록, 조작 정보와 설정 정보가 1대1로 대응하는 예에 대해서 설명해 왔다. 그렇지만, 조작 정보가, 현 상태의 설정 정보에 대한의 상대값을 지정하는 경우, 직전의 설정 정보가 필요해진다. 즉, 현 상태의 설정 정보가 2배 줌이며, 조작정보가 2배 줌일 때, 조작 정보에 의해 설정 정보는, 4배 줌(=2배 줌 ｘ 2배 줌)으로 설정된다. 따라서, 또한, 조작 정보에 의해 2배 줌이 지정되면, 설정 정보는 8배 줌(=4배 줌 ｘ 2배 줌)으로 설정된다. 이와 같이 조작정보가, 상대값을 지정하는 경우, 조작 정보와 설정 정보는, 1대1로 대응하지 않기 때문에, 새로운 설정 정보를 설정하려면, 조작 정보에 가하여 직전의 설정 정보가 필요하다. 그래서, 리모트 컨트롤러(14)가 조작되어 조작 정보가 공급될 때, 특징량에 대응지어 서, 조작 정보와 직전의 설정 정보를 축적시키도록 해도 좋다.

도 15는, 리모트 컨트롤러(14)가 조작되어 조작 정보가 공급될 때, 특징량에 대응지어서, 상대값으로 이루어지는 조작 정보와 직전의 설정 정보를 축적시키도록 한 화상처리 장치(13)의 구성예를 도시하고 있다. 또, 도 15의 화상 처리 장치(13)에 있어서, 도 13의 화상 처리 장치와 동일한 구성에 대해서는, 동일한 부호를 붙이고 있어, 그 설명은 적당히 생략하는 것으로 한다.

즉, 특징량 추출부(41), 동기 검출부(42), 수광부(44), 조작 정보 인식부(45), 지연부(48), 및 반영부(49)에 대해서는, 도 13의 화상 처리 장치(13)와 마찬가지이다. 도 15의 화상 처리 장치(13)에 있어서, 도 13의 화상 처리 장치(13)와 다른 것은, 축적 블록(151), 선택부(152), 및 설정 정보 결정부(153)에 대신해서 축적 블록(181), 선택부(182), 및 설정 정보 결정부(183)가 마련되어 있고, 설정 정보 결정부(183)로부터 공급되는 설정 정보가, 직전의 설정 정보로서 축적 블록(181)에 공급되어 있는 점이다.

축적 블록(181)은, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보를 특징량에 대응지어서 축적한다. 이 때, 축적 블록(181)은, 특징량에 대응지어서 직전의 설정 정보도 축적한다. 또한 ,축적 블록(181)은, 특징량에 대응지어서 축적되어 있는 조작정보와 직전의 설정 정보를 재생중인 화상의 특징량에 대응지어서 읽어내고, 선택부(182)에 이 조작정보와 직전의 설정 정보를 공급한다.

축적 블록(181)의 특징량 조작 정보 기록부(191)는, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보 및 설정 정보 결정부(183)의 메모리(183a)에 격납되 어 있는 직전의 설정 정보를, 특징량 추출부(41)로부터 공급되어 오는 특징량에 대응지어서 특징량 조작 정보 축적부(192)에 축적시킨다.

특징량 조작 정보 판독부(193)는, 동기 검출부(42)로부터 동기 위치로서 검출된 특징량(검색 위치 특징량)을 취득하면, 그 특징량에 대응지어져 기억되어 있는 조작 정보 및 직전의 설정 정보를 읽어내어 선택부(182)에 공급한다. 선택부(182)는, 조작 정보 인식부(45)로부터 조작 정보가 공급되어 왔을 경우, 그 조작 정보를 설정 정보 결정부(183)에 공급한다. 또, 선택부(182)는, 조작 정보 인식부(45)로부터 조작 정보의 공급이 없고, 특징량 조작 정보 판독부(193)로부터 조작 정보 및 직전의 설정 정보가 공급되었을 경우, 특징량 조작 정보 판독부(로부터)로부터 공급된 조작 정보 및 직전의 설정 정보를 설정 정보 결정부(183)에 공급한다. 또한 어느 쪽으로부터도 설정 정보가 공급되어 오지 않는 경우, 선택부(182)는, 조작 정보를 설정 정보 결정부(183)에 공급하지 않는다.

설정 정보 결정부(183)는, 선택부(182)로부터 조작 정보만이 공급되어 오는 경우, 즉, 조작 정보 인식부(45)로부터 직접 조작 정보가 공급된 것이 선택부(182)로부터 공급되어 왔을 경우, 메모리(183a)에 기억되어 있는 직전의 설정 정보와, 공급되어 온 조작 정보에 의거하여, 다음의 설정 정보를 결정하고, 반영부(49)에 공급함과 동시에, 메모리(183a)의 직전의 설정 정보를 새로운 다음의 설정 정보로 갱신한다.

또, 설정 정보 결정부(183)는, 선택부(182)로부터 조작 정보 및 직전의 설정 정보가 공급 되어 오는 경우, 즉, 특징량 조작 정보 판독부(193)로부터 특징량에 대응지어진 특징량 조작 정보 축적부(192)에 축적되어 있던 조작 정보 및 직전의 설정 정보가 공급되어 오는 경우, 조작 정보 및 직전의 설정 정보에 의거하여, 화상에의 처리 내용을 지시하기 위한 설정 정보를 결정하고, 반영부(49)에 공급함과 동시에, 메모리(183a)의 직전의 설정 정보를 새로운 다음의 설정 정보로 갱신한다.

다음에, 도 16의 흐름도를 참조하여, 도 15의 화상 처리 장치(13)에 의한 화상 처리에 대해서 설명한다. 또, 도 16의 흐름도에 있어서의 단계 S91 내지 S94, S98 내지 S100, S102의 처리에 대해서는, 도 14의 흐름도에 있어서의 단계 S71 내지 S74, S78 내지 S80, S82의 처리와 마찬가지이므로, 그 설명은 생략한다.

지연부(48)가, 화상 재생부(12)로부터 공급되어 오는 화상을 기억하고, 특징량 추출부(41)로부터 특징량이 추출되고, 또한 리모트 컨트롤러(14)가 조작되면, 단계 S95에 있어서, 조작 정보 인식부(45)는, 수광부(44)로부터 공급된 신호에 의거하여, 조작정보를 인식하고, 인식 결과인 조작 정보를, 특징량 조작 정보 기록부(191)에 공급한다. 특징량 조작 정보 기록부(191)는, 특징량 추출부(41)로부터 공급되어 오는 특징량에 대응지어서, 조작 정보 인식부(45)로부터 공급되어 오는 조작 정보 및 설정 정보 결정부(183)의 메모리(183a)에 기억되어 있는 직전의 설정 정보를, 특징량 조작 정보 축적부(192)에 축적시킨다. 보다 상세하게는, 상술한 설정 정보와 마찬가지로, 도 9에서 도시되는 바와 같이, 특징량 C1을 소정의 어드레스 A에 기록시켰을 경우, 그 m배의 어드레스, 즉, 어드레스 mｘA에, 특징량 C1에 대응지어진 설정 정보 E1과 마찬가지로 조작 정보를 기억시키고, 또한 어드레스A의 n배의 어드레스, 즉, 어드레스 nｘA에 직전의 설정 정보를 기억시킨다.

단계 S96에 있어서, 선택부(182)는, 조작 정보 인식부(45)로부터 조작 정보가 공급되어 오고 있으므로, 이 예에 있어서는, 선택부(182)로부터는 조작 정보만이 공급되어 오고 있으므로, 설정 정보 결정부(183)는, 메모리(183a)에 기억되어 있는 직전의 설정 정보와, 공급된 조작 정보에 의거하여, 다음의 설정 정보를 결정하고, 반영부(49)에 공급한다.

단계 S97에 있어서, 반영부(49)는, 지연부(48)에 기억되어 있는 화상에 대해서, 선택부(47)로부터 공급되어 온 설정 정보에 의거하여, 처리를 가해서, 사용자로부터의 지시내용에 따른 처리를 반영시켜 표시부(15)에 표시시킨다.

한편, 단계 S94에 있어서, 조작이 되어 있지 않다고 판정되었을 경우, 단계 S99에 있어서, 동기 검출 처리가 실행된다. 또한 단계 S100에 있어서, 동기하는 특징량이 축적되고 있다고 판정되었을 경우, 단계 S101에 있어서, 특징량 설정 정보 판독부(193)는, 동기한 특징량에 대응지어진 조작 정보 및 직전의 설정 정보가 특징량 조작 정보 축적부(192)에 축적되어 있는지의 여부를 판정한다. 즉, 특징량은, 조작정보 및 직전의 설정 정보가 없는 상태에서도 특징량 조작 정보 축적부(192)에 축적하는 것이 가능하므로, 이 처리에 의해, 특징량에 대응지어진 조작 정보 및 직전의 설정 정보의 유무가 단계 S101에서 판정된다.

단계 S101에 있어서, 예를 들면, 특징량에 대응지어진 조작 정보 및 직전의 설정 정보가 없다고 판정되었을 경우, 단계 S102에 있어서, 특징량 설정 정보 판독부(193)는, 선택부(182)에 대한 설정 정보 및 직전의 설정 정보를 공급하지 않는다. 이 처리에 의해, 조작 정보 인식부(45) 및 특징량 조작 정보 판독부(193)의 어 느 쪽으로부터도 선택부(182)에로의 조작 정보, 또는, 조작 정보 및 직전의 설정 정보의 공급이 없는 상태가 되기 때문에, 설정 정보 결정부(183)에 대한 설정 정보를 결정하기 위한 조작 정보, 또는, 조작 정보 및 직전의 설정 정보가 공급되지 않게 된다. 결과적으로, 반영부(49)에 대해서는, 처리를 지정하는 설정 정보가 공급되지 않게 되므로, 반영부(49)는, 지연부(48)에 일시적으로 기억된 1 프레임 분의 화상을, 그대로의 상태로 표시부(15)에 표시시킨다.

한편, 단계 S101에 있어서, 예를 들면, 특징량에 대응지어진 조작 정보 및 설정 정보가 있다고 판정되었을 경우, 단계 S103에 있어서, 특징량 조작 정보 판독부(193)는, 특징량 조작 정보 축적부(192)로부터, 동기 위치 정보의 특징량에 대응지어서 축적되어 있는 조작 정보 및 직전의 설정 정보를 읽어내어, 선택부(182)에 공급하고, 그 처리는, 단계 S96으로 진행된다.

이상의 처리에 의해, 도 17에서 도시되는 바와 같이, 시각 t171 내지 t172에 있어서 화상 재생부(12)에 의해 기록 미디어(11)에 기록되어 있는 비디오(화상)가 재생되고, 그 사이에, 시각 t181 내지 t182에 있어서, 리모트 컨트롤러(14)가 조작되고, 화상에 대해 소정의 처리를 가하는 것 같은 지시가 있었을 경우, 같은 타이밍에서, 특징량이 축적되고, 또한 특징량에 대응지어져서, 조작 정보 및 직전의 설정 정보에 기록된다. 결과적으로 리모트 컨트롤러(14)의 조작 내용을 도시하는 조작 정보가, 직전의 설정 정보에 대한 상대값이어도, 설정 정보를 결정할 때, 조작 정보 및 직전의 설정 정보가 특징량에 대응지어져서 축적된다. 또, 리모트 컨트롤러(14)가 조작되는 일 없이, 기록 미디어(11)에 기록된 화상을 재생하면, 특징량에 대응지어져 축적되어 있는 조작 정보 및 직전의 설정 정보로부터 결정되는 설정 정보에 의해 재생되는 화상에 처리를 반영시키는 것이 가능해진다.

즉, 리모트 컨트롤러(14)의 조작 내용을 도시하는 조작 정보가, 직전의 설정정보에 대한 상대값이어도, 리모트 컨트롤러(14)의 조작 정보가 공급되면, 화상의 특징량에 대응지어서 기록시키도록 하는 것으로써, 타임 코드 등을 이용하는 일 없이, 축적된 설정 정보에 의거한 편집 처리를 화상에 반영시키는 것이 가능해진다.

이상에 있어서는, 특징량에 대응지어서 설정 정보, 조작 정보, 또는, 조작 정보 및 직전의 설정 정보를 어드레스에 대응지어서 축적시키는 예에 대해서 설명해 왔다. 그렇지만, 설정 정보, 조작 정보, 또는, 조작 정보 및 직전의 설정 정보가, 특징량에 대응지어서 관리할 수 있으면 좋기 때문에, 메모리상의 어드레스에 의한 관리 이외의 방법이어도 좋고, 예를 들면, 테이블로서 관리하도록 해도 좋다.

도 18은, 특징량에 대응지어서 설정 정보를 테이블로 관리하도록 한 화상 처리 장치(13)이다. 또, 도 18의 화상 처리 장치(13)에 있어서는, 도 3에 있어서의 화상 처리 장치(13)와 동일한 구성에 대해서는, 동일한 부호를 붙이고 있어, 그 설명은 적당 생략 하는 것으로 한다.

즉, 특징량 추출부(41), 동기 검출부(42), 수광부(44), 조작 정보 인식부(45), 설정정보 결정부(46), 선택부(47), 지연부(48), 및 반영부(49)에 대해서는, 도 3의 화상처리 장치(13)와 마찬가지이다. 도 18의 화상 처리 장치(13)에 있어서, 도 3의 화상 처리 장치(13)와 다른(異) 것은, 축적 블록(43)을 대신해서 축적 블록(201)이 마련되어 있는 점이다.

축적 블록(201)의 특징량 설정 정보 기록부(211)는, 특징량 추출부(41)로부터 공급되어 오는 특징량과, 설정 정보 결정부(46)로부터 공급되어 오는 설정 정보를 대응지어서 특징량 설정 정보 테이블 축적부(212)에 축적시킨다.

특징량 설정 정보 판독부(213)는, 동기 검출부(42)로부터 동기 위치로서 검출된 특징량(검색 위치 특징량)을 취득하면, 그 특징량에 대응지어져서, 특징량 설정 정보 테이블 축적부(212)에 기억되어 있는 설정 정보를 읽어내고, 선택부(47)에 공급한다.

다음에, 도 19의 흐름도를 참조하여, 도 18의 화상 처리 장치(13)에 의한 화상 처리에 대해서 설명한다. 또, 도 19의 흐름도에 있어서의 단계 S111 내지 S115, 단계 S117 내지 S119, 및 단계 S122, S123의 처리는, 도 7의 흐름도에 있어서의 단계 S1 내지 S5, 단계 S7 내지 S9, 및 단계S12, 13의 처리와 마찬가지의 처리이므로, 그 설명은 생략 한다.

단계 S116에 있어서, 특징량 설정 정보 기록부(211)는, 특징량 추출부(41)로부터 공급 되어 오는 특징량을 특징량 설정 정보 테이블 축적부(212)에 축적시키고, 또한 특징량에 대응지어서, 설정 정보 결정부(46)로부터 공급되어 오는 설정 정보를, 특징량 설정 정보 테이블 축적부(212)에 축적시킨다.

즉, 특징량 설정 정보 테이블 축적부(212)란, 예를 들면, 도 20에서 도시되는 바와 같은 테이블이다. 도 20에 있어서는, 도면 중의 좌측 란(欄)에 특징량이 기록되고, 우측란에 설정정보가 기록되어 있으며, 위(上)로부터의 특징량「00011100」에서는, 설정 정보로서 「2배 줌」이 기록되어 있고, 마찬가지로 하여, 특징량 「00011101」에서는, 설정 정보로서 「3배 줌」이, 특징량 「00011010」에서는, 설정 정보로서 「4배 줌」이, 특징량 「01011101」에서는, 설정 정보로서 「5배 줌」이, 특징량 「00110100」에서는, 설정 정보로서 「6배 줌」이, 특징량 「00110110」에서는, 설정 정보로서 「7배 줌」이, 특징량「10011010」에서는, 설정 정보로서 「8배 줌」이, 특징량 「01011101」에서는, 설정 정보로서 「9배 줌」이, 특징량 「00100100」에서는, 설정 정보 없음이, 특징량 「00110110」에서는, 설정 정보 없음이, 특징량 「10011010」에서는, 설정 정보로서 「7배 줌」이, 특징량 「01011101」에서는, 설정 정보로서 「6배 줌」이, 각각 기록되어 있다.

단계 S120에 있어서, 특징량 설정 정보 판독부(213)는, 재생중인 프레임의 재생위치 특징량과 일치하는 특징량이 특징량 설정 정보 테이블 축적부(212)에 축적되어 있는지의 여부를 판정한다.

또, 단계 S121에 있어서, 특징량 설정 정보 판독부(213)는, 동기한 특징량에 대응지어진 설정 정보가 특징량 설정 정보 테이블 축적부(212)에 축적되어 있는지의 여부를 판정한다.

이상에 의하면, 특징량에 대응지어서 설정 정보를 축적시키는 테이블을 이용하도록 해도, 타임 코드 등을 이용하는 일 없이, 축적된 설정 정보에 의거한 편집 처리를 화상에 반영시키는 것이 가능해진다. 또, 특징량에 대응지어진, 조작 정보, 또는, 조작정보 및 직전의 설정 정보의 테이블을 이용하도록 해도 좋은 것은 말할 나위도 없다.

또한 상술한 바와 같이 특징량은, 설정 정보, 조작 정보, 또는, 조작 정보 및 직전의 설정 정보에 대응지지 않은 상태에서도 기록하는 것이 가능하다. 그렇지만, 이상에 있어서는, 리모트 컨트롤러(14)가 조작되었을 때에, 설정 정보, 조작 정보, 또는, 조작 정보 및 직전의 설정 정보를 기록할 때에 기록되는 예에 대해서 설명해 왔지만, 그 이외의 타이밍에서 기록하도록 해도 좋다.

도 21은, 리모트 컨트롤러(14)에 의해 화상에의 처리를 지시하기 전에, 포맷 하는 것으로, 기록 미디어(11)에 기록되어 있는 화상의 모두를 먼저 축적시키도록 한 화상 처리 장치(13)의 구성예를 도시하고 있다. 또, 도 21에 있어서, 도 3과 동일한 구성에 대해서는, 동일한 부호를 붙이고 있어, 그 설명은 생략 하는 것으로 한다.

즉, 특징량 추출부(41), 동기 검출부(42), 수광부(44), 조작 정보 인식부(45), 설정정보 결정부(46), 선택부(47), 지연부(48), 및 반영부(49)에 대해서는, 도 3의 화상처리 장치(13)와 마찬가지이다. 도 21의 화상 처리 장치(13)에 있어서, 도 3의 화상 처리 장치(13)와 다른 것은, 축적 블록(43)을 대신해서 축적 블록(231)이 마련되어 있는 점이다.

축적 블록(231)의 특징량 설정 정보 기록부(241)는, 기본적으로, 특징량 설정 정보 기록부(61)와 마찬가지의 기능을 구비하고 있지만, 또한, 조작 정보 인식부(45)로부터 포맷이 지시되면, 특징량 설정 정보 기록부(241)는 화상 재생부(12)에 의해 재생되는 기록 미디어(11)에 기록된 화상의 모든 특징량을, 특징량 설정 정보 축적부(242)에 축적시킨다.

다음에, 도 22의 흐름도를 참조하여, 도 21의 화상 처리 장치(13)에 의한 포 맷 처리에 대해서 설명한다.

단계 S131에 있어서, 특징량 추출부(41)는, 새로운 화상이 화상 재생부(12로부터 공급 되어 왔는지의 여부를 판정하고, 새로운 화상이 공급되어 올 때까지, 그 처리를 반복한다. 그리고, 단계 S131에 있어서, 새로운 화상이 공급되어 오면, 단계 S132에 있어서, 특징량 추출부(41)는, 특징량 추출 처리를 실행하여 특징량을 추출하고, 특징량 설정정보 기록부(241)에 공급한다. 또, 특징량 추출 처리에 대해서는, 도 8의 흐름도를 참조한 처리와 마찬가지이므로, 그 설명은 생략한다.

단계 S133에 있어서, 특징량 설정 정보 기록부(241)는, 공급되어 오는 특징량을 특징량 설정 정보 축적부(242)에 축적시킨다.

단계 S134에 있어서, 특징량 설정 정보 기록부(241)는, 종료가 지시되었는지의 여부를 판정하고, 종료가 지시되어 있지 않은 경우, 그 처리는, 단계 S131로 되돌아간다. 즉, 종료가 지시되기 까지, 단계 S131 내지 S134의 처리가 반복되고, 종료가 지시되면, 포맷의 처리가 종료한다.

이상의 처리에 의해, 도 23에서 도시되는 바와 같이, 예를 들면, 비디오(화상)가 시각 t201내지 t202까지의 경우, 그 선두 위치로부터 재생이 개시되면, 선두 위치로부터 종료 위치까지의 특징량이 축적된다. 결과적으로, 설정 정보, 조작 정보, 또는, 조작 정보 및 직전의 설정 정보를 기록할 때, 새롭게 특징량을 기록할 필요가 없어진다.

또, 도 23에 있어서, 최상단(最上段)에 비디오 화상의 시각(時刻)이 도시되어 있고, 제2단 째에는, 재생되는 타이밍이 도시되어 있으며, 제3단 째에는, 특징 량이 기록되는 타이밍이 도시되어 있다.

또, 이상에 있어서는, 처리의 최초에 비디오(화상) 전체의 특징량을 취득(取得)하는 예에 대해서 설명해 왔지만, 리모트 컨트롤러(14)가 조작되지 않고 기록 미디어(11)에 기록되어 있는 화상이 화상 재생부(12)에 의해 재생되고 있는 동안에, 부분마다에 특징량만을 기록하도록 해도 좋다.

도 24는, 리모트 컨트롤러가 조작되지 않고 기록 미디어에 기록되어 있는 화상이 재생되고 있는 동안에, 부분마다에 특징량만을 기록하도록 한 화상 처리 장치(13)의 구성예를 도시하고 있다. 또, 도 24에 있어서, 도 3과 동일한 구성에 대해서는, 동일한 부호를 붙이고 있어, 그 설명은 적당히 생략 하는 것으로 한다.

즉, 특징량 추출부(41), 동기 검출부(42), 수광부(44), 조작 정보 인식부(45), 설정정보 결정부(46), 선택부(47), 지연부(48), 및 반영부(49)에 대해서는, 도 3의 화상처리 장치(13)와 마찬가지이다. 도 24의 화상 처리 장치(13)에 있어서, 도 3의 화상 처리 장치(13)와 다른 것은, 축적 블록(43)을 대신해서 축적 블록(251)이 설치되어 있는 점이다.

축적 블록(251)의 특징량 설정 정보 기록부(261)는, 기본적으로, 특징량 설정 정보 기록부(61)와 마찬가지의 기능을 구비하고 있지만, 또한 조작 정보 인식부(45)로부터 조작 정보가 공급되고 있지 않은 상태이고, 또한, 화상 재생부(12)에 의해 재생되는 기록 미디어(11)에 기록되어 있는 화상이 재생되고 있고, 또한, 동기 검출부(42)로부터의 동기 검출 결과인, 검색 위치 특징량이 존재하지 않을 때, 즉, 특징량이 기록되어 있지 않은 상태 일 때, 화상의 특징량을 특징량 설정 정보 축적부(262)에 축적시킨다.

다음에, 도 25의 흐름도를 참조하여, 도 24의 화상 처리 장치(13)에 있어서의 화상처리에 대해서 설명한다. 또, 도 25의 흐름도에 있어서의 단계 S151 내지 S163의 처리는, 도 7의 흐름도에 있어서의 단계 S1내지 S13의 처리와 마찬가지이므로 그 설명은 생략 하는 것으로 한다.

즉, 단계 S160에 있어서, 동기하는 특징량이 축적되어 있지 않다고 판정된 경우, 단계 S164에 있어서, 특징량 설정 정보 기록부(261)는, 특징량 추출부(41)로부터 공급되어 오는 특징량만을 특징량 설정 정보 축적부(262)에 축적시킨다.

이상의 처리에 의해, 예를 들면, 도 26에서 도시되는 바와 같이, 비디오(화상) 1개분(a video sequence)이 시각 t251내지 t252로 기록되어 있고, 시각 t261 내지 t262에 있어서, 재생되고, 리모트 컨트롤러(14)가 조작되고 처리가 지시되지 않은 상태이면, 그 타이밍에서 특징량이 기록된다. 그 후, 시각 t262 내지 t271에 있어서 고속 전진 조작되고, 시각t271 내지 t272에 있어서 재생되고, 리모트 컨트롤러(14)가 조작되고 처리가 지시되지 않은 상태이면, 다시, 그 타이밍에서 특징량이 기록된다. 또, 그 후, 시각 t272 내지 t281에 있어서 고속 전진(fast forwarded) 조작되고, 시각 t281 내지 t282에 있어서 재생되고, 리모트 컨트롤러(14)가 조작되고 처리가 지시되지 않은 상태이면, 역시, 그 타이밍에 특징량이 기록된다.

그리고, 그 후, 시각 t282로부터 시각 t291까지 되감기되면, 시각 t291 내지 t262는, 이미 특징량이 기록되어 있으므로, 기록되어 있지 않은 시각 t262 내지 t271에 있어서, 리모트 컨트롤러(14)가 조작되고 처리가 지시되지 않은 상태이면, 특징량이 기록되고, 다시, 시각 t271 내지 t292에 있어서는 기록되어 있으므로, 특징량의 기록이 정지된다. 도 26에서 도시되는 바와 같은 타이밍에 따라 비디오 1개분(video sequence)이 재생이 재생되며, 시각 t261 내지 t272, 및 시각 t281 내지 t282의 특징량이 기록되게 된다.

결과적으로, 통상의 재생이 되고 있는 동안, 리모트 컨트롤러(14)에 의한 화상의 처리를 지시하는 조작이 이루어지지 않은 타이밍에서, 부분마다 서서히 특징량만이 축적되어가게 되므로, 사용자에, 포맷 처리와 같은 조작을 의식시키는 일 없이, 특징량을 축적시키는 것이 가능해진다.

이상과 같이, 본 발명의 제1의 측면의 화상 처리 장치 및 방법, 및 프로그램에 의하면, 화상으로부터 특징량을 추출하고, 상기 화상에 대한 처리를 가하기 위한 설정 정보를 설정하고, 상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하도록 했다.

또, 본 발명의 제2의 측면의 데이터 기록 매체에 의하면, 화상의 특징량에 대응지어서, 화상에 대한 처리를 가하기 위한 설정 정보를 기록한 데이터 구조를 포함하도록 했다.

또한, 본 발명의 제3의 측면의 화상 처리 장치 및 방법, 및 프로그램에 의하면, 재생 위치의 화상으로부터 재생 위치의 특징량이 재생 위치 특징량으로서 추출된단. 상기 화상의 특징량에 대응지어서, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록매체의 특징량과, 상기 재생 위치 특징량을 동기된 다. 상기 데이터 기록 매체의 특징량과, 상기재생 위치 특징량이 동기했을 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내고, 읽어낸 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영하도록 했다.

결과적으로, 본 발명의 제1의 측면에 의하면, 화상을 처리하기 위한 설정 정보를, 화상의 특징량에 대응지어서 기록하는 것이 가능해진다.

또, 본 발명의 제2의 측면에 의하면, 화상의 처리 결과를 기록하는 일 없이, 화상을 처리하기 위한 설정 정보를, 화상의 특징량에 대응지어서 기록하는 것이 가능해진다.

본 발명의 제3의 측면에 의하면, 화상의 특징량에 대응지어서, 화상을 처리하기 위한 설정정보를 읽어내고, 설정 정보에 의거하여, 화상에의 처리를 반영시키는 것이 가능해진다.

일부 실시예에 있어서, 프레임 단위로 특징량을 추출하도록 하고, 특징량을 타임 코드와 같이 이용하는 것으로써, 원래의 화상 데이터에 처리를 가하는 일 없이, 화상을 재생시킬 때에, 화상에 대해 정확히 소정의 처리를 가하여 재현하는 것이 가능해진다. 또, 복제할 수 없는 화상 데이터라도, 재생시킬 때에, 동일한 처리를 가하여 반복 재생하는 것이 가능해진다.

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨 터, 또는, 각종 프로그램을 인스톨하는 것으로, 각종 기능을 실행시키는 것이 가능한, 예를 들면 범용 퍼스널 컴퓨터 등에 기록 매체로부터 인스톨된다.

도 27은, 도 3, 도 13, 도 15, 도 18, 도 21, 도 24의 화상 처리 장치(13)의 전기적(電氣的)인 내부 구성을 소프트웨어에 의해 실현되는 경우의 퍼스널 컴퓨터의 1실시형태의 구성을 도시하고 있다. 퍼스널 컴퓨터의 CPU(1001)는, 퍼스널 컴퓨터의 전체의 동작을 제어한다. 또, CPU(1001)는, 버스(1004) 및 입출력 인터페이스(1005)를 거쳐서 유저로부터 키보드나 마우스 등으로 이루어지는 입력부(1006)로부터의 지령이 입력되면, 거기에 대응하여 ROM(Read Only Memory)(1002)에 격납되어 있는 프로그램을 실행한다. 혹은 또, CPU(1001)는, 드라이브(1010)에 접속된 자기 디스크, 광디스크, 광학 자기 디스크, 또는 반도체 메모리를 포함하는 착탈식 디스크(1021)로부터 읽어내 지고, 기억부(1008)에 인스톨된 프로그램을, RAM(Random Access Memory)(1003)에 로드하여 실행한다. 이것에 의해, 상술한 도 3,도 13, 도 15, 도 18, 도 21, 도 24의 화상 처리 장치(13)의 기능이, 소프트웨어에 의해 실현되고 있다. 또한 CPU(1001)는, 통신부(1009)를 제어하여, 외부와 통신하고, 데이터의 수수(송수신)를 실행한다.

프로그램이 기록되어 있는 기록 매체는, 도 27에서 도시하는 바와 같이, 컴퓨터와는 별도로, 유저에게 프로그램을 제공하기 위해서 배포되는, 프로그램이 기록되어 있는 자기(磁氣) 디스크(플렉서블 디스크를 포함함), 광디스크(CD-ROM(Compact Disc-Read OnlyMemory), DVD(Digital Versatile Disk)를 포함한다), 광학 자기 디스크(MD(Mini-Disc)을 포함함), 또는 반도체 메모리를 포함한 착탈식 매체(1021) 등으로 이루어지는 팩키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 내장된 상태로 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(1002)이나, 기억부(1008)에 포함되는 하드 디스크 등으로 구성된다.

또, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 기재된 순서에 따라 시계열적으로 행해지는 처리는, 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리를 포함하는 것이다.

본 발명의 제1의 측면에 의하면, 원래의 화상 데이터에 처리를 가하는 일 없이, 화상을 재생시킬 때에, 화상에 대해 정확히 소정의 처리를 가하여 재현하는 것이 가능해진다.

　또, 본 발명의 제1의 측면에 의하면, 화상을 처리하기 위한 설정 정보를, 화상의 특징량에 대응지어서 기록하는 것이 가능해진다.

본 발명의 제2의 측면에 의하면, 원래의 화상 데이터에 처리를 가하는 일 없이, 화상을 재생시킬 때에, 화상에 대해 정확히 소정의 처리를 가하여 재현하는 것이 가능해진다.

또, 본 발명의 제2의 측면에 의하면, 화상의 처리 결과를 기록하는 일 없이, 화상을 처리하기 위한 설정 정보를, 화상의 특징량에 대응지어서 기록하는 것이 가능해진다.

본 발명의 제3의 측면에 의하면, 원래의 화상 데이터에 처리를 가하는 일 없이, 화상을 재생시킬 때에, 화상에 대해 정확히 소정의 처리를 가하여 재현하는 것 이 가능해진다. 또, 복제할 수 없는 화상 데이터여도, 재생시킬 때에, 동일한 처리를 가하여 반복 재생하는 것이 가능해진다.

또, 본 발명의 제3의 측면에 의하면, 화상의 특징량에 대응지어서, 화상을 처리하기 위한 설정 정보를 읽어내고, 설정 정보에 의거하여, 화상에의 처리를 반영시키는 것이 가능하게 된다.

Claims (18)

1. 화상으로부터 특징량(feature value)을 추출하는 특징량 추출 수단과,

   상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하는 설정 수단과,

   상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 수단과,

   상기 화상에 대한 처리를 지정하기 위한 조작을 하는 조작 수단을 포함하고,

   상기 설정 수단은, 상기 조작 수단의 조작 내용에 의해, 상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하고,

   상기 기록 수단은, 상기 화상의 특징량에 대응지어서 상기 조작 내용을 상기 데이터 기록 매체에 기록하고,

   상기 조작 수단에 의한 상기 화상에 대한 처리를 지정하는 조작 내용이, 상기 화상에 대한 직전(直前)의 처리와의 상대적인 처리를 지정하는 것인 경우,

   상기 기록 수단은, 상기 화상의 특징량에 대응지어서 상기 조작 내용 및 상기 직전의 처리에 의한 설정 정보를 상기 데이터 기록 매체에 기록하는

   화상 처리 장치.
2. 제 1 항에 있어서,　

   상기 특징량 추출 수단은, 상기 화상을 구성하는 소정 영역의 화소의 화소값의 가산값을 특징량으로서 추출하는 화상 처리 장치.
3. 삭제
4. 삭제
5. 제 1 항에 있어서,

   상기 기록 수단은, 상기 데이터 기록 매체위의 제1의 어드레스에 상기 화상의 특징량을 기록하고, 상기 설정 정보를, 상기 제 1의 어드레스와 대응지어진 제2의 어드레스에 기록하는 화상 처리 장치.
6. 제 1 항에 있어서,

   상기 기록 수단은, 상기 화상의 특징량과 상기 설정 정보가 대응지어진 테이블을 상기 데이터 기록 매체에 기록하는 화상 처리 장치.
7. 화상으로부터 특징량을 추출하는 특징량 추출 단계와,

   상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하는 설정 단계와,

   상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계와,

   상기 화상에 대한 처리를 지정하기 위한 조작을 하는 조작 단계를 포함하고,

   상기 설정 단계의 처리는, 상기 조작 단계의 처리에서의 조작 내용에 의해, 상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하고,

   상기 기록 단계의 처리는, 상기 화상의 특징량에 대응지어서 상기 조작 내용을 상기 데이터 기록 매체에 기록하고,

   상기 조작 단계의 처리에 의한 상기 화상에 대한 처리를 지정하는 조작 내용이, 상기 화상에 대한 직전의 처리와의 상대적인 처리를 지정하는 것인 경우,

   상기 기록 단계의 처리는, 상기 화상의 특징량에 대응지어서 상기 조작 내용 및 상기 직전의 처리에 의한 설정 정보를 상기 데이터 기록 매체에 기록하는

   화상 처리 방법.
8. 화상으로부터 특징량을 추출하는 특징량 추출 단계와,

   상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하는 설정 단계와,

   상기 화상의 특징량에 대응지어서 상기 설정 정보를 데이터 기록 매체에 기록하는 기록 단계와,

   상기 화상에 대한 처리를 지정하기 위한 조작을 하는 조작 단계를 포함하고,

   상기 설정 단계의 처리는, 상기 조작 단계의 처리에서의 조작 내용에 의해, 상기 화상에 대해서 처리를 가하기 위한 설정 정보를 설정하고,

   상기 기록 단계의 처리는, 상기 화상의 특징량에 대응지어서 상기 조작 내용을 상기 데이터 기록 매체에 기록하고,

   상기 조작 단계의 처리에 의한 상기 화상에 대한 처리를 지정하는 조작 내용이, 상기 화상에 대한 직전의 처리와의 상대적인 처리를 지정하는 것인 경우,

   상기 기록 단계의 처리는, 상기 화상의 특징량에 대응지어서 상기 조작 내용 및 상기 직전의 처리에 의한 설정 정보를 상기 데이터 기록 매체에 기록하는

   컴퓨터가 판독 가능한 프로그램이 기록되어 있는 프로그램 기록 매체.
9. 삭제
10. 삭제
11. 삭제
12. 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 수단과,

    상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기(同期; synchronization) 시키는 동기 수단과,

    상기 동기 수단에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 수단과,

    상기 판독 수단에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영(反映)시키는 반영 수단

    을 포함하는 화상 처리 장치.
13. 제 12 항에 있어서,

    상기 동기 수단은,

    상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체로부터, 상기 특징량을 검색 위치 특징량으로서 순차 추출하는 검색 위치 특징량 추출 수단과,

    상기 재생 위치 특징량과 상기 검색 위치 특징량을 순차 비교하는 비교 수단을 포함하고,

    상기 비교 결과가 일치했을 경우, 상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 것으로 간주하는 화상 처리 장치.
14. 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계와,

    상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기시키는 동기 단계와,

    상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록 되어 있는 설정 정보를 읽어내는 판독 단계와,

    상기 판독 단계의 처리에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계

    를 포함하는 화상 처리 방법.
15. 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하는 재생 위치 특징량 추출 단계와,

    상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기하 는 동기 단계와,

    상기 동기 단계의 처리에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내는 판독 단계와,

    상기 판독 단계의 처리에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키는 반영 단계

    를 포함하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 프로그램 기록 매체.
16. 삭제
17. 삭제
18. 재생 위치의 화상으로부터 재생 위치의 특징량을 재생 위치 특징량으로서 추출하기 위해 구성된 재생 위치 특징량 추출부와,

    상기 화상의 특징량에 대응지어진, 상기 화상에 대한 처리를 가하기 위한 설정 정보가 기록된 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량을 동기하기 위해 구성된 동기부와,

    상기 동기부에 의해 상기 데이터 기록 매체의 특징량과, 상기 재생 위치 특징량이 동기한 경우, 상기 데이터 기록 매체로부터, 동기한 상기 재생 위치 특징량에 대응지어서 기록되어 있는 설정 정보를 읽어내기 위해 구성된 판독부와,

    상기 판독부에 의해 읽어내진 설정 정보에 의거하여, 상기 재생 위치의 화상에 대한 처리를 반영시키기 위해 구성된 반영부

    를 포함하는 화상 처리 장치.

Images