KR20180043264A - 화상 처리 방법, 화상 처리 장치, 및 프로그램 - Google Patents

Abstract

부가 정보에 기초하여 화상 데이터 편집의 사용성 및 편집 효율의 향상을 도모한다. 이를 위해, 우선 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식한다. 그리고, 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 동영상 데이터의 편집 범위를 설정한다. 즉, 부가 데이터에 따라 편집 범위로 하는 부분을 설정한다.

Description

화상 처리 방법, 화상 처리 장치, 및 프로그램

본 기술은 화상 처리 방법, 화상 처리 장치, 프로그램에 관한 것으로, 특히 동영상 데이터에 대한 편집 처리에 관한 기술 분야에 관한 것이다.

[선행 기술 문헌]

[특허 문헌]

특허 문헌1: 일본 특허공개 제2011-030159호

비디오 카메라 등을 이용한 동영상 촬상이 일반화되고 있어, 유저가 소유하는 동영상 데이터의 양도 증가하고 있다. 이러한 상황에서 일반 유저가 동영상 데이터를 편집하는 수단도, 예를 들면 퍼스널 컴퓨터용의 어플리케이션 프로그램 등으로 제공되고 있어, 동영상 편집이라는 작업도 일반화되고 있다.

예를 들면, 상기 특허 문헌 1에는 동영상 편집에 대한 기술이 개시되어 있다.

동영상 편집을 일반 유저가 보다 쉽게 즐길 수 있도록 하려면, 편집을 위한 조작의 간이성이나, 조작의 알기 쉬움이 필요하다. 또한, 어느 정도의 자동적인 처리에 의해, 유저가 원하는 대로의 편집 결과를 제공 또는 제안할 수 있는 것이 바람직하다.

이에 본 기술은, 부가 데이터를 이용한 효율 좋은 편집 처리를 유저에게 제공할 수 있도록 함과 함께, 편집 범위가 적절히 설정되도록 하는 방법을 제안하는 것을 목적으로 한다.

본 기술과 관련되는 화상 처리 방법은, 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하고, 상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 화상 처리 방법이다.

즉, 적어도 2 종류의 부가 정보(제1, 제2 부가 정보)에 응해 편집 범위를 설정한다.

상기한 화상 처리 방법에서는, 상기 부가 정보가 상기 제1 부가 정보인 경우에는, 상기 제1 부가 정보가 지정하는 특정 시점에 기초하여 편집 범위를 설정하고, 상기 부가 정보가 상기 제2 부가 정보인 경우에는, 상기 제2 부가 정보가 지정하는 특정 시간 범위의 시작점과 종점에 기초하여 편집 범위를 설정한다.

제1 부가 정보는 특정 시점을 나타내기 때문에, 그 특정 시점을 편집 범위 설정의 기준으로 한다. 제2 부가 정보는 특정 시간 범위를 나타내기 때문에, 그 시간 범위의 시작점과 종점을 편집 범위 설정의 기준으로 한다.

상기한 화상 처리 방법에서는, 상기 제1 부가 정보에 따라서, 상기 특정 시점의 제1 설정 시간 전의 시점으로부터 상기 특정 시점의 제2 설정 시간 후까지의 범위를 편집 범위로 설정하고, 상기 제2 부가 정보에 따라서, 상기 시간 범위의 시작점의 제3 설정 시간 전의 시점으로부터 상기 시간 범위의 종점의 제4 설정 시간 후까지의 범위를 편집 범위로 한다.

2 종류의 부가 정보(제1, 제2 부가 정보)에 따른 편집 범위로서 상기 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간을 이용한다. 또한, 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간은, 각각이 같은 시간 길이어도 좋고 다른 시간 길이어도 좋다.

상기한 화상 처리 방법에서는, 설정한 편집 범위를, 동영상 데이터로부터의 잘라내기 범위로 한다.

즉, 설정한 편집 범위를, 원래의 동영상 데이터를 편집한 편집 동영상 데이터로서 사용하도록 한다.

상기한 화상 처리 방법에서는, 상기 동영상 데이터에 대해 설정한 편집 범위를 제시하는 표시를 실행시키는 표시 제어를 행한다.

예를 들면, 동영상 데이터의 개시부터 종료까지를 바 형식 등으로 표시하는 가운데, 편집 범위를 제시하는 표시를 행한다.

상기한 화상 처리 방법에서는, 상기 제1 부가 정보에 의해 지정되는 상기 동영상 데이터 상의 특정 시점을 제시하는 표시 제어를 행한다.

예를 들면, 동영상 데이터를 나타내는 바 형식 상에서 제1 부가 정보를 나타내는 마크 등을 표시한다.

상기한 화상 처리 방법에서는, 상기 제2 부가 정보가 지정하는 상기 동영상 데이터 상의 특정 시간 범위를, 대표 시점을 나타냄으로써 제시하는 표시 제어를 행한다.

예를 들면, 동영상 데이터를 나타내는 바 형식 상에 제2 부가 정보를 나타내는 마크 등을 표시한다.

상기한 화상 처리 방법에서는, 설정한 편집 범위의 정보에 기초하여, 동영상 재생 표시를 실행시키는 표시 제어를 행한다.

즉, 동영상 데이터에 대해 1 또는 복수의 편집 범위가 설정된 상태에서, 그 편집 범위를 잘라내어 재생 표시시킨다. 예를 들면 복수의 편집 범위를 차례로 잘라내어 연속하여 동영상 재생시킨다.

상기한 화상 처리 방법에서는, 설정한 편집 범위에 대해, 조작에 따라 설정 변경하는 편집 조작 대응 처리를 행한다.

즉, 동영상 데이터에 대해 설정된 편집 범위에 대해, 유저가 조작에 의해 임의로 설정 변경할 수 있도록 한다. 예를 들면 편집 범위의 시작점(in 점), 종점(out 점)의 변경, 어떤 편집 범위의 삭제, 편집 범위의 추가 등을 유저 조작에 의해 가능하게 한다.

상기한 화상 처리 방법에서는, 설정한 편집 범위의 화상 재생 양태를 조작에 따라 변경하는 편집 조작 대응 처리를 행한다.

동영상 데이터에 대해 설정된 편집 범위는, 통상 재생, 예를 들면 1배속의 통상 표시의 동영상으로서 편집 동영상에 추가된다. 이 편집 범위의 동영상에 대해, 변속 재생이나 화상 효과 등의 처리를 유저 조작으로 가할 수 있도록 한다.

상기한 화상 처리 방법에서는, 상기 제1 부가 정보 또는 상기 제2 부가 정보가 되는 부가 정보로서의 복수 종류의 부가 정보의 종류를 지정하는 것에 따라, 지정한 종류의 부가 정보에 대응하는 편집 범위에, 소정의 화상 재생 양태를 설정하는 편집 조작 대응 처리를 행한다.

즉, 부가 정보의 종류를 지정함으로써, 그 부가 정보에 대응하는 부분에 대해 공통으로 화상 재생 양태를 설정한다. 예를 들면, 특정의 부가 정보에 대응하는 편집 범위에 대해서는, 모두 슬로우 재생으로 하는 등의 지정을 하도록 한다.

상기한 화상 처리 방법에서는, 상기 동영상 데이터의 편집 범위를 설정할 때에는, 상기 제1 부가 정보 또는 상기 제2 부가 정보로 되는 부가 정보로서의 복수 종류의 부가 정보의 종류에 따라, 상기 제1 설정 시간, 상기 제2 설정 시간, 상기 제 3 설정 시간, 상기 제 4 설정 시간 중 어느 것을 가변 설정한다.

즉, 부가 정보의 종류에 따라서 편집 범위를 결정하는 설정 시간을 변경한다.

상기한 화상 처리 방법에서는, 상기 부가 정보의 종류로서, 동영상 촬상 시 유저의 조작에 따라 부가되는 부가 정보인 경우, 상기 제1 설정 시간 또는 상기 제3 설정 시간 중 어느 것을 통상 설정 시간 길이보다 긴 시간 길이로 설정한다.

유저 조작에 따라 설정되는 부가 정보는, 통상 지정하는 시간 위치가 늦어진다. 이에 그러한 부가 정보의 경우에는, 시간 길이를 길게 한다.

상기한 화상 처리 방법에서는, 설정된 편집 범위의 정보에 기초하여, 편집 동영상 데이터를 생성하여 출력하는 출력 처리를 행한다.

동영상 데이터에 대해 1 또는 복수의 편집 범위가 설정된 상태에서, 또는 심지어 그 편집 범위가 변경된 상태에서, 예를 들면 편집 범위를 잘라내어 연결하여 편집 동영상 데이터를 생성한다.

상기한 화상 처리 방법에서는, 상기 출력 처리에서는, 상기 편집 동영상 데이터를 기억 매체에 기억시키는 출력 처리를 행한다.

또는, 상기한 화상 처리에서는, 상기 출력 처리에서는, 상기 편집 동영상 데이터를 외부 기기로 송신하는 출력 처리를 행한다.

즉, 편집 동영상 데이터를 기억 매체에 기억하는 상태로 보존하거나 편집 동영상 데이터를 외부 기기로 송신한다. 송신의 경우, 송신지는 예를 들면 특정의 기록 기기, 정보 처리 단말, 클라우드 서버 등이다.

본 기술에 관한 화상 처리 장치는, 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 인식부와, 상기 인식부가 인식한 부가 정보가, 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 편집 처리부를 구비한다.

이에 의해, 상술한 화상 처리 방법을 실행할 수 있는 장치를 구성한다.

본 기술에 관한 프로그램은, 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 단계와, 인식된 상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 단계를 정보 처리 장치에 실행시키는 프로그램이다.

이에 의해, 정보 처리 장치에 대해 상술한 화상 처리 방법을 실행할 수 있도록 한다.

본 기술에 의하면, 특정 시점을 나타내는 제1 부가 정보와, 특정 시간 범위를 나타내는 제2 부가 정보의 각각에 따라 자동적으로 편집 범위를 설정할 수 있기 때문에, 유저의 편집 작업의 간이성을 실현하면서도, 부가 정보에 따른 적절한 편집 범위 설정이 실현된다.

또한, 여기에 기재된 효과는 반드시 한정적인 것은 아니고, 본 개시 중에 기재된 어떠한 효과라도 좋다.

[도 1] 본 기술의 실시 형태의 화상 처리 장치의 블럭도이다.
[도 2] 실시 형태의 화상 처리 장치를 실현하는 하드웨어 구성의 블럭도이다.
[도 3] 실시 형태의 편집 화면의 설명도이다.
[도 4] 실시 형태의 편집 화면의 편집 범위 표시 상태의 설명도이다.
[도 5] 실시 형태에서 설정 및 제시하는 편집 범위의 설명도이다.
[도 6] 실시 형태에서 설정 및 제시하는 편집 범위의 설명도이다.
[도 7] 실시 형태의 마커 표시 설정 윈도우의 설명도이다.
[도 8] 실시 형태의 마커 추가 삭제 윈도우의 설명도이다.
[도 9] 실시 형태의 동영상 편집 처리의 흐름도이다.
[도 10] 실시 형태의 동영상 편집 처리의 흐름도이다.
[도 11] 실시 형태의 편집 범위 설정 처리의 흐름도이다.
[도 12] 실시 형태의 편집 범위 설정 처리의 흐름도이다.
[도 13] 실시 형태의 편집 동영상 작성 처리의 흐름도이다.
[도 14] 실시 형태의 재생 관련 조작 대응 처리의 흐름도이다.

이하, 실시 형태를 다음의 순서로 설명한다.

<1. 화상 처리 장치의 구성>

<2. 메타데이터>

<3. 편집 화면예>

<4. 처리예>

<5. 프로그램 및 기억 매체>

<6. 정리 및 변형예>

<1. 화상 처리 장치의 구성>

실시 형태의 화상 처리 장치(1)의 구성에 대해 도 1을 이용하여 설명한다.

화상 처리 장치(1)는, 예를 들면 퍼스널 컴퓨터나 휴대 단말(예를 들면, 스마트폰, 태블릿 단말) 등의 정보 처리 장치에서 소프트웨어에 의해 실현된다. 또는 화상 처리 장치(1)는, 비디오 카메라 등의 촬상 장치, 화상 기록 장치, 화상 재생 장치, 화상 표시 장치 등의 기기에 내장되는 경우도 있다. 또한 화상 처리 장치(1)는 화상 편집 장치로서 실현되는 경우도 있다.

실시 형태의 화상 처리 장치(1)는, 대상 인식부(2), 편집 처리부(3), 출력 처리부(4)로서의 기능을 갖는다.

또한, 화상 처리 장치(1)에 대해 정보의 교환을 행하는 주변 부위로서, 기억부(10), 통신부(11), 입력부(12), 표시부(13), 음성 출력부(14) 등이 있다.

또한, 기억부(10), 통신부(11), 입력부(12), 표시부(13), 음성 출력부(14)는, 각각 단일체의 기기로서 구성되어도 좋지만, 상술한 정보 처리 장치, 촬상 장치, 화상 기록 장치 등의 장치 내의 구성 부위로 되어 있어도 좋다.

또한, 이들 기억부(10), 통신부(11), 입력부(12), 표시부(13), 음성 출력부(14)의 전부 또는 일부와, 화상 처리 장치(1)는 동일 기기 내에 일체적으로 설치되어 있어도 좋고, 별체 기기로 되어 유선 또는 무선 통신으로 접속되는 것이라도 좋다.

우선 주변 부위에 대해 설명한다.

기억부(10)는 동영상 데이터를 기억하는 기억 영역이다. 예를 들면, D-RAM(Dynamic Random Access Memory), S-RAM(Static Random Access Memory), 플래시 메모리 등의 반도체 메모리로서 형성되고 있어도 좋고, HDD(Hard Disk Drive), 메모리 카드 드라이브, 광 디스크 등에 대한 디스크 드라이브 등이어도 좋다.

이 기억부(10)에는, 예를 들면 유저가 비디오 카메라 등의 촬상 장치로 촬상한 동영상 데이터나, 다른 기기로부터 전송된 동영상 데이터 등이 기억되어 있다. 또한, 기억부(10)는 화상 편집 장치(1)로 편집한 동영상 데이터의 기억에도 이용된다.

통신부(11)는, 예를 들면 인터넷 등의 공중 네트워크 통신이나 전용 회선 통신, 또는 근거리 무선 통신, 유선 통신 등에 의해 외부 기기와 통신을 행한다. 예를 들면, 화상 편집 장치(1)로 편집한 동영상 데이터를 외부 기기나 네트워크 서버 등에 송신한다. 또한, 통신부(11)는 외부 기기나 네트워크 서버 등으로부터 수신한 동영상 데이터를 기억부(10)에 기억시킬 수도 있다.

입력부(12)는, 화상 처리 장치(1)에 대한 유저의 조작 정보의 입력부이다. 구체적인 양태로서는, 키보드, 마우스, 터치 패널, 제스처 검지 장치, 조작 키, 다이얼 등이 된다.

표시부(13)는, 화상 처리 장치(1)에 의한 편집 작업용의 화상이나 재생 동영상 등을 표시한다. 예를 들면, 액정 패널, 유기 EL(Electroluminescence) 패널 등의 표시 디바이스에 의해 구성된다.

음성 출력부(14)는, 예를 들면 증폭부, 스피커부 등을 갖고, 예를 들면 화상 처리 장치(1)에서의 동영상 재생시에 동영상에 부수되는 음성을 출력한다.

화상 처리 장치(1)는 이들 주변 부위와 연계하여, 유저에게 동영상 편집 기능을 제공한다.

화상 처리 장치(1)의 대상 인식부(2)는, 처리 대상으로 하는 동영상 데이터를 특정함과 함께, 해당 동영상 데이터의 시간축에 대응하여 부가된 부가 정보(메타데이터)를 인식한다. 구체적으로는, 기억부(10)에 기억되어 있는 동영상 데이터 중 하나를 유저 조작에 따라 특정한다.

동영상 데이터에는, 촬상 시나, 촬상 후의 해석 시 등에 있어 각종의 메타데이터가 부여된다. 대상 인식부(2)는, 여기에서는 특히 동영상 내의 장면에 따라 부여된 메타데이터를 인식하는 것으로 한다.

메타데이터로서는 각종의 데이터가 있지만, 본 실시 형태에서 대상으로 하는 메타데이터는, 동영상 데이터의 시간축상에서, 예를 들면 인물이 포함되어 있는 장면, 함성이 터진 장면, 웃는 얼굴을 검출한 장면, 유저 조작에 의한 장면 등을 마킹하는 메타데이터이다. 즉, 동영상 데이터의 시간축상에 있어서, 특정의 씬(scene)임을 나타내는 메타데이터(예를 들면, 후술하는 각종 마커)를 대상으로 한다.

또한, 본 실시 형태에서 기술하는 메타데이터로서는, 동영상의 시간축에 있어서의 특정 시점을 지정하는 데이터(제1 부가 정보)와 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 데이터(제2 부가 정보)가 있다.

편집 처리부(3)는, 대상 인식부(2)가 대상으로 하는 동영상 데이터에 대해 각종의 편집을 위한 처리를 행한다. 예를 들면, 유저에게로의 동영상의 제시, 메타데이터의 위치를 나타내는 마커 제시, 편집 범위의 설정, 편집을 위한 조작 환경의 제공, 편집 동영상 데이터의 생성 등의 처리를 행한다.

이를 위해 편집 처리부(3)는, 메타데이터에 따른 편집 범위 설정 처리, 유저 인터페이스로서의 표시 처리, 유저의 편집 조작에 따른 편집 조작 대응 처리, 편집 결과의 편집 동영상 데이터를 생성하는 편집 동영상 생성 처리 등을 행한다. 이들 처리를 포함한 화상 처리 장치(1)의 처리의 구체적인 예는 후술한다.

출력 처리부(4)는, 편집 처리부(3)가 생성한 편집 동영상 데이터를 출력하는 처리를 행한다. 예를 들면, 기억부(10)에 대해 출력하고 기억시킨다. 또는, 통신부(11)에 출력하여, 통신부(11)로부터 외부 장치로 송신시킨다.

또한, 도 1에서는 화상 처리 장치(1)로서 이상의 대상 인식부(2), 편집 처리부(3), 출력 처리부(4)를 구비하는 것으로 하였지만, 적어도 상술한 제1 부가 정보, 제2 부가 정보로서의 메타데이터를 인식하는 대상 인식부(2)와, 제1 부가 정보 또는 제2 부가 정보에 따라 동영상 데이터의 편집 범위를 설정하는 편집 범위 설정 처리를 적어도 행하는 편집 처리부(3)만 설치되면 된다.

이러한 화상 처리 장치(1)를 실현하는 기기의 예로서의 컴퓨터 장치(70)의 예를 도 2에 나타낸다.

도 2에서, 컴퓨터 장치(70)의 CPU(Central Processing Unit)(71)는, ROM(Read Only Memory)(72)에 기억되어 있는 프로그램, 또는 기억부(78)으로부터 RAM(Random Access Memory)(73)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(73)에는 또한, CPU(71)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(71), ROM(72) 및 RAM(73)은, 버스(74)를 통해 서로 접속되어 있다. 이 버스(74)에는 또한, 입출력 인터페이스(75)도 접속되어 있다.

입출력 인터페이스(75)에는, 키보드, 마우스 등으로 된 입력부(76), 액정 패널 또는 유기 EL 패널 등으로 된 디스플레이, 및 스피커 등으로 된 출력부(77), HDD 등으로 구성되는 기억부(78), 모뎀 등으로 구성되는 통신부(79)가 접속되어 있다. 통신부(79)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(75)에는 또한, 필요에 따라 미디어 드라이브(80)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 제거 가능 미디어(81)가 적절히 장착되어, 이들로부터 판독된 컴퓨터 프로그램이 필요에 따라 기억부(78)에 설치된다.

이러한 컴퓨터 장치(70)의 경우, 상술한 화상 처리 장치(1)는 CPU(71)에서 기동되는 소프트웨어에 의해 실현된다. 그 소프트웨어를 구성하는 프로그램은, 네트워크로부터 다운로드되거나, 제거 가능 미디어(81)로부터 판독되어 컴퓨터 장치(70)에 설치된다. 또는, 그 프로그램이 기억부(78)로서의 HDD 등에 미리 기억되어 있어도 좋다.

그리고, CPU(71)에서 해당 프로그램이 기동되어 화상 처리 장치(1)로서의 기능이 실현되고, 동영상 데이터에 관한 편집 처리를 행할 수 있도록 한다.

<2. 메타데이터>

메타데이터로서 동영상 데이터에 부가되는 정보에 대해 설명한다. 상술한 바와 같이 본 실시 형태에서의 메타데이터(제1 부가 정보, 제2 부가 정보)는, 동영상 데이터의 시간축 상에서 어느 장면을 가리키는 기능을 갖는다. 구체적인 종류로서 다음과 같은 것이 있다.

우선, 특정 시점을 지정하는 제1 부가 정보의 예를 든다.

· 정지 화상 기록 마커

동영상 촬상 중의 정지 화상 기록의 시점을 나타내는 데이터이다. 최근의 촬상 장치(비디오 카메라 등)에서는, 유저가, 동영상 기록 중에 정지 화상 기록 조작을 할 수 있도록 한 것이 있다. 이와 같은 동영상 기록 중에 정지 화상 기록을 지시한 장면은, 유저가 중요하다고 인식하고 있는 장면이라고 상정된다. 이에, 촬상 장치에서, 동영상 촬상 중에 유저가 정지 화상 기록 조작을 행한 시점(타임 코드)에 대응시켜 정지 화상 기록 마커를 부여하도록 하고 있다.

· 얼굴 검출 마커

동영상 데이터 내에서 얼굴 검출을 한 타임 코드에 대하여 부여되는 마커이다. 동영상 촬상 중 또는 촬상 후의 화상 해석에서 얼굴 검출이 행해지고, 얼굴이 존재하는 프레임의 타임 코드에 대응하여 얼굴 검출 마커가 설정된다. 예를 들면, 화상 해석 기능을 갖춘 촬상 장치나 재생 장치 등에 의해 설정된다.

· 스마일 검출 마커

동영상 데이터 내에서 웃는 얼굴을 검출한 타임 코드에 대하여 부여되는 마커이다. 동영상 촬상 중 또는 촬상 후의 화상 해석에서 웃는 얼굴 검출이 행해지고, 웃는 얼굴이 존재하는 프레임의 타임 코드에 대응하여 웃는 얼굴 검출 마커가 설정된다. 예를 들면 화상 해석 기능을 갖춘 촬상 장치나 재생 장치 등에 의해 설정된다.

· 하이라이트 마커

동영상 촬상 중의 유저의 하이라이트 조작의 시점을 나타내는 마커이다. 최근의 촬상 장치(비디오 카메라 등)에서는, 유저가, 동영상 기록 중에 중요한 장면에서 하이라이트 조작을 행할 수 있도록 한 것이 있다. 즉, 유저가 중요하다고 생각한 장면을, 후의 재생이나 편집 시에 바로 지정할 수 있도록 마커를 붙이는 조작이다. 예를 들면, 촬상 장치에서, 동영상 촬상 중에 유저가 이 하이라이트 조작을 행한 시점(타임 코드)에 대응시켜 하이라이트 마커를 부여하도록 하고 있다.

이어서, 특정 시간 범위를 지정하는 제2 부가 정보의 예를 든다.

· 함성 마커

· 웃음소리 마커

· 박수 마커

통상, 동영상 촬상 중에는 음성 집음(集音)/기록도 행하고 있는데, 입력 음성을 해석함으로써, 예를 들면, 함성이 터진 기간, 웃음소리가 나온 기간, 박수가 행해지고 있는 기간 등을 판정할 수 있다. 음성 해석 기능을 갖는 촬상 장치나 재생 장치 등은, 이들에 해당하는 기간을 검출하여, 함성 마커, 웃음소리 마커, 박수 마커 등을 동영상 데이터에 부가할 수 있다.

· 줌(zoom) 마커

촬상 장치에는 줌 기능이 갖춰져 있는 것이 많다. 유저가 줌 조작을 행하는 기간은, 유저에게 중요한 장면일 가능성이 높다. 이에, 촬상 장치는, 동영상 촬상 기록 중에 줌 조작이 행해진 기간에 대하여 줌 마커를 설정한다.

· 모션 패턴 마커

예를 들면, 사람의 점프 동작, 턴 동작, 테니스나 야구, 골프 등의 스윙 동작 등 특정의 모션 패턴에 대해 부가되는 마커이다. 예를 들면, 점프 마커로서 점프를 하고 있는 기간을 지정한다. 이러한 마커는 화상 해석에 의해서도 가능하지만, 예를 들면, 외부 기기와의 언계에 의해, 보다 다양한 동작에 대한 마커를 설정하는 것도 가능하다. 예를 들면, 테니스 라켓에 센서를 장착하고, 센서의 정보를 취득함으로써, 포핸드 스트로크, 포핸드 발리, 백핸드 스트로크, 백핸드 발리 등을 판별하여, 이에 대응하는 마커를 부가하는 것도 가능하다.

이상, 제1 부가 정보, 제2 부가 정보로 되는 마커(메타데이터)의 구체적인 예를 들었지만, 물론 이들은 일례에 불과하고, 그 밖에도 구체적인 예는 다양하게 생각된다. 또한 후술하는 처리에서, 열거한 마커의 모두를 이용할 필요는 없고, 일부의 마커만이 이용되는 것이어도 좋다.

동영상 데이터에 대한 마커(메타데이터)의 기록 방법으로서는 다음과 같은 예가 있다.

· 동영상 촬상 중에, 촬상 장치에서 검출하여, 촬상 장치로 기록

동영상 촬상 중에 기록하는 경우로서, 촬상 장치에서 검출한 정보에 기초하여, 촬상 장치에서 동영상 데이터에 부가하도록 기록한다.

· 동영상 촬상 중에, 촬상 장치 이외에서 검출하여, 촬상 장치에 기록

촬상 장치로 동영상 촬상 중에, 예를 들면, 외부 센서나 외부 기기에서 피사체의 특정의 동작 등을 검출하여, 그 검출 정보를 촬상 장치로 송신한다. 촬상 장치는 검출 정보에 기초하여 마커를 설정하고, 동영상 데이터에 대응시킨 메타데이터로서 기억한다.

· 동영상 촬상 중에, 촬상 장치 이외에서 검출하여, 촬상 장치 이외의 기기에서 기록

촬상 장치로 동영상 촬상 중에, 예를 들면, 외부 센서나 외부 기기에서 피사체의 특정의 동작 등을 검출하여, 그 검출 정보를 촬상 장치 이외의 기기로 송신한다. 예를 들면, 스마트 폰 등, 유저가 촬상 장치와 함께 소지하는 기기로 검출 정보를 송신한다. 스마트 폰 등의 기기는 검출 정보에 기초하여 마커를 설정한다. 또한, 촬상 장치로부터의 정보도 취득하여, 촬상 중의 동영상 데이터의 타임 코드와 동기화된 메타데이터로서 마커를 기록하여 둔다.

· 동영상 촬상 중에, 촬상 장치 이외에서 검출하여, 네트워크 상에서 기록

촬상 장치로 동영상 촬상 중에, 예를 들면 외부 센서나 외부 기기에서 피사체의 특정의 동작 등을 검출하여, 그 검출 정보를 네트워크 송신하여, 클라우드에 기록한다. 클라우드 서버측에서는 촬상 중의 동영상 데이터의 타임 코드와 동기화된 메타데이터로서 마커를 기록해 둔다.

· 촬상 후에, 편집 디바이스에서 기록

촬상 후에 화상/음성 해석 기능을 갖는 기기에서 동영상 데이터 해석이나 음성 데이터 해석을 행하여, 마커의 대상이 되는 특정의 시점이나 기간을 검출한다. 그리고 그 타임 코드에 대응시켜 마커를 설정하고, 메타데이터로서 기록한다.

또는, 해석 기능이 없는 기기라도, 유저가 수동으로 동영상 내의 장면을 확인하고, 어느 시점 또는 어느 기간을 지정하는 조작을 행하는 것에 따라서 마커를 메타데이터로서 기록한다.

<3. 편집 화면예>

계속하여, 실시 형태의 화상 처리 장치(1)에 의해 유저에게 제공되는 편집 화면에 대해 설명한다.

도 3은 예를 들면, 도 1의 표시부(13)에 표시되는 편집 화면(20)의 일례를 나타내고 있다.

편집 화면(20)에는, 각종의 편집 기능을 불러내는 메뉴를 나타낸 메뉴 영역(21)이나, 실제의 동영상 내용을 표시하는 비디오 영역(22)이 준비되어 있다.

예를 들면, 유저가 기억부(10)에 기억된 동영상 데이터를 편집 대상으로서 지정하는 조작을 행함에 따라, 이러한 도 3과 같은 편집 화면에서, 비디오 영역(22)에서 해당 동영상의 영상이 재생되거나 재생 정지 상태로 표시되거나 한다.

편집 화면(20)에는, 재생 관련 조작부(23)로서, 예를 들면 재생 버튼, 복귀 버튼, 되감기 버튼, 빨리 감기 버튼, 이동 버튼 등이 표시되어 있다. 유저는 이러한 조작자를 조작(예를 들면 클릭/터치 등)함으로써, 지정한 동영상을 비디오 영역(22)에서 임의로 재생시키는 것이나, 원하는 장면으로 이동시키는 것 등을 할 수 있다.

또한, 음량 조작부(24)로서 뮤트(mute) 버튼이나 음량 바 등이 표시된다. 유저는 이러한 조작자의 조작에 의해, 재생시의 음성 출력의 온/오프나, 음량 조정을 지시할 수 있다.

또한, 화면 모드 조작부(26)에 의해, 디스플레이에 대한 편집 화면(20)의 전체 화면 모드, 축소 화면 모드 등이 선택될 수 있도록 하고 있다.

동영상 바(25)는, 바의 전체를 대상인 동영상 데이터의 자(尺)(시간 길이)로 한 경우에 있어서, 현재 비디오 영역(22)에서 표시되어 있는 장면의 위치를 동영상 포인터(25a)에 의해 제시한다. 이 예에서는, 편집 대상의 동영상 데이터가 4분 44초의 길이임에 따라, 동영상 바(25)의 전체가 0분 0초에서 4분 44초를 표현하는 것으로 되어 있다.

편집 화면(20) 내에는, 편집 범위 제시 영역(30)이 설치되어 있다.

편집 범위 제시 영역(30) 내에는, 마커 바(31), 편집 범위 바(32)가 상하로 나란히 표시되어 있다. 이 마커 바(31), 편집 범위 바(32)의 전체 길이도, 동영상 바(25)와 같이, 바 전체의 길이가 대상인 동영상 데이터의 시간 길이(예를 들면, 이 경우 4분 44초)로 표현된다.

마커 바(31) 상에는 마커 화상(33)이 표시된다. 즉, 실제로 동영상 데이터에 부가되어 있는 각종의 메타데이터(얼굴 검출 마커, 하이라이트 마커, 함성 마커 등)가, 시간축 상의 어느 위치에 부가되어 있는지를 알 수 있도록, 각 마커의 종류별로 대응한 화상으로 제시된다.

따라서, 유저는 마커 바(31) 상의 마커 화상(33)에 의해, 해당 동영상 데이터에서, 어디에 어떠한 마커가 부가되어 있는지, 또는, 어떠한 종류의 마커가 부가되어 있는지, 또는 마커의 수 등을 대략 파악할 수 있다.

도 3에서는 표시되지 않았지만, 편집 범위 바(32)에는 후술하는 바와 같이 마커에 따른 편집 범위가 표시된다. 편집 범위란 편집 대상이 되는 동영상의 범위이다. 구체적으로는, 편집 범위란 편집 동영상 데이터로서 채용하는 동영상 부분으로, 예를 들면, 설정된 복수의 편집 범위가 연결되어 편집 동영상 데이터가 생성된다. 그러한 의미에서, 편집 범위란, 원래 동영상 데이터로부터 잘라낸 범위라는 의미가 된다.

편집 화면(20)에는, 마커 표시 설정 버튼(41), 편집 범위 설정 버튼(42), 취소 버튼(43)이 표시되어, 유저가 조작 가능하게 되어 있다.

마커 표시 설정 버튼(41)은, 마커 바(31) 상에 표시하는 마커 화상(33)을 선택하는 조작자(操作子)이다.

편집 범위 설정 버튼(42)은, 마커에 따른 편집 범위의 설정을 지시하는 조작자이며, 취소 버튼(43)은, 그 조작(조작에 따른 편집 범위 설정)을 취소하는 조작자이다.

편집 화면(20)에는 인(in) 점 제시부(44), 아웃(out)점 제시부(45)가 설치되고, 인 점, 아웃 점의 각 타임 코드가 표시된다. 예를 들면, 어느 편집 범위를 지정했을 경우, 그 편집 범위의 인 점, 아웃 점이 제시된다.

도 3의 표시 화면은, 잘라내기 탭(46) 상의 화상예이다. 이는 마커에 따른 편집 범위 설정을 행하기 위한 탭이다.

이 외에, 변속 탭(47), 반복 탭(48), 문자 탭(49) 등이 준비된다. 도시는 생략하지만, 변속 탭(47)을 선택했을 때에는, 어떤 편집 범위에 대한 변속 재생(슬로우나 고속 재생)의 지정 조작이나, 화상 효과 등을 지시하는 조작을 행하는 화면이 표시된다.

반복 탭(48)을 선택했을 때에는, 어떤 편집 범위에 대한 리피트 재생이나 그 리피트 횟수 등의 지정 조작을 행하는 화면이 표시된다.

문자 탭(49)을 선택했을 때에는, 어떤 편집 범위에 대해 부가되는, 예를 들면 중첩 표시시키는 텍스트의 입력 조작을 행하는 화면이 표시된다.

편집 화면(20)에 있어서의 이상의 탭 영역 외에는, 편집 데이터 보존 버튼(50), 편집 동영상 작성 버튼(51)이 준비되어 있다.

편집 데이터 보존 버튼(50)은, 유저가 편집 데이터를 기억시키기 위한 조작자이다. 편집 데이터란, 예를 들면, 설정된 편집 범위, 각 편집 범위에 대해 설정된 변속, 리피트 등의 재생 양태의 정보, 텍스트 정보, 변경 후의 편집 범위의 정보, 마커의 선택 정보 등이다. 즉, 마커에 따라 설정된 편집 범위나, 이에 대한 유저의 조작에 의해 설정 또는 변경된 편집 작업의 정보이며, 현 시점의 편집 동영상 데이터의 작성의 바탕이 되는 정보이다.

편집 동영상 작성 버튼(51)은, 그 시점의 편집 데이터에 기초하여, 편집 동영상 데이터를 생성하여 출력하는 것을 지시하는 조작자이다.

편집 동영상 작성 버튼(51)이 조작됨에 따라, 화상 처리 장치(1)는 그 시점의 편집 데이터에 기초하여, 편집 범위의 연결이나 각 편집 범위의 효과 부가, 변속, 리피트, 문자 중첩 등을 행하여, 편집 동영상 데이터로서의 예를 들면, 스트림 데이터를 생성한다. 그리고 그 편집 동영상 데이터를 기억부(10)에 기억시키거나 통신부(11)로부터 외부 기기로 송신시킨다.

이상과 같은 도 3의 편집 화면(20) 상태에서, 편집 범위 설정 버튼(42)이 조작됨으로써, 전부 또는 일부의 마커에 따라 편집 범위가 자동 설정되어, 그 설정된 편집 범위가 제시되는, 도 4와 같은 표시 상태가 된다.

도 4에서는, 편집 범위 바(32)에, 각 마커(33)에 대응하여 설정된 편집 범위를 나타내는 범위 화상(35)이 표시된다. 도면에서는 편집 범위 바(32) 상의 빗금부로서 범위 화상(35)을 나타내고 있지만, 실제로는 색이 다른 부분 등으로 표시되면 좋다. 각 범위 화상(35)의 표시 양태(예를 들면, 색이나 무늬 등)은 공통이어도 좋지만, 대응하는 마커(33)의 종류에 따라 구별되는 표시 양태라도 좋다.

마커에 따른 편집 범위의 설정과 그 제시에 대해 설명한다.

상술한 바와 같이 마커로서는, 제1 부가 정보로서의 각종의 마커와 제2 부가 정보로서의 각종의 마커가 있다.

본 실시 형태에서는, 마커가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 또는 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 그 마커에 대응하는 편집 범위를 설정한다.

구체적으로는, 제1 부가 정보의 마커는 특정 시점을 나타내기 때문에, 그 특정 시점을 편집 범위 설정의 기준으로 한다. 제2 부가 정보의 마커는 특정 시간 범위를 나타내기 때문에, 그 시간 범위의 시작점과 종점을 편집 범위 설정의 기준으로 한다.

또한, 마커가 제1 부가 정보인 경우, 그 특정 시점의 제1 설정 시간 전의 시점으로부터 당해 특정 시점의 제2 설정 시간 후까지의 범위를 편집 범위로 설정한다.

마커가 제2 부가 정보인 경우, 그 시간 범위의 시작점의 제3 설정 시간 전의 시점으로부터 당해 시간 범위의 종점의 제4 설정 시간 후까지의 범위를 편집 범위로 한다.

여기에서, 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간은, 각각 같은 시간 길이라도 좋고 다른 시간 길이라도 좋다. 우선, 제1~제4 설정 시간은 모두 2초인 것으로 하여 편집 범위 설정의 예를 설명한다.

도 5의 A는 마커 바(31)와 편집 범위 바(32)의 각 일부를 나타내는데, 마커 바(31)에서의 마커 화상(33A)은, 제1 부가 정보로 되는, 예를 들면 얼굴 검출 마커에 대응하는 화상인 것으로 한다. 그 얼굴 검출 마커는, 동영상 데이터에서의 타임 코드 0:01:00:00(0시간 1분 0초 0프레임)를 마킹하고 있는 정보인 것으로 한다.

또한, 타임 코드는 통상, 시:분:초:프레임으로 되지만, 실제의 화면 등에서는, 번잡함을 피하기 위해, 프레임은 생략하는 경우가 많다. 예를 들면, 도 3, 도 4의 편집 화면(20)에서는 프레임은 생략한 표시로 되어있는 예로 하고 있다.

또한, 도 5, 도 6에 나타내는 타임 코드는 실제로 표시되는 것은 아니고, 설명을 위해서 표기하고 있는 것이다. 단, 실제로 표시되는 것이라고 해도 상관없다.

상기의 얼굴 검출 마커에 대응하여, 마커 화상(33A)은, 마커 바(31)에서의 타임 코드 0:01:00:00의 위치에 표시된다.

또한, 마커 화상(33)(33A 등) 자체의 유저의 인식성을 높이도록 하기 위해, 마커 화상(33)은 어느 정도의 면적을 갖는 화상으로 하고 있다. 이 때문에 도 5의 A와 같이, 마커 화상(33A)의 한 변(좌변)이 0:01:00:00의 위치가 되도록 표시하고 있다. 단, 이것은 일례로, 예를 들면 우변이 타임 코드에 대응하는 위치가 되도록 해도 좋고, 좌우 방향의 중앙이 타임 코드에 대응하는 위치가 되도록 해도 좋다.

마커 화상(33)(33A 등)을, 단지 타임 코드에 대응한 라인 등으로 하지 않고, 면적이 있는 화상으로 하여, 마커의 종류마다 다른 화상으로 함으로써, 유저에게 어떠한 마커가 붙어 있는지 더욱 인식하기 쉽게 하고 있다.

마커에 대해, 편집 범위가 상술한 바와 같이 설정된다. 이 도 5의 A의 경우, 제1 설정 시간=제2 설정 시간=2초로 하면, 편집 범위는 타임 코드 「0:00:58:00」~「0:01:02:00」의 범위로 설정된다.

그리고 이와 같이 설정된 편집 범위를 나타내도록, 도시한 바와 같이 편집 범위 바(32) 상의 「0:00:58:00」~「0:01:02:00」의 부분에 범위 화상(35)이 표시된다. 이에 의해 유저는, 어느 얼굴 검출 마커(마커 화상(33A))에 대응하여 설정된 편집 범위, 예를 들면 원래 동영상 데이터로부터의 잘라내기 범위를 인식할 수 있다.

다음으로, 도 5의 B의 상단 및 중단은 마커 바(31)와 편집 범위 바(32)의 각 일부를 나타내는데, 마커 바(31)에서의 마커 화상(33B)은, 제2 부가 정보로 되는, 예를 들면 함성 마커에 대응하는 화상인 것으로 한다. 그 함성 검출 마커는, 동영상 데이터에서의 타임 코드 「0:03:20:00」~「0:03:30:00」의 기간을 마킹하고 있는 정보인 것으로 한다.

이 함성 마커에 대응하여, 마커 화상(33B)은, 마커 바(31)에서의 타임 코드 「0:03:20:00」의 위치, 즉 시작점을 대표 시점으로 하여, 이 시작점에 마커 화상(33B)의 좌변이 대응하도록 표시된다. 물론 이것은 일례이며, 예를 들면 해당 기간의 종점을 대표 시점으로 하여, 종점에 마커 화상(33B)의 우변이 대응하는 것 같은 표시도 생각할 수 있다. 또한, 해당 기간의 중앙을 대표 시점으로 하여, 그 타임 코드 위치에 마커 화상(33B)의 좌우 방향의 중앙이 일치하는 것 같은 표시도 바람직하다.

그리고 이 마커에 대해, 편집 범위가 상술한 바와 같이 설정된다. 이 도 5의 B의 경우, 제3 설정 시간=제4 설정 시간=2초로 하면, 편집 범위는 타임 코드 「0:03:18:00」~「0:03:32:00」의 범위로 설정된다.

그리고 이와 같이 설정된 편집 범위를 나타내도록, 도시한 바와 같이 편집 범위 바(32) 상의 「0:03:18:00」~「0:03:32:00」의 부분에 범위 화상(35)이 표시된다. 이에 의해 유저는, 어떤 함성 마커(마커 화상(33B))에 대응하여 설정된 편집 범위, 예를 들면 원래 동영상 데이터로부터의 잘라내기 범위를 인식할 수 있다.

또한, 도 5의 B의 하단은, 마커 화상(33B)의 다른 표시예로서 마커 화상(33B＇)을 나타내고 있다. 이 예는, 마커 화상(33B)의 좌우 방향의 범위를, 편집 범위와 일치시킨 예이다. 이에 의해, 제2 부가 정보로서의 마커 화상(33B)과 이에 대응하는 편집 범위가 알기 쉽게 된다. 단, 이러한 표시에서는, 마커 바(31) 위가 번잡하게 되어, 유저의 인식성이 저하될 우려도 있기 때문에, 이를 고려하는 경우에는 도 5의 B의 상단과 같은 표시가 바람직하다.

도 6의 A는, 시간축 상에 가까운 위치에 제1 부가 정보로서의 마커가 복수 존재하는 경우를 나타내고 있다. 예를 들면 3개의 얼굴 검출 마커가 각각 「0:02:30:00」「 0:02:33:00」「 0:02:35:00」을 지정하고 있는 것으로 한다.

이에 따라 마커 바(31) 상에서는 얼굴 검출 마커를 나타내는 마커 화상(33A)이 3개 중첩되도록 표시된다.

제1 설정 시간=제2 설정 시간=2초로 하면, 이러한 얼굴 검출 마커에 대한 편집 범위는, 각각 「0:02:28:00」~「0:02:32:00」, 「0:02:31:00」~「0:02:35:00」, 「0:02:33:00」~「0:02:37:00」으로 되어, 각각 전후가 중복된다. 이에 편집 범위 바(32)에서는, 이들을 합쳐 「0:02:28:00」~「0:02:37:00」을 편집 범위로 하여 범위 화상(35)를 표시하고 있다.

그런데, 예를 들면 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간은 마커의 종류에 관계없이 고정적이어도 좋고, 마커의 종류에 의해 변경되어도 좋다.

예를 들면, 도 6의 B에는, 하이라이트 마커에 따른 마커 화상(33C)과 그에 따른 편집 범위를 나타내는 범위 화상(35)을 예시하고 있다. 이 하이라이트 마커는 「0:04:40:00」을 나타내는 정보인 것으로 한다.

예를 들면, 상기 도 5의 A와 같이 제1 설정 시간=제2 설정 시간=2초로 하지만, 특정의 마커에 대해서는 제1 설정 시간을 변경하는 예이다. 여기에서는 하이라이트 마커의 경우에는, 제1 설정 시간=4초로 변경한다. 이 때문에 「0:04:36:00」~「0:04:42:00」이 편집 범위가 되어, 도시한 바와 같이 표시된다.

예컨대 이 예에서와 같이, 편집 범위의 설정에 이용하는 제1~제4 설정 시간의 전부 또는 일부는, 마커 종류에 따라 다른 값이 적용되도록 해도 좋다.

제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간에 대해 정리하면, 이들의 구체적인 예는 다양하게 생각할 수 있다.

우선 상술한 바와 같이 제1 설정 시간=제2 설정 시간=제3 설정 시간=제4 설정 시간으로 하여, 마커 종류에 한정되지 않고, 이 설정 시간을 이용하여 편집 범위를 설정하는 예가 있다.

제1 설정 시간≠제2 설정 시간≠제3 설정 시간≠제4 설정 시간으로 하여, 마커 종류로 한정하지 않고 고정적으로 이용해도 좋다. 예를 들면, 제1 설정 시간=3초, 제2 설정 시간=2초, 제3 설정 시간=2. 5초, 제4 설정 시간=1. 5초 등이다.

제1 설정 시간=제3 설정 시간=x초, 제2 설정 시간=제4 설정 시간=y초로 하여도 좋다.

제1 설정 시간=제3 설정 시간=제4 설정 시간=x초, 제2 설정 시간=y초로 하여도 좋다.

제1 설정 시간=제2 설정 시간=제4 설정 시간=x초, 제3 설정 시간=y초로 하여도 좋다.

제2 설정 시간=제3 설정 시간=제4 설정 시간=x초, 제1 설정 시간=y초로 하여도 좋다.

또한, 마커 종류에 따라 변경하는 경우에는, 특정의 마커 종류의 경우에, 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간의 전부를 변경해도 좋고, 일부를 변경해도 좋다.

또한, 제1 부가 정보로서의 마커 종류별로, 각각 고유의 제1 설정 시간, 제2 설정 시간을 정하고, 또한, 제2 부가 정보로서의 마커 종류별로 제3 설정 시간, 제4 설정 시간을 정하는 것도 생각할 수 있다.

다음으로, 도 4로 돌아와, 편집 범위에 대한 임의 편집에 대해 설명한다.

도 4에서는, 마커 바(31) 및 편집 범위 바(32) 상에 걸쳐, 에디트 포인터(34)가 표시되어 있는 예를 나타내고 있다.

에디트 포인터(34)는, 특정의 타임 코드를 나타내는 것으로, 유저가 조작에 의해 에디트 포인터(34)를 임의의 위치로 이동시킴으로써, 그 위치(또는 대응하는 편집 범위)를 편집 조작의 대상으로 할 수 있는 것이다.

예를 들면, 유저가, 에디트 포인터(34)를 어느 범위 화상(35)이나 마커 화상(33)에 맞추는 조작을 행했을 경우, 화상 처리 장치(1)는 그 에디트 포인터(34)로 지정된 편집 범위 또는 마커가 편집 조작의 대상이라고 인식하여 필요한 처리를 행한다. 예를 들면, 해당의 편집 범위의 인 점, 아웃 점을 인 점 제시부(44), 아웃 점 제시부(45)로 표시하거나, 비디오 영역(22)에 그 타임 코드의 화상을 표시시킨다. 또한, 그 후의 유저 조작에 대응하는 처리를 행한다. 예를 들면, 어느 편집 범위가 에디트 포인터(34)로 지정된 상태에서, 에디트 포인터(34)가 이동되었을 경우, 화상 처리 장치(1)는 편집 범위의 변경으로 인식하여 편집 처리를 행한다.

예를 들면, 유저에게는, 에디트 포인터(34)를 어느 범위 화상(35)의 단부에 맞춘 뒤, 좌우로 이동시키는 조작을 행함으로써, 상기와 같이 설정된 편집 범위의 시작점 또는 종점을 변경하여, 편집 범위를 신장 또는 단축할 수 있다.

또한, 유저는, 에디트 포인터(34)로 지정한 편집 범위에 대해, 변속 지정이나 리피트 지정, 효과 지정, 문자 입력 등의 조작을 행할 수도 있다.

또한, 유저는, 에디트 포인터(34)로 지정한 마커의 삭제, 에디트 포인터(34)로 지정한 위치에의 마커의 추가 등도 행할 수 있다.

즉, 에디트 포인터(34)는, 유저가 임의로 편집 조작을 행하고 싶은 경우의, 마커 화상(33)의 지정, 범위 화상(35)의 지정, 임의의 타임 코드 위치의 지정 등에 이용된다.

계속하여, 마커의 표시 설정에 대해 설명한다.

유저는, 마커 바(31)에 표시되는 마커의 종류를 선택할 수 있다. 예를 들면, 유저가 마커 표시 설정 버튼(41)을 조작했을 경우, 화상 처리 장치(1)는 도 7에 나타내는 표시 설정 윈도우(61)를 표시시킨다. 표시 설정 윈도우(61)에는, 마커 선택 영역(62), 비디오 제시부(64), 닫기 버튼(63) 등이 설치되어 있다.

마커 선택 영역(62)에는, 처리 대상의 동영상 데이터에 부가되어 있는 마커 종류가 목록으로 제시되고, 각각에 체크 박스가 설치되어 있다. 유저는 마커 선택 영역(62)를 봄으로써, 현재 처리 대상의 동영상 데이터에 부가되어 있는 마커의 종류를 알 수 있다.

그리고 유저는, 마커의 종류에 대응하여 표시되어 있는 체크 박스를 이용하여, 마커 바(31)에 표시시키고 싶은 마커의 종류를 선택한다. 도시한 바와 같이 얼굴 검출 마커, 함성 마커가 체크되어 있는 상태에서는, 도 4와 같이, 얼굴 검출 마커와 함성 마커에 대응하는 마커 화상(33)이 표시된다. 마커 바(31) 상에 마커 화상(33)이 표시된다는 것은, 그 종류의 마커에 대해 편집 범위의 설정이나 임의 편집이 가능해진다는 것을 의미한다.

예를 들면, 유저가, 운동회 등의 동영상 데이터에 대해, 인물이 포함되어 있는 장면과 함성이 터진 장면을 정리한 다이제스트 동영상으로서 편집 동영상 데이터를 작성하고 싶은 경우, 이와 같이 얼굴 검출 마커와 함성 마커를 선택하여 마커 바(31)에 표시되도록 하고, 또한 이들에 대해 편집 범위가 설정되고, 편집 범위 바(32)에 범위 화상(35)가 표시되도록 하면 된다.

또한, 원래 동영상 데이터에 부가되어 있지 않았던 마커의 추가나, 마커의 삭제도 가능하다.

유저가 마커의 추가 또는 삭제를 위한 소정의 조작을 행했을 경우, 화상 처리 장치(1)는 도 8과 같은 윈도우(60)를 표시시킨다. 이 윈도우(60)에는, 마커 바(31W), 마커 목록부(52), 선택 마커 제시부(53), 추가 버튼(54), 삭제 버튼(55) 등이 표시된다.

마커 바(31W)에는, 현재 편집 화면(20)의 마커 바(31)에 표시되고 있는 마커 화상(33A)이나, 추가된 마커 화상(33C)이 표시된다.

예를 들면, 유저는, 에디트 포인터(34)를 마커 바(31W) 상에서 임의의 위치에 배치한다. 그리고 마커 목록부(52)로부터 임의의 마커를 선택한다. 그 조작에 따라 화상 처리 장치(1)는, 선택 마커 제시부(53)에 선택 중의 마커(이 예에서는 하이라이트 마커)를 나타내며, 마커 바(31W) 상의 에디트 포인터(34)의 위치에 선택 중의 하이라이트 마커의 마커 화상(33C)을 표시한다.

유저가 추가 버튼(54)을 조작했을 경우, 화상 처리 장치(1)는, 이 상태, 즉 에디트 포인터(34)로 나타나는 타임 코드 위치에 하이라이트 마커가 추가된 상태로 하여, 도 4 등의 편집 화면(20)으로 돌아온다. 이 때에는, 마커 바(31)에 하이라이트 마커의 마커 화상(33C)이 추가된 상태가 된다.

예를 들면, 이와 같이 유저는 임의의 타임 코드 위치를 지정하여, 임의의 마커를 추가할 수 있다.

반대로, 이미 부가되어 있는 마커(마커 화상(33))를 에디트 포인터(34)로 지정하고, 삭제 버튼(55)을 조작함으로써, 그 마커를 삭제할 수도 있다. 또한, 여기서 말하는 「삭제」란, 원래 동영상 데이터로부터 해당하는 메타데이터로서의 마커를 삭제해 버리는 처리이어도 좋고, 단지 편집 범위의 설정 대상에서 제외한다는 의미에서의 삭제이어도 좋다.

이상과 같은 편집 화면(20)을 이용하여, 유저는 대상인 동영상 데이터에 대해 각종 편집 작업을 행할 수 있다. 이 편집 작업은 다음과 같은 점이 유저에게 편리성을 준다.

· 대상인 동영상 데이터에 부가되어 있던 마커가 타임 코드에 맞추어 마커 화상(33)에 의해 표시되기 때문에, 유저는 마커의 위치나 종류를 인식할 수 있다.

· 마커에 대응하여 편집 범위가 자동 설정된다. 이 경우, 제1 부가 정보인지, 제2 부가 정보인지에 따라서, 각각 적절한 범위가 편집 범위로서 설정된다.

· 편집 범위 설정의 바탕이 되는 마커의 종류는 유저가 임의로 선택할 수 있다.

· 편집 범위 설정의 바탕이 되는 마커로서 특정 종류의 마커를 유저가 임의로 추가/삭제할 수 있다.

· 마커에 대응하여 설정된 각 편집 범위의 시작점/종점은 유저가 임의로 변경할 수 있다.

· 각 편집 범위에 대해, 유저가 임의로 재생 양태의 지정이나 효과 설정, 문자 설정 등을 행할 수 있다.

· 재생 조작에 의해, 편집 작업 중의 편집 범위를 재생시키거나 각 편집 범위를 연결한 편집 동영상을 확인할 수 있다.

· 편집 작업 후에, 편집 데이터를 보존할 수 있고, 편집 동영상 작성/출력을 지시할 수 있다.

<4. 처리예>

이상과 같은 편집 화면(20)을 표시시키고 유저에게 편집 작업 환경을 제공하는 화상 처리 장치(1)의 처리예를 설명한다. 예를 들면, 화상 처리 장치(1)는 도 1의 대상 인식부(2), 편집 처리부(3), 출력 처리부(4)로서의 기능에 의해 이하 설명하는 처리를 실행한다. 구체적으로는, 화상 처리 장치(1)는 도 2와 같은 정보 처리 장치이며, 편집용의 프로그램이 기동됨으로써 이하의 처리를 실행한다.

도 9, 도 10은 화상 처리 장치(1)가 실행하는 처리예를 나타내고 있다.

화상 처리 장치(1)는 도 9의 스텝 S101에서 처리 대상의 동영상을 결정한다. 즉, 유저의 조작에 따라, 기억부(10)에 기억된 동영상 데이터 중 하나를 편집 처리 대상의 동영상 데이터로서 결정한다.

스텝 S102에서 화상 처리 장치(1)는, 처리 대상으로 결정한 동영상 데이터를 기억부(10)로부터 읽어들이는 것과 함께, 해당 동영상 데이터에 부가되어 있는 메타데이터(마커)의 취득을 행한다.

스텝 S103에서 화상 처리 장치(1)는 편집 화면(20)의 표시를 개시한다. 즉, 대상의 동영상 데이터를 비디오 영역(22)에 표시시키는 상태로 하고, 또한 마커 바(31)에 해당 동영상 데이터에 부가되어 있는 마커에 대응하는 마커 화상(33)을 표시시킨다. 예를 들면, 도 3의 상태의 표시를, 표시부(13)에서 실행시킨다. 마커 화상(33)의 표시는 도 5에 설명한 바와 같은 표시 양태로 한다.

또한, 초기 상태로 마커 화상(33)을 표시시키는 마커의 종류는, 미리 고정적으로 설정해도 좋고, 유저 설정에 의하는 것으로 해도 좋다. 또는, 그 동영상 데이터에 부가되어 있던 전체 마커에 대해 마커 화상(33)을 표시시키는 것으로 해도 좋다. 또한, 도 7에서 설명한 유저의 선택 조작이 이루어질 때까지, 마커 화상(33)을 표시시키지 않는 것으로 해도 좋다.

편집 화면(20)의 표시를 개시한 후에는, 화상 처리 장치(1)는 유저 조작을 감시하고, 검지한 조작에 따른 처리를 행한다. 도 9 및 도 10에서는, 검지하는 유저 조작으로서, 타임 코드 위치 지정 조작(S104), 편집 범위 설정 조작(S105), 편집 데이터 보존 조작(S106), 편집 동영상 작성 조작(S107), 재생 관련 조작(S108), 마커 표시 설정 조작(S109), 마커의 추가/삭제 조작(S110), 변속 설정 조작(S111), 반복 설정 조작(S112), 문자 입력 조작(S113), 마커 지정 편집 조작(S114), 마커 종류 지정 편집 조작(S115)을 들고 있다. 이들 이외에도 감시하는 유저 조작은 있지만, 이들은 「다른 조작」(S116)으로 하고 있다.

화상 처리 장치(1)는 이러한 스텝 S104~S116의 감시 처리를, 스텝 S117에서 화상 편집 처리의 종료라고 판단될 때까지 반복한다.

유저의 타임 코드 위치 지정 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S104로부터 S121로에 진행한다. 타임 코드 위치 지정 조작이란, 에디트 포인터(34)를 어떤 타임 코드 상에 배치하는 조작이다.

이 조작에 따라 화상 처리 장치(1)는 스텝 S121에서, 에디트 포인터(34)의 화면 상의 위치를, 조작에 의해 지정된 위치로 변경하는 처리를 행한다.

유저의 편집 범위 설정 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S105로부터 S130으로 진행하여, 편집 범위 설정 처리를 행한다. 편집 범위 설정 조작이란, 예를 들면, 편집 화면(20)에서의 편집 범위 설정 버튼(42)의 조작이다. 이 조작에 따라 화상 처리 장치(1)는, 마커 바(31)에 마커 화상(33)이 표시되어 있는 전부 또는 일부의 마커에 대응하여 편집 범위의 설정을 행한다.

예를 들면, 화상 처리 장치(1)는, 편집 범위 설정 버튼(42)이 조작됨에 따라, 마커 화상(33)이 표시되어 있는 마커 전부에 대해, 자동적으로 편집 범위 설정을 행한다.

또는, 화상 처리 장치(1)는, 편집 범위 설정 버튼(42)이 조작됨에 따라, 그 시점에서 에디트 포인터(34) 등에 의해 지정되어 있는 마커 화상(33)의 마커에 대해 편집 범위 설정을 행하도록 해도 좋다.

또는, 화상 처리 장치(1)는, 편집 범위 설정 버튼(42)이 조작됨에 따라, 그 시점에서 에디트 포인터(34) 등에 의해 지정되어 있는 마커 화상(33)의 마커와 동일 종류의 마커 전부에 대해 편집 범위 설정을 행하도록 해도 좋다. 예를 들면, 얼굴 검출 마커 중 하나가 에디트 포인터(34)로 지정되어 있는 경우, 모든 얼굴 검출 마커에 대해 각각 편집 범위 설정을 행한다.

이들 어느 경우에도, 1개의 마커에 대응하는 편집 범위 설정 처리로서는, 도 11의 A, 도 11의 B, 도 12와 같은 예를 생각할 수 있다.

마커 전부에 대해 편집 범위 설정을 행하는 등, 복수의 마커를 편집 범위 설정 처리의 대상으로 하는 경우에는, 이하의 도 11의 A, 도 11의 B, 도 12와 같은 처리를, 대상으로 하는 각 마커에 대해서 반복하여 행하면 된다.

우선, 도 11의 A의 예를 설명한다. 도 11의 A는 제1 설정 시간=제2 설정 시간=제3 설정 시간=제4 설정 시간=2초로 한 예이다.

스텝 S131에서 화상 처리 장치(1)는, 대상의 마커가 시간 범위를 지정하는 마커인지 여부, 즉 제2 부가 정보인지 여부를 판단한다. 즉, 처리 대상의 마커의 종류를 확인하고, 종류가 얼굴 검출 마커, 정지 화상 기록 마커, 하이라이트 마커 등이면 제1 부가 정보라고 판단하고, 한편, 함성 마커, 박수 마커, 모션 패턴 마커 등이면 시간 범위를 지정하는 제2 부가 정보라고 판단한다.

대상의 마커가 제1 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S132에서, 그 마커가 지정하는 시점(타임 코드)에서의 이전 2초(제1 설정 시간)로부터, 이후 2초(제2 설정 시간)까지를 편집 범위로 설정한다.

대상의 마커가 제2 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S133에서, 그 마커가 지정하는 시간 범위의 시작점이 되는 타임 코드의 이전 2초(제3 설정 시간)로부터, 종점이 되는 타임 코드의 이후 2초(제4 설정 시간)까지의 범위를 편집 범위로 설정한다.

그리고, 화상 처리 장치(1)는 스텝 S134에서, 설정한 편집 범위를 범위 화상(35)에 의해 유저에게 제시하도록 제어한다.

도 11의 B는, 제1 설정 시간=2. 5초, 제2 설정 시간=2초, 제3 설정 시간=1. 5초, 제4 설정 시간=1. 8초로 한 예이다.

화상 처리 장치(1)는 스텝 S131에서 도 11의 A와 같이 대상인 마커의 종류를 판단한다.

대상인 마커가 제1 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S132A에서, 그 마커가 지정하는 시점(타임 코드)에 있어서의 이전 2. 5초(제1 설정 시간)로부터, 이후 2초(제2 설정 시간)까지를 편집 범위로 설정한다.

대상의 마커가 제2 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S133A에서, 그 마커가 지정하는 시간 범위의 시작점이 되는 타임 코드의 이전 1. 5초(제3 설정 시간)로부터, 종점이 되는 타임 코드의 이후 1. 8초(제4 설정 시간)까지의 범위를 편집 범위로 설정한다.

그리고, 화상 처리 장치(1)는 스텝 S134에서, 설정한 편집 범위를 범위 화상(35)에 의해 유저에게 제시하도록 제어한다.

도 12의 예는, 제1, 제3 설정 시간을 마커 종류에 따라 변경하는 예이다. 통상은 제1 설정 시간=제2 설정 시간=제3 설정 시간=제4 설정 시간=2초로 하지만, 특정의 마커에 대해, 제1 설정 시간=제3 설정 시간=4초로 변경하는 예이다.

화상 처리 장치(1)는 스텝 S131에서 도 11의 A와 같이 대상인 마커의 종류를 판단한다.

대상의 마커가 제1 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S135에서, 그 마커가, 조작에 의한 마커인지 여부를 판단한다. 조작에 의한 마커란, 동영상 촬상 중에 행해진 유저의 조작에 따라, 그 조작 타이밍의 위치에 대응지어진 마커이다. 구체적으로는 예를 들면, 하이라이트 마커나 정지 화상 기록 마커이다.

조작에 의한 마커가 아니면, 화상 처리 장치(1)는 스텝 S132B로 진행하여, 그 마커가 지정하는 시점(타임 코드)에서의 이전 2초(제1 설정 시간)로부터, 이후 2초(제2 설정 시간)까지를 편집 범위로 설정한다.

조작에 의한 마커이면, 화상 처리 장치(1)는 스텝 S132C로 진행하여, 그 마커가 지정하는 시점(타임 코드)에서의 이전 4초(변경한 제1 설정 시간)로부터, 이후 2초(제2 설정 시간)까지를 편집 범위로 설정한다.

대상의 마커가 제2 부가 정보인 경우에는, 화상 처리 장치(1)는 스텝 S136에서, 그 마커가 조작에 의한 마커(예를 들면, 줌 마커)인지 여부를 판단한다.

조작에 의한 마커가 아니면, 화상 처리 장치(1)는 스텝 S133B로 진행하여, 그 마커가 지정하는 시간 범위의 시작점이 되는 타임 코드의 이전 2초(제3 설정 시간)로부터, 종점이 되는 타임 코드의 이후 2초(제4 설정 시간)까지의 범위를 편집 범위로 설정한다.

조작에 의한 마커이면, 화상 처리 장치(1)는 스텝 S133C로 진행하여, 그 마커가 지정하는 시간 범위의 시작점이 되는 타임 코드의 이전 4초(변경한 제3 설정 시간)로부터, 종점이 되는 타임 코드의 이후 2초(제4 설정 시간)까지의 범위를 편집 범위로 설정한다.

그리고, 화상 처리 장치(1)는 스텝 S134에서, 설정한 편집 범위를 범위 화상(35)에 의해 유저에게 표시하도록 제어한다.

이와 같이, 조작에 의한 마커에 대해서는, 시간적으로 과거의 방향으로, 편집 범위에 포함시키는 범위를 길게 하도록 하고 있다. 이는 유저의 조작에 따른 시점 또는 기간의 경우, 조작 타이밍이, 최적인 장면에 대해 늦어지는 경향이 있음을 고려한 것이다.

예를 들면, 유저가, 중요하다고 생각하여 하이라이트 조작이나 정지 화상 기록 조작을 행한 시점은, 피사체로서 중요한 장면이 개시된 후에 있는 일이 많다. 이에, 다소 통상보다 과거 방향으로 길게 편집 범위에 추가하도록 함으로써, 중요한 장면을 바람직한 범위에서 잘라내기할 수 있도록 하는 것이다.

또한, 이러한 사정을 고려해 설정 시간을 변경하는 경우에는, 단지 마커의 종류뿐만 아니라, 마커의 기록 속성도 판별하면 더욱 좋다. 예를 들면, 하이라이트 마커 등은 촬상시가 아니라, 그 후의 재생시나 편집시에 유저의 조작에 따라 부가하는 것도 가능하다. 재생시나 편집시에, 유저는 예를 들면, 하이라이트 장면의 시작점을 정확하게 확인하여 마커 부가의 조작을 행할 수 있다. 따라서, 과거 방향으로 길게 편집 범위를 설정하면, 편집 범위의 시작점이 너무 이전으로 되는 일도 발생한다. 이에, 스텝 S135나 S136에서는, 조작에 의한 마커이며, 또한 그 마커가 촬상시에 기록된 것인지 여부를 판단하여, 그 경우에 스텝 S132C 또는 S133C로 진행되도록 하면 좋다.

도 9로 돌아와, 유저의 편집 데이터 보존 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S106으로부터 S140으로 진행하여, 편집 데이터 보존 처리를 행한다.

편집 데이터 보존 조작이란, 예를 들면, 편집 화면(20)에서의 편집 데이터 보존 버튼(50)의 조작이다. 이 조작에 따라 화상 처리 장치(1)는, 그 시점의 편집 데이터(편집 범위, 마커 선택 상태, 변속 설정 등의 편집 작업에 드는 데이터)를, 예컨대 기억부(10)에 보존하는 처리를 행한다.

편집 데이터를 보존함으로써, 유저는 후의 시점에서 보존한 편집 데이터를 판독하여, 현재의 작업 상태를 회복할 수 있다.

유저의 편집 동영상 작성 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S107로부터 S150으로 진행하여, 편집 동영상 작성 처리를 행한다. 편집 동영상 작성 조작은 예를 들면, 편집 화면(20)에서의 편집 동영상 작성 버튼(51)의 조작이다.

스텝 S150의 처리예를 도 13에 나타낸다.

스텝 S151에서 화상 처리 장치(1)는 편집 데이터를 확정한다. 즉, 그 시점의 편집 데이터가, 편집 동영상 작성을 위한 최종적인 작업 데이터라고 한다.

스텝 S152에서 화상 처리 장치(1)는 편집 데이터에 기초하여, 각 편집 범위를 순서대로 잘라내어 연결하여, 편집 결과로서의 동영상 데이터를 생성한다. 이 경우, 각 편집 범위에 대한 변속 재생 설정, 리피트 설정, 효과 설정, 문자 입력 등이 있으면, 이들을 반영한 동영상 데이터를 생성한다.

그리고, 스텝 S153에서 편집 동영상 데이터를 출력한다. 예를 들면, 기억부(10)에 편집 동영상 데이터를 기억시킨다. 또는 통신부(11)에 의해 외부 기기로 편집 동영상 데이터를 송신한다.

도 9로 돌아와서, 유저의 재생 관련 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S108로부터 S160으로 진행하여, 재생 관련 조작 대응 처리를 행한다. 재생 관련 조작은 재생 관련 조작부(23)나 음량 조작부(24)의 조작이다.

이 스텝 S160의 처리예를 도 14에 나타낸다.

화상 처리 장치(1)는, 스텝 S161~S165에서 유저의 조작 내용을 확인한다. 유저가 재생 버튼을 조작했을 경우, 화상 처리 장치(1)는 스텝 S161로부터 S170으로 진행하여, 우선 정지 버튼을 표시시키는 제어를 행한다. 예를 들면, 도 4와 같은 재생 버튼을, 재생 중은 정지 버튼으로 변경하여 표시한다.

다음으로, 스텝 S171에서 화상 처리 장치(1)는, 현재 에디트 포인터(34)에 의해 어떤 마커(마커에 따른 편집 범위)가 지정되어 있는지 여부를 판단한다.

마커 지정 중이면, 스텝 S172로 진행하여, 화상 처리 장치(1)는 그 지정 중의 마커의 편집 범위의 동영상 재생을 실행한다. 이 경우, 지정 중의 하나의 편집 범위를 1회 재생시켜 재생을 종료시켜도 좋고, 그 편집 범위를 반복하여 재생시켜도 좋다.

또한, 해당 편집 범위의 재생이 완료되더라도, 그 종점으로부터의 원래의 동영상을 그대로 계속 재생해 나가도 좋다.

특정의 마커가 지정되어 있지 않으면, 스텝 S173으로 진행하여, 화상 처리 장치(1)는 선두의 마커의 편집 범위로부터, 각 편집 범위를 순서대로 연결한 동영상 재생을 실행한다. 즉, 편집 범위로서 잘라진 부분을 연결한 동영상의 재생을 행한다. 따라서 유저는 편집 동영상 데이터의 이미지를 확인할 수 있다.

마지막 편집 범위의 재생까지 종료되면, 재생을 종료시켜도 좋고, 다시 선두의 편집 범위로부터의 재생을 반복해도 좋다.

또한, 스텝 S172, S173에서, 재생 중의 편집 범위에 대해, 변속 재생이나 화상 효과 등이 설정되어 있으면, 이들을 반영한 재생을 행해도 좋고, 반대로 설정되어 있더라도, 이들 설정을 반영하지 않는 통상의 재생만을 행하도록 해도 좋다.

또한, 에디트 포인터(34)가 특히 마커가 존재하지 않는 타임 코드를 지정하고 있었을 경우, 편집 범위에 관계없이, 그 지정된 타임 코드로부터 원래의 동영상을 재생을 행하는 것도 생각할 수 있다.

유저가 정지 버튼을 조작했을 경우, 화상 처리 장치(1)는 스텝 S162로부터 S180으로 진행하여, 재생 버튼 표시 제어를 행한다. 즉, 재생 중에 정지 버튼으로서 있던 표시를 도 4와 같은 재생 버튼의 표시로 전환한다. 그리고 스텝 S181에서 재생 동작을 정지시킨다.

또한, 여기에서는 정지 조작의 검지의 경우로서 나타냈지만, 유저의 조작에 의하지 않고 재생이 종점 위치까지 진행했을 경우에도, 스텝 S180, S181이 이루어지면 좋다.

유저가 점프 조작과 관련되는 버튼, 즉 되돌리기 버튼이나 진행 버튼을 조작했을 경우, 화상 처리 장치(1)는 스텝 S163으로부터 S182로 진행하여, 재생 개소의 점프 처리를 행한다. 즉, 최초 개소를 변경하는 처리를 행한다.

또한, 재생 중이 아니면, 조작을 무효라고 해도 좋고, 또는 비디오 영역(22)에 표시하는 개소(정지 중의 화상의 위치)을 점프해도 좋다.

유저가 변속 조작과 관련되는 버튼, 즉 빨리 되감기 버튼이나 빨리 감기 버튼을 조작했을 경우, 화상 처리 장치(1)는 스텝 S164로부터 S183으로 진행하여, 변속 재생 처리를 행한다. 즉, 현재의 재생 위치로부터의 빨리 감기 또는 빨리 되감기 재생을 행한다.

또한, 재생 중이 아니면, 조작을 무효라고 해도 좋고, 또는 비디오 영역(22)에 표시하는 개소(정지 중의 화상의 위치)를 진행하게 하거나 되돌리기 해도 좋다.

유저가 음량과 관련되는 조작을 행했을 경우, 화상 처리 장치(1)는 스텝 S165로부터 S184로 진행하여, 조작에 따른 음량 설정의 변경, 뮤트/뮤트 해제 등의 처리를 행한다.

이상의 재생 관련 조작에 따른 처리에 의해, 유저는 편집 작업의 과정의 동영상, 비디오 영역(22)의 동영상 표시에서 확인할 수 있다. 특히, 각 편집범위를 연속하여 재생함으로써 편집 후의 동영상의 이미지를 확인하기에 바람직하다.

유저의 마커 표시 설정 조작을 검지했을 경우, 화상 처리 장치(1)는 도 10의 스텝 S109로부터 S200으로 진행하여, 선택 마커의 제시 또는 제시 해제의 처리를 행한다.

마커 표시 설정 조작이란, 편집 화면(20)의 마커 표시 설정 버튼(41)의 조작이다.

이 조작에 따라 화상 처리 장치(1)는 도 7에서 설명한 표시 설정 윈도우(61)을 표시시킨다. 그리고 유저의 표시하는 마커의 선택 조작에 따라, 표시시키는 마커를 결정하는 처리를 행한다. 그리고 표시하는 것으로서 결정한 마커를 마커 바(31)에 표시시키는 처리를 행한다. 이미 표시되어 있었지만, 유저가 마커 선택 영역(62)에서의 체크를 제외한 마커에 대해서는 제시 해제로 하여, 마커 바(31)에서 표시하지 않게 한다.

유저에 의한 마커의 추가/삭제 조작을 검지했을 경우, 화상 처리 장치(1)는 도 10의 스텝 S110으로부터 S210으로 진행하여, 지정 위치에서의 마커의 추가 또는 지정된 마커의 삭제를 행한다.

마커의 추가/삭제 조작에 따라 화상 처리 장치(1)는 도 8에서 설명한 윈도우(60)을 표시시켜, 상술한 바와 같이, 이에 대한 유저 조작에 따른 추가 또는 삭제 설정을 행하게 된다.

유저의 변속 설정 조작을 검지했을 경우, 화상 처리 장치(1)는 도 10의 스텝 S111로부터 S220으로 진행하여, 지정된 편집 범위에 대한 변속 재생 설정을 행한다.

이는 예를 들면, 변속 탭(47)에 의해 표시되는 화면 상에서, 특정의 편집 범위에 대해 유저 조작에 따라 변속 재생 설정을 행하는 처리이다. 유저는 예를 들면, 지정한 편집 범위에 대해, 통상의 1배속에 대해 2배속, 4배속, 1/2배속, 1/3배속 등을 지정할 수 있다. 화상 처리 장치(1)는 이러한 설정을 작업 중의 편집 데이터에 반영시켜 간다.

유저의 반복 설정 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S112로부터 S230으로 진행하여, 지정된 편집 범위에 대한 리피트 재생 설정을 행한다.

이는 예를 들면, 반복해 탭(48)에 의해 표시되는 화면상에서, 특정의 편집 범위에 대해 유저 조작에 응해 리피트 재생 설정을 실시하는 처리이다. 유저는 예를 들면 지정한 편집 범위에 대해, 1회, 2회, 3회 등의 리피트 회수를 지정할 수 있다. 화상 처리 장치(1)는 이러한 설정을 작업 중의 편집 데이터에 반영시킨다.

유저의 문자 입력 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S113으로부터 S240으로 진행하며, 지정된 편집 범위에 대한 문자 설정을 행한다.

이는 예를 들면, 문자 탭(49)에 의해 표시되는 화면 상에서, 특정의 편집 범위에 대해 유저가 문자 입력을 행하는 것에 따라, 동영상에 중첩하는 문자의 설정을 행하는 처리이다. 유저는 예를 들면, 지정한 편집 범위의 장면에 임의로 문자를 입력할 수 있다. 화상 처리 장치(1)는 이러한 문자 설정을 작업 중의 편집 데이터에 반영시킨다.

유저의 마커 지정 편집 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S114로부터 S250으로 진행하여, 지정된 마커에 대한 편집 범위의 설정 변경 처리를 행한다.

예를 들면, 유저는 어느 마커에 대한 편집 범위의 시작점 또는 종점을 에디트 포인터(34)로 지정한 다음, 에디트 포인터(34)를 이동시키는 조작을 행할 수 있다. 이것이 마커 지정 편집 조작이 된다. 이 경우 화상 처리 장치(1)는, 편집 범위의 시작점 또는 종점을, 유저 조작에 의해 이동된 타임 코드 위치로 변경하는 처리를 행한다.

따라서, 유저는 임의의 편집 범위를 임의로 변경할 수 있게 된다.

유저의 마커 종류 지정 편집 조작을 검지했을 경우, 화상 처리 장치(1)는 스텝 S115로부터 S260으로 진행하여, 지정된 마커 종류에 대한 편집 범위나 재생 양태의 설정 처리를 행한다.

예를 들면, 유저는 어느 마커 종류를 지정한 다음, 그 마커에 대해 편집 범위의 시작점이나 종점을 변경하거나 화상 효과를 더하거나 리피트시키는 편집 설정을 지시하는 조작을 행할 수 있다. 화상 처리 장치(1)는 이러한 조작에 따라, 특정 종류의 마커에 대해, 일괄하여 지정된 편집 설정을 추가하는 처리를 행하여, 이를 작업 중의 편집 데이터에 반영시킨다.

예를 들면, 유저가 테니스 라켓의 스윙을 나타내는 모션 패턴 마커를 지정한 다음, 2회의 리피트 재생을 지시하는 한편 2번째의 리피트 재생에 대해 1/2배속 재생을 지정한다. 화상 처리 장치(1)는 이러한 설정을, 같은 모션 패턴 마커의 모두에 대한 편집 범위에 관한 설정으로서 편집 데이터에 추가한다. 이에 의해 편집 동영상상에서는, 스윙의 장면이 될 때마다, 통상 동영상의 직후에 슬로우 동영상이 추가된 것이 된다.

또한, 예를 들면, 유저가 웃는 얼굴 검출 마커를 지정하여, 편집 범위의 시작점을 과거 방향으로 1초 변경하는 조작을 행했을 경우, 화상 처리 장치(1)는, 모든 웃는 얼굴 검출 마커와 관련되는 편집 범위의 시작점을 과거 방향으로 1초 변경하고, 그 변경 후의 상태를 편집 범위 바(32)에 표시함과 함께, 작업 중의 편집 데이터에 반영시킨다.

이들은 예시이지만, 구체적인 예는 더욱 다양하게 생각된다.

이상의 조작 이외의 다른 조작을 검지했을 경우에는, 화상 처리 장치(1)는 스텝 S116으로부터 S270으로 진행하여, 조작에 따른 처리를 행한다.

스텝 S117에서 화상 편집 처리의 종료라고 판단했을 경우에는, 화상 처리 장치(1)는 스텝 S280에서 편집 화면(20)의 표시를 종료시킨다.

이상 도 9~도 14의 처리로서 화상 처리 장치(1)는 유저에게 동영상 데이터의 편집 환경을 제공할 수 있다.

이 처리는 일례이며, 다른 처리예도 다양하게 생각된다.

예를 들면, 스텝 S103의 단계에서, 유저 조작을 기다리지 않고, 표시하는 마커에 대응하여 최초의 편집 범위 설정도 행하여, 갑자기 도 4와 같은 편집 범위 바(32) 상에 범위 화상(35)을 표시하는 상태로 해도 좋다.

편집 화면(20)에서의 표시 내용, 조작자 등은 물론 그 외에도 생각된다.

<5. 프로그램 및 기억 매체>

여기까지 화상 처리 장치(1) 및 화상 처리 장치에 대해 실행되는 화상 처리 방법의 실시 형태를 설명했지만, 상술한 편집 환경 제공을 위한 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

실시 형태의 프로그램은, 상술한 실시 형태로 나타낸 처리를, 예를 들면 CPU(Central Processing Unit), DSP(Digital Signal Processor) 등의 연산 처리 장치에 실행시키는 프로그램이다.

즉, 실시 형태의 프로그램은, 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 스텝(S102)과, 인식한 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라, 동영상 데이터의 편집 범위를 설정하는 스텝(S130)을 정보 처리 장치에 실행시키는 프로그램이다.

이러한 프로그램에 의해, 상술한 자동 정지 화상 기억의 제어를 행하는 화상 처리 장치를, 도 2의 컴퓨터 장치(70) 등의 정보 처리 장치를 이용하여 실현할 수 있다.

이러한 프로그램은 컴퓨터 장치(70) 등의 정보 처리 장치에 내장되어 있는 기록 매체로서의 HDD나, CPU를 갖는 마이크로 컴퓨터 내의 ROM 등에 미리 기록해 둘 수 있다.

또는, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magnet optical) 디스크, DVD(Digital Versatile Disc), 블루레이 디스크(Blu-ray Disc(등록상표)), 자기 디스크, 반도체 메모리, 메모리 카드 등의 제거 가능 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 제거 가능 기록 매체는, 이른바 패키지 소프트웨어로서 제공할 수 있다.

또한, 이러한 프로그램은, 제거 가능 기록 매체로부터 퍼스널 컴퓨터 등에 설치하는 것 외에, 다운로드 사이트로부터, LAN(Local Area Network), 인터넷 등의 네트워크를 통해 다운로드할 수도 있다.

또한, 이러한 프로그램에 따르면, 실시 형태의 화상 처리 장치의 광범위한 제공에 적절하다. 예를 들면, 퍼스널 컴퓨터, 휴대형 정보 처리 장치, 휴대 전화기, 게임 기기, 비디오 기기 등에 프로그램을 다운로드함으로써, 해당 퍼스널 컴퓨터 등을, 본 개시의 화상 처리 장치로 할 수 있다.

<6. 정리 및 변형예>

이상의 실시 형태에서는, 다음과 같은 효과를 얻을 수 있다.

실시 형태의 화상 처리 장치(1)에서 실행하는 화상 처리 방법은, 동영상 데이터의 시간축으로 대응하여 부가된 부가 정보(마커)를 인식하고, 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라, 동영상 데이터의 편집 범위를 설정하고 있다(도 11, 도 12 참조).

이 때문에, 특정 시점을 나타내는 제1 부가 정보와 특정 시간 범위를 나타내는 제2 부가 정보의 각각에 따라 자동적으로 적절한 편집 범위를 설정할 수 있다.

특히, 마커가 제1 부가 정보인 경우에는, 그 제1 부가 정보가 지정하는 특정 시점에 기초하여 편집 범위를 설정하고, 제2 부가 정보인 경우에는, 그 제2 부가 정보가 지정하는 특정 시간 범위의 시작점과 종점에 기초하여 편집 범위를 설정한다.

이에 의해, 제1, 제2 부가 정보의 특정 내용에 따른 편집 범위 설정이 가능해진다.

더욱 구체적으로는, 제1 부가 정보의 마커에 따라, 그 특정 시점의 제1 설정 시간 전의 시점으로부터 해당 특정 시점의 제2 설정 시간 후까지의 범위를 편집 범위로 설정하고, 제2 부가 정보의 마커에 따라, 그 시간 범위의 시점의 제3 설정 시간 전의 시점으로부터 해당 시간 범위의 종점의 제4 설정 시간 후에까지의 범위를 편집 범위로 한다.

이러한 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간의 설정에 의해, 제1, 제2 부가 정보의 각각에 따라, 적절한 시간 범위를 자동적으로 편집 범위로서 설정할 수 있다.

특히, 제1 부가 정보의 경우, 지정한 타임 코드의 전후인 정도의 기간을 편집 범위로 한다. 이에 의해, 마커로 지정되는 타임 코드를 중심으로 하는 정도의 기간의 장면을 편집 범위로 한다. 동영상의 경우, 편집 범위는 어느 정도의 기간의 장면으로 하는 것이 중요하기 때문에, 이러한 편집 범위의 설정은 매우 유용하다.

또한, 제1 설정 시간이나 제3 설정 시간에 의해, 마커 지정 시점 이전의 시점이 편집 범위에 포함되는 것도 바람직하다. 동영상에 있어서의 전의 시점으로부터의 연결이 편집 범위의 동영상만으로 표현할 수 있게 되기 쉽기 때문이다.

또한, 제2 설정 시간이나 제4 설정 시간에 의해, 마커 지정 시점보다 후의 시점이 편집 범위에 포함되는 것도 바람직하다. 동영상 중의 중요한 장면의 직후의 연결이 편집 범위의 동영상만으로 표현할 수 있게 되기 쉽기 때문이다.

또한, 제1 내지 제4 설정 시간으로서의 시간 설정에 의해, 제1, 제2 부가 정보에 따른 편집 범위 길이를 정확하게 제어할 수 있다. 따라서, 유저가 제1 내지 제 4 설정 시간을 선택할 수 있도록 하는 것도 바람직하다.

또한, 실시 형태에서는, 설정한 편집 범위를, 동영상 데이터로부터의 잘라내기 범위로 하고 있다. 즉, 설정한 편집 범위를, 원래의 동영상 데이터를 편집한 편집 동영상 데이터로서 사용한다. 제1, 제2 부가 정보에 따른 편집 범위를 잘라냄으로써, 용이하게 적절한 편집 동영상 데이터를 생성할 수 있다. 즉, 각 편집 범위는 각종의 마커에 의해 나타난 타임 코드를 포함한 장면이 되고 있어 어느 정도 중요한 장면이기 때문이다.

그 의미에서는, 편집 범위는, 유저가 선택한 마커 종류에 대해 설정되는 것이 바람직하다. 예를 들면 유저가, 웃는 얼굴의 장면을 모은 편집 동영상을 작성했다고 생각했을 경우, 웃는 얼굴 검출 마커를 마커 바(31)에 표시시키도록 선택하고(S200), 이에 대해 편집 범위 설정(S130)을 실행시켜, 설정된 편집 범위에 기초하여 편집 동영상 작성을 실행시키면(S150) 좋은 것이 되기 때문이다.

또한 제1, 제2 부가 정보에 따라 설정된 편집 범위는 반드시 편집 동영상 데이터용으로 잘라내는 범위가 아니라도 좋다. 편집 범위는, 예를 들면 특수 효과를 부가하는 범위, 변속 재생을 행하는 범위 등으로 해도 좋다.

실시 형태에서는, 동영상 데이터에 대해 설정한 편집 범위를 제시하는 표시를 실행시키는 표시 제어를 행한다(S134). 즉 편집 범위는, 편집 범위 바(32)에서의 범위 화상(35)으로서 표시된다.

이에 의해, 자동 설정된 편집 범위를 유저에게 인식시킬 수 있다.

실시 형태에서는, 제1 부가 정보에 의해 지정되는 동영상 데이터 상의 특정 시점을 제시하는 표시 제어를 행한다. 즉, 화상 처리 장치(1)는 마커 바(31)의 마커 화상(33)의 표시 제어를 행한다.

이에 의해, 제1 부가 정보로 지정되는 특정 시점을 유저가 인식할 수 있다.

또한, 편집 범위의 설정 후에, 유저가 각 편집 범위의 내용이나 동영상 시간축 상의 위치를 확인하기 쉽게 하여, 그 후의 임의 편집을 하기 쉬운 것으로 할 수 있다.

실시 형태에서는, 제2 부가 정보가 지정하는 동영상 데이터 상의 특정 시간 범위를, 대표 시점을 나타냄으로써 제시하는 표시 제어도 행한다.

즉, 화상 처리 장치(1)는 마커 바(31)의 마커 화상(33)의 표시 제어를 행한다. 또한, 이 때 제2 부가 정보로서의 마커에 대응하여 도 5의 B의 상단과 같이 편집 범위 전체가 아닌, 어느 대표의 타임 코드에 맞춘 표시로 하고 있다.

이에 의해, 제2 부가 정보로 지정되는 특정 시간 범위를 유저가 인식할 수 있다. 특히, 대표 시점에서 나타내는, 즉 시간 범위로서 나타내지 않게 함으로써, 표시가 번잡하지 않게 할 수 있다.

또한, 편집 범위의 설정 후에, 유저가 각 편집 범위의 내용이나 동영상 시간축 상의 위치를 확인하기 쉽게 하여, 그 후의 임의 편집을 하기 쉬운 것으로 한다.

실시 형태에서는, 설정한 편집 범위의 정보에 기초하여, 동영상 재생 표시를 실행시키는 표시 제어를 행한다(S160).

즉, 동영상 데이터에 대해 1 또는 복수의 편집 범위가 설정된 상태에서, 그 편집 범위를 잘라내어 재생 표시시킨다. 예를 들면, 복수의 편집 범위를 차례로 잘라내어 연속으로 동영상 재생시킨다.

이 동영상 재생에 의해, 편집 범위 설정에 의해 생성되는 편집 동영상의 상태를 유저가 실제로 확인할 수 있다. 유저는 편집 동영상을 확인하고, 필요에 따라 새로운 편집 등을 행할 수 있다.

실시 형태에서는, 설정한 편집 범위에 대해, 조작에 따라 설정 변경하는 편집 조작 대응 처리를 행한다(S250, S210).

즉, 동영상 데이터에 대해 설정된 편집 범위에 대해, 유저가 조작에 의해 임의로 설정 변경할 수 있도록 한다. 예를 들면, 편집 범위의 시작점(in 점), 종점(out 점)의 변경, 어느 편집 범위의 삭제, 편집 범위의 추가 등을 유저 조작에 의해 가능하게 한다.

이에 의해, 부가 정보에 기초하여 설정된 편집 범위를, 더욱 유저 의사(조작)에 따라 변경할 수 있다.

실시 형태에서는, 설정한 편집 범위의 화상 재생 양태를 조작에 따라 변경하는 편집 조작 대응 처리를 행한다(S220, S230, S240).

동영상 데이터에 대해 설정된 편집 범위는, 통상 재생, 예를 들면 1배속의 통상 표시의 동영상으로서 편집 동영상에 추가된다. 이 편집 범위의 동영상에 대해, 변속 재생이나 화상 효과, 리피트, 문자 중첩 등의 처리를 유저 조작으로 추가할 수 있도록 하고 있다.

즉, 설정된 편집 범위에 기초하여 생성되는 편집 동영상에 대해, 더욱 유저의 의사에 의한 재생 양태의 편집을 행할 수 있어, 고도의 편집도 가능해진다.

실시 형태에서는, 제1 부가 정보 또는 제2 부가 정보가 되는 부가 정보로서의 복수 종류의 마커 종류를 지정하는 것에 따라, 지정한 종류의 마커에 대응하는 편집 범위에, 소정의 화상 재생 양태를 설정하는 편집 조작 대응 처리(S260)를 행한다.

즉, 마커 종류를 지정함으로써, 그 종류의 마커에 대응하는 편집 범위에 대해 공통으로 화상 재생 양태를 설정할 수 있다. 예를 들면, 특정의 부가 정보에 대응하는 편집 범위에 대해서는, 모두 슬로우 재생으로 하는 등의 지정이 가능하다.

따라서, 마커 종류별로 편집 내용을 지정할 수 있기 때문에, 편집 조작을 효율화, 용이화할 수 있고, 또한 특정의 장면 내용에 따른 화상 효과 등을 설정할 수 있다.

실시 형태에서는, 동영상 데이터의 편집 범위를 설정할 때에는, 마커의 종류에 따라, 제1 설정 시간, 제2 설정 시간, 제3 설정 시간, 제4 설정 시간 중 어느 쪽을 가변 설정한다(도 12).

이에 의해, 마커 종류별로 적절한 편집 범위를 설정할 수 있다. 예를 들면, 장면 내용별 부가 정보, 유저 조작에 의한 부가 정보, 웃는 얼굴 검출에 의한 부가 정보 등에 대해, 전후의 시간 길이를 변경함으로써, 장면에 따른 편집 범위 설정이 이루어지게 한다.

특히, 조작에 의한 마커, 즉 동영상 촬상시의 유저 조작에 따라 부가되는 마커의 경우에, 제1 설정 시간 또는 제3 설정 시간 중 어느쪽을, 통상 설정 시간 길이보다 긴 시간 길이로 설정하고 있다.

유저 조작에 따라 설정되는 부가 정보는, 통상 지정하는 시간 위치가 늦어진. 여기서 이러한 부가 정보의 경우에는, 시간 길이를 길게 한다. 이에 의해 편집 범위의 개시 시점을 전의 시점으로 하여, 적절한 동영상 내용의 편집 범위로 할 수 있다.

실시 형태에서는, 설정된 편집 범위의 정보에 기초하여, 편집 동영상 데이터를 생성하여 출력하는 출력 처리를 행한다(S150, 도 13).

동영상 데이터에 대해 1 또는 복수의 편집 범위가 설정된 상태에서, 또는 심지어 그 편집 범위가 변경된 상태에서, 예를 들면 편집 범위를 잘라내어 연결하여 편집 동영상 데이터를 생성한다. 생성되는 편집 동영상 데이터는, 부가 정보에 근거한 편집 범위를 기초로 하는 편집 동영상이 되어, 유저에게 적절한 편집 동영상 내용을 간이한 처리로 제공할 수 있는 것이 된다.

또한, 이 출력 처리에서는, 편집 동영상 데이터를 기억 매체에 기억시키거나 외부 기기에 송신한다. 이에 의해 편집 데이터의 보존이나 전송이 유저에게 용이해진다.

실시 형태의 화상 처리 장치(1)는, 가전 기기나 방송 기타 업무용 기기에서 넓게 적용할 수 있다. 예를 들면, 동영상 촬상 기능을 갖춘 카메라 기기, 휴대 단말 기기, 휴대 전화기, 감시 카메라 기기, 정점(定点) 카메라 기기, 드라이브 레코더 등의 차량용 카메라 기기, 주행 환경 판정을 위한 카메라 기기, 의료 기기, 전자 내시경 등에 내장하거나 이들 기기와 시스템화하는 것도 바람직하다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니라, 또 다른 효과가 있어도 좋다.

또한, 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1) 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하고,

상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는, 화상 처리 방법.

(2) 상기 부가 정보가 상기 제1 부가 정보인 경우에는, 상기 제1 부가 정보가 지정하는 특정 시점에 기초하여 편집 범위를 설정하고,

상기 부가 정보가 상기 제2 부가 정보인 경우에는, 상기 제2 부가 정보가 지정하는 특정 시간 범위의 시작점과 종점에 기초하여 편집 범위를 설정하는, 상기 (1)에 기재된 화상 처리 방법.

(3) 상기 제1 부가 정보에 따라서, 상기 특정 시점의 제1 설정 시간 전의 시점으로부터 상기 특정 시점의 제2 설정 시간 후까지의 범위를 편집 범위로 설정하고,

상기 제2 부가 정보에 따라서, 상기 시간 범위의 시작점의 제3 설정 시간 전의 시점으로부터 상기 시간 범위의 종점의 제4 설정 시간 후까지의 범위를 편집 범위로 하는, 상기 (1) 또는 (2)에 기재된 화상 처리 방법.

(4) 설정한 편집 범위를, 동영상 데이터로부터의 잘라내기 범위로 하는, 상기 (1) 내지 (3) 중 어느하나에 기재된 화상 처리 방법.

(5) 상기 동영상 데이터에 대해 설정한 편집 범위를 제시하는 표시를 실행시키는 표시 제어를 행하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 화상 처리 방법.

(6) 상기 제1 부가 정보에 의해 지정되는 상기 동영상 데이터 상의 특정 시점을 제시하는 표시 제어를 행하는, 상기 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 방법.

(7) 상기 제2 부가 정보가 지정하는 상기 동영상 데이터상의 특정 시간 범위를, 대표 시점을 나타냄으로써 제시하는 표시 제어를 행하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 화상 처리 방법.

(8) 설정한 편집 범위의 정보에 기초하여, 동영상 재생 표시를 실행시키는 표시 제어를 행하는, 상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 방법.

(9) 설정한 편집 범위에 대해, 조작에 따라 설정 변경하는 편집 조작 대응 처리를 행하는, 상기 (1) 내지 (8) 중 어느 하나에 기재된 화상 처리 방법.

(10) 설정한 편집 범위의 화상 재생 양태를 조작에 따라 변경하는 편집 조작 대응 처리를 행하는, 상기 (1) 내지 (9) 중 어느 하나에 기재된 화상 처리 방법.

(11) 상기 제1 부가 정보 또는 상기 제2 부가 정보로 되는 부가 정보로서의 복수 종류의 부가 정보의 종류를 지정하는 것에 따라, 지정한 종류의 부가 정보에 대응하는 편집 범위에, 소정의 화상 재생 양태를 설정하는 편집 조작 대응 처리를 행하는, 상기 (1) 내지 (10) 중 어느 하나에 기재된 화상 처리 방법.

(12) 상기 동영상 데이터의 편집 범위를 설정할 때에는, 상기 제1 부가 정보 또는 상기 제2 부가 정보로 되는 부가 정보로서의 복수 종류의 부가 정보의 종류에 따라, 상기 제1 설정 시간, 상기 제2 설정 시간, 상기 제3 설정 시간, 상기 제4 설정 시간 중 어느 것을 가변 설정하는, 상기 (3)에 기재된 화상 처리 방법.

(13) 상기 부가 정보의 종류로서, 동영상 촬상 시 유저의 조작에 따라 부가되는 부가 정보인 경우, 상기 제1 설정 시간 또는 상기 제3 설정 시간 중 어느 것을 통상 설정 시간 길이보다 긴 시간 길이로 설정하는, 상기 (12)에 기재된 화상 처리 방법.

(14) 설정된 편집 범위의 정보에 기초하여, 편집 동영상 데이터를 생성하여 출력하는 출력 처리를 행하는, 상기 (1) 내지 (13) 중 어느 하나에 기재된 화상 처리 방법.

(15) 상기 출력 처리에서는, 상기 편집 동영상 데이터를 기억 매체에 기억시키는 출력 처리를 행하는, 상기 (14)에 기재된 화상 처리 방법.

(16) 상기 출력 처리에서는, 상기 편집 동영상 데이터를 외부 기기로 송신하는 출력 처리를 행하는, 상기 (14) 또는 (15)에 기재된 화상 처리 방법.

(17) 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 인식부와, 상기 인식부가 인식한 부가 정보가, 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 편집 처리부를 구비하는, 화상 처리 장치.

(18) 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 단계와, 인식된 상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 단계를 정보 처리 장치에 실행시키는 프로그램.

1: 화상 처리 장치
2: 대상 인식부
3: 편집 처리부
4: 출력 처리부
10: 기억부
11: 통신부
12: 입력부
13: 표시부
14: 음성 출력부

Claims (18)

1. 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하고,
   상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는, 화상 처리 방법.
2. 제1항에 있어서,
   상기 부가 정보가 상기 제1 부가 정보인 경우에는, 상기 제1 부가 정보가 지정하는 특정 시점에 기초하여 편집 범위를 설정하고,
   상기 부가 정보가 상기 제2 부가 정보인 경우에는, 상기 제2 부가 정보가 지정하는 특정 시간 범위의 시작점과 종점에 기초하여 편집 범위를 설정하는, 화상 처리 방법.
3. 제2항에 있어서,
   상기 제1 부가 정보에 따라서, 상기 특정 시점의 제1 설정 시간 전의 시점으로부터 상기 특정 시점의 제2 설정 시간 후까지의 범위를 편집 범위로 설정하고,
   상기 제2 부가 정보에 따라서, 상기 시간 범위의 시작점의 제3 설정 시간 전의 시점으로부터 상기 시간 범위의 종점의 제4 설정 시간 후까지의 범위를 편집 범위로 하는, 화상 처리 방법.
4. 제1항에 있어서,
   설정한 편집 범위를, 동영상 데이터로부터의 잘라내기 범위로 하는, 화상 처리 방법.
5. 제1항에 있어서,
   상기 동영상 데이터에 대해 설정한 편집 범위를 제시하는 표시를 실행시키는 표시 제어를 행하는, 화상 처리 방법.
6. 제1항에 있어서,
   상기 제1 부가 정보에 의해 지정되는 상기 동영상 데이터 상의 특정 시점을 제시하는 표시 제어를 행하는, 화상 처리 방법.
7. 제1항에 있어서,
   상기 제2 부가 정보가 지정하는 상기 동영상 데이터 상의 특정 시간 범위를, 대표 시점을 나타냄으로써 제시하는 표시 제어를 행하는, 화상 처리 방법.
8. 제1항에 있어서,
   설정한 편집 범위의 정보에 기초하여, 동영상 재생 표시를 실행시키는 표시 제어를 행하는, 화상 처리 방법.
9. 제1항에 있어서,
   설정한 편집 범위에 대해, 조작에 따라 설정 변경하는 편집 조작 대응 처리를 행하는, 화상 처리 방법.
10. 제1항에 있어서,
    설정한 편집 범위의 화상 재생 양태를 조작에 따라 변경하는 편집 조작 대응 처리를 행하는, 화상 처리 방법.
11. 제1항에 있어서,
    상기 제1 부가 정보 또는 상기 제2 부가 정보로 되는 부가 정보로서의 복수 종류의 부가 정보의 종류를 지정하는 것에 따라, 지정한 종류의 부가 정보에 대응하는 편집 범위에, 소정의 화상 재생 양태를 설정하는 편집 조작 대응 처리를 행하는, 화상 처리 방법.
12. 제3항에 있어서,
    상기 동영상 데이터의 편집 범위를 설정할 때에는, 상기 제1 부가 정보 또는 상기 제2 부가 정보로 되는 부가 정보로서의 복수 종류의 부가 정보의 종류에 따라, 상기 제1 설정 시간, 상기 제2 설정 시간, 상기 제3 설정 시간, 상기 제4 설정 시간 중 어느 것을 가변 설정하는, 화상 처리 방법.
13. 제12항에 있어서,
    상기 부가 정보의 종류로서, 동영상 촬상 시 유저의 조작에 따라 부가되는 부가 정보인 경우, 상기 제1 설정 시간 또는 상기 제3 설정 시간 중 어느 것을 통상 설정 시간 길이보다 긴 시간 길이로 설정하는, 화상 처리 방법.
14. 제1항에 있어서,
    설정된 편집 범위의 정보에 기초하여, 편집 동영상 데이터를 생성하여 출력하는 출력 처리를 행하는, 화상 처리 방법.
15. 제14항에 있어서,
    상기 출력 처리에서는, 상기 편집 동영상 데이터를 기억 매체에 기억시키는 출력 처리를 행하는, 화상 처리 방법.
16. 제14항에 있어서,
    상기 출력 처리에서는, 상기 편집 동영상 데이터를 외부 기기로 송신하는 출력 처리를 행하는, 화상 처리 방법.
17. 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 인식부와,
    상기 인식부가 인식한 부가 정보가, 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 편집 처리부를 구비하는, 화상 처리 장치.
18. 동영상 데이터의 시간축에 대응하여 부가된 부가 정보를 인식하는 단계와,
    인식된 상기 부가 정보가 동영상의 시간축에 있어서의 특정 시점을 지정하는 제1 부가 정보인지, 동영상의 시간축에 있어서의 특정 시간 범위를 지정하는 제2 부가 정보인지에 따라서, 상기 동영상 데이터의 편집 범위를 설정하는 단계를 정보 처리 장치에 실행시키는 프로그램.

Images