KR102646124B1 - 화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램 - Google Patents

화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램 Download PDF

Info

Publication number
KR102646124B1
KR102646124B1 KR1020160134903A KR20160134903A KR102646124B1 KR 102646124 B1 KR102646124 B1 KR 102646124B1 KR 1020160134903 A KR1020160134903 A KR 1020160134903A KR 20160134903 A KR20160134903 A KR 20160134903A KR 102646124 B1 KR102646124 B1 KR 102646124B1
Authority
KR
South Korea
Prior art keywords
image
images
time
playback time
playback
Prior art date
Application number
KR1020160134903A
Other languages
English (en)
Other versions
KR20170058266A (ko
Inventor
마사루 오노자와
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20170058266A publication Critical patent/KR20170058266A/ko
Application granted granted Critical
Publication of KR102646124B1 publication Critical patent/KR102646124B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

선택 대상의 화상의 개별 재생 시간이 다른 경우에도, 동화상 생성을 위한 화상 선택을 가능하게 하기 위해, 화상 취득부(52)와 특징량 산출부(53)과 동화상 재생 시간 설정부(54)와 화상 재생 시간 설정부(55)와 화상 선택부(58)를 구비한다. 화상 취득부(52)는 복수의 화상을 취득한다. 특징량 산출부(53)은 화상 취득부(52)에 의해서 취득된 복수의 화상을 평가한다. 동화상 재생 시간 설정부(54)는 복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정한다. 화상 재생 시간 설정부(55)는 복수의 화상의 각각에 개별 재생 시간을 설정한다. 화상 선택부(58)는 복수의 화상의 평가 결과와 개별 재생 시간에 의거하여, 복수의 화상으로부터 재생 총 시간에 따른 소정 수의 화상을 선택한다.

Description

화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램{IMAGE PROCESSING APPARATUS, IMAGE SELECTION METHOD, AND PROGRAM THAT RECORDED MEDIUM}
본 발명은 화상 처리 장치, 화상 선택 방법 및 기억 매체에 기억된 프로그램에 관한 것이다.
종래, 일본국 특허공개공보 제2010-177731호에 기재된 바와 같이, 복수종의 화상을 합성하는 것에 의해, 슬라이드 쇼와 같은 동화상을 생성하는 기술이 있다.
그러나, 상술한 특허문헌 1에 기재된 기술에서는 슬라이드 쇼에 표시되는 1개당 화상의 재생 시간을 고정값으로 선택 대상의 화상 전체에 일괄로 설정하여, 전체의 재생 시간에 맞도록 화상을 선택하지만, 각 화상의 개별의 재생 시간이 다른 경우에는 화상 선택을 할 수 없었다.
본 발명은 이러한 상황을 감안해서 이루어진 것이며, 선택 대상의 화상의 개별 재생 시간이 다른 경우에도, 동화상 생성을 위한 화상 선택을 가능하게 하는 것을 목적으로 한다.
본 발명의 하나의 양태는 복수의 화상을 취득하는 화상 취득 수단과, 상기 복수의 화상을 평가하는 평가 수단과, 복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 수단과, 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단과, 상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 수단을 구비하는 화상 처리 장치를 특징으로 한다.
본 발명의 다른 양태는 복수의 화상을 취득하는 화상 취득 스텝과, 상기 화상 취득 스텝에 의해서 취득된 상기 복수의 화상을 평가하는 평가 스텝과, 복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 스텝과, 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 스텝과, 상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 스텝을 포함하는 화상 선택 방법을 특징으로 한다.
또, 본 발명의 다른 양태는 기억 매체에 기억된 프로그램으로서, 컴퓨터를, 복수의 화상을 취득하는 화상 취득 수단, 상기 복수의 화상을 평가하는 평가 수단, 복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 수단, 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단, 상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 수단으로서 기능시키는 프로그램을 특징으로 한다.
또한, 본 발명의 다른 양태는 복수의 화상을 취득하는 취득 수단과, 상기 취득 수단에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단과, 재생 총 시간을 설정하는 재생 총 시간 설정 수단과, 상기 재생 총 시간 설정 수단에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 수단과, 상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 수단을 구비하는 화상 처리 장치를 특징으로 한다.
본 발명의 또 다른 양태는 복수의 화상을 취득하는 취득 스텝과, 상기 취득 스텝에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 스텝과, 재생 총 시간을 설정하는 재생 총 시간 설정 스텝과, 상기 재생 총 시간 설정 스텝에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 스텝과, 상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 스텝을 포함하는 화상 처리 방법을 특징으로 한다.
또한, 본 발명의 다른 양태는 기억 매체에 기억된 프로그램으로서, 컴퓨터를, 복수의 화상을 취득하는 취득 수단, 상기 취득 수단에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단, 재생 총 시간을 설정하는 재생 총 시간 설정 수단, 상기 재생 총 시간 설정 수단에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 수단, 상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 수단으로서 기능시키는 프로그램을 특징으로 한다.
본 발명에 따르면, 선택 대상의 화상의 개별 재생 시간이 다른 경우에도, 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다.
도 1은 본 발명의 1실시형태에 관한 촬상 장치의 하드웨어의 구성을 나타내는 블럭도이다.
도 2a는 스코어별 최적화의 구체예를 나타내는 모식도이다.
도 2b는 스코어별 최적화의 구체예를 나타내는 모식도이다.
도 3a는 용장성을 배제한 스코어별 최적화의 구체예를 나타내는 모식도이다.
도 3b는 용장성을 배제한 스코어별 최적화의 구체예를 나타내는 모식도이다.
도 3c는 용장성을 배제한 스코어별 최적화의 구체예를 나타내는 모식도이다.
도 4는 키 포인트 동기 최적화를 실행한 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
도 5a는 키 포인트 동기 최적화의 구체예를 나타내는 모식도이다.
도 5b는 키 포인트 동기 최적화의 구체예를 나타내는 모식도이다.
도 5c는 키 포인트 동기 최적화의 구체예를 나타내는 모식도이다.
도 6은 고(高)랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화를 실행한 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
도 7a는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화의 구체예를 설명하기 위한 모식도이다.
도 7b는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화의 구체예를 설명하기 위한 모식도이다.
도 7c는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화의 구체예를 설명하기 위한 모식도이다.
도 7d는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화의 구체예를 설명하기 위한 모식도이다.
도 8은 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하고 있던 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
도 9a는 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하고 있던 경우의 재생 시간 조정의 구체예를 설명하기 위한 모식도이다.
도 9b는 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하고 있던 경우의 재생 시간 조정의 구체예를 설명하기 위한 모식도이다.
도 9c는 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하고 있던 경우의 재생 시간 조정의 구체예를 설명하기 위한 모식도이다.
도 10은 도 1의 촬상 장치의 기능적 구성 중, 하이라이트 동화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.
도 11은 도 10의 기능적 구성을 갖는 도 1의 촬상 장치가 실행하는 하이라이트 동화상 생성 처리의 흐름을 설명하는 흐름도이다.
이하, 본 발명의 실시형태에 대해, 도면을 이용해서 설명한다.
도 1은 본 발명의 제 1 실시형태에 관한 촬상 장치(1)의 하드웨어의 구성을 나타내는 블럭도이다.
촬상 장치(1)는 예를 들면, 디지털카메라로서 구성된다.
촬상 장치(1)는 도 1에 나타내는 바와 같이, CPU(Central Processing Unit)(11)와, ROM(Read Only Memory)(12)과, RAM(Random Access Memory)(13)과, 버스(14)와, 입출력 인터페이스(15)와, 촬상부(16)와, 센서부(17)와, 입력부(18)와, 출력부(19)와, 기억부(20)와, 통신부(21)와, 드라이브(22)를 구비하고 있다.
CPU(11)는 ROM(12)에 기록되어 있는 프로그램, 또는 기억부(20)로부터 RAM(13)에 로드된 프로그램에 따라서 각종 처리를 실행한다.
RAM(13)에는 CPU(11)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(11), ROM(12) 및 RAM(13)은 버스(14)를 통해 상호 접속되어 있다. 이 버스(14)에는 또, 입출력 인터페이스(15)도 접속되어 있다. 입출력 인터페이스(15)에는 촬상부(16), 센서부(17), 입력부(18), 출력부(19), 기억부(20), 통신부(21) 및 드라이브(22)가 접속되어 있다.
촬상부(16)는 도시는 하지 않지만, 광학 렌즈부와, 이미지 센서를 구비하고 있다.
광학 렌즈부는 피사체를 촬영하기 위해, 광을 집광하는 렌즈, 예를 들면 포커스 렌즈나 줌 렌즈 등으로 구성된다.
포커스 렌즈는 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는 초점거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다.
광학 렌즈부에는 또 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 마련된다.
이미지 센서는 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.
광전 변환 소자는 예를 들면 CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다.
광전 변환 소자에는 광학 렌즈부로부터 피사체상이 입사된다.
그래서, 광전 변환 소자는 피사체상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적한 화상 신호를 아날로그 신호로서 AFE에 순차 공급한다.
AFE는 이 아날로그의 화상 신호에 대해, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다.
각종 신호 처리에 의해서, 디지털 신호가 생성되고, 촬상부(16)의 출력 신호로서 출력된다.
이러한 촬상부(16)의 출력 신호를 이하, 「촬상 화상의 데이터」라고 한다. 촬상 화상의 데이터는 CPU(11)나 도시하지 않은 화상 처리부 등에 적절히 공급된다.
센서부(17)는 가속도나 각속도의 정보를 취득하는 가속도 센서나 자이로 센서와 같은 각종 센서에 의해 구성된다.
본 실시형태에 있어서는 촬상부(16)에 있어서 촬영이 실행된 경우에는 촬영시의 센서 정보를 취득하여, 촬영한 화상에 대응지어 기억해 둔다.
입력부(18)는 각종 버튼 등으로 구성되며, 유저의 지시 조작에 따라 각종 정보를 입력한다.
출력부(19)는 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.
기억부(20)는 하드 디스크 혹은 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 화상의 데이터를 기억한다.
통신부(21)는 인터넷을 포함하는 네트워크를 통해 다른 장치(도시하지 않음)와의 사이에서 실행하는 통신을 제어한다.
드라이브(22)에는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(31)가 적절히 장착된다.
드라이브(22)에 의해서 리무버블 미디어(31)로부터 읽어 내어진 프로그램은 필요에 따라 기억부(20)에 인스톨된다.
또, 리무버블 미디어(31)는 기억부(20)에 기억되어 있는 화상의 데이터 등의 각종 데이터도, 기억부(20)와 마찬가지로 기억할 수 있다.
이와 같이 구성되는 촬상 장치(1)에서는 기억하고 있는 복수의 화상을 열람하고자 하는 경우, 전부를 열람하기 위해서는 방대한 시간을 요해 버리기 때문에, 기억하고 있는 복수의 화상의 총수보다 적은 수의 특징적인 화상만을 선택하여, 유저의 열람에 제공하는 기능을 갖는다.
본 실시형태의 촬상 장치(1)에서는 선택한 화상을 프레임 화상으로서 동화상화하여, 특징적인 씬만을 모은 요약 동화상(이하, 「하이라이트 동화상」이라고도 함)을 생성하여, 유저의 열람에 제공한다.
[화상의 조합의 선택 방법(스코어별 최적화)의 기본적인 흐름]
본 실시형태에 있어서는 촬상 장치(1)에서는 화상의 촬영시의 센서 정보(가속도 정보나 각속도 정보), 화상 해석 결과(얼굴 등의 특정의 피사체의 유무 등), 및 사용 상황에 관한 정보(재생 회수나 SNS에의 업 로드 정보 등)과 같은 속성 정보에 의거하여, 하이라이트 동화상의 생성 대상의 후보로 되는 화상(이하, 「후보 화상」이라고도 함)의 특징량을 산출한다.
그리고, 산출한 특징량에 의거하여, 화상의 가치로서 스코어(이하, 「화상 스코어」라 함)를 설정한다.
또한, 화상 스코어는 사람의 주관에 의거하여 특징량 산출에 이용한 항목에 따라, 일의적으로 설정해도 좋다.
또, 화상 스코어는 주관적인 평가 결과를 교사 데이터로서 기계 학습에 의거하여 특징량의 항목의 각각에 가중을 하고, 가중에 따라, 종합적으로 설정해도 좋다.
또, 촬상 장치(1)에서는 화상 스코어에 의거하여, 랭크를 매긴다.
랭크는 생성하는 하이라이트 동화상에서의 화상의 개별 재생 시간을 결정하기 위해 이용한다.
또한, 랭크는 유저가 임의로 붙여도 좋고, 화상에 대해 설정된 화상 스코어에 따라 붙여도 좋다.
　또, 촬상 장치(1)에서는 하이라이트 동화상의 최대 재생 시간을 상한으로 해서, 개별 재생 시간의 합계(합계 재생 시간)가 최대 재생 시간내에 들어가는 화상의 조합에 있어서, 각 화상의 화상 스코어를 적산한 스코어(이하, 「적산 스코어」라 함)가 최대의 조합으로 되는 경로를 화상의 촬상순에 따라 탐색한다.
여기서, 본 실시형태에 있어서는 동화상의 최대 재생 시간의 제약하에 있어서, 적산 스코어의 최대의 경로를 선택하는 것을 「스코어별 최적화」라고 한다.
도 2a 및 도 2b는 스코어별 최적화의 구체예를 나타내는 모식도이다. 본 예에서는 하이라이트 동화상의 최대 재생 시간은 6sec로 설정되어 있다.
또한, 도 2b에 있어서는 기점 노드로부터의 경로로서, 개별 재생 시간의 조합이나 화상 스코어 등의 관점에서 적절한 경로로 되지 않는 경로를 「도태 패스」, 설정 가능한 경로를 「친(親) 패스」, 적산 스코어가 가장 높아지는 경로를 「최적 패스」로서 나타내고 있다.
예를 들면, 본 실시형태에 있어서는 개별 재생 시간과 촬영순의 화상의 매트릭스에, 촬영순으로 화상을 조합한 경로를 설정한다.
각 경로의 조합 중, 경로에 있는 화상의 화상 스코어를 적산한 적산 스코어가 최대로 되는 경로의 조합을 하이라이트 동화상을 구성하는 화상군으로서 선택한다.
「촬영순으로 화상을 조합한 경로」는 본 실시형태에 있어서는 화상의 촬영순에 따라 최초의 화상에서 최후의 화상을 향해 차례로 경로 탐색을 실행함으로써 산출되는 경로를 말한다.
도 2a의 예에서는 촬영순으로 화상 A 내지 화상 D를 하이라이트 동화상을 구성하는 프레임 화상의 후보의 화상으로 하고 있다.
화상 A 내지 화상 D에서는 화상의 특징량에 의거하여 산출된 화상 스코어가 설정되어 있고, 화상 A[Score：8], 화상 B[Score：5], 화상 C[Score：10], 화상 D[Score：6]로 되어 있다. 또, 화상의 개별 재생 시간이 설정되어 있으며, 화상 A[Time：2sec], 화상 B[Time：3sec], 화상 C[Time：1sec], 화상 D[Time：2sec]가 설정된다.
또한, 개별 재생 시간은 화상 스코어 등에 대응해서 설정하도록 구성해도 좋다.
예를 들면, 화상 스코어가 높은 화상은 개별 재생 시간을 길게, 화상 스코어가 낮은 화상은 개별 재생 시간을 짧게 설정하도록 구성해도 좋다.
이와 같이 화상 스코어와 개별 재생 시간이 설정된 화상군에 있어서, 도 2b에 나타내는 바와 같이, 종축이 화상의 촬영순이고, 횡축이 동화상의 재생 시간의 매트릭스에 있어서, 설정된 동화상의 최대 재생 시간내에 들어가도록, 촬영순으로 화상이 조합된 경로를 설정한다.
설정한 경로에 있어서, 경로를 구성하는 모든 화상의 적산 스코어를 산출하여, 최대의 적산 스코어의 경로의 조합을 선택한다.
본 예에서는 각 경로 중, 적산 스코어[24]로 되는 경로가 적산 스코어가 최대로 되는 경로로 된다.
이 경로는 화상 A를 기점 노드로 해서, 화상 C와 화상 D의 조합으로 이루어진다.
즉, 화상 A→화상 C→화상 D의 경로가 최적 패스로 된다.
또한, 본 예에서는 적산 스코어만을 고려한 스코어별 최적화를 실행했지만, 합계 재생 시간을 길게 하는 것을 고려하는 스코어별 최적화를 실행하도록 구성해도 좋다.
그 경우, 합계 재생 시간도 최대의 6sec로 되고, 적산 스코어도 [23]으로 비교적 높아지는 화상 A를 기점 노드로 하는 화상 B와, 화상 C의 조합의 경로를 선택한다.
그 후, 촬상 장치(1)에서는 결정한 화상의 조합순·합계 재생 시간으로 프레임 화상으로부터 하이라이트 동화상을 작성한다.
[비유사성의 향상(용장성의 배제)]
상술한 바와 같은 스코어별 최적화를 실행한 경우, 특징량과 스코어가 관련되어 있기 때문에 선택되는 조합에 있어서 유사한 화상이 포함되어 버리는 경우가 있다.
본 방법에서는 화상간의 비유사도를 산출하여, 화상간의 유사도를 패널티로서 환산하여 화상 스코어에 부여한다.
근접하는 화상과의 유사도가 높은 화상의 화상 스코어를 내리도록 보정함으로써, 결과적으로 화상 스코어의 합계인 적산 스코어가 낮아지기 때문에, 유사한 화상의 조합의 경로가 선택되기 어려워진다.
또, 본 실시형태에서는 화상간에서 유사도가 높은 화상의 화상 스코어를 내리도록 보정하고 있지만, 화상간에서 유사도가 낮은 화상에 대해, 화상 스코어를 올리도록 보정하도록 구성해도 좋다.
본 예에서는 우선, 경로의 1개 상류의 화상(1세대 전의 경로의 화상[친(親)])과, 비유사도를 판정하는 화상(이하, 「주목 화상」이라고도 함)에 있어서, 유사하고 있지 않은 정도인 비유사도를 산출한다[식 (1)].
…(1)
또한, 「Dissimilarity」는 비유사도이고, 「Ip」는 화상 p이며, 「Iq」는 화상 q이고, 「
Figure 112016100782346-pat00002
」는 화상 p의 i특징량이며, 「
Figure 112016100782346-pat00003
」는 화상 q의 i의 특징량이고, 「FeatVari」는 i의 특징량의 편차이며, 「Wi」는 i특징량의 하중 계수이다.
그리고, 비유사도에 따른 패널티량을 산출한다[식 (2)].
또한, 패널티는 인접한 화상의 순열뿐만 아니라 떨어진 화상에 대해서도 고려한다.
본 실시형태에서는 세대가 멀어질수록 패널티가 작아지도록 패널티량을 산출한다.
…(2)
또한, 「Dissimilarity」는 비유사도이고, 「Ip」는 화상 p이며, 「Iq」는 화상 q이고, 「G」는 세대간 거리의 하중 함수이며, 「Dist」는 세대간 거리이다.
본 실시형태에 있어서의 「세대간 거리」는 경로에 있어서 주목 화상에서 본 다른 화상과의 조합에서의 거리이다.
예를 들면, 주목 화상의 전후의 인접 화상을 1세대, 그 다음의 앞의 화상을 2세대로 하고 있으며, 화상 p와 화상 q의 사이의 화상 수에 따라 결정되는 것이다.
상류의 세대의 화상과 주목 화상의 패널티량을 산출해 가고, 최소로 되는 패널티량을 주목 화상의 화상 스코어에 곱하는 것에 의해, 패널티를 부여한 화상을 선택할 때에 이용하는 화상 스코어로서 결정한다[식 (3)].
…(3)
또한, 「Scorep」는 화상 p의 최종적인 스코어이고, 「q」는 친노드 화상이다. 「R」은 용장성을 고려하는 영역이며, 「Penapq」는 화상 p와 화상 q간의 용장성 패널티량이다.
또, 화상 스코어의 결정식은 산출한 패널티를 상류의 세대부터 누적시켜, 주목 화상의 화상 스코어에 곱하는 것에 의해, 패널티를 부여한 화상 스코어로서 결정하는 이하의 식 (3-1)을 이용해도 좋다.
…(3-1)
또한, 「Scorep」는 화상 p의 최종적인 스코어이고, 「ImgScorep」는 특징량으로부터 산출된 화상 p의 스코어이다.
「q」는 친노드 화상이고, 「R」은 용장성을 고려하는 영역이며, 「Penapq」는 화상 p와 화상 q간의 용장성 패널티량이다.
상술한 바와 같이, 조합의 경로 각각에 있어서 화상간의 유사도에 따라 각 화상의 화상 스코어에 패널티를 부여하여, 적산 스코어를 산출한다.
그 후, 가장 적산 스코어가 높은 조합의 경로를 최적 경로로서 선택한다.
도 3a∼도 3c는 용장성을 배제한 스코어별 최적화의 구체예를 나타내는 모식도이다.
또한, 본 예에서는 하이라이트 동화상의 최대 재생 시간은 6sec로 설정되어 있다.
또, 본 예에서는 고려하는 세대 R을 1세대전(인접)만으로 하고, abs(Fp-Fq)를 패널티로 하고 있다.
각 화상 p에 있어서의 화상 스코어 S와 개별 재생 시간 τ은 도 3a의 예에서는 화상 A의 화상 스코어는 [Score：8]로 되고, 개별 재생 시간은 [Time：2]로 되며, 화상의 특징량[Feat：1]로 되어 있다.
또, 화상 B의 화상 스코어는 [Score：5]로 되고, 개별 재생 시간은 [Time：3]으로 되며, 화상의 특징량(Feat：3)으로 되고 있다.
또, 화상 C의 화상 스코어는 [Score：10]으로 되고, 개별 재생 시간은 [Time：1]로 되며, 화상의 특징량[Feat：2]으로 되어 있다.
또, 화상 D의 화상 스코어는 [Score：6]으로 되고, 개별 재생 시간은 [Time：2]로 되며, 화상의 특징량[Feat：2]으로 되어 있다.
또한, 본 실시형태에 있어서는 특징량 Feat의 값이 가까울수록, 화상끼리가 유사하고 있으며, 유사도가 높은 것으로 한다.
상술한 화상 A 내지 D에 있어서 용장성을 고려하지 않은 경우에는 도 3b에 나타내는 바와 같이, 화상 A를 기점 노드로 해서, 화상 C, 화상 D의 조합을 선택함으로써, 적산 스코어가 최대의 [24]로 된다. 즉, 화상 A→화상 C→화상 D의 경로가 최적 패스로 된다.
이에 대해, 상술한 바와 같은 용장성을 배제하는 방법을 이용한 경우에는 도 3c에 나타내는 바와 같이, 화상 A를 기점 노드로 해서, 화상 B, 화상 C의 조합을 선택함으로써, 적산 스코어가 최대의 [28]로 된다.
즉, 화상 A→화상 B→화상 C의 경로가 최적 패스로 된다.
여기서, 상술한 방법을 이용하지 않는 경우에는 [Feat：1]의 화상 A와, 특징량의 차가 작은 [Feat：2]의 화상 C, 및 화상 D의 경로의 조합이 적산 스코어의 최대로 되는 경로의 조합이었지만, 본 방법을 이용함으로써, 기점 노드인 화상 A와의 특징량의 차가 큰 [Feat：3]의 화상 B, 화상 C의 경로의 조합이 적산 스코어의 최대로 되는 경로의 조합으로 된다. 또한, 화상 B를 기점 노드로 하고 다음에 화상 C를 조합한 경우에는 적산 스코어는 최대로 되지 않는다.
따라서, 본 방법을 이용함으로써, 화상간의 유사도에 따른 패널티를 화상 스코어에 부여함으로써, 용장성을 배제하면서 비유사성을 향상시키고, 예를 들면, 시간이나 개수 등의 제약내에서 적산 스코어가 가능한 한 최대로 되는 바와 같은 경로의 조합을 고속으로 선택할 수 있다.
[음성 동기 재생：키 포인트 동기 최적화]
본 실시형태의 촬상 장치(1)에서는 생성한 하이라이트 동화상의 재생중에 BGM을 재생하도록 구성해도 좋다.
이 때, 하이라이트 동화상과, BGM이 링크하도록 하이라이트 동화상의 화상의 전환과, BGM의 박자나 구(phrase)와 같은 전환 개소를 일치시킨다. 예를 들면, 하이라이트 동화상의 작성시에, BGM의 내용(예를 들면, 박자의 타이밍이나 박자가 변화한 지점, 구의 개시/종료 지점, 변조 지점 등)을 고려하여, 화상의 선택순·선택 수나 화상의 개별 재생 시간의 조정을 실행한다.
이와 같이 하이라이트 동화상의 장면의 전환(다른 종류의 프레임 화상에의 전환)과, 음악의 전환을 일치시킴으로써 영상과 음악의 협조성이 있는 바람직한 동화상의 표시를 실행할 수 있다.
동화상과 함께 재생하는 음악에 대해서는 화상이 전환되었으면 하는 위치(이하, 「키 포인트」라 함)를 음악의 재생 시간내에 설정한다.
키 포인트는 예를 들면, 음압의 극값, 리듬의 변화점 등의 음악내의 일정한 변화가 보이는 포인트에 자동적으로 설정해도 좋고, 유저에 의해 임의의 위치에 설정해도 좋다.
미리 생성된 하이라이트 동화상의 각 화상의 전환 위치를 해당 하이라이트 동화상과 함께 재생하는 음악의 키 포인트에 일치하도록 해당 하이라이트 동화상내의 화상의 개별 재생 시간·재생 타이밍 등을 조정하는 것도 가능하다.
이 경우는 키 포인트가 화상의 전환의 포인트가 되도록, 키 포인트를 타고 넘는 화상의 표시 개시/종료 타이밍을 화상의 전후의 시점에 슬라이드시켜 변경한다.
또, 미리 설정된 키 포인트에 대응하도록 화상을 선택하여, 하이라이트 동화상을 생성하도록 구성해도 좋다.
도 4의 (a)∼(c)는 하이라이트 동화상에 대해, 키 포인트 동기 최적화를 실행한 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
또한, 본 예에서는 도 4의 (a)에 나타내는 바와 같이, 하이라이트 동화상의 최대 재생 시간은 8.0sec로 설정되어 있다. 또, 음악의 키 포인트는 예를 들면, 음악을 구성하는 음성 정보에 있어서 일정한 변화가 보이는 위치에 자동 설정되고, 각 키 포인트는 키 포인트 1：1.3sec, 키 포인트 2：2.6sec, 키 포인트 3：3.2sec, 키 포인트 4：5.4sec, 키 포인트 5：6.7sec, 키 포인트 6：7.1sec로 설정된다.
키 포인트 동기 최적화를 실행하지 않고, 적산 스코어가 가장 높아지는 바와 같은 최적인 조합의 탐색을 실행한 경우에는 도 4의 (b)에 나타내는 바와 같이, 화상 A：2.0sec, 화상 B：3.0sec, 화상 C：1.0sec, 화상 D：1.0sec, 화상 E：1.0sec로 된다. 키 포인트가 고려되어 있지 않기 때문에, 선택된 화상의 재생 개시/종료의 위치와, 키 포인트의 위치는 일치하고 있지 않다.
이에 대해, 키 포인트를 고려해서 화상의 재생 개시/종료의 위치의 동기의 최적화(이하, 「키 포인트 동기 최적화」라 함)를 한 화상의 조합을 선택한 경우에는 도 4의 (c)에 나타내는 바와 같이, 화상 A는 개별 재생 시간：2.0sec로 설정되어 있지만, 설정된 개별 재생 시간으로 해 버리면 키 포인트 1이 도래해 버리기 때문에, 키 포인트 1의 경과시간：1.3sec에서 표시를 종료하고, 다음에 화상 B의 재생이 시작되도록 재생 타이밍이 조정된다.
또, 화상 B는 개별 재생 시간：3.0sec로 설정되어 있지만, 설정된 개별 재생 시간으로 해 버리면 다음의 키 포인트가 도래해 버리기 때문에, 키 포인트 1 내지 키 포인트 2의 경과시간：2.6sec에서 종료하도록, 개별 재생 시간이 1.3sec로 조정된다.
또, 화상 C는 개별 재생 시간：1.0sec로 설정되어 있지만, 설정된 개별 재생 시간으로 해 버리면 다음의 키 포인트가 도래해 버리기 때문에, 키 포인트 2 내지 키 포인트 3의 경과시간：3.2sec에서 종료하도록, 개별 재생 시간이 0.6sec로 조정된다.
또, 화상 D는 개별 재생 시간：1.0sec로 설정되어 있고, 다음의 키 포인트가 도래하지 않기 때문에, 키 포인트 3부터 1.0sec의 동안 표시된다.(경과시간：4.2sec)
또, 화상 E는 개별 재생 시간：1.0sec로 설정되어 있고, 다음의 키 포인트가 도래하지 않기 때문에, 화상 D의 재생 종료 후부터 1.0sec의 동안 표시된다.(경과시간：5.2sec)
키 포인트 동기 최적화를 실행하는 경우에는 키 포인트 동기 최적화를 실행하지 않는 경우에 비해, 화상의 전환 개소가 증가하기 때문에, 선택해야 할 화상 수가 증가한다. 그 때문에, 키 포인트 동기 최적화를 실행하는 경우에는 전환 개소의 증가에 의해 부족하게 된 분만큼의 화상을 선택할 필요가 있기 때문에, 화상 E가 표시된 이후, 동화상의 종료 시간의 8.0sec까지 키 포인트를 고려하여, 또한 화상이 선택된다. 또한, 본 예에서는 이후 선택되는 화상 F이후의 화상은 개별 재생 시간을 2.0sec로 한다.
선택된 화상 F는 개별 재생 시간 2.0sec로 설정되어 있지만, 다음의 키 포인트가 도래해 버리기 때문에, 화상 E의 재생 종료 후부터 키 포인트 4의 경과시간：5.4에서 종료하도록, 개별 재생 시간이 0.2sec로 조정된다.
또, 화상 G는 개별 재생 시간：2.0sec로 설정되어 있지만, 다음의 키 포인트가 도래해 버리기 때문에, 화상 F의 재생 종료 후부터 키 포인트 5의 경과시간：6.7에서 종료하도록, 개별 재생 시간이 1.3sec로 조정된다.
또, 화상 H는 개별 재생 시간：1.0sec로 설정되어 있지만, 다음의 키 포인트가 도래해 버리기 때문에, 화상 G의 재생 종료 후부터 키 포인트 6의 경과시간：7.1에서 종료하도록, 개별 재생 시간이 0.4sec로 조정된다.
마지막으로, 화상 I는 개별 재생 시간：1.0sec로 설정되어 있지만, 동화상의 최대 재생 시간이 도래해 버리기 때문에, 화상 H의 재생 종료 후부터 동화상의 최대 재생 시간의 경과시간：8.0sec에서 종료하도록, 개별 재생 시간이 0.9sec로 조정된다.
도 5a∼도 5c는 키 포인트 동기 최적화의 구체예를 나타내는 모식도이다. 또한, 본 예에서는 최대 재생 시간을 6sec로 하고, 키 포인트가 동화상의 재생 시간：4sec 경과의 시점으로 설정되어 있다.
각 화상 p에 있어서의 화상 스코어 s와 개별 재생 시간 τ은 도 5a의 예에 나타내는 바와 같이, 화상 A에서는 화상 스코어：8, 개별 재생 시간：2sec로 설정된다. 또, 화상 B에서는 화상 스코어：5, 개별 재생 시간：3sec로 설정된다. 또, 화상 C에서는 화상 스코어：10, 개별 재생 시간：1sec로 설정된다. 또, 화상 D에서는 화상 스코어：6, 개별 재생 시간：2sec로 설정된다. 또, 화상 E에서는 화상 스코어：7, 개별 재생 시간：2sec로 설정된다.
이러한 화상의 개별 재생 시간/화상 스코어에서, 키 포인트를 고려하지 않고, 스코어별 최적화를 실행한 경우에는 도 5b에 나타내는 바와 같이, 기점 노드로 되는 화상 A：2sec부터, 화상 C：3sec, 화상 E：5sec로 되는 경로의 조합을 선택함으로써, 적산 스코어가 최대의 [25]로 된다. 즉, 스코어별 최적화를 실행한 경우에는 화상 A→화상 C→화상 E의 경로가 최적 패스로 된다.
이에 대해, 키 포인트 동기 최적화를 실행한 경우, 선택된 화상의 개별 재생 시간내에 키 포인트가 있을 때에는 키 포인트에서의 화상의 전환을 실행하기 때문에 해당 화상의 개별 재생 시간을 짧게 조정한다.
해당 화상의 개별 재생 시간을 사전에 설정된 개별 재생 시간 [τ]로 하는 것이 아니라, 화상 A의 표시 종료시점 [t]부터 키 포인트 K[t‘]에서 클립한 (K[t＇]-t)sec로 한다. 도 5c를 이용해서 설명하면, 화상 A：t=2를 기점 노드로 한 경우에, t=2의 시점에 있어서 화상 B를 선택하고자 하면 화상 B의 개별 재생 시간이 키 포인트 K(t=4)를 타고 넘어 버린다. 그 때문에, 키 포인트에서 확실하게 화상을 전환하도록 화상 A의 표시가 끝나는 t=2의 시점에서 키 포인트 K(t=4)까지의 동안, 화상 B가 표시되도록 화상 B의 개별 재생 시간을 2sec로 조정한다.
이것에 의해서, 키 포인트를 타고 넘어 화상이 재생되는 것을 배제하고, 결과적으로 키 포인트상에서 반드시 화상의 전환이 발생하게 된다.
즉, 도 5c의 예에서는 화상 D의 개별 재생 시간이 깎여, 화상 E에의 전환이 키 포인트상에서 실행되고 있기 때문에, 기점 노드로 되는 화상 A부터, 화상 C, 화상 D, 화상 E의 경로의 조합을 선택함으로써, 최대 재생 시간의 조건하에서 적산 스코어가 최대의 [31]로 된다. 즉, 키 포인트 동기 최적화를 실행한 경우에는 화상 A→화상 C→화상 D→화상 E의 경로가 최적 패스로 된다.
따라서, 본 방법을 이용하는 것에 의해, 가치를 토대로 스코어화된 화상군에 대해, 화상의 개별 재생 시간을 키 포인트의 시각에서 클립함으로써, BGM의 리듬과 동기해서 화상이 전환되면서, 예를 들면 시간이나 매수 등의 제약내에서 적산 스코어가 가능한 한 최대로 되는 바와 같은 경로를 선택할 수 있다. 이 때문에, BGM의 리듬과 동기하여, 소정의 제약내에서의 스코어 최대인 화상의 조합을 고속으로 실현될 수 있다.
[키 포인트 동기 최적화：고랭크 화상의 키 포인트 우선]
또, 악곡에 있어서의 코러스 부분에의 전환과 같은 중요한 시점의 키 포인트에서 전환되는 프레임 화상은 높은 랭크의 것이 되도록 조정하도록 구성해도 좋다. 높은 랭크의 프레임 화상은 유저에 있어서 인상깊은 화상일 가능성이 높기 때문에, 동화상 중에서 중요한 시점에서의 키 포인트에서 전환됨으로써, 더욱 유저에 있어서 바람직한 동화상의 재생을 실행할 수 있다.
도 6의 (a)∼(d)는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화를 실행한 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
또한, 본 예에서는 도 6의 (a)에 나타내는 바와 같이, 하이라이트 동화상의 최대 재생 시간은 6.0sec로 설정되어 있다. 또, 음악의 키 포인트는 예를 들면, 음악을 구성하는 음성 정보에 있어서 일정한 변화가 보이는 위치에 자동 설정되고, 우선도가 높은 키 포인트 1은 4.0sec로 설정되어 있다.
스코어별 최적화를 실행한 경우에는 도 6의 (b)의 예에 나타내는 바와 같이, 화상 A：2.0sec, 화상 C：1.0sec, 화상 E：3.0sec로 된다. 최대 재생 시간에 부족한 1.0sec만큼 화상 E의 개별 재생 시간을 신장하고 있다. 또, 도 6의 (b)에서는 키 포인트가 고려되어 있지 않기 때문에, 결정한 화상의 재생 개시/종료의 위치와, 키 포인트의 위치는 일치하고 있지 않다.
키 포인트 동기 최적화를 실행한 경우에는 도 6의 (c)의 예에 나타내는 바와 같이, 화상 A：2.0sec, 화상 C：1.0sec, 화상 D：1.0sec, 화상 E：2.0sec로 된다. 키 포인트의 우선도는 고려되어 있지 않기 때문에, 우선도가 높은 키 포인트에서 스코어가 높은 화상으로 전환되도록 되어 있지 않다.
이에 대해, 고랭크 화상의 키 포인트 우선 설정에 있어서 키 포인트 동기 최적화를 실행한 경우에는 도 6의 (d)의 예에 나타내는 바와 같이, 화상 A：2.0sec, 화상 B：2.0sec, 화상 C：2.0sec의 조합이 최적으로 된다. 최대 재생 시간에 부족한 1.0sec만큼 화상 C의 개별 재생 시간을 신장하고 있다.
또한, 우선도가 높은 키 포인트에서 스코어가 높은 화상으로 전환되도록 화상이 선택되기 때문에, 도 6의 (d)에서는 도 6의 (c)와는 다른 경로가 최적의 경로로서 선택된다.
도 6의 (d)에 있어서 최초로 선택된 화상 A는 개별 재생 시간：2.0sec로 설정되어 있고, 개별 재생 시간내에 키 포인트 1이 도래하지 않기 때문에, 2.0sec 재생되고, 화상 B로 전환된다.
화상 B는 개별 재생 시간：3.0sec로 설정되어 있지만, 결정한 개별 재생 시간내에 키 포인트가 도래해 버리기 때문에, 키 포인트의 위치에 대응하는 경과 시간：4.0sec에서 종료하도록, 개별 재생 시간이 2.0sec로 조정된다.
또, 화상 C는 개별 재생 시간：1.0sec로 설정되어 있지만, 다른 화상에 비해, 화상 스코어도 높기 때문에, 키 포인트에서 전환되도록 선택되고, 또한 경과시간：6.0sec에서 종료하도록, 개별 재생 시간이 2.0sec로 조정된다.
도 7a∼도 7d는 고랭크 화상의 키 포인트 우선 설정에 있어서의 키 포인트 동기 최적화의 구체예를 설명하기 위한 모식도이다. 또한, 본 예에서는 최대 재생 시간이6sec로 설정되고, 도 7c 및 7d에 있어서 키 포인트가 재생 경과 시간：4sec로 설정되어 있다. 도 7d에서는 키 포인트에 우선도 정보가 설정되어 있다.
각 화상 p에 있어서의 화상 스코어 S와 개별 재생 시간 τ은 도 7a의 예에 나타내는 바와 같이, 화상 A에서는 스코어：8, 랭크：3, 개별 재생 시간：2sec로 설정된다. 또, 화상 B에서는 스코어：5, 랭크：2, 개별 재생 시간：3sec로 설정된다. 또, 화상 C에서는 스코어：10, 랭크：5, 개별 재생 시간：1sec로 설정된다. 또, 화상 D에서는 스코어：6, 랭크：2, 개별 재생 시간：2sec로 설정된다. 또, 화상 E에서는 스코어：7, 랭크：3, 개별 재생 시간：2sec로 설정된다.
이와 같이 설정된 화상의 개별 재생 시간/화상 스코어에서, 최대 재생 시간에 들어가도록 스코어별 최적화를 실행한 경우에는 도 7b에 나타내는 바와 같이, 기점 노드로 되는 화상 A：2sec부터, 화상 C：3sec, 화상 E：5sec로 되는 경로의 조합을 선택함으로써, 적산 스코어가 최대의 [25]로 된다. 즉, 스코어별 최적화를 실행한 경우에는 화상 A→화상 C→화상 E의 경로가 최적 패스로 된다.
또, 키 포인트에서 화상을 전환하도록, 스코어별 최적화를 실행한 경우에는 도 7c에 나타내는 바와 같이, 기점 노드로 되는 화상 A：2sec부터, 화상 C：3sec, 화상 D：4sec, 화상 E：6sec로 되는 경로의 조합이 선택된다.
이 때, 화상 D는 키 포인트를 타고 넘기 때문에, 개별 재생 시간이 3sec에서 1sec가 되도록 조정된다. 선택된 경로에 있어서의 적산 스코어가 최대의 [31]로 된다. 즉, 키 포인트를 고려하고 스코어별 최적화를 실행한 경우에는 화상 A→화상 C→화상 D→화상 E의 경로가 최적 패스로 된다.
이에 대해, 키 포인트에 있어서의 고랭크 화상의 우선 설정의 최적화를 실행한 경우, 만약 친(親)이 키 포인트 시각상에 있을 때에는 다음에 선택되는 화상이 높은 랭크이면, 미리 설정된 스코어가 아닌, 해당 스코어에 랭크에 따른 보너스(승수 Bonus)를 곱하는 것으로 한다.
이것에 의해서, 그 노드를 통과하는 패스의 스코어는 상대적으로 높아지기 때문에, 결과적으로 더욱 높은 랭크의 화상이 키 포인트상에서 전환되게 된다.
즉, 도 7d의 예에서는 높은 랭크의 화상 C에 대해 5배의 보너스를 주고 있기 때문에, 키 포인트부터 개시되는 화상으로서 선택되게 되고, 기점 노드로 되는 화상 A：2sec부터, 화상 B：4sec, 화상 C：5sec의 경로의 조합을 선택함으로써, 적산 스코어가 최대의 [53]으로 된다. 즉, 키 포인트에 있어서의 고랭크 화상의 우선 설정의 최적화를 실행한 경우에는 화상 A→화상 B→화상 C의 경로가 최적 패스로 된다.
따라서, 본 방법을 이용하는 것에 의해, 화상 각각의 가치를 토대로 스코어화된 화상군에 대해, 친노드가 음성 키 포인트상에 있는 경우에는 그곳으로부터의 추가 노드의 화상 랭크가 높을 때에 보너스를 부여함으로써, 더욱 높은 랭크의 화상이 키 포인트상에서 전환되면서, 임의의 제약(시간·개수)내에서 적산 스코어가 가능한 한 최대로 되는 바와 같은 경로를 선택할 수 있다. 이 때문에, BGM의 리듬과 동기하여, 예를 들면 시간이나 개수 등의 제약내에서의 스코어 최대의 화상 조합을 고속으로 실현될 수 있다.
[키 포인트 동기 최적화：단시간 재생 화상 존재시의 개별 재생 시간 조정]
또, 너무나 짧은 개별 재생 시간에서 화상을 표시해도 효과적이지 않기 때문에, 1개당 화상의 재생 시간의 최단의 임계값으로 되는 최저 개별 재생 시간을 설정할 수 있다. 본 예에서는 0.5sec를 최저 개별 재생 시간으로서 설정한다. 즉, 재생 시간이 0.5sec미만으로 되는 바와 같은 프레임 화상을 경로 탐색의 선택지로부터 어긋나도록 억제(이하, 「단시간 재생 억제」라고 함)한다.
도 8의 (a)∼(c)는 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하고 있던 경우의 화상의 재생 위치를 설명하기 위한 모식도이다.
또한, 본 예에서는 도 8의 (a)에 나타내는 바와 같이, 하이라이트 동화상의 최대 재생 시간은 8.0sec로 설정되어 있다. 또, 음악의 키 포인트는 예를 들면, 음악을 구성하는 음성 정보에 있어서 일정한 변화가 보이는 위치에 자동 설정되고, 각 키 포인트는 키 포인트 1：1.3sec, 키 포인트 2：2.6sec, 키 포인트 3：3.2sec, 키 포인트 4：5.4sec, 키 포인트 5：6.7sec, 키 포인트 6：7.1sec로 설정된다.
키 포인트 동기 최적화를 실행한 경우에는 도 8의 (b)에 나타내는 바와 같이, 개별 재생 시간이 0.5sec미만으로 되는 화상 F：0.2sec, 화상 H：0.4sec가 존재한다. 그 때문에, 재생 시간이 짧은 프레임 화상이 존재해 버리기 때문에, 화상의 전환이 빠른 유저에 있어서 바람직하지 않은 동화상으로 되어 버리고 있다.
본 예에서는 도 8의 (c)에 나타내는 바와 같이, 개별 재생 시간이 0.2sec로 되어 버리는 화상 F의 구간에 상당하는 부분을 화상 F의 1개 전의 화상 E의 개별 재생 시간을 연장함으로써 개별 재생 시간이 최저 개별 재생 시간을 하회하지 않도록 구성한다. 즉, 화상 E의 개별 재생 시간이 1.3sec로 된다. 그 이후는 키 포인트를 고려해서 재설정한다.
화상 F는 개별 재생 시간：2.0sec로 설정되어 있지만, 다음의 키 포인트가 도래해 버리기 때문에, 화상 E의 재생 종료 후부터 키 포인트 5의 경과 시간：6.7sec에서 종료하도록, 개별 재생 시간이 1.3sec로 조정된다.
또, 화상 G는 개별 재생 시간：2.0sec로 설정되어 있지만, 다음의 키 포인트가 도래해 버리지만, 다음의 키 포인트까지 0.5sec미만의 0.4sec이기 때문에, 키 포인트를 고려하지 않고, 화상 G의 재생 종료 후부터 동화상의 최대 재생 시간의 경과 시간：8.0sec에서 종료하도록, 개별 재생 시간이 1.3sec로 조정된다.
도 9a∼도 9c는 키 포인트 동기 최적화를 실행하여 단시간 재생 화상이 존재하는 경우의 개별 재생 시간 조정의 구체예를 설명하기 위한 모식도이다.
또한, 각 화상 p에 있어서의 화상 스코어 S와 개별 재생 시간 τ은 도 9a의 예에 나타내는 바와 같이, 화상 A에서는 스코어：4, 개별 재생 시간：1sec로 설정된다. 또, 화상 B에서는 스코어：10, 개별 재생 시간：2sec로 설정된다. 또, 화상 C에서는 스코어：5, 개별 재생 시간：3sec로 설정된다. 또, 화상 D에서는 스코어：6, 개별 재생 시간：2sec로 설정된다. 또, 화상 E에서는 스코어：7, 개별 재생 시간：2sec로 설정된다.
이러한 화상의 개별 재생 시간/스코어에서, 키 포인트 동기 최적화를 실행한 경우에는 도 9b의 예에 나타내는 바와 같이, 기점 노드인 화상 A：1sec부터, 화상 B：3sec, 화상 D：2sec, 화상 E：2sec의 경로의 조합을 선택함으로써, 적산 스코어가 최대의 [27]로 된다. 이 경우, 화상 B의 재생 시간에 키 포인트가 존재하게 되고, 화상 B의 재생 시간은 3sec에서 1sec로 단축된다.
즉, 키 포인트 동기 최적화를 실행한 경우에는 화상 A→화상 B→화상 C→화상 E의 경로가 최적 패스로 된다.
그러나, 예를 들면, 개별 재생 시간이 1sec와 같은 단시간에서 전환되는 화상은 화상 내용에 따라서는 하이라이트 동화상의 열람자에게는 내용을 인식할 수 없는 경우도 고려된다.
그래서, 본 예에서는 도 9c의 예에 나타내는 바와 같이, 키 포인트 시각 1sec전의 t=3에 노드가 발생하는 경우, 화상의 전환의 영향에 의해, 그곳으로부터의 개별 재생 시간은 단시간으로 되는 것이 예상되기 때문에, 그 전의 친화상의 개별 재생 시간을 그만큼 연장해 버리는 것에 의해 대응한다.
예를 들면, 화상 A를 선택한 후에 화상 B를 추가하는 패스에서는 화상 B의 개별 재생 시간은 2sec간이므로 본래는 t=3으로 되겠지만 t=4로 이동시킨다. 즉, 이것은 화상 B의 재생을 3sec로 연장시킴으로써, 다음의 화상이 키 포인트 클립에 의해 1sec 재생으로 되는 것을 억제하고 있게 된다.
도 9b의 예에서는 최적 패스로서 화상 A→화상 B→화상 C→화상 E의 경로가 선택되고 있었지만, 결과적으로 도 9c에서는 키 포인트의 전의 노드 시점에서 단시간 재생이 생기는 경우, 상술한 연장 처리가 실행된 후에 경로 탐색이 실행되기 때문에, 화상 A를 선택하는 패스는 회피되고, 단시간 재생을 포함하지 않고, 적산 스코어가 가장 높은 경로인 화상 B→화상 D→화상 E의 경로가 선택되게 된다.
또한, 하이라이트 동화상을 구성하는 프레임 화상이 동화상인 경우에는 클립 및 신장 처리를 실행함으로써, 화상이나 동화상의 스코어를 재생 시간 비율 등에 의해 변화시켜도 좋다. 예를 들면, 재생 시간이 클립에 의해서 α배(1＞α≥0)로 감소되어 버린 경우, 그 노드에 부여하는 스코어도 α배로 감소시킴으로써, 최적 패스가 그 노드를 통과하기 어렵게 할 수 있다. 이것에 의해서, 가능한 한 본래의 개별 재생 시간을 유지하고 있는 경로가 선택되기 쉬워진다. 또, 원래 신장 처리를 실행하지 않고, 단시간 재생이 발생할 가능성이 있는 패스에 대해 큰 패널티를 부여함으로써, 최적 패스가 그 노드를 통과하기 어렵게 하는 것만으로도 좋다.
따라서, 키 포인트 시각보다 임의의 임계값내의 바로 앞에 노드가 발생하는 경우에는 친 노드의 재생 시간을 키 포인트 시각까지 연장하는 것에 의해서, 단시간 재생을 억압할 수 있다. 또, 클립 및 신장 처리에 의한 재생 시간 변화를 화상 스코어에도 영향을 줌으로써, 최적 패스의 노드에의 회피 및 유도를 제어한다. 따라서, 단시간 재생을 억압하면서 BGM의 리듬과 동기하여, 동화상의 재생 시간의 제약내에서의 화상 스코어가 최대로 되는 화상의 조합을 고속으로 실현될 수 있다.
도 10은 도 1의 촬상 장치(1)의 기능적 구성 중, 하이라이트 동화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.
하이라이트 동화상 생성 처리는 복수의 후보 화상 중에서, 선택한 화상 스코어가 높은 조합으로 되는 후보 화상으로 이루어지는 하이라이트 동화상을 생성하는 일련의 처리를 말한다.
하이라이트 동화상 생성 처리를 실행하는 경우에는 도 10에 나타내는 바와 같이, CPU(11)에 있어서, 모드 설정부(51)와, 화상 취득부(52)와, 특징량 산출부(53)과, 동화상 재생 시간 설정부(54)와, 화상 재생 시간 설정부(55)와, 경로 설정부(56)와, 스코어 보정부(57)와, 화상 선택부(58)와, 동화상 생성부(59)가 기능한다.
또, 기억부(20)의 1영역에는 동화상 기억부(71)가 설정된다.
동화상 기억부(71)에는 촬영시에 취득한 센서 정보와 대응지어진 화상의 데이터가 기억된다.
모드 설정부(51)는 예를 들면, 유저에 의해 입력부(18)를 통해 모드를 설정한다.
본 실시형태에서는 「노멀 모드」와, 「비유사성 향상 모드」와, 「키 포인트 전환 모드」의 모드가 설정 가능하게 된다.
「노멀 모드」는 설정된 동화상의 최대 재생 시간내에 들어가는 시간으로, 가장 높은 스코어로 되는 조합의 경로를 선택하여, 선택된 경로를 구성하는 화상을 프레임 화상으로서 선택하는 모드이다. 「노멀 모드」에서는 상술한 [스코어별 최적화]의 방법을 이용하여, 화상의 조합의 경로 선택을 실행한다.
「비유사성 향상 모드」는 닮은 화상이 선택되는 것을 피해 용장성을 배제함으로써 비유사성을 향상시키는 모드이다. 「비유사성 향상 모드」에서는 상술한 [비유사성의 향상(용장성의 배제)]의 방법을 이용하여, 화상의 조합의 경로 선택을 실행한다.
「키 포인트 전환 모드」는 동화상의 재생시에 BGM이 동시에 재생되는 것이며, BGM의 키 포인트에서 화상을 전환하는 모드이며, 랭크가 높은 화상이 키 포인트에서 전환되도록 하거나, 키 포인트에서 화상을 전환함으로써 화상의 전환이 단시간으로 되는 것을 억제하는 모드이다. 「키 포인트 전환 모드」에서는 [음성 동기 재생：키 포인트 동기 최적화]·[키 포인트 동기 최적화：고랭크 화상의 키 포인트 우선]·[키 포인트 동기 최적화：단시간 재생 화상 존재시의 재생 시간 조정]의 방법을 이용하여, 화상의 조합의 경로 선택을 실행한다.
화상 취득부(52)는 하이라이트 동화상의 대상으로 되는 복수의 후보 화상을 동화상 기억부(71)로부터 취득한다.
특징량 산출부(53)는 취득한 후보 화상마다 특징량을 산출한다. 본 실시형태에 있어서 특징량은 후보 화상을 화상 해석하여, 해석한 화상내에 있어서의 특징점 등에 의거하여 산출한다. 또, 특징량에 의거하여, 후보 화상의 스코어를 산출하고, 스코어에 따라 후보 화상의 랭크를 매긴다. 즉, 스코어와 랭크가 후보 화상에 붙여진다.
동화상 재생 시간 설정부(54)는 유저에 의해 입력부(18)를 통해 하이라이트 동화상의 최대 재생 시간(예를 들면, 6sec)을 설정한다.
화상 재생 시간 설정부(55)는 스코어에 의거하여 결정되는 후보 화상의 랭크에 따라, 동화상내에 있어서의 후보 화상의 개별 재생 시간을 설정한다. 또한, 후보 화상의 개별 재생 시간은 스코어나 랭크에 관계없이, 유저에 의해서 설정 가능하게 구성해도 좋다.
경로 설정부(56)는 화상의 촬영순과 설정된 후보 화상의 개별 재생 시간에 의거하여, 하이라이트 동화상의 개별 재생 시간과 후보 화상에 의해서 구성되는 매트릭스에 가능한 경로의 조합(배열)을 설정한다.
스코어 보정부(57)는 설정된 모드에 따라 스코어를 보정한다.
또한, 「비유사성 향상 모드」의 경우에는 유사도가 높은 프레임 화상이 연속된 경우에는 패널티를 곱한 스코어로 보정한다. 또, 「키 포인트 전환 모드」의 경우에는 키 포인트에서 클리핑한 경우에는 클리핑 후에 선택될 가능성이 있는 화상 중 랭크가 높은 것에, 랭크에 따른 보너스를 가산해서 스코어를 보정한다.
화상 선택부(58)는 적산 스코어가 가장 높아지는 경로를 선택하여, 경로를 구성하는 후보 화상을 선택한다. 또한, 「키 포인트 전환 모드」의 경우에는 클리핑해서 키 포인트에 맞춘 후의 남은 시간에 따라, 후보 화상을 선택한다. 단, 보정 후의 적산 스코어를 이용해서 경로를 선택한다. 또, 예를 들면, 개별 재생 시간이 0.5sec미만과 같이 짧게 되어 버리는 후보 화상이 있는 경우에는 경로의 상류에 있는 후보 화상의 친(1개 전의 후보 화상)의 재생 시간을 연장하여, 자(子)(다음의 후보 화상)가 키 포인트에서 전환되도록 한다.
동화상 생성부(59)는 화상 선택부(58)에 의해서 선택된 경로의 후보 화상을 설정된 최대 재생 시간에 들어가도록 구성한 하이라이트 동화상을 생성한다.
도 11은 도 10의 기능적 구성을 갖는 도 1의 촬상 장치(1)가 실행하는 하이라이트 동화상 생성 처리의 흐름을 설명하는 흐름도이다.
하이라이트 동화상 생성 처리는 유저에 의한 입력부(18)에의 하이라이트 동화상 생성 처리 개시의 조작에 의해 개시된다.
스텝 S1에 있어서, 모드 설정부(51)는 예를 들면, 유저에 의해 입력부(18)를통해 모드를 설정한다.
본 실시형태에서는 「노멀 모드」와, 「비유사성 향상 모드」와, 「키 포인트 전환 모드」의 모드가 설정 가능하게 된다.
「노멀 모드」는 설정된 동화상의 최대 재생 시간내에 들어가는 시간으로, 가장 높은 스코어로 되는 조합의 경로를 선택하고, 선택된 경로를 구성하는 화상을 프레임 화상으로서 선택하는 모드이다.
「비유사성 향상 모드」는 내용이 비슷한 유사도가 높은 화상이 선택되는 것을 피함으로써 용장성을 배제시키는 모드이다.
「키 포인트 전환 모드」는 동화상의 재생시에 BGM이 동시에 재생되는 것이며, BGM의 키 포인트에서 화상을 전환하는 모드이고, 랭크가 높은 화상이 키 포인트에서 전환되도록 하거나, 키 포인트에서 화상을 전환함으로써 화상의 재생 시간이 단시간으로 되는 것을 억제하는 모드이다.
스텝 S2에 있어서, 화상 취득부(52)는 하이라이트 동화상의 대상으로 되는 복수의 후보 화상을 동화상 기억부(71)로부터 취득한다.
스텝 S3에 있어서, 특징량 산출부(53)는 취득한 후보 화상마다 특징량을 산출한다. 본 실시형태에 있어서 특징량은 후보 화상을 화상 해석하고, 해석한 화상내에 있어서의 특징점 등에 의거하여 산출한다. 그 후, 특징량에 의거하여, 후보 화상의 스코어를 산출하고, 스코어에 따라 후보 화상의 랭크를 매긴다. 즉, 스코어와 랭크가 후보 화상에 붙여진다.
스텝 S4에 있어서, 동화상 재생 시간 설정부(54)는 유저에 의해 입력부(18)를 통해 하이라이트 동화상의 최대 재생 시간(예를 들면, 6sec)을 설정한다.
스텝 S5에 있어서, 화상 재생 시간 설정부(55)는 스코어에 의거하여 결정되는 후보 화상의 랭크에 따라, 동화상내에 있어서의 후보 화상의 개별 재생 시간을 설정한다. 또한, 후보 화상의 재생 시간은 스코어나 랭크에 관계없이, 유저에 의해서 설정 가능하게 구성해도 좋다.
스텝 S6에 있어서, 경로 설정부(56)는 화상의 촬영순과 설정된 후보 화상의 개별 재생 시간에 의거하여, 하이라이트 동화상의 최대 재생 시간과 후보 화상에 의해서 구성되는 매트릭스에 가능한 경로의 조합(배열)을 설정한다.
스텝 S7에 있어서, 스코어 보정부(57)는 설정된 모드에 따라 스코어를 보정한다.
「비유사성 향상 모드」의 경우에는 유사도가 높은 프레임 화상이 연속된 경우에는 패널티를 곱한 스코어로 보정한다.
「키 포인트 전환 모드」의 경우에는 키 포인트에서 클리핑한 경우에는 클리핑 후에 선택될 가능성이 있는 화상 중 랭크가 높은 것에, 랭크에 따른 보너스를 가산해서 스코어를 보정한다.
　스텝 S8에 있어서, 화상 선택부(58)는 적산 스코어가 가장 높아지는 경로를 선택하여, 경로를 구성하는 후보 화상을 선택한다.
「키 포인트 전환 모드」의 경우에는 클리핑해서 키 포인트에 맞춘 후의 남은 재생 시간에 따라, 후보 화상을 선택한다. 이 경우, 보정 후의 적산 스코어를 이용해서 경로를 선택한다. 또, 예를 들면, 개별 재생 시간이 0.5sec미만의 짧은 재생 시간이 되어 버리는 후보 화상이 있는 경우에는 경로의 상류에 있는 후보 화상의 친(1개 전의 후보 화상)의 별도의 재생 시간을 연장하여, 자(다음의 후보 화상)가 키 포인트에서 전환되도록 한다.
스텝 S9에 있어서, 동화상 생성부(59)는 화상 선택부(58)에 의해서 선택된 경로의 후보 화상을 설정된 최대 재생 시간에 들어가도록 구성한 하이라이트 동화상을 생성한다.
그 후, 하이라이트 동화상 생성 처리는 종료한다.
이상과 같이 구성되는 촬상 장치(1)는 화상 취득부(52)와, 특징량 산출부(53)과, 동화상 재생 시간 설정부(54)와, 화상 재생 시간 설정부(55)와, 화상 선택부(58)를 구비한다.
화상 취득부(52)는 복수의 화상을 취득한다.
특징량 산출부(53)는 화상 취득부(52)에 의해서 취득된 복수의 화상을 평가한다.
동화상 재생 시간 설정부(54)는 복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정한다.
화상 재생 시간 설정부(55)는 복수의 화상의 각각에 개별 재생 시간을 설정한다.
화상 선택부(58)는 복수의 화상의 평가 결과와 개별 재생 시간에 의거하여, 복수의 화상으로부터 재생 총 시간에 따른 소정 수의 화상을 선택한다.
따라서, 촬상 장치(1)에 있어서는 선택 대상의 화상의 개별 재생 시간이 다른 경우에도, 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다.
화상 선택부(58)는 선택되는 화상의 평가 결과가 높고, 또한 선택되는 복수의 화상의 개별 재생 시간의 합계 시간이 재생 총 시간을 넘지 않는 범위로 되도록, 소정 수의 화상을 선택한다.
따라서, 촬상 장치(1)에 있어서는 설정한 시간내로 되도록 화상을 선택할 수 있다.
화상에 있어서의 유사도를 판정하는 스코어 보정부(57)를 더 구비한다.
화상 선택부(58)는 스코어 보정부(57)에 의한 판정 결과에 의거하여, 화상을 선택한다.
따라서, 촬상 장치(1)에 있어서는 유사도에 따라, 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다.
스코어 보정부(57)는 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보에 의거하여, 유사도를 판정한다.
따라서, 촬상 장치(1)에 있어서는 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보에 관계하는 화상의 유사도를 판정할 수 있다.
스코어 보정부(57)는 유사도를 판정하는 대상의 화상에 있어서 화상 선택부(58)에 의해 선택되는 순번이 가까운 전후의 화상을 비교 대상으로 한다.
따라서, 촬상 장치(1)에 있어서는 선택되는 순번이 가까운 화상의 유사도를 판정할 수 있다.
화상 재생 시간 설정부(55)는 특징량 산출부(53)에 의한 평가 결과에 의거하여 개별 재생 시간을 설정한다.
따라서, 촬상 장치(1)에 있어서는 평가 결과에 관계가 있는 개별 재생 시간으로 할 수 있다.
특징량 산출부(53)는 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보에 의거하여 화상을 평가한다.
따라서, 촬상 장치(1)에 있어서는 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보에 관계하는 평가를 실행할 수 있다.
특징량 산출부(53)는 복수종의 다른 관점에서 화상을 평가한다.
따라서, 촬상 장치(1)에 있어서는 복수종의 다른 관점에서 화상을 종합적으로 평가할 수 있다.
화상 선택부(58)는 촬영되는 화상의 촬영 타이밍에 관한 정보가 분산하도록 소정 수의 화상을 선택한다.
따라서, 촬상 장치(1)에 있어서는 선택 대상으로 되는 화상을 분산한 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다.
또, 촬상 장치(1)는 재생 개시 타이밍을 설정하는 모드 설정부(51)를 구비한다.
화상 선택부(58)는 모드 설정부(51)에 의해서 설정된 재생 개시 타이밍을 고려하여, 소정 수의 화상을 선택한다.
따라서, 촬상 장치(1)에 있어서는 설정된 재생 개시 타이밍에 맞도록 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다.
모드 설정부(51)는 악음에 대응하도록 재생 개시 타이밍을 설정한다.
따라서, 촬상 장치(1)에 있어서는 악음에 맞도록 동화상 생성을 위한 화상 선택을 가능하게 할 수 있다. 또한, 복수의 악음에 의해서 유기적으로 구성된 것이 악곡으로 된다.
또한, 본 발명은 상술한 실시형태에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.
상술한 실시형태에서는 하이라이트 동화상의 제약으로서 동화상의 최대 재생 시간으로 했지만, 이것에 한정되지 않고, 예를 들면, 동화상을 구성하는 프레임 화상의 최대 개수를 제약 조건으로 하도록 해도 좋다.
또, 상술한 실시형태에서는 복수의 정지화상을 후보 화상으로서 취득하고, 취득한 후보 화상으로부터 화상을 선택하여 하이라이트 동화상을 생성하도록 구성했지만, 예를 들면, 1개 또는 복수의 동화상에 있어서, 동화상을 구성하는 프레임 화상을 후보 화상으로 해도 좋다.
또, 하이라이트 동화상 대신에, 복수의 정지화상이 1개의 화상으로 되어 있는 바와 같은 화상을 생성하도록 구성해도 좋다.
또, 상술한 실시형태에서는 선택하는 화상의 개별 재생 시간을 합계한 경우에, 합계한 합계 재생 시간이 설정한 최대 재생 시간을 넘지 않는 최대의 재생 시간으로 되도록 구성했지만 이것에 한정되지 않는다. 예를 들면, 설정한 재생 시간(재생 총 시간) 부근에 있어서 최대의 스코어로 되는 바와 같은 화상을 선택하도록 구성해도 좋다.
또, 상술한 실시형태에서는 유사도가 높은 화상을 연속해서 선택하지 않도록 구성했지만 이것에 한정되지 않고, 유사도가 높은 화상을 적극적으로 선택하도록 구성해도 좋다.
또, 유사도는 예를 들면, 화상에 있어서의 구도, 화각, 색 등의 화상의 내용이나, 촬영 시간, 촬영시의 센서 정보 등의 촬영시의 정보에 의거하여 결정할 수 있다.
또, 화상의 평가에 있어서도, 예를 들면, 화상에 있어서의 구도, 화각, 색 등의 화상의 내용이나, 촬영 시간, 촬영시의 센서 정보 등의 촬영시의 정보에 의거하여 실행할 수 있다. 또, 화상의 평가는 화상 단체에 있어서 실행해도 좋지만, 다른 화상과의 비교에 있어서 실행하도록 구성해도 좋다. 예를 들면, 화상의 내용에서 보아 화상 단체로서는 높은 평가가 되지만, 동 시기에 동일한 바와 같은 화상이 집중한 경우에는 다른 화상과의 관계로부터 동 시기에 가장 평가가 높은 화상을 제외하고 평가를 내리도록 구성해도 좋다.
또, 상술한 실시형태에서는 전환 포인트는 악곡의 내용에 의거하여 설정되도록 구성했지만 이것에 한정되지 않는다. 전환 포인트는 예를 들면, 악곡의 내용으로부터 복수의 후보를 들 수 있고, 해당 후보의 각각에 대해, 중요도를 할당한다. 전환 포인트는 할당된 중요도 중, 소정의 중요도 이상의 후보를 전환 포인트로서 설정한다. 또, 설정된 전환 포인트에 대해, 할당된 중요도에 따라, 전환하는지의 여부를 판단해서 화상을 선택하도록 구성해도 좋다.
또, 상술한 실시형태에서는 최대 재생 시간은 유저가 임의로 설정하도록 구성하고 있었지만, 이것에 한정되지 않고, BGM으로서 사용하는 악곡의 길이를 최대 재생 시간으로서 설정하도록 구성할 수 있다.
또, 상술한 실시형태에서는 동화상과 함께 재생하는 악곡의 내용에 의거하여 전환 포인트가 설정되도록 구성했지만, 예를 들면 선택되는 화상의 개수에 따라, 전환 포인트를 설정하도록 구성해도 좋다. 이 경우, 악곡의 내용에 의거하여 전환 포인트의 수가 선택되는 화상보다 많은 경우에는 예를 들면, 내용의 변화가 적은 포인트를 전환 포인트로부터 어긋나도록 하거나, 악곡의 내용에 의거하여 전환 포인트의 수가 선택되는 화상보다 적은 경우에는 내용의 변화가 다음으로 많은 포인트를 전환 포인트로서 설정하도록 구성할 수 있다. 또, 전환 포인트는 전반·중반·후반과 재생 시기에 따라 수를 증감시켜도 좋다.
또, 상술한 실시형태에서는 본 발명이 적용되는 촬상 장치(1)는 디지털카메라를 예로서 설명했지만, 특히 이것에 한정되지 않는다.
예를 들면, 본 발명은 하이라이트 동화상 생성 처리 기능을 갖는 전자기기 일반에 적용할 수 있다. 예를 들면, 본 발명은 노트형의 퍼스널 컴퓨터, 프린터, 텔레비젼 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 스마트 폰, 휴대형 게임기 등에 적용 가능하다.
상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.
환언하면, 도 10의 기능적 구성은 예시에 불과하며, 특히 한정되지 않는다.즉, 상술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 촬상 장치(1)에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해 어떠한 기능 블록을 이용할 것인지는 특히 도 10의 예에 한정되지 않는다.
또, 1개의 기능 블록은 하드웨어 단체로 구성해도 좋고, 소프트웨어 단체로 구성해도 좋으며, 그들 조합으로 구성해도 좋다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.
컴퓨터는 전용의 하드웨어에 조립되어 있는 컴퓨터이어도 좋다. 또, 컴퓨터는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용의 퍼스널 컴퓨터이어도 좋다.
이러한 프로그램을 포함하는 기록 매체는 유저에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 1의 리무버블 미디어(31)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어(31)는 예를 들면, 자기 디스크(플로피 디스크 포함), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), Blu-ray(등록상표) Disc(블루레이 디스크) 등에 의해 구성된다. 광자기 디스크는 MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체는 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(12)이나, 도 1의 기억부(20)에 포함되는 하드 디스크 등으로 구성된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 그 순서에 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
이상, 본 발명의 몇 개의 실시형태에 대해 설명했지만, 이들 실시형태는 예시에 불과하며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 밖의 다양한 실시형태를 취하는 것이 가능하고, 또한 본 발명의 요지를 이탈하지 않는 범위에서, 생략이나 치환 등 각종 변경을 실행할 수 있다. 이들 실시형태나 그 변형은 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 청구의 범위에 기재된 발명과 그 균등의 범위에 포함된다.
1; 촬상 장치, 11; CPU,
12; ROM, 13; RAM,
14; 버스, 15; 입출력 인터페이스,
16; 촬상부, 17; 센서부,
18; 입력부, 19; 출력부,
20; 기억부, 21; 통신부,
22; 드라이브, 31; 리무버블 미디어,
51; 모드 설정부, 52; 화상 취득부,
53; 특징량 산출부, 54; 동화상 재생 시간 설정부,
55; 화상 재생 시간 설정부, 56; 경로 설정부,
57; 스코어 보정부, 58; 화상 선택부,
59; 동화상 생성부, 71; 화상 기억부

Claims (20)

  1. 복수의 화상을 취득하는 화상 취득 수단과,
    상기 복수의 화상을 평가하는 평가 수단과,
    복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 수단과,
    상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단과,
    상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 수단을 구비하고,
    상기 선택 수단은 선택되는 상기 화상의 평가 결과가 높고, 또한 선택되는 상기 복수의 화상의 상기 개별 재생 시간의 합계 시간이 상기 재생 총 시간을 넘지 않는 범위로 되도록, 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 복수의 화상간에 있어서의 유사도를 판정하는 유사도 판정 수단을 더 구비하고,
    상기 선택 수단은 상기 유사도 판정 수단에 의한 판정 결과에 의거하여, 상기 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 3 항에 있어서,
    상기 유사도 판정 수단은 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보의 정보에 의거하여, 상기 유사도를 판정하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 3 항에 있어서,
    상기 유사도 판정 수단은 유사도를 판정하는 대상의 화상에 있어서 상기 선택 수단에 의해 선택되는 순번이 가까운 전후의 화상을 비교 대상으로 하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 1 항에 있어서,
    상기 평가 수단은 화상의 내용에 관련된 정보, 또는 촬영의 타이밍에 관련된 정보에 의거하여 상기 화상을 평가하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 1 항에 있어서,
    상기 선택 수단은 촬영되는 화상의 촬영 타이밍에 관련된 정보가 분산되도록 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 1 항에 있어서,
    상기 재생 총 시간 설정 수단에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 수단을 더 구비하고,
    상기 선택 수단은 상기 전환 시점 설정 수단에 의해서 설정된 상기 전환 시점을 고려하여, 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 8 항에 있어서,
    상기 전환 시점 설정 수단은 악음에 대응하도록 상기 전환 시점을 설정하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 1 항, 및 제 3 항 내지 제 9 항 중의 어느 한 항에 있어서,
    상기 개별 재생 시간 설정 수단은 상기 평가 수단에 의한 평가 결과에 의거하여 상기 개별 재생 시간을 설정하는 것을 특징으로 하는 화상 처리 장치.
  11. 복수의 화상을 취득하는 화상 취득 스텝과,
    상기 화상 취득 스텝에 의해서 취득된 상기 복수의 화상을 평가하는 평가 스텝과,
    복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 스텝과,
    상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 스텝과,
    상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 스텝을 포함하고,
    상기 선택 스텝은 선택되는 상기 화상의 평가 결과가 높고, 또한 선택되는 상기 복수의 화상의 상기 개별 재생 시간의 합계 시간이 상기 재생 총 시간을 넘지 않는 범위로 되도록, 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 선택 방법.
  12. 기억 매체에 기억된 컴퓨터 프로그램으로서,
    컴퓨터를,
    복수의 화상을 취득하는 화상 취득 수단,
    상기 복수의 화상을 평가하는 평가 수단,
    복수의 화상으로 이루어지는 데이터의 재생 총 시간을 설정하는 재생 총 시간 설정 수단,
    상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단,
    상기 복수의 화상의 평가 결과와 상기 개별 재생 시간에 의거하여, 상기 복수의 화상으로부터 상기 재생 총 시간에 따른 소정 수의 화상을 선택하는 선택 수단으로서 기능시키고,
    선택되는 상기 화상의 평가 결과가 높고, 또한 선택되는 상기 복수의 화상의 상기 개별 재생 시간의 합계 시간이 상기 재생 총 시간을 넘지 않는 범위로 되도록, 상기 소정 수의 화상을 선택하는 상기 선택 수단으로서 기능시키는 것을 특징으로 하는 기억 매체에 기억된 컴퓨터 프로그램.
  13. 복수의 화상을 취득하는 취득 수단과,
    상기 취득 수단에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단과,
    재생 총 시간을 설정하는 재생 총 시간 설정 수단과,
    상기 재생 총 시간 설정 수단에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 수단과,
    상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 수단과,
    화상을 평가하는 평가 수단을 구비하고,
    상기 선택 수단은 상기 평가 수단에 의한 평가 결과가 높은 화상이 상기 전환 시점에 할당되도록 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  14. 제 13 항에 있어서,
    상기 화상의 개별 재생 시간이 소정의 시간보다 적은 경우에는 해당 화상 자체, 또는 전후의 어느 하나의 화상의 개별 재생 시간을 변경하는 재생 시간 조정 수단을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  15. 제 13 항에 있어서,
    상기 전환 시점 설정 수단은 상기 전환 시점의 적어도 1개에 중요도를 설정하는 것을 특징으로 하는 화상 처리 장치.
  16. 제 15 항에 있어서,
    상기 선택 수단은 소정의 중요도를 만족시키지 않는 상기 전환 시점에서의 화상의 전환을 실행하지 않도록 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  17. 삭제
  18. 제 13 항 내지 제 16 항 중의 어느 한 항에 있어서,
    상기 개별 재생 수단은 취득 수단에 의해서 취득된 상기 복수의 화상의 각각에 다른 개별 재생 시간을 설정하는 것을 특징으로 하는 화상 처리 장치.
  19. 복수의 화상을 취득하는 취득 스텝과,
    상기 취득 스텝에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 스텝과,
    재생 총 시간을 설정하는 재생 총 시간 설정 스텝과,
    상기 재생 총 시간 설정 스텝에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 스텝과,
    상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 스텝을 포함하고,
    상기 선택 스텝은 평가 수단에 의한 평가 결과가 높은 화상이 상기 전환 시점에 할당되도록 상기 소정 수의 화상을 선택하는 것을 특징으로 하는 화상 처리 방법.
  20. 기억 매체에 기억된 컴퓨터 프로그램으로서,
    컴퓨터를,
    복수의 화상을 취득하는 취득 수단,
    상기 취득 수단에 의해서 취득된 상기 복수의 화상의 각각에 개별 재생 시간을 설정하는 개별 재생 시간 설정 수단,
    재생 총 시간을 설정하는 재생 총 시간 설정 수단,
    상기 재생 총 시간 설정 수단에 의해 설정된 상기 재생 총 시간에 있어서 화상의 전환 시점을 설정하는 전환 시점 설정 수단,
    상기 전환 시점에 의거하여, 상기 재생 총 시간내로 되도록 상기 복수의 화상으로부터 소정 수의 화상을 선택하는 선택 수단으로서 기능시키고,
    평가 수단에 의한 평가 결과가 높은 화상이 상기 전환 시점에 할당되도록 상기 소정 수의 화상을 선택하는 상기 선택 수단으로서 기능시키는 것을 특징으로 하는 기억 매체에 기억된 컴퓨터 프로그램.
KR1020160134903A 2015-11-18 2016-10-18 화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램 KR102646124B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-226133 2015-11-18
JP2015226133A JP6418136B2 (ja) 2015-11-18 2015-11-18 画像処理装置、画像選択方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20170058266A KR20170058266A (ko) 2017-05-26
KR102646124B1 true KR102646124B1 (ko) 2024-03-12

Family

ID=58817429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160134903A KR102646124B1 (ko) 2015-11-18 2016-10-18 화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램

Country Status (3)

Country Link
JP (1) JP6418136B2 (ko)
KR (1) KR102646124B1 (ko)
CN (1) CN107018348B (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094441A1 (en) * 2007-09-05 2010-04-15 Daisuke Mochizuki Image selection apparatus, image selection method and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
US8547114B2 (en) * 2006-11-14 2013-10-01 Cypress Semiconductor Corporation Capacitance to code converter with sigma-delta modulator
JP2010177731A (ja) * 2009-01-27 2010-08-12 Nikon Corp 画像再生装置及び撮像装置
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置
JP2011082915A (ja) * 2009-10-09 2011-04-21 Sony Corp 情報処理装置、画像抽出方法及び画像抽出プログラム
EP2577951A1 (en) * 2010-05-26 2013-04-10 Sony Ericsson Mobile Communications AB Camera system and method for taking photographs that correspond to user preferences
JP6012405B2 (ja) * 2012-10-31 2016-10-25 株式会社三共 スロットマシン
CN104408687B (zh) * 2014-10-31 2018-07-27 酷派软件技术（深圳）有限公司 一种图片播放的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094441A1 (en) * 2007-09-05 2010-04-15 Daisuke Mochizuki Image selection apparatus, image selection method and program

Also Published As

Publication number Publication date
KR20170058266A (ko) 2017-05-26
JP6418136B2 (ja) 2018-11-07
JP2017098638A (ja) 2017-06-01
CN107018348B (zh) 2020-02-07
CN107018348A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
JP5028225B2 (ja) 画像合成装置、画像合成方法、およびプログラム
JP5451749B2 (ja) 撮像装置、集積回路、撮像方法、プログラム及び記録媒体
US20090073304A1 (en) Imaging apparatus, imaging apparatus control method, and computer program
US20140153900A1 (en) Video processing apparatus and method
KR102420094B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
US9723201B2 (en) Image capturing apparatus and control method therefor
JP5879831B2 (ja) 電子カメラおよび画像処理プログラム
US10741214B2 (en) Image processing apparatus that selects images, image processing method, and storage medium
KR101665175B1 (ko) 화상 취득 장치, 화상 취득 방법 및 기록매체
US10762395B2 (en) Image processing apparatus, image processing method, and recording medium
US10658006B2 (en) Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium
KR102646124B1 (ko) 화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램
CN104935807A (zh) 摄像装置以及摄像方法
JP6720509B2 (ja) 画像評価装置、画像評価方法及びプログラム
JP2017098639A (ja) 画像処理装置、画像選択方法及びプログラム
JP5948960B2 (ja) カメラ、画像処理装置及びプログラム
JP6213619B2 (ja) カメラおよびプログラム
US20230269472A1 (en) Image processing apparatus, image capturing apparatus, control method for controlling image processing apparatus, and storage medium
JP2012235481A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6424620B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2014138388A (ja) 撮像装置
JP6555978B2 (ja) 画像処理装置、その制御方法およびプログラム
CN116438792A (zh) 信息处理设备、信息处理方法及程序
JP2018026838A (ja) カメラ、画像処理装置
JP2018166314A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161018

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210915

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161018

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230728

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240214

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240306

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240307

End annual number: 3

Start annual number: 1

PG1601 Publication of registration