KR20070040313A - 화상 처리 장치 - Google Patents

화상 처리 장치 Download PDF

Info

Publication number
KR20070040313A
KR20070040313A KR1020060098575A KR20060098575A KR20070040313A KR 20070040313 A KR20070040313 A KR 20070040313A KR 1020060098575 A KR1020060098575 A KR 1020060098575A KR 20060098575 A KR20060098575 A KR 20060098575A KR 20070040313 A KR20070040313 A KR 20070040313A
Authority
KR
South Korea
Prior art keywords
frame
scene
image
moving image
unit
Prior art date
Application number
KR1020060098575A
Other languages
English (en)
Inventor
카나메 오가와
Original Assignee
소니 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시키가이샤 filed Critical 소니 가부시키가이샤
Publication of KR20070040313A publication Critical patent/KR20070040313A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Abstract

동화상(動畵像; moving image)에 대해 목적으로 하는 대상물(對象物)이 등장하는 1신(scene; 장면)을 적확(的確; accurately)하게 검출한다.
영역 선택 접수부(受付部; receiver)(601)에서, 동화상 파일 보존유지부(保持部; storage unit)(231)에 보존유지된 동화상을 구성하는 어느것인가(any)의 프레임 및 그 프레임의 영역의 선택을 접수한다. 선택된 프레임 및 그 프레임의 영역에 의거해서, 템플레이트(template) 화상 생성부(312)는 템플레이트 화상을 생성한다. 화상 대조확인부(照合部; matching unit)(313)는, 템플레이트 화상과 유사(類似; similar)한 화상을 포함하는 프레임을 동화상 파일 보존유지부(231)로부터 탐색(探索; search)한다. 템플레이트 화상에 유사 화상을 포함하는 프레임이 탐색되면, 신 변화(scene change) 검출부(314)는 그 프레임의 전후에 시계열(時系列; time sequence)로 늘어선(배열된) 프레임을 취득해서, 서로 인접(隣合)하는 프레임에서의 각 화소의 화소값(畵素値)의 분포의 차분(差分)의 적산값(積算値)을 산출한다. 그 적산값이 소정의 임계값(threshold value)을 넘(超)은 경우에 신의 변화가 있었던 것으로 해서 신이 검출된다.
동화상 파일 보존유지부, 프레임 축소부, 템플레이트 화상 생성부, 화상 대조확인부, 신 변화 검출부, 신 변화 판단부, 신 정보 테이블, 신 시간 위치 표시 생성부, 영역 선택 접수부.

Description

화상 처리 장치{IMAGE PROCESSING APPARATUS}
도 1은 본 발명의 실시 형태에 있어서의 촬상 장치(100)의 1예인 촬상 장치(100a 및 100b)의 외관도,
도 2는 본 발명의 실시 형태에 있어서의 촬상 장치(100)의 구성을 도시하는 도면,
도 3은 본 발명의 실시 형태에 있어서의 신 검출 기능의 구성을 도시하는 도면,
도 4는 본 발명의 실시 형태에 있어서 템플레이트 화상의 영역을 선택하는 모습을 도시하는 도면,
도 5는 본 발명의 실시 형태에 있어서의 템플레이트 화상 생성의 이미지를 도시하는 도면,
도 6은 프레임(633)과 템플레이트 화상(631)을 대조확인하는 모습을 도시하는 도면,
도 7은 본 발명의 실시 형태에 있어서의 신 검출의 모습을 도시하는 도면,
도 8은 본 발명의 실시 형태에 있어서의 프레임을 구성하는 각 화소의 화소값 분포의 생성 모습을 도시하는 도면,
도 9는 동화상 파일을 구성하는 프레임의 집합인 프레임군과 축소된 프레임과의 대응을 도시하는 도면,
도 10은 본 발명의 실시 형태에 있어서의 신 정보 테이블(320)의 내용을 도시하는 도면,
도 11은 본 발명의 실시 형태에 있어서의 신 시간 위치 표시를 도시하는 도면,
도 12는 본 발명의 실시 형태에 있어서의 신의 결합 모습을 도시하는 도면,
도 13은 본 발명의 실시 형태에 있어서의 신 검출의 흐름을 도시하는 도면.
[부호의 설명]
10:　촬상부, 11: 촬상 소자부, 12:　촬상 제어부, 13:　화상 처리부, 20: 기록 재생 처리부, 21:　화상 부호화/복호부, 22: 기록 제어부, 23:　SDRAM, 30:　제어부, 31:　시스템 제어부, 32:　입력 제어부, 33:　표시 제어부, 34:　출력 화상 처리부, 35:　외부 기기 제어부, 36:　네트워크 제어부, 40:　버스, 50:　키 입력부, 60:　터치 패널부, 61:　표시부, 62:　터치 패널 입력부, 70:　기억 장치, 80:　외부 기기, 90:　네트워크망, 100, 100a, 100b: 촬상 장치, 110a, 110b:　렌즈부, 120a:　셔터부, 130a, 130b:　디스플레이부, 231: 동화상 파일 보존유지부, 311:　프레임 축소부, 312:　템플레이트 화상 생성부, 313:　화상 대조확인부, 314:　신 변화 검출부,　315:　프레임 취득부, 316:　화소값 분포 생성부, 317:　분포 차분 적산값 산출부, 318:　신 변화 판단부, 319:　동화상 파일 정보 취득부, 320:　신 정보 테이블, 321:　신 시간 위치 표시 생성부, 601:　영역 선택 접수부.
본 발명은, 신(scene; 장면)의 검출을 행하는 화상 처리 장치에 관한 것으로서, 특히 선택된 대상물(對象物; object)을 포함하는 신의 검출을 행하는 화상 처리 장치 및, 이들에서의 처리 방법 및 해당(當該) 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
근년(近年; recent years)에, 메모리의 가격 저감이나 메모리에 관한 기술의 발달에 의해, 디지털 카메라 및 디지털 비디오 카메라 등의 촬상 장치에서의 메모리의 용량(容量)은 증가하고 있다. 이것에 따라서, 촬상 장치에 보존유지(保持; store)되는 동화상(動畵像; moving image)의 수(數)도 증가하고 있다. 이와 같은 상황하에서는, 유저가 열람(閱覽)하고 싶은 동화상의 소정의 신을 찾아내는(探出; find) 기술이 필요하게 된다. 종래, 디지털 스틸 카메라 및 디지털 비디오 카메라 등의 촬상 장치에서 촬상한 동화상으로부터 유저가 소망(所望; desired)하는 대상물을 중심으로 한 신을 검출하는 것은 어려웠다.
이와 같은 문제점을 해결하는 것으로서, 동화상을 구성하는 프레임의 영역을 선택해서 그 영역으로 둘러싸인 화상이 포함되는 프레임을 찾아내고, 그 찾아낸 프레임이 연속하고 있다고 생각되는 구간(區間)을 하나의 신으로서 선정(選定; select)해서, 그 구간에 키워드를 부여하여 동화상의 신의 검색에 이용하는 기술이 제안되어 있다(예를 들면, 특허 문헌 1 참조). 이 기술에 따르면, 하나의 신을 선 정할 때에, 찾아낸 프레임이 연속하는 부분 구간 끼리의 간격 등에 소정의 조건을 설정하고, 그 소정의 조건이 충족된 경우에 그 부분 구간 끼리를 결합(結合; link)해서 하나의 신으로 하는 것으로 하고 있다. 이 기술에서는, 부분 구간 끼리를 결합하는 소정의 조건으로서, 어떤(one) 부분 구간과 다른(他; other) 부분 구간 사이에 위치하는 프레임의 매수(枚數)가 소정 매수 이하인 것 등이 개시되어 있다. 또, 유저가 소망하는 대상물의 화상을 템플레이트 화상으로 하고, 그 템플레이트 화상과 동화상을 구성하는 프레임을 대조확인(照合; match, collate)해서 그 템플레이트 화상과 유사(類似; similar)한 화상을 포함하는 프레임의 집합(集; group)을 하나의 신으로 하는 기술도 제안되어 있다.
[특허 문헌 1] 일본 특개평(特開平) 제5-204990호 공보(도 1)
상술한 찾아낸 프레임이 연속하고 있다고 생각되는 구간을 하나의 신으로서 선정하는 기술에서는, 소정의 조건, 예를 들면 어떤 부분 구간과 다른 부분 구간 사이에 위치하는 프레임의 매수가 소정 매수 이하인 것이 충족되고 있는 경우에는 신의 내용에 관계없이 하나의 신으로서 결합되어 버리기 때문에, 경우에 따라서는 명확하게 무관계(無關係)한 장면(場面; scene)까지 하나의 신에 포함시켜져 버릴 우려가 있다. 또, 템플레이트 화상과 동화상을 구성하는 프레임을 대조확인해서 그 템플레이트 화상과 유사한 화상을 포함하는 프레임의 집합을 하나의 신으로 하는 기술에서는, 동화상에서 피사체가 일시적(一時的)으로 별도(別; different)의 방향 을 향한 등의 프레임은 템플레이트 화상과 유사한 화상을 포함하는 프레임으로서 다루어지지 않기 때문에, 본래 한 덩어리(一塊; one group)이어야 할 신이 분할(分割; split)되어 버리는 일이 있을 수 있다.
그래서, 본 발명은, 동화상에서 목적으로 하는 대상물이 등장하는 1신을 적확(的確; accurately)하게 검출하는 화상 처리 장치를 제공하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위해서 이루어진 것이며, 그 제1 측면(側面; embodiment)은, 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단과, 상기 동화상 파일을 구성하는 프레임의 어느것인가(any) 하나에 대한 소정 영역의 선택을 접수(受付; receive)하는 영역 선택 접수 수단과, 상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수단과, 상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색(探索; search)하는 화상 대조확인 수단과, 상기 화상 대조확인 수단에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화(scene change) 검출 수단을 구비하는 것을 특징으로 하는 화상 처리 장치이다. 이것에 의해, 동화상에서 유저가 소망하는 대상물이 등장하는 1신을 적확하게 검출시킨다고 하는 작용을 가져온다.
또, 이 제1 측면에 있어서, 상기 화상 대조확인 수단은, 상기 프레임의 취득에 있어서 시계열(時系列; time sequence)로 소정수 걸러(置; 일정한 간격을 두고 일이 거듭됨을 나타냄) 늘어선(배열된) 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 것을 특징으로 하는 것이다. 이것에 의해, 유저가 소망하는 대상물이 포함되는 프레임의 탐색을 고속으로 행하게 한다고 하는 작용을 가져온다.
또, 이 제1 측면에 있어서, 상기 신 변화 검출 수단은, 상기 화상 대조확인 수단에서 탐색된 프레임의 전후(前後)에 시계열(時系列; time sequence)로 늘어선 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 프레임 취득 수단과, 상기 프레임 취득 수단에 의해서 취득된 프레임을 구성하는 각 화소의 화소값(畵素値)의 분포를 생성하는 화소값 분포 생성 수단과, 상기 시계열로 서로 인접(隣合)하는 프레임에서의 상기 화소값의 분포의 차분(差分)을 적산한 분포 차분 적산값(積算値)을 산출하는 분포 차분적산값 산출 수단과, 상기 분포 차분 적산값이 소정의 임계값을 넘(超)고 있는지 여부를 판단해서 상기 분포 차분 적산값이 소정의 임계값을 넘고 있는 경우에는 상기 신이 변화한 것으로 하여 상기 소정의 임계값을 넘은 상기 분포 차분 적산값에 대응하는 프레임을 상기 신의 개시 프레임 또는 종료 프레임으로 판단하는 신 변화 판단 수단을 구비하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상을 구성하는 프레임의 각 화소의 화소값의 분포라고 하는 시각적(視覺的) 요소(要素)에 의거해서 유저가 소망하는 대상물이 등장하는 1신을 적확하게 검출시킨다고 하는 작용을 가져온다. 동화상을 구성하는 프레임의 각 화소의 화소값의 분포라고 하는 시각적 요소를 대상물이 등장하는 1신의 검출에 이용 하면, 유저의 감각에 적합한 신의 검출이 가능하게 된다.
또, 상기 프레임 취득 수단은, 상기 화상 대조확인 수단에서 탐색된 프레임의 전후에 시계열로 소정수 걸러 늘어선 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상에서 유저가 소망하는 대상물이 등장하는 1신의 검출을 고속으로 행하게 한다고 하는 작용을 가져온다.
또, 상기 화소값 분포 생성 수단은, 상기 화소값으로서 YUV를 이용해서 나타내어지는 양(量)을 이용하고, 상기 프레임 취득 수단에 의해서 취득된 프레임을 구성하는 각 화소의 YUV 각각의 성분의 분포를 생성하고, 상기 분포 차분 적산값 산출 수단은, 상기 분포 차분 적산값으로서, 상기 시계열로 서로 인접하는 프레임에서의 상기 YUV 각각의 성분에 관한 분포의 차분을 상기 YUV 각각의 성분마다(成分每) 적산한 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값을 산출하고, 상기 신 변화 판단 수단은, 상기 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값의 각각에 대해서 설정된 상기 소정의 임계값을 넘고 있는지 여부를 판단해서 상기 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값의 어느것인가 하나가 소정의 임계값을 넘고 있는 경우에는 상기 신이 변화한 것으로 하여 상기 소정의 임계값을 넘은 상기 Y성분 분포차 적산값, U성분 분포차 적산값 또는 V성분 분포차 적산값에 대응하는 프레임을 상기 신의 개시 프레임 또는 종료 프레임으로 판단하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상을 구성하는 프레임의 각 화소의 YUV의 분포라고 하는 시각적 요소에 의거해 서 유저가 소망하는 대상물이 등장하는 1신을 적확하게 검출시킨다고 하는 작용을 가져온다.
또, 이 제1 측면에 있어서, 상기 동화상 파일을 구성하는 프레임을 축소하는 프레임 축소 수단을 더 구비하고, 상기 동화상 파일 보존유지 수단은, 상기 프레임 축소 수단에서 축소된 프레임을 더 보존유지하고, 상기 영역 선택 접수 수단은, 상기 축소된 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하고, 상기 화상 대조확인 수단은, 상기 축소된 프레임과 상기 템플레이트 화상을 대조확인해서 상기 템플레이트 화상과 유사한 화상을 포함하는 상기 축소된 프레임을 탐색하고, 상기 신 변화 검출 수단은, 상기 축소된 프레임을 이용해서 상기 화상 대조확인 수단에서 탐색된 축소된 프레임을 포함하는 신의 개시 및 종료를 검출하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상에서 유저가 소망하는 대상물이 등장하는 1신의 검출을 고속으로 행하게 한다고 하는 작용을 가져온다. 즉, 신의 검출에 이용하는 프레임은 축소된 프레임을 이용하기 때문에, 신의 검출에서의 연산량(演算量)이 저감되어 신의 검출을 고속으로 행할 수가 있다.
또, 상기 프레임 축소 수단은, 시계열로 늘어선 상기 프레임을 소정수 걸러 축소하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상에서 유저가 소망하는 대상물이 등장하는 1신의 검출을 더욱 고속으로 행하게 한다고 하는 작용을 가져온다.
또, 이 제1 측면에 있어서, 상기 동화상 파일 보존유지 수단에 보존유지된 상기 동화상 파일로부터 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관 한 정보를 포함하는 동화상 파일 정보를 취득하는 동화상 파일 정보 취득 수단과, 상기 동화상 파일 정보 취득 수단에 의해서 취득된 상기 동화상 파일 정보 및 상기 신 변화 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보를 상기 동화상 파일마다 대응지어서(對應付; 대응시켜서) 보존유지하는 신 정보 테이블과, 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보 및 상기 신의 개시 및 종료에 관한 정보에 의거해서 상기 동화상이 재생되는 전체시간(全時間)에 대한 상기 신의 시간적인 위치를 나타내는 표시인 신 시간 위치 표시를 생성하는 신 시간 위치 표시 생성 수단을 더 구비하는 것을 특징으로 하는 것이다. 이것에 의해, 하나의 동화상 파일의 총재생 시간중에서의 각 신의 시간적인 위치를 파악시키는 신 시간 위치 표시를 생성시킨다고 하는 작용을 가져온다.
또, 상기 동화상 파일 정보 취득 수단은, 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보로서 상기 동화상 파일에 포함되는 프레임 수(數)를 취득하고, 상기 신 정보 테이블은, 상기 신 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보로서 상기 신의 개시 프레임 번호 및 종료 프레임 번호를 보존유지하고, 상기 신 시간 위치 표시 생성 수단은, 상기 동화상 파일에 포함되는 프레임 수, 상기 신의 개시 프레임 번호 및 종료 프레임 번호에 의거해서 상기 신 시간 위치 표시를 생성하는 것을 특징으로 하는 것이다. 이것에 의해, 동화상 파일에 포함되는 프레임 수, 신의 개시 프레임 번호 및 종료 프레임 번호에 의거해서, 하나의 동화상 파일의 총재생 시간중에서의 각 신의 시간적인 위치를 파악시키는 신 시간 위치 표시를 생성시킨다고 하는 작용을 가져온다.
또, 상기 신 시간 위치 표시 생성 수단은, 앞(前; prior) 신의 종료 및 다음(次; next) 신의 개시가 연속하는 경우에는 상기 앞 신 및 상기 다음 신을 하나의 신으로 하여 상기 신 시간 위치 표시를 생성하는 것을 특징으로 하는 것이다. 이것에 의해, 부자연스럽게 분할된 신 끼리를 결합해서 하나의 신을 생성시킨다고 하는 작용을 가져온다.
또, 본 발명의 제2 측면은, 피사체를 촬상해서 동화상 파일을 생성하는 촬상 수단과, 상기 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단과, 상기 동화상 파일을 구성하는 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하는 영역 선택 접수 수단과, 상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수단과, 상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색하는 화상 대조확인 수단과, 상기 화상 대조확인 수단에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화 검출 수단과, 상기 동화상 파일 보존유지 수단에 보존유지된 상기 동화상 파일로부터 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보를 포함하는 동화상 파일 정보를 취득하는 동화상 파일 정보 취득 수단과, 상기 동화상 파일 정보 취득 수단에 의해서 취득된 상기 동화상 파일 정보 및 상기 신 변화 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보를 상기 동화상 파일마다 대응지어서 보존유지하는 신 정보 테이블과, 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보 및 상기 신의 개시 및 종료에 관한 정보에 의거해서 상기 동화상이 재생되는 전체시간에 대한 상기 신의 시간적인 위치를 나타내는 표시인 신 시간 위치 표시를 생성하는 신 시간 위치 표시 생성 수단과, 상기 신 시간 위치 표시를 표시하는 표시 수단을 구비하는 것을 특징으로 하는 화상 처리 장치이다. 이것에 의해, 촬상된 동화상에서 유저가 소망하는 대상물이 등장하는 1신을 적확하게 검출시키고, 그 결과를 표시시킨다고 하는 작용을 가져온다.
또, 본 발명의 제3 측면은, 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단을 구비한 화상 처리 장치에서 이하의 수순(手順; step)을 실행하는 처리 방법 또는 이하의 수순을 컴퓨터에 실행시키는 프로그램으로서, 상기 동화상 파일을 구성하는 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하는 영역 선택 접수 수순과, 상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수순과, 상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색하는 화상 대조확인 수순과, 상기 화상 대조확인 수순에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화 검출 수순을 구비하는 것을 특징으로 하는 처리 방법 또는 이들 수순을 컴퓨터에 실행시키는 프로그램이다. 이것에 의해, 동화상에서 유저가 소망하는 대상물이 등장하는 1신을 적확하게 검출시킨다고 하는 작용을 가져온다.
[발명을 실시하기 위한 최량의 형태]
다음에, 본 발명의 실시 형태에 대해서 도면을 참조하여 상세하게 설명한다. 또한, 본 발명의 실시 형태에서는, 화상 처리 장치의 1예로서 촬상 장치에 대해서 설명한다.
도 1은, 본 발명의 실시 형태에 있어서의 촬상 장치(100)의 1예인 촬상 장치(100a 및 100b)의 외관도이다. 촬상 장치(100a)는, 주로 정지 화상(靜止畵像; still image)을 촬상하는 것이며, 촬상 장치(100b)는, 주로 동화상을 촬상하는 것이다.
도 1의 (a)는, 촬상 장치(100a)의 정면도이다. 촬상 장치(100a)는, 렌즈부(110a)로부터 피사체를 촬상한다. 그리고, 촬상 장치(100a)는, 셔터부(120a)가 눌려(押下; press)지면 정지 화상 파일을 생성한다. 도 1의 (b)는, 촬상 장치(100a)의 배면도이다. 렌즈부(110a)에 의해서 포착(捕; capture)된 피사체의 움직임은 디스플레이부(130a)에 영출(映出; display)된다. 또, 생성된 정지 화상 파일도 디스플레이부(130a)에 영출된다.
도 1의 (c)는, 촬상 장치(100b)의 정면도이다. 촬상 장치(100b)는, 렌즈부(110b)로부터 피사체를 촬상한다. 그리고, 촬상 장치(100b)는, (도시하지 않은) 녹화 버튼이 눌려지면, 동화상 파일을 생성한다. 도 1의 (d)는, 촬상 장치(100b)의 배면도이다. 렌즈부(110b)에 의해서 포착된 피사체의 움직임은 디스플레이부(130b)에 영출된다. 또, 생성된 동화상 파일도 디스플레이부(130b)에 영출된다. 또, 촬상 장치(100b)는, 정지 화상 파일도 생성하는 기능을 가지고 있으며, 생성된 정지 화상 파일도 디스플레이부(130b)에 영출된다.
본 발명의 실시 형태에 있어서는, 우선, 촬상 장치(100a 또는 100b)에 의해 생성된 동화상 파일을 구성하는 프레임의 어느것인가에 의거해서 템플레이트 화상을 생성한다. 그리고, 이 생성된 템플레이트 화상과 유사한 화상을 포함하는 프레임(이하, 템플레이트 화상 유사 프레임이라고 부른다)을 동화상 파일로부터 탐색한다. 다음에, 템플레이트 화상 유사 프레임을 포함하는 동화상의 1신의 개시시(開始時)와 종료시(終了時)를 동화상 파일로부터 검출한다. 이 검출 결과는, 동화상 파일이 재생되는 전체시간에 대한 신의 시간적인 위치를 나타내는 표시(이하, 신 시간 위치 표시라고 부른다)로서 출력된다.
도 2는, 본 발명의 실시 형태에 있어서의 촬상 장치(100)의 구성을 도시하는 도면이다. 본 발명의 실시 형태에 있어서의 촬상 장치(100)는, 촬상부(10)와, 기록 재생 처리부(20)와, 제어부(30)와, 버스(40)와, 키 입력부(50)와, 터치 패널부(60)과, 기억 장치(70)를 구비한다.
촬상부(10)는, 촬상 소자부(撮像素子部; image pickup unit)(11)와, 촬상 제어부(12)와, 화상 처리부(13)를 구비한다. 촬상 소자부(11)는, 내부에, 피사체를 촬상하기 위한 렌즈군(群)(도 1에서의 렌즈부(110a 및 110b)에 대응), 조리개 조정 기구(絞調整機構; aperture diaphragm mechanisms), 포커스 조정 기구 및 예를 들면 CCD(Charge Coupled Devices) 등의 촬상 소자 등을 구비하고 있고, 렌즈군을 통과한 상(像)이 CCD 등의 촬상 소자의 결상면(結像面; focusing surface)에 결상된다. 촬상 소자부(11)는, 셔터 조작에 따라서 제어부(30)로부터 버스(40)를 통해서 공급되는 화상 취입(取入; capturing; 포착) 타이밍 신호를 받아서, 촬상 소자의 결상면에 결상되어 있는 피사체 상(被寫體像)을 촬상 신호로 변환하고, 화상 처리 부(13)에 공급한다.
촬상 제어부(12)는, 제어부(30)로부터 버스(40)를 통해서 공급되는 제어 신호를 받아서, 촬상 소자부(11)에 공급할 제어 신호를 생성한다. 또, 촬상 제어부(12)는, 생성한 제어 신호를 촬상 소자부(11)에 공급해서, 줌(zoom) 제어, 셔터 제어 및 노출 제어 등을 행한다.
화상 처리부(13)는, 제어부(30)로부터 버스(40)를 통해서 공급되는 제어 신호에 의거해서, 촬상 신호에 대해서 감마 보정이나 AGC(Auto Gain Control) 등의 처리를 행함과 동시에, 촬상 신호를 디지털 신호로서의 화상 신호로 변환하는 처리도 행한다.
기록 재생 처리부(20)는, 화상 부호화/복호부(21)와, 기록 제어부(22)와, SDRAM(Synchronous Dynamic Random Access Memory)(23)을 구비한다. 화상 부호화/복호부(21)는, 촬상부(10)로부터 버스(40)를 통해서 공급되는 화상 신호 등을 부호화하고 다중화(多重化)해서 압축 데이터로 변환하는 부호화 기능을 가진다. 또, 화상 부호화/복호부(21)는, 압축 데이터로부터 화상 신호를 복호하는 복호 기능을 가진다.
기록 제어부(22)는, 화상 부호화/복호부(21)로부터 압축 데이터를 받아서 기억 장치(70)에 기입(書入; write; 써넣음)한다. 또, 기록 제어부(22)는, 기억 장치(70)로부터 압축 데이터를 판독출력(讀出; read; 읽어냄)해서 화상 부호화/복호부(21)에 공급한다. 또한, 기억 장치(70)는 촬상 장치(100)에 외부부착(外付 ;…의 외부에 설치)된 것이어도 좋고 내장(內藏)된 것이어도 좋다. 또, 기억 장치(70)로 서는, 플래시 메모리(Flash memory)를 카드형(型)으로 패키지한 메모리 카드, 하드디스크 등의 자기(磁氣) 디스크, DVD 등의 광 디스크(Optical Disk) 및 MO 등의 광자기(光磁氣) 디스크(Magneto-Optical disk)의 어느것인가가 상정(想定)되지만, 이것에 한정되는 것은 아니다. SDRAM(23)은, 부호화/복호부(21)에서의 부호화 또는 복호를 위한 작업 영역으로서 이용된다.
제어부(30)는, 시스템 제어부(31)와, 입력 제어부(32)와, 표시 제어부(33)와, 출력 화상 처리부(34)와, 외부 기기 제어부(35)와, 네트워크 제어부(36)를 구비한다.
시스템 제어부(31)는, 제어부(30) 전체의 처리를 담당(司)하는 것이다. 입력 제어부(32)에 접속되는 키 입력부(50)에는, 촬영 모드와 재생 모드 등의 다른(他) 모드를 전환하는 모드 전환 키, 줌 조정 키, 노출 조정을 위한 키, 셔터 키(도 1에서의 셔터부(120a)에 대응), 동화상 촬영용 키 등의 복수(複數)의 키가 만들(設)어져 있다. 또, 입력 제어부(32)에 접속되는 터치 패널 입력부(62)는, 표시부(61)에 표시되는 메뉴의 선택이나 화상 데이터의 소정 영역의 지정을 접수하는 것이다.
입력 제어부(32)는, 키 입력부(50) 및 터치 패널 입력부(62)로부터의 조작 신호를 시스템 제어부(31)에 전(傳; relay)한다. 시스템 제어부(31)는, 키 입력부(50) 및 터치 패널 입력부(62)에서 어느(any) 키 등이 조작되었는지를 판별하고, 그 판별 결과에 따른 제어 처리를 행한다.
표시 제어부(33)에 접속되는 표시부(61)는, 예를 들면 LCD(Liquid Crystal Display) 등에 의해 구성되고, 시스템 제어부(31)의 제어하에서, 촬상부(10)로부터 버스(40)를 통해서 공급되는 화상 신호나, 기억 장치(70)로부터 판독출력된 화상 신호를 표시한다. 또한, 표시부(61)는, 도 1에서의 디스플레이부(130a 및 130b)에 대응하는 것이다.
출력 화상 처리부(34)는, 화상 데이터 재생시에 있어서 화상 데이터에 소정의 수식 처리(修飾處理; modification process)를 행하는 것이다. 수식 처리라 함은, 예를 들면 화상 데이터의 색 보정(色補正) 등이 상정된다. 또한, 출력 화상 처리부(34)에서 행해지는 화상 데이터에 대한 처리를 시스템 제어부(31)에서 행하도록 구성해도 좋다.
외부 기기 제어부(35)에 접속되는 외부 기기(80)는, 예를 들면 퍼스널 컴퓨터(Personal Computer) 등이 상정되지만, 이것에 한정되는 것은 아니다. 또한, 외부 기기(80)와 외부 기기 제어부(35) 사이는, 예를 들면 USB(Universal Serial Bus) 케이블에 의해서 접속되는 것이 상정되지만, 이것에 한정되는 것은 아니다. 외부 기기 제어부(35)는, 촬상 장치(100)와 외부 기기(80) 사이의 데이터의 교환(exchange; 주고받음)을 제어하는 것이다.
네트워크 제어부(36)는, 촬상 장치(100)와 네트워크망(網)(90) 사이에서 교환되는 데이터를 제어하는 것이다. 또한, 네트워크망으로서는, 인터넷이나 LAN(Local Area Network)이 상정되지만, 이것에 한정되는 것은 아니다.
도 3은, 본 발명의 실시 형태에 있어서의 신 검출 기능의 구성을 도시하는 도면이다. 이 신 검출 기능은, 동화상 파일을 보존유지하는 동화상 파일 보존유지부(231)와, 프레임 축소부(311)와, 영역 선택 접수부(601)와, 템플레이트 화상 생 성부(312)와, 화상 대조확인부(313)와, 신 변화 검출부(314)와, 동화상 파일 정보 취득부(319)와, 신 정보 테이블(320)과, 신 시간 위치 표시 생성부(321)를 구비한다.
프레임 축소부(311)는, 동화상 파일 보존유지부(231)에 보존유지된 동화상 파일을 구성하는 프레임을 소정의 축소율로 축소하는 것이다. 프레임 축소부(311)는, 동화상 파일을 구성하는 프레임 모두를 축소해도 좋고, 또, 시계열로 늘어선 프레임을 소정수 걸러 축소해도 좋다. 축소된 프레임은, 동화상 파일 보존유지부(231)에서 보존유지된다.
영역 선택 접수부(601)는, 동화상 파일 보존유지부(231)에 보존유지된 동화상 파일을 구성하는 프레임 중 어느것인가 하나의 프레임의 선택 및 그 선택한 프레임에서 템플레이트 화상으로서 절출(切出; extract; 잘라냄)해야 할 영역의 선택을 접수하는 것이다. 영역 선택 접수부(601)에서 선택을 접수하는 대상(對象)으로 되는 프레임은, 프레임 축소부(311)에서 축소된 프레임이어도 좋다.
템플레이트 화상 생성부(312)는, 영역 선택 접수부(601)에서 선택이 접수된 템플레이트 화상으로서 절출해야 할 영역을 프레임으로부터 절출하는 것에 의해서 템플레이트 화상을 생성하는 것이다. 또한, 영역 선택 접수부(601)에서 선택이 접수된 프레임이 프레임 축소부(311)에서 축소된 프레임인 경우, 템플레이트 화상 생성부(312)는, 그 축소된 프레임으로부터 템플레이트 화상으로서 절출해야 할 영역을 절출한다.
또, 템플레이트 화상 생성부(312)는, 상기 절출하는 것에 의해서 생성된 템 플레이트 화상을 소정의 배율로 확대 및 축소한 화상도 생성한다. 이 확대 및 축소한 화상도 템플레이트 화상으로서 이용된다. 또, 템플레이트 화상 생성부(312)는, 상기 절출하는 것에 의해서 생성된 템플레이트 화상, 확대 및 축소한 화상을 소정 각도 회전시킨 화상도 생성한다. 이 소정 각도 회전시킨 화상도 템플레이트 화상으로서 이용된다.
화상 대조확인부(313)는, 동화상 파일 보존유지부(231)로부터 프레임을 취득해서, 그 프레임의 각각과 템플레이트 화상을 대조확인하여 템플레이트 화상 유사 프레임을 탐색하는 것이다. 화상 대조확인부(313)는, 템플레이트 화상 유사 프레임을 탐색하면 그 취지(旨)를 프레임 취득부(315)에 통지(通知; notify)하고, 일단(一旦) 템플레이트 화상 유사 프레임의 탐색을 중지한다.
또한, 템플레이트 화상이 프레임 축소부(311)에서 축소된 프레임에 의거해서 생성된 것인 경우, 화상 대조확인부(313)가 동화상 파일 보존유지부(231)로부터 취득하는 프레임은, 프레임 축소부(311)에서 축소된 프레임이다. 프레임 축소부(311)에서 축소된 프레임과 템플레이트 화상을 대조확인하는 것에 의해서, 템플레이트 화상과 프레임과의 대조확인에 필요로 하는 연산량이 저감되기 때문에, 고속의 대조확인이 가능하게 된다.
또, 화상 대조확인부(313)에서 템플레이트 화상과 프레임 축소부(311)에 의해서 축소된 프레임을 대조확인해서 템플레이트 화상 유사 프레임의 후보(候補)를 탐색한 후에, 재차(再度), 템플레이트 화상과 축소되어 있지 않은 프레임을 대조확인해서, 템플레이트 화상 유사 프레임의 후보를 템플레이트 화상 유사 프레임으로 서 채용해도 좋은지 여부를 판단하는 구성으로 해도 좋다.
신 변화 검출부(314)는, 화상 대조확인부(313)에서 탐색된 템플레이트 화상 유사 프레임을 포함하는 신의 개시 및 종료를 검출하는 것이며, 프레임 취득부(315)와, 화소값 분포 생성부(316)와, 분포 차분 적산값 산출부(317)와, 신 변화 판단부(318)를 구비한다.
프레임 취득부(315)는, 화상 대조확인부(313)에서 탐색된 템플레이트 화상 유사 프레임의 전후에 시계열로 늘어선 프레임을 동화상 파일 보존유지부(231)로부터 취득하는 것이다. 즉, 프레임 취득부(315)는, 화상 대조확인부(313)에서 탐색된 템플레이트 화상 유사 프레임보다 시간적으로 앞(前; prior)(과거)에 위치하는 프레임(이하, 후방(後方; backward) 신 프레임이라고 부른다) 및 화상 대조확인부(313)에서 탐색된 템플레이트 화상 유사 프레임보다 시간적으로 뒤(後; subsequent)(미래)에 위치하는 프레임(이하, 전방(前方; forward) 신 프레임이라고 부른다)을 취득한다. 프레임 취득부(315)에서는, 전방 신 프레임 및 후방 신 프레임의 어느것을 먼저 취득하도록 해도 좋다.
프레임 취득부(315)는, 화상 대조확인부(313)에서 템플레이트 화상 유사 프레임이 탐색된 경우에 화상 대조확인부(313)로부터 그 취지의 통지를 받는다. 그리고, 프레임 취득부(315)는, 그 취지의 통지를 받으면 동화상 파일 보존유지부(231)로부터 전방 신 프레임 또는 후방 신 프레임의 어느것인가의 취득을 개시한다.
프레임 취득부(315)에서 전방 신 프레임이 먼저 취득되는 경우에는, 후술하는 신 변화 판단부(318)에서 신의 변화가 있었다고 판단되면 그 취지의 통지가 프 레임 취득부(315)에 이루어진다. 프레임 취득부(315)는, 이 통지를 받으면 전방 신 프레임의 취득을 중지해서, 후방 신 프레임의 취득을 개시한다. 후방 신 프레임의 취득을 개시한 후에, 후술하는 신 변화 판단부(318)에서 신의 변화가 있었다고 판단되어 그 취지의 통지를 받으면, 프레임 취득부(315)는 후방 신 프레임의 취득을 중지한다.
또한, 프레임 취득부(315)에서 취득되는 프레임은, 프레임 축소부(311)에서 축소되어 있지 않은 프레임이어도 좋고, 또 프레임 축소부(311)에서 축
소된 프레임이어도 좋다. 또, 상기에서 기술한 바와 같이, 프레임 축소부(311)에서 시계열로 늘어선 프레임을 소정수 걸러 축소하는 경우도 있으며, 이 경우, 프레임 취득부(315)는 시계열로 소정수 걸러 늘어선 축소된 프레임을 취득한다.
화소값 분포 생성부(316)는, 프레임 취득부(315)에 의해 취득된 프레임을 구성하는 각 화소의 화소값의 분포를 생성하는 것이다. 여기서, 화소값이라 함은, 화소의 휘도[0]이나 색차(色差) 등을 말하며, 예를 들면, YUV 등이 이것에 해당한다. 화소값으로서 Y성분(휘도)에 8비트를 할당하는 경우, 0 내지(乃至; through) 255의 범위의 값을 가지게 된다. 이 경우, 화소값 분포 생성부(316)는, 각 화소의 Y성분(휘도)의 분포를, 프레임 취득부(315)에 의해서 취득된 프레임마다 생성한다. 또한, 상기에서는 화소값이 Y성분(휘도)인 경우를 예로 들어 설명했지만, 화소값이 U성분(휘도 신호와 청색 성분의 차) 또는 V성분(휘도 신호와 적색 성분의 차)인 경우의 분포도 마찬가지로 생성할 수가 있다.
분포 차분 적산값 산출부(317)는, 시계열로 서로 인접하는 프레임에서의 화 소값의 분포의 차분을 적산한 분포 차분 적산값을 산출하는 것이다. 예를 들면, 화소값으로서 Y성분(휘도)을 이용한 경우를 생각한다. 이 경우, 분포 차분 적산값 산출부(317)는 시계열로 서로 인접하는 프레임에서, 예를 들면 Y성분(휘도)이 0인 화소의 분포의 차분을 산출한다. 그리고, 분포 차분 적산값 산출부(317)는, 이 차분의 산출을 모든 Y성분(휘도)의 범위에 대해서 행하고, 모든 차분을 적산한 분포 차분 적산값을 산출한다. 이것을 화소값 분포 생성부(316)에서 생성된 모든 프레임에 대해서 행한다. 또한, 상기에서는 화소값이 Y성분(휘도)인 경우를 예로 들어 설명했지만, 화소값이 U성분(휘도 신호와 청색 성분의 차) 또는 V성분(휘도 신호와 적색 성분의 차)인 경우의 분포도 마찬가지로 생성할 수가 있다.
신 변화 판단부(318)는, 분포 차분 적산값이 소정의 임계값을 넘고 있는지 여부를 판단하는 것이다. 신 변화 판단부(318)에서 분포 차분 적산값이 소정의 임계값을 넘고 있다고 판단되면, 그 분포 차분 적산값에 대응하는 시계열로 서로 인접한 프레임에서 신이 변화한 것으로 판단되고, 신 정보 테이블(320)에 그 프레임에 관한 정보가 기입된다. 신 정보 테이블(320)에 기입되는 그 프레임에 관한 정보에는, 예를 들면 그 프레임의 프레임 번호가 포함된다.
또한, 분포 차분 적산값이 Y성분(휘도), U성분(휘도 신호와 청색 성분의 차) 및 V성분(휘도 신호와 적색 성분의 차)에 대해서 산출된 경우, 분포 차분 적산값은 Y성분(휘도)에 관한 분포 차분 적산값, U성분(휘도 신호와 청색 성분의 차)에 관한 분포 차분 적산값 및 V성분(휘도 신호와 적색 성분의 차)에 관한 분포 차분 적산값이 존재하게 되지만, 이 경우 각각의 분포 차분 적산값에 대해서 소정의 임계값이 설정되게 된다. 그리고, Y성분(휘도)에 관한 분포 차분 적산값, U성분(휘도 신호와 청색 성분의 차)에 관한 분포 차분 적산값 및 V성분(휘도 신호와 적색 성분의 차)에 관한 분포 차분 적산값의 어느것인가 하나가 각각의 분포 차분 적산값에 대해서 설정된 임계값을 넘은 경우에는, 상기와 마찬가지로 그 분포 차분 적산값에 대응하는 시계열로 서로 인접된 프레임에서 신이 변화한 것으로 판단해도 좋다. 이것에 의해, Y성분(휘도) 뿐만 아니라, U성분(휘도 신호와 청색 성분의 차) 및 V성분(휘도 신호와 적색 성분의 차)도 가미(加味)한 신의 검출을 하게 되기 때문에, 신 검출에서의 정밀도가 향상한다.
신 변화 판단부(318)에서 신의 변화가 있었다고 판단된 경우, 신 변화 판단부(318)는 그 취지를 프레임 취득부(315) 및 화상 대조확인부(313)에 통지한다. 또한, 신 변화 판단부(318)는, 하나의 신에 대해서 신의 개시 및 종료의 2회분(回分) 신의 변화를 판단하기 위해서, 하나의 신에 대해서 프레임 취득부(315) 및 화상 대조확인부(313)에의 통지는 2회 행해진다.
프레임 취득부(315)에서, 예를 들면 먼저 후방 신 프레임을 취득하도록 설정되어 있었던 경우, 1회째의 통지는 신의 개시를 검출한 취지의 통지로 되지만, 프레임 취득부(315)는 이 통지를 받으면 후방 신 프레임의 취득을 중지해서, 전방 신 프레임의 취득을 개시한다. 그리고, 2회째의 통지는 신의 종료를 검출한 취지의 통지로 되지만, 프레임 취득부(315)는 이 통지를 받으면 전방 신 프레임의 취득을 중지한다.
또, 화상 대조확인부(313)는 신 변화 판단부(318)로부터의 1회째의 통지를 받아도 특히 아무런 처리도 행하지 않지만, 2회째의 통지를 받으면 일단(一旦) 중지하고 있던 템플레이트 화상 유사 프레임의 탐색을 개시한다. 이 경우, 화상 대조확인부(313)에서 대조확인을 개시하는 프레임은, 신의 종료에 대응하는 프레임의 다음 프레임이다.
동화상 파일 정보 취득부(319)는, 동화상 파일 보존유지부(231)에 보존유지된 동화상 파일로부터 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보를 포함하는 동화상 파일 정보를 취득하는 것이다. 그리고, 동화상 파일 정보 취득부(319)는, 취득한 동화상 파일 정보를 신 정보 테이블(320)에 기입한다. 또한, 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보로서는, 예를 들면 동화상 파일의 개시 프레임 번호 및 종료 프레임 번호나, 동화상 파일에 대응하는 동화상을 구성하는 총(總)프레임수가 상정되지만, 이것에 한정되는 것은 아니다.
신 정보 테이블(320)은, 동화상 파일 정보 취득부(319)에 의해서 취득된 동화상 파일 정보 및 신 변화 검출부(314)에 의해서 검출된 신의 개시 및 종료에 관한 정보를 동화상 파일마다 대응지어서 보존유지하는 것이다. 또한, 신 변화 검출부(314)에 의해서 검출된 신의 개시 및 종료에 관한 정보로서는, 예를 들면 신의 개시 프레임 번호 및 종료 프레임 번호가 상정되지만, 이것에 한정되는 것은 아니다.
신 시간 위치 표시 생성부(321)는, 신 정보 테이블(320)에 보존유지된 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보 및 신의 개시 및 종료에 관한 정보에 의거해서, 동화상이 재생되는 전체시간에 대한 신의 시간적인 위치를 나타내는 표시인 신 시간 위치 표시를 생성하는 것이다.
또한, 동화상 파일에 대응하는 동화상에서 복수의 신이 검출되고, 어떤 신의 최종 프레임과 다른(他) 신의 개시 프레임이 시계열로 서로 인접하는 경우, 신 시간 위치 표시 생성부(321)는 그 2개의 신을 결합시켜 하나의 신으로서 신 시간 위치 표시를 생성해도 좋다.
도 4는, 본 발명의 실시 형태에 있어서 템플레이트 화상의 영역을 선택하는 모습(樣子; state, manner)을 도시하는 도면이다. 도 4의 (a)는, 동화상 파일을 재생하는 모습을 도시하는 도면이다. 재생 버튼(621)을 선택하면 동화상 파일은 동화상 표시부(611)에서 재생되고, 정지 버튼(622)을 선택하면 동화상 파일의 재생은 정지된다. 빨리 보내기(早送; fast-forward operation)를 하는 경우에는 빨리 보내기 버튼(fast-forward button)(624)을 선택하고, 되감기(卷戾; rewinding operation)를 하는 경우에는 되감기 버튼(625)을 선택한다.
동화상 파일을 재생시키고 있을 때에 소망의 화상을 포함하는 프레임을 찾아낸 경우, 정지 버튼(622)을 선택한다. 이것에 의해, 동화상 표시부(611)에는 정지 버튼(622)을 선택했을 때에 표시되고 있던 프레임이 표시된다. 또 별도의 프레임을 표시시키고 싶은 경우에는, 재생 버튼(621), 빨리 보내기 버튼(624) 및 되감기 버튼(625)을 선택해서 소망의 프레임을 표시시킨다.
소망의 화상을 포함하는 프레임을 동화상 표시부(611)에 표시시킨 후에 영역 버튼(623)을 선택하면, 표시 화면(600)에는 도 4의 (b)에 도시하는 영역 선택 화상 표시(612)가 표시된다. 또한, 본 발명의 실시 형태에 있어서는, 조작 방식으로서 표시 화면을 직접 누르는(압하하는) 것에 의해서 조작의 입력을 행하는 터치 패널 방식을 상정하고 있지만, 이것에 한정되는 것은 아니다.
도 4의 (b)는, 도 4의 (a)에서 설명한 조작을 행한 후에 프레임의 영역을 선택하는 모습을 도시하는 도면이다. 영역 선택 화상 표시(612)에 표시된 프레임의 영역의 선택은, 예를 들면 스타일러스(stylus)(501)에 의해 점(点)(613)을 선택한 후에, 스타일러스(502)에 의해 점(614)을 선택한다. 스타일러스(502)에 의해 점(614)을 선택하면, 점(613) 및 점(614)을 연결하는 선을 대각선으로 하는 영역(615)이 표시된다. 이 선택한 영역(615)에 포함되는 화상이 템플레이트 화상으로 된다.
영역(615)이 표시된 후에, OK 버튼(626)을 선택하면, 템플레이트 화상이 생성된다. 한편, 영역(615)이 표시된 후에 다른 영역을 선택하는 경우에는, 되돌아가는(戾; return) 버튼(627)을 선택해서, 다시 영역 선택 화상 표시(612)에 표시된 프레임 대해서 상기와 마찬가지의 조작을 행하는 것에 의해서 영역을 선택한다.
도 5는, 본 발명의 실시 형태에 있어서의 템플레이트 화상 생성의 이미지를 도시하는 도면이다. 프레임에서의 영역이 선택되면, 템플레이트 화상 생성부(312)에서 프레임에서의 선택된 영역은 절출되고, 도 5의 (a)에 도시하는 템플레이트 화상(631)이 생성된다.
또, 템플레이트 화상 생성부(312)는, 템플레이트 화상(631)을 확대 및 축소한 화상인 템플레이트 화상(631a 내지 631d)도 생성한다. 템플레이트 화상(631a 내지 631d)은, 각각 템플레이트 화상(631)을, 예를 들면 1. 21배(倍), 1. 1배, 1. 0 배, 0. 909배, 0. 826배한 것이 상정된다. 또한, 도 5의 (a)에서는, 템플레이트 화상(631) 이외의 템플레이트 화상 데이터는 4개 밖에 없지만, 이것에 한정되는 것은 아니고 몇 개 있어도 좋다.
여기서, 1. 21, 1. 1, 1. 0, 0. 909, 0. 826의 수열(數列; number sequences)은, (1. 1)2, (1. 1)1, (1. 1)0, (1. 1)-1, (1. 1)-2이며, 즉, 공비(公比)가 1. 1의 등비수열(等比數列; geometric sequences)이다. 또한, 공비를 크게 하면 템플레이트 화상을 이용해서 화상의 탐색을 행할 때에 탐색 누락(探索漏; search miss)을 일으킬 가능성이 높아지고, 한편, 공비를 작게 하면 템플레이트 화상을 이용해서 화상의 탐색을 행할 때에 연산량이 증가한다고 하는 폐해(弊害)가 생긴다. 이 때문에, 공비는, 1. 1 정도가 바람직하지만, 이것에 한정되는 것은 아니고, 예를 들면 1. 09나 1. 2 등이라도 좋다.
또, 템플레이트 화상으로서, 템플레이트 화상(631)을 확대 및 축소한 화상 데이터 뿐만 아니라, 도 5의 (b)에 도시하는 바와 같이, 더욱 회전시킨 템플레이트 화상(632)도 생성해도 좋다.
도 6은, 프레임(633)과 템플레이트 화상(631)을 대조확인하는 모습을 도시하는 도면이다. 프레임(633)으로부터 템플레이트 화상(631)과 유사한 부분을 탐색할 때에는, 템플레이트 화상(631)과 프레임(633)을 대조확인한다. 대조확인한 결과, 프레임(633) 중에 템플레이트 화상(631)과 일치 또는 유사한 부분이 있으면, 그 프레임(633)은, 도 1에서 설명한 템플레이트 화상 유사 프레임으로 판단된다.
템플레이트 화상(631)과 프레임(633)을 대조확인할 때에, 도 6에 도시하는 바와 같이 예를 들면, 프레임(633)의 왼쪽 상단(左上端)부터 대조확인을 개시한다. 그리고, 예를 들면 도 6에 도시한 오른쪽 화살표(右矢印) 방향으로 소정 화소(예를 들면, 1픽셀(pixel))씩 어긋나게(shift) 해서 템플레이트 화상(631)과 프레임(633)을 대조확인한다. 이 때, 템플레이트 화상(631)과 유사한 화상이 프레임(633)에 포함되어 있는지 여부의 평가는, 예를 들면 상호(相互) 상관 함수를 이용해서 행한다. 이 상호 상관 함수에 의해 산출된 값이 소정의 임계값을 넘은 경우에, 템플레이트 화상(631)과 유사한 화상이 프레임(633)에 포함되어 있다고 평가된다.
소정 화소 어긋나게 하면서 우단(右端)까지 대조확인이 완료하면, 다음에는, 아래쪽 화살표(下矢印)로 소정 화소(예를 들면, 1픽셀) 어긋나게 해서, 좌단에서 우단까지 템플레이트 화상(631)과 프레임(633)의 대조확인을 행한다. 또, 프레임(633)으로부터 템플레이트 화상(631)과 유사한 부분을 탐색할 때에는, 템플레이트 화상(631) 이외에도, 도 5에서 설명한 템플레이트 화상(631)을 확대 및 축소한 템플레이트 화상(631a 내지 631d) 및, 템플레이트 화상(631)을 소정 각도 회전시킨 템플레이트 화상(632)에 대해서도 상기 설명한 대조확인을 행한다.
또한, 프레임(633)으로부터 템플레이트 화상(631)과 유사한 부분을 탐색하는 방법은, 상기와 같이 프레임(633)의 모든 부분에 대해서 대조확인을 행하는 이외에도, 유전적(遺傳的) 알고리즘(GA：Genetic Algorithm[0])을 이용해서 프레임(633)에서 템플레이트 화상(631)과 유사한 부분을 탐색해도 좋다.
도 7은, 본 발명의 실시 형태에 있어서의 신 검출의 모습을 도시하는 도면이 다. 본 발명의 실시 형태에 있어서의 신 검출은, 우선 유저의 선택에 의해서 생성된 템플레이트 화상(631)과 동화상 파일을 구성하는 프레임을 대조확인하는 것부터 시작된다. 대조확인의 결과, 도 7의 (a)에 도시하는 바와 같이 템플레이트 화상(631)과 유사한 화상이 프레임(633)의 영역(633a)에서 탐색되면, 그 프레임(633)은 템플레이트 화상 유사 프레임으로 된다.
도 7의 (b)는, 템플레이트 화상 유사 프레임과 신의 검출 모습을 도시하는 도면이다. 도 7의 (a)에서 템플레이트 화상(631)에 대응하는 템플레이트 화상 유사 프레임인 어떤 프레임(633)이 탐색되면, 다음에 프레임(633)의 전후에 시계열로 늘어선 프레임을 해석해서 신이 변화하는 프레임을 검출하는 처리가 행해진다.
이 경우, 프레임 취득부(315)에서, 예를 들면 프레임(633)보다 시간적으로 앞(前; prior)(과거)에 위치하는 후방(後方; backward) 신 프레임(634a)이 취득되고, 화소값 분포 생성부(316)에서 후방 신 프레임(634a)을 구성하는 각 화소의 화소값의 분포가 생성된다. 그리고, 프레임 취득부(315)에서 후방 신 프레임(634b)이 또 취득되고, 마찬가지로 화소값 분포 생성부(316)에서 후방 신 프레임(634b)을 구성하는 각 화소의 화소값의 분포가 생성된다.
다음에, 분포 차분 적산값 산출부(317)에서, 후방 신 프레임(634a)을 구성하는 각 화소의 화소값의 분포 및 후방 신 프레임(634b)을 구성하는 각 화소의 화소값의 분포의 차분의 적산값인 분포 차분 적산값이 산출된다. 이 분포 차분 적산값이 소정의 임계값을 넘고 있는지 여부가 신 변화 판단부(318)에서 판단된다.
이상의 처리가 순차(順次), 후방 신 프레임(634c 내지 634f)에 대해서도 행 해진다. 그리고, 후방 신 프레임(634e)과 후방 신 프레임(634f)과의 분포 차분 적산값이 신 변화 판단부(318)에서 소정의 임계값을 넘고 있다고 판단되면, 후방 신 프레임(634e)이 신의 개시 프레임으로 판단된다.
신의 개시 프레임이 검출되면, 다음에 신의 종료 프레임의 검출 처리가 행해진다. 이 경우, 프레임 취득부(315)에서 프레임(633)보다 시간적으로 뒤(미래)에 위치하는 전방(前方; frontward) 신 프레임(635a) 내지 전방 신 프레임(635h)이 취득되고, 후방 신 프레임(634a 내지 634f)에서 설명한 것과 마찬가지 처리가 전방 신 프레임(635a) 내지 전방 신 프레임(635h)에 대해서도 행해진다.
그리고, 전방 신 프레임(635g)과 전방 신 프레임(635h)과의 분포 차분 적산값이 신 변화 판단부(318)에서 소정의 임계값을 넘고 있다고 판단되면, 전방 신 프레임(635g)이 신의 종료 프레임으로 판단된다.
이것에 의해, 후방 신 프레임(634f)∼프레임(633)으로 구성되는 후방 신과 프레임(633)∼전방 신 프레임(635g)으로 구성되는 전방 신 프레임을 일체(一體)로 한 하나의 신이 검출되게 된다.
하나의 신이 검출되면, 다음 신을 탐색하기 위해서 다시 템플레이트 화상과 프레임의 대조확인이 개시된다. 이 경우, 템플레이트 화상과 대조확인이 개시되는 프레임은 신의 최종 프레임의 다음 프레임부터 행해진다. 도 7의 (b)에서 신의 최종 프레임은 전방 신 프레임(635g)이기 때문에, 템플레이트 화상(631)과의 대조확인이 개시되는 프레임은 전방 신 프레임(635h)이다.
도 8은, 본 발명의 실시 형태에 있어서의 프레임을 구성하는 각 화소의 화소 값의 분포 생성의 모습을 도시하는 도면이다. 도 8의 (a)는, 시계열로 연속하는 n번째에 늘어선 프레임(636a) 및 n+1번째에 늘어선 프레임(636b)을 도시하는 도면이다.
프레임(636a)이 프레임 취득부(315)에 의해서 취득되면, 화소값 분포 생성부(316)에서 프레임(636a)을 구성하는 각 화소의 화소값의 분포가 생성된다. 화소값으로서 휘도를 생각한 경우에서의 각 화소의 휘도의 분포의 1예를 도 8의 (b)에 도시한다. 이 도 8의 (b)에 도시하는 각 화소의 휘도 분포의 생성 방법의 1예를 이하에 기술한다. 우선, 도 8의 (a)에 도시한 프레임(636a)의 화소 a1∼k8에서의 각 화소의 휘도를 해석한다. 각 화소에서의 휘도를 해석하는 것에 의해서 프레임(636a)의 화소 a1∼k8에서의 각 화소의 휘도를 구하고, 다음에 휘도마다 정리(整理)해서 각 휘도를 나타내는 화소의 수를 구한다. 즉, 휘도가 0인 화소의 수 내지, 휘도가 255인 화소의 수를 각각 구한다. 이것에 의해, 횡축에 휘도 x를 취하고, 종축에 휘도 x에 대응하는 화소의 수 Hn(x)를 취한 각 화소의 휘도의 분포가 도 8의 (b)와 같이 생성된다.
마찬가지로, 프레임(636b)이 프레임 취득부(315)에 의해서 취득되면, 화소값 분포 생성부(316)에서 프레임(636b)을 구성하는 각 화소의 화소값의 분포가 생성된다. 화소값으로서 휘도를 생각한 경우에서의 각 화소의 휘도의 분포의 1예를 도 8의 (c)에 도시한다. 도 8의 (c)의 경우도 도 8의 (b)의 경우와 마찬가지로, 횡축에 휘도 x를 취하고, 종축에 휘도 x에 대응하는 화소의 수 Hn+1(x)를 취한 각 화소 의 휘도의 분포가 도 8의 (c)과 같이 생성된다.
그리고, 분포 차분 적산값 산출부(317)에서 이하의 수학식 1에 나타내는 식에 의거해서 휘도에 관한 분포 차분 적산값(FHD)이 산출된다. 또한, 수학식 1은, 임의의 프레임에서의 휘도 x에 대응하는 화소의 수 Hn(x)와 그 임의의 프레임과 시계열로 서로 인접하는 프레임에서의 휘도 x에 대응하는 화소의 수 Hn+1(x)와의 차의 절대값(絶對値)을 모든 화소값에 대해서 적산한 것이다.
[수학식 1]
Figure 112006073205489-PAT00001
이 휘도에 관한 분포 차분 적산값(FHD)이 소정의 임계값을 넘은 경우에 그 휘도에 관한 분포 차분 적산값(FHD)에 대응하는 프레임에서 신의 변화가 있었던 것으로 판단되고, 신의 개시 또는 종료가 검출된 것으로 된다.
또한, 도 8에서는, 화소값으로서 휘도를 생각한 경우에 대해서 설명했지만, 화소값으로서 색차를 생각한 경우에도 마찬가지 방법에 의해, 각 화소의 색차의 분포를 생성해서 색차에 관한 분포 차분 적산값(FHD)을 산출할 수가 있다. 휘도에 관한 분포 차분 적산값(FHD)과 색차에 관한 분포 차분 적산값(FHD)을 산출하는 구성으로 한 경우, 휘도에 관한 분포 차분 적산값(FHD)과 색차에 관한 분포 차분 적산값(FHD)에서 따로따로의(別別; different; 각각 다른) 임계값을 설정하는 것으로 하면, 휘도와 색차를 적절히 고려한 신 변화의 검출이 가능하게 된다.
도 9는, 동화상 파일을 구성하는 프레임의 집합인 프레임군(群)과 축소된 프 레임과의 대응을 도시하는 도면이다. 프레임 축소부(311)에서 축소되는 프레임은, 도 3에서 설명한 바와 같이 동화상 파일을 구성하는 프레임 전부이더라도 좋고, 도 9에 도시하는 바와 같이 동화상 파일을 구성하는 프레임의 일부이더라도 좋다.
예를 들면, 프레임 축소부(311)에서 3개 걸러(every three frames) 늘어선 프레임(637a내지 637h)을 축소해서 축소 프레임(638a 내지 638h)을 생성한다. 이 경우, 동화상 파일 보존유지부(231)에는, 프레임군 및 축소 프레임(638a 내지 638h)이 보존유지된다.
상기에서 설명한 바와 같이 이 축소된 프레임을 이용해서 화상의 대조확인이나 분포 차분 적산값을 산출하는 경우, 화소의 수가 저감되기 때문에, 화상 대조확인부(313), 화소값 분포 생성부(316) 및 분포 차분 적산값 산출부(317)에서의 연산량도 저감된다. 이것에 의해, 고속의 신 검출이 가능하게 된다.
도 10은, 본 발명의 실시 형태에 있어서의 신 정보 테이블(320)의 내용을 도시하는 도면이다. 신 정보 테이블(320)은, 동화상 파일의 파일명(名)을 나타내는 파일명(3201)과, 총(總; overall)프레임수(3202)와, 신 정보(3210)를 포함한다.
총프레임수(3202)는, 동화상 파일에 대응하는 동화상을 구성하는 프레임의 총수(總數)이다. 이 총프레임수(3202)는 동화상 파일의 재생 시간을 나타내는 정보이다. 또, 동화상 파일의 재생 시간을 나타내는 정보로서, 총프레임수(3202) 대신에 동화상 파일에 대응하는 동화상의 개시 프레임 번호 및 종료 프레임 번호를 신 정보 테이블(320)에 보존유지시키는 구성이더라도 좋다.
신 정보(3210)는, 동화상 파일을 구성하는 동화상에 포함되는 신의 개시와 종료에 관한 정보이다. 이 동화상 파일을 구성하는 동화상에 포함되는 신의 개시와 종료에 관한 정보로서는, 신의 개시 프레임 번호 및 종료 프레임 번호가 상정된다. 이 신 정보(3210)는, 신의 수만큼 보존유지되게 된다.
도 11은, 본 발명의 실시 형태에 있어서의 신 시간 위치 표시를 도시하는 도면이다. 도 11의 (a)는, 표시 화면(600)에 표시된 신 시간 위치 표시군(640)을 도시하는 도면이다. 도 4의 (b)에서 프레임의 영역을 선택한 후에 OK 버튼(626)을 선택하면, 신 검출 등의 처리가 행해지고, 표시 화면(600)은 도 11의 (a)에 도시하는 바와 같이 신 시간 위치 표시군(640)이 표시된다.
도 11의 (a)에서는, 표시의 1예로서 한 번(一度)에 3개의 동화상 파일에 대응하는 신 시간 위치 표시(641 내지 643)가 표시되도록 되어 있다. 신 검출은, 동화상 파일 보존유지부(231)에 보존유지된 모든 동화상 파일에 대해서 행해지고, 신 시간 위치 표시도 동화상 파일의 수만큼 생성된다. 도 11의 (a)에서는 파일 A에 대한 신 시간 위치 표시(641)와 파일 B에 대한 신 시간 위치 표시(642)와 파일 C에 대한 신 시간 위치 표시(643)가 신 시간 위치 표시군(640)으로서 표시되고 있다.
다른 동화상 파일에 대해서 신 시간 위치 표시를 표시시키고 싶은 경우에는, 「다음(次; backward)으로」 버튼(651) 또는 「되돌아간다(戾; return)」버튼(652)을 선택하면, 예를 들면 (도시하지 않은) 파일 D에 대한 신 시간 위치 표시 등이 표시 화면(600)에 표시된다. 그리고, 신 시간 위치 표시군(640)에서 착색(着色) 표시된 부분의 어느것인가를 선택한 후에 재생 버튼(653)을 선택하면, 그 신에 대응하는 동화상이 재생된다.
도 11의 (b)는, 신 시간 위치 표시군(640)에 표시된 파일 A에 대응하는 신 시간 위치 표시(641)의 구성을 도시하는 도면이다. 신 시간 위치 표시(641) 중의 개시 위치(661)에서 종료 위치(662)까지의 길이가 파일 A의 총(總)재생 시간이다.
파일 A에 대해 2개의 신이 검출되고 있고, 우선 신#1의 (663a)는 동화상 파일을 구성하는 프레임 중에서 템플레이트 화상 유사 프레임으로서 탐색된 프레임의 위치를 나타낸다. 또, 신#1의 (664a)는, 신#1의 종료 프레임의 위치를 나타낸다. 또, 신#1의 (665a)는, 신#1의 개시 프레임의 위치를 나타낸다. (665a)에서 (663a)까지의 길이로 나타내어지는 후방 신과 (663a)에서 (664a)까지의 길이로 나타내어지는 전방 신으로 신#1을 구성한다.
신#2에 대해서도 마찬가지이며, 신#2의 (663b)는 동화상 파일을 구성하는 프레임 중에서 템플레이트 화상 유사 프레임으로서 탐색된 프레임의 위치를 나타낸다. 또, 신#2의 (664b)는, 신#2의 종료 프레임의 위치를 나타낸다. 또, 신#2의 (665b)는, 신#2의 개시 프레임의 위치를 나타낸다. (665b)에서 (663b)까지의 길이로 나타내어지는 후방 신과 (663b)에서 (664b)까지의 길이로 나타내어지는 전방 신으로 신#2를 구성한다.
도 12는, 본 발명의 실시 형태에 있어서의 신의 결합 모습을 도시하는 도면이다. 도 12의 (a)에 도시하는 신 정보 테이블(320)에서 신#1의 종료 프레임 번호와 신#2의 개시 프레임 번호가 연속하고 있다. 이 신 정보 테이블(320)에 의거해서 생성된 신 시간 위치 표시가 도 12의 (b)에 도시하는 신 시간 위치 표시(670)이다.
이 신 시간 위치 표시(670)에서는 신#1의 개시 프레임의 위치가 위치(673)이 고 종료 프레임의 위치가 위치(674)이다. 또, 신#2의 개시 프레임의 위치가 위치(674)이고 종료 프레임의 위치가 위치(675)이다. 이와 같이, 2개의 신이 연속하고 있는 경우, 하나의 신이 여러가지 요인으로 2개의 신으로 나뉘어져 버렸을 가능성이 높다. 따라서, 2개의 신이 연속하고 있는 경우, 그 2개의 신을 통합해서 하나의 신으로서 다루는 것이 바람직하다.
그래서, 본 발명의 실시 형태에서는, 2개의 신이 연속하고 있는 경우, 2개의 신을 하나의 신으로서 처리한다. 구체적으로는, 도 12의 (a)와 같은 신 정보 테이블(320)이 있는 경우, 신 시간 위치 표시 생성부(321)에서 도 12의 (c)와 같이 신 정보 테이블(320)을 고쳐 쓴다(書換; rewrite). 즉, 신#1의 종료 번호 프레임을 신#2의 종료 번호 프레임으로 갱신(更新; rewrite)하고, 신#2를 소거(消去; delete)한다. 이것에 의해, 이 신 정보 테이블(320)에 의거해서 생성되는 신 시간 위치 표시는, 하나의 신만을 표시하게 된다.
또한, 도 12의 (c)에 도시한 바와 같이 신 정보 테이블(320)의 내용을 고쳐 쓰는 일없이, 2개의 신이 연속하고 있는 경우에는 하나의 신으로서 도 12의 (d)에 도시하는 신 시간 위치 표시를 신 시간 위치 표시 생성부(321)에서 생성하도록 구성해도 좋다.
다음에, 본 발명의 실시 형태에 있어서의 촬상 장치(100)의 동작에 대해서 도면을 참조해서 설명한다.
도 13은, 본 발명의 실시 형태에 있어서의 신 검출의 흐름을 도시하는 도면이다. 우선, 동화상 파일을 구성하는 프레임으로부터 소망의 프레임의 선택을 접수 한 후, 그 프레임의 영역 선택을 접수한다(스텝 S911). 스텝 S911에서 선택된 영역에 의거해서 템플레이트 화상 생성부(312)에서 템플레이트 화상이 생성된다(스텝 S912). 구체적으로는, 템플레이트 화상 생성부(312)에서 선택된 영역을 프레임으로부터 절출하는 것에 의해서 템플레이트 화상이 생성된다. 또, 이 절출된 화상을 확대 또는 축소한 화상도 템플레이트 화상으로서 생성된다.
다음에, 화상 대조확인부(313)는, 동화상 파일 보존유지부(231)에 보존유지된 동화상 파일로부터 템플레이트 화상과 대조확인해야 할 프레임을 취득한다(스텝 S913). 본 발명의 실시 형태에 있어서는, 템플레이트 화상과 대조확인해야 할 프레임으로서 취득되는 프레임은 2가지(通; types) 있다. 1번째는, 신의 종료 프레임 다음에 위치하는 프레임이다. 이 프레임이 취득되는 것은, 신의 검출이 행해진 경우이다. 2번째는, 직전에 대조확인이 행해진 프레임 다음에 위치하는 프레임이다. 이 프레임이 취득되는 것은, 화상 대조확인부(313)에서 템플레이트 화상 유사 프레임이 탐색되지 않은 경우이다. 그리고, 화상 대조확인부(313)는, 스텝 S913에서 취득한 프레임과 템플레이트 화상을 대조확인한다(스텝 S914).
스텝 S914에서의 대조확인 후에, 프레임 중의 임의(任意)의 화상과 템플레이트 화상과의 유사한 정도(度合; degree)(스코어)가 소정의 임계값을 넘었는지 여부가 화상 대조확인부(313)에서 판단된다(스텝 S915). 프레임 중의 화상과 템플레이트 화상과의 유사한 정도(스코어)가 소정의 임계값을 넘었다고 판단되면, 신 변화 검출부(314)는 그 프레임 앞에 시계열로 늘어선 프레임을 취득하고, 신이 개시하는 프레임의 검출을 행한다(스텝 S916).
다음에, 신 변화 검출부(314)는 그 프레임 뒤에 시계열로 늘어선 프레임을 취득해서, 신이 종료하는 프레임의 검출을 행한다(스텝 S917). 이상의 스텝 S916 및 S917의 처리에 의해 신의 개시와 종료가 검출되고, 1신이 검출된 것으로 된다. 또한, 스텝 S916과 스텝 S917은 어느 쪽을 먼저 행해도 좋다.
다음에, 스텝 S916에서 검출된 신의 최종 프레임이, 동화상 파일의 최종 프레임에 해당되는지 여부가 판단된다(스텝 S918). 스텝 S916에서 검출된 신의 최종 프레임이, 동화상 파일의 최종 프레임에 해당하지 않는다고 판단되면, 스텝 S913에서 신의 최종 프레임 다음의 프레임이 취득되어 스텝 S914 이하의 처리가 행해진다.
한편, 그 신의 최종 프레임이 동화상 파일의 최종 프레임에 해당한다고 판단되면, 스텝 S913에서 S917까지의 처리를 행하고 있지 않은 동화상 파일이 동화상 파일 보존유지부(231)에 보존유지되어 있는지 여부가 판단된다(스텝 S919). 스텝 S913에서 S917까지의 처리를 행하고 있지 않은 동화상 파일이 동화상 파일 보존유지부(231)에 보존유지되어 있다고 판단되면, 스텝 S913으로 되돌아간다. 한편, 스텝 S913에서 S917까지의 처리를 행하고 있지 않은 동화상 파일이 동화상 파일 보존유지부(231)에 보존유지되어 있지 않다고 판단되면, 신 검출 처리는 종료한다.
또, 스텝 S915에서 화상 대조확인부(313)에서 프레임 중의 화상과 템플레이트 화상과의 유사한 정도(스코어)가 소정의 임계값을 넘지 않는다고 판단되면, 그 프레임은 템플레이트 화상 유사 프레임으로 되지 않고, 스텝 S916 및 S917의 신 검출 처리는 행해지지 않는다. 이 경우에는, 다음에 스텝 S914에서 대조확인한 프레 임이 동화상 파일의 최종 프레임에 해당되는지 여부가 판단된다(스텝 S918).
스텝 S914에서 대조확인한 프레임이 동화상 파일의 최종 프레임에 해당하지 않는다고 판단되면, 스텝 S913으로 되돌아가고, 그 프레임 다음에 위치하는 프레임이 취득되어 스텝 S914 이하의 처리가 행해진다. 한편, 스텝 S914에서 대조확인한 프레임이 동화상 파일의 최종 프레임에 해당한다고 판단되면, 스텝 S913에서 S917까지의 처리를 행하고 있지 않은 동화상 파일이 있는지 여부가 스텝 S919에서 판단된다. 스텝 S919에서의 처리는 상기에서 설명한 대로이다.
이와 같이, 본 발명의 실시 형태에 따르면, 동화상 파일을 구성하는 어느것인가의 프레임에 포함되는 대상물을 영역 선택 접수부(601)에서 선택하는 것에 의해서 템플레이트 화상을 생성할 수 있으며, 그 템플레이트 화상에 포함되는 대상물이 등장하는 1신을 프레임의 각 화소의 화소값의 분포에 의거해서 신 변화 검출부(314)에 의해서 검출할 수가 있다. 그리고, 프레임의 각 화소의 화소값의 분포에 의거해서 신의 검출을 행하는 것에 의해서, 인간의 시각적(視覺的) 감각에 의거한 신 검출을 할 수 있기 때문에, 동화상에서 목적으로 하는 대상물이 등장하는 1신을 적확하게 검출할 수가 있다. 또, 검출에 이용하는 프레임을 프레임 축소부(311)에 의해서 축소하는 것에 의해서, 화상 대조확인부(313)에서의 템플레이트 화상과 유사한 화상을 포함하는 프레임의 탐색 처리의 연산량 및 신 변화 검출부(314)에서의 신 변화 검출 처리의 연산량을 저감할 수 있기 때문에, 고속의 신 검출이 가능하게 된다.
본 발명의 실시 형태에서는, 촬상 장치를 예로 설명했지만, 그 밖에 화상에 관한 처리를 행할 수 있는 전자(電子) 기기에서 본 발명을 적용하는 것은 가능하다.
또한, 본 발명의 실시 형태는 본 발명을 구현화하기 위한 1예를 나타낸 것이며, 이하에 나타내는 바와 같이 특허청구범위에서의 발명 특정 사항과 각각 대응 관계를 가지지만, 이것에 한정되는 것은 아니며 본 발명의 요지를 일탈하지 않는 범위에서 여러 가지 변형을 행할 수가 있다.
즉, 청구항 1에 있어서, 동화상 파일 보존유지 수단은, 예를 들면 동화상 파일 보존유지부(231)에 대응한다. 또, 영역 선택 접수 수단은, 예를 들면 영역 선택 접수부(601)에 대응한다. 또, 템플레이트 화상 생성 수단은, 예를 들면 템플레이트 화상 생성부(312)에 대응한다. 또, 화상 대조확인 수단은, 예를 들면 화상 대조확인부(313)에 대응한다. 또, 신 변화 검출 수단은, 예를 들면 신 변화 검출부(314)에 대응한다.
또, 청구항 3에 있어서, 프레임 취득 수단은, 예를 들면 프레임 취득부(315)에 대응한다. 또, 화소값 분포 생성 수단은, 예를 들면 화소값 분포 생성부(316)에 대응한다. 또, 분포 차분 적산값 산출 수단은, 예를 들면 분포 차분 적산값 산출부(317)에 대응한다. 또, 신 변화 판단 수단은, 예를 들면 신 변화 판단부(318)에 대응한다.
또, 청구항 6에 있어서, 프레임 축소 수단은, 예를 들면 프레임 축소부(311)에 대응한다.
또, 청구항 8에 있어서, 동화상 파일 정보 취득 수단은, 예를 들면 동화상 파일 정보 취득부(319)에 대응한다. 또, 신 정보 테이블은, 예를 들면 신 정보 테이블(320)에 대응한다. 또, 신 시간 위치 표시 생성 수단은, 예를 들면 신 시간 위치 표시 생성부(321)에 대응한다.
또, 청구항 11에 있어서, 촬상 수단은 예를 들면 촬상부(10)에 대응한다. 동화상 파일 보존유지 수단은, 예를 들면 동화상 파일 보존유지부(231)에 대응한다. 또, 영역 선택 접수 수단은, 예를 들면 영역 선택 접수부(601)에 대응한다. 또, 템플레이트 화상 생성 수단은, 예를 들면 템플레이트 화상 생성부(312)에 대응한다. 또, 화상 대조확인 수단은, 예를 들면 화상 대조확인부(313)에 대응한다. 또, 신 변화 검출 수단은, 예를 들면 신 변화 검출부(314)에 대응한다. 동화상 파일 정보 취득 수단은, 예를 들면 동화상 파일 정보 취득부(319)에 대응한다. 또, 신 정보 테이블은, 예를 들면 신 정보 테이블(320)에 대응한다. 또, 신 시간 위치 표시 생성 수단은, 예를 들면 신 시간 위치 표시 생성부(321)에 대응한다. 또, 표시 수단은, 예를 들면 표시부(61)에 대응한다.
또, 청구항 12 및 13에 있어서, 동화상 파일 보존유지 수단은, 예를 들면 동화상 파일 보존유지부(231)에 대응한다. 또, 영역 선택 접수 수순은, 예를 들면 스텝 S911에 대응한다. 또, 템플레이트 화상 생성 수순은, 예를 들면 스텝 S912에 대응한다. 또, 화상 대조확인 수순은, 예를 들면 스텝 S913 내지 S915에 대응한다. 또, 신 변화 검출 수순은, 예를 들면 스텝 S916 및 S917에 대응한다.
또한, 본 발명의 실시 형태에 있어서 설명한 처리 수순은, 이들 일련의 수순을 가지는 방법으로서 파악해도 좋고, 또, 이들 일련의 수순을 컴퓨터에 실행시키 기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 좋다.
본 발명에 따르면, 동화상에서 목적으로 하는 대상물이 등장하는 1신을 적확하게 검출할 수 있다고 하는 뛰어난 효과를 얻을 수가 있다.

Claims (13)

  1. 동화상(動畵像; moving image) 파일을 보존유지(保持; store)하는 동화상 파일 보존유지 수단과,
    상기 동화상 파일을 구성하는 프레임의 어느것인가(any) 하나에 대한 소정 영역의 선택을 접수(受付; receive)하는 영역 선택 접수 수단과,
    상기 선택을 접수한 영역의 화상을 템플레이트(template) 화상으로서 생성하는 템플레이트 화상 생성 수단과,
    상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인(照合; match, collate)하고 상기 템플레이트 화상과 유사(類似; similar)한 화상을 포함하는 프레임을 탐색(探索; search)하는 화상 대조확인 수단과,
    상기 화상 대조확인 수단에서 탐색된 프레임을 포함하는 신(scene; 장면)의 개시 및 종료를 검출하는 신 변화 검출 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 화상 대조확인 수단은, 상기 프레임의 취득에서 시계열(時系列; time sequence)로 소정수 걸러(置; 일정한 간격을 두고 일이 거듭됨을 나타냄) 늘어선 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 신 변화 검출 수단은,
    상기 화상 대조확인 수단에서 탐색된 프레임의 전후(前後)에 시계열로 늘어선 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 프레임 취득 수단과,
    상기 프레임 취득 수단에 의해서 취득된 프레임을 구성하는 각 화소의 화소값(畵素値)의 분포를 생성하는 화소값 분포 생성 수단과,
    상기 시계열로 서로 인접(隣合; adjacent)하는 프레임에서의 상기 화소값의 분포의 차분(差分)을 적산한 분포 차분 적산값(積算値)을 산출하는 분포 차분 적산값 산출 수단과,
    상기 분포 차분 적산값이 소정의 임계값(threshold)을 넘(超)고 있는지 여부를 판단해서 상기 분포 차분 적산값이 소정의 임계값을 넘고 있는 경우에는 상기 신이 변화한 것으로 하여 상기 소정의 임계값을 넘은 상기 분포 차분 적산값에 대응하는 프레임을 상기 신의 개시 프레임 또는 종료 프레임으로 판단하는 신 변화 판단 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 프레임 취득 수단은, 상기 화상 대조확인 수단에서 탐색된 프레임의 전후에 시계열로 소정수 걸러 늘어선 프레임을 상기 동화상 파일 보존유지 수단으로부터 취득하는 것을 특징으로 하는 화상 처리 장치.
  5. 제3항에 있어서,
    상기 화소값 분포 생성 수단은, 상기 화소값으로서 YUV를 이용해서 나타내어지는 양(量)을 이용하고, 상기 프레임 취득 수단에 의해서 취득된 프레임을 구성하는 각 화소의 YUV 각각의 성분의 분포를 생성하고,
    상기 분포 차분 적산값 산출 수단은, 상기 분포 차분 적산값으로서, 상기 시계열로 서로 인접하는 프레임에서의 상기 YUV 각각의 성분에 관한 분포의 차분을 상기 YUV 각각의 성분마다(成分每) 적산한 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값을 산출하고,
    상기 신 변화 판단 수단은, 상기 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값의 각각에 대해서 설정된 상기 소정의 임계값을 넘고 있는지 여부를 판단해서 상기 Y성분 분포차 적산값, U성분 분포차 적산값 및 V성분 분포차 적산값의 어느것인가 하나가 소정의 임계값을 넘고 있는 경우에는 상기 신이 변화한 것으로 하여 상기 소정의 임계값을 넘은 상기 Y성분 분포차 적산값, U성분 분포차 적산값 또는 V성분 분포차 적산값에 대응하는 프레임을 상기 신의 개시 프레임 또는 종료 프레임으로 판단하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 동화상 파일을 구성하는 프레임을 축소하는 프레임 축소 수단을 더 구비하고,
    상기 동화상 파일 보존유지 수단은, 상기 프레임 축소 수단에서 축소된, 프레임을 더 보존유지하고,
    상기 영역 선택 접수 수단은, 상기 축소된 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하고,　
    상기 화상 대조확인 수단은, 상기 축소된 프레임과 상기 템플레이트 화상을 대조확인해서 상기 템플레이트 화상과 유사한 화상을 포함하는 상기 축소된 프레임을 탐색하고,
    상기 신 변화 검출 수단은, 상기 축소된 프레임을 이용해서 상기 화상 대조확인 수단에서 탐색된 축소된 프레임을 포함하는 신의 개시 및 종료를 검출하는 것을 특징으로 하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 프레임 축소 수단은, 시계열로 늘어선 상기 프레임을 소정수 걸러 축소하는 것을 특징으로 하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 동화상 파일 보존유지 수단에 보존유지된 상기 동화상 파일로부터 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보를 포함하는 동화상 파일 정보를 취득하는 동화상 파일 정보 취득 수단과,
    상기 동화상 파일 정보 취득 수단에 의해서 취득된 상기 동화상 파일 정보 및 상기 신 변화 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보를 상기 동화상 파일마다 대응지어서(對應付) 보존유지하는 신 정보 테이블과,
    상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보 및 상기 신의 개시 및 종료에 관한 정보에 의거해서 상기 동화상이 재생되는 전체시간(全時間)에 대한 상기 신의 시간적인 위치를 나타내는 표시인 신 시간 위치 표시를 생성하는 신 시간 위치 표시 생성 수단
    을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 동화상 파일 정보 취득 수단은, 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보로서 상기 동화상 파일에 포함되는 프레임 수(數)를 취득하고,
    상기 신 정보 테이블은, 상기 신 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보로서 상기 신의 개시 프레임 번호 및 종료 프레임 번호를 보존유지하고,
    상기 신 시간 위치 표시 생성 수단은, 상기 동화상 파일에 포함되는 프레임 수, 상기 신의 개시 프레임 번호 및 종료 프레임 번호에 의거해서 상기 신 시간 위 치 표시를 생성하는 것을 특징으로 하는 화상 처리 장치.
  10. 제8항에 있어서,
    상기 신 시간 위치 표시 생성 수단은, 앞(前; prior) 신의 종료 및 다음(次; next) 신의 개시가 연속하는 경우에는 상기 앞 신 및 상기 다음 신을 하나의 신으로 하여 상기 신 시간 위치 표시를 생성하는 것을 특징으로 하는 화상 처리 장치.
  11. 피사체를 촬상해서 동화상 파일을 생성하는 촬상 수단과,
    상기 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단과,
    상기 동화상 파일을 구성하는 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하는 영역 선택 접수 수단과,
    상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수단과,
    상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색하는 화상 대조확인 수단과,
    상기 화상 대조확인 수단에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화 검출 수단과,
    상기 동화상 파일 보존유지 수단에 보존유지된 상기 동화상 파일로부터 상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보를 포함하는 동화상 파 일 정보를 취득하는 동화상 파일 정보 취득 수단과,
    상기 동화상 파일 정보 취득 수단에 의해서 취득된 상기 동화상 파일 정보 및 상기 신 변화 검출 수단에 의해서 검출된 상기 신의 개시 및 종료에 관한 정보를 상기 동화상 파일마다 대응지어서 보존유지하는 신 정보 테이블과,
    상기 동화상 파일에 대응하는 동화상의 개시 및 종료에 관한 정보 및 상기 신의 개시 및 종료에 관한 정보에 의거해서 상기 동화상이 재생되는 전체시간에 대한 상기 신의 시간적인 위치를 나타내는 표시인 신 시간 위치 표시를 생성하는 신 시간 위치 표시 생성 수단과,
    상기 신 시간 위치 표시를 표시하는 표시 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  12. 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단을 구비한 화상 처리 장치에서의 처리 방법으로서,
    상기 동화상 파일을 구성하는 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하는 영역 선택 접수 수순(手順; step)과,
    상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수순과,
    상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색하는 화상 대조확인 수순과,
    상기 화상 대조확인 수순에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화 검출 수순
    을 구비하는 것을 특징으로 하는 처리 방법.
  13. 동화상 파일을 보존유지하는 동화상 파일 보존유지 수단을 구비한 화상 처리 장치에 있어서,
    상기 동화상 파일을 구성하는 프레임의 어느것인가 하나에 대한 소정 영역의 선택을 접수하는 영역 선택 접수 수순과,
    상기 선택을 접수한 영역의 화상을 템플레이트 화상으로서 생성하는 템플레이트 화상 생성 수순과,
    상기 동화상 파일 보존유지 수단으로부터 상기 프레임을 취득해서 상기 프레임의 각각과 상기 템플레이트 화상을 대조확인하고 상기 템플레이트 화상과 유사한 화상을 포함하는 프레임을 탐색하는 화상 대조확인 수순과,
    상기 화상 대조확인 수순에서 탐색된 프레임을 포함하는 신의 개시 및 종료를 검출하는 신 변화 검출 수순
    을 실행시키는 것을 특징으로 하는 프로그램.
KR1020060098575A 2005-10-11 2006-10-10 화상 처리 장치 KR20070040313A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005296052A JP4241709B2 (ja) 2005-10-11 2005-10-11 画像処理装置
JPJP-P-2005-00296052 2005-10-11

Publications (1)

Publication Number Publication Date
KR20070040313A true KR20070040313A (ko) 2007-04-16

Family

ID=37401110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060098575A KR20070040313A (ko) 2005-10-11 2006-10-10 화상 처리 장치

Country Status (6)

Country Link
US (2) US8014566B2 (ko)
EP (1) EP1775664A3 (ko)
JP (1) JP4241709B2 (ko)
KR (1) KR20070040313A (ko)
CN (1) CN100555328C (ko)
TW (1) TW200737971A (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007052395A1 (ja) * 2005-10-31 2009-04-30 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20090150520A1 (en) * 2007-12-07 2009-06-11 David Garcia Transmitting Assets In UPnP Networks To Remote Servers
US20090150570A1 (en) * 2007-12-07 2009-06-11 Bo Tao Sharing Assets Between UPnP Networks
US20090150481A1 (en) * 2007-12-08 2009-06-11 David Garcia Organizing And Publishing Assets In UPnP Networks
US20090150480A1 (en) * 2007-12-08 2009-06-11 Xiyuan Xia Publishing Assets Of Dynamic Nature In UPnP Networks
GB2471036B (en) 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
CN101527040B (zh) * 2008-03-05 2012-12-19 华为终端有限公司 图像处理方法及系统
JP4798172B2 (ja) * 2008-05-20 2011-10-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像出力方法および画像出力プログラム
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5066037B2 (ja) 2008-09-02 2012-11-07 株式会社日立製作所 情報処理装置
CN101370126B (zh) * 2008-09-24 2012-02-08 中兴通讯股份有限公司 一种监控录像的播放控制方法及系统
JP5035292B2 (ja) * 2009-05-11 2012-09-26 株式会社ニコン 撮像装置、データ生成装置、およびデータ生成プログラム
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
BR112013028780A2 (pt) 2011-05-11 2017-01-31 I-Cubed Res Center Inc aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado
JP5852370B2 (ja) * 2011-08-31 2016-02-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
PL2773111T3 (pl) 2011-10-28 2020-06-29 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów i urządzenie do dekodowania obrazów
WO2013061549A1 (ja) 2011-10-28 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP5754458B2 (ja) * 2013-03-22 2015-07-29 カシオ計算機株式会社 動画像抽出装置、動画像抽出方法及びプログラム
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP2016039496A (ja) * 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
KR102535411B1 (ko) 2017-11-16 2023-05-23 삼성전자주식회사 메트릭 학습 기반의 데이터 분류와 관련된 장치 및 그 방법
CN107977675A (zh) * 2017-11-24 2018-05-01 清华大学 一种视觉模板自动提取方法、系统及存储介质
CN108810413B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10789990B2 (en) * 2018-12-17 2020-09-29 International Business Machines Corporation Video data learning and prediction
CN116013091B (zh) * 2023-03-24 2023-07-07 山东康威大数据科技有限公司 基于车流量大数据的隧道监控系统与分析方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JP3221028B2 (ja) 1992-01-29 2001-10-22 株式会社日立製作所 動画像情報のキーワード付与方法
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP3332166B2 (ja) 1992-09-30 2002-10-07 株式会社日立製作所 動画像の検索装置
US6195497B1 (en) * 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
JP3454396B2 (ja) 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
CN1238889A (zh) * 1996-11-27 1999-12-15 普林斯顿视频图像公司 使用图像纹理模板的运动跟踪
US6560281B1 (en) * 1998-02-24 2003-05-06 Xerox Corporation Method and apparatus for generating a condensed version of a video sequence including desired affordances
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
JP3615657B2 (ja) * 1998-05-27 2005-02-02 株式会社日立製作所 映像検索方法及び装置ならびに記録媒体
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6912327B1 (en) * 1999-01-28 2005-06-28 Kabushiki Kaisha Toshiba Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
JP2000312310A (ja) 1999-04-27 2000-11-07 Hitachi Denshi Ltd 動画像編集方法
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
JP2003087772A (ja) 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
JP4082664B2 (ja) 2002-09-20 2008-04-30 Ｋｄｄｉ株式会社 映像検索装置
JP2004227519A (ja) * 2003-01-27 2004-08-12 Matsushita Electric Ind Co Ltd 画像処理方法
DE602006017977D1 (de) * 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
JP5067418B2 (ja) * 2007-03-16 2012-11-07 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Also Published As

Publication number Publication date
EP1775664A3 (en) 2009-11-04
US20070127773A1 (en) 2007-06-07
US8014566B2 (en) 2011-09-06
EP1775664A2 (en) 2007-04-18
US8160299B2 (en) 2012-04-17
CN100555328C (zh) 2009-10-28
US20110199513A1 (en) 2011-08-18
CN1949271A (zh) 2007-04-18
JP2007110193A (ja) 2007-04-26
TW200737971A (en) 2007-10-01
JP4241709B2 (ja) 2009-03-18
TWI334729B (ko) 2010-12-11

Similar Documents

Publication Publication Date Title
KR20070040313A (ko) 화상 처리 장치
JP4499693B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4581924B2 (ja) 画像再生装置、および画像再生プログラム
US8704931B2 (en) Apparatus and method of photographing moving image
EP0597450B1 (en) A recording medium, an apparatus for recording a moving image, an apparatus and a system for generating a digest of a moving image, and a method of the same
US6542192B2 (en) Image display method and digital still camera providing rapid image display by displaying low resolution image followed by high resolution image
US7856145B2 (en) Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
CN100492154C (zh) 红眼图像校正装置及具有该装置的电子照相机
US20060146147A1 (en) Digital still camera and method of controlling operation of same
JPWO2007132870A1 (ja) タイムラプス撮影装置
CN101330573B (zh) 图像处理设备和图像处理方法
US20100246968A1 (en) Image capturing apparatus, image processing method and recording medium
US20030202777A1 (en) Recording apparatus capable of recording moving image and still image
JP2008199330A (ja) 動画像管理装置
JP2013121097A (ja) 撮像装置及び方法、並びに画像生成装置及び方法、プログラム
JP4323601B2 (ja) 画像処理システム及び画像処理方法
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPH1196361A (ja) 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
JP5293422B2 (ja) 画像特定装置及び画像特定プログラム
KR101945243B1 (ko) 영상을 배속 재생하는 방법 및 장치
JP2004207842A (ja) 画像処理装置およびプログラム
JP3426997B2 (ja) 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体
JP2021081904A (ja) 情報処理装置、プログラム、記憶媒体、および、情報処理方法
JP2005064852A (ja) デジタルカメラ及び画像再生順位決定方法
JP2018037949A (ja) 撮像装置、画像処理装置、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right