KR20060051810A - 동화 기록 장치 및 동화 재생 장치 - Google Patents

동화 기록 장치 및 동화 재생 장치 Download PDF

Info

Publication number
KR20060051810A
KR20060051810A KR20050091032A KR20050091032A KR20060051810A KR 20060051810 A KR20060051810 A KR 20060051810A KR 20050091032 A KR20050091032 A KR 20050091032A KR 20050091032 A KR20050091032 A KR 20050091032A KR 20060051810 A KR20060051810 A KR 20060051810A
Authority
KR
South Korea
Prior art keywords
moving picture
image
partial
recording
face
Prior art date
Application number
KR20050091032A
Other languages
English (en)
Other versions
KR100734705B1 (ko
Inventor
에리나 타키카와
미하루 사쿠라기
미키 마츠오카
요코 요시다
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20060051810A publication Critical patent/KR20060051810A/ko
Application granted granted Critical
Publication of KR100734705B1 publication Critical patent/KR100734705B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

과제
전체 및 클로즈업의 고화질의 동화를 간단히 촬영, 기록, 그리고 재생할 수 있는 기술을 제공한다.
해결 수단
촬상부(10)가 동화 기록용 화소수보다도 높은 해상도로 촬상한다. 화상 처리부(12)는, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하는 한편, 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성한다. 전체화상으로 구성되는 전체동화와 부분화상으로 구성되는 부분동화가 관련시켜져서 기록된다.
동화 기록 장치, 동화 재생 장치

Description

동화 기록 장치 및 동화 재생 장치{MOVING PICTURE RECORDING APPARATUS AND PICTURE RECORDING APPARATUS}
도 1은 동화 기록 장치의 기능 구성을 도시한 블록도.
도 2는 동화 기록 장치의 기기 구성예를 도시한 도면.
도 3은 동화 기록 처리의 흐름을 도시한 플로우 차트.
도 4는 부분화상 리스트의 작성 처리의 흐름을 도시한 플로우 차트.
도 5는 부분화상의 생성·기록 처리의 흐름을 도시한 플로우 차트.
도 6은 전체화상의 생성·기록 처리의 흐름을 도시한 플로우 차트.
도 7은 원화상으로부터 검출된 얼굴 사각형을 도시한 도면.
도 8은 부분화상 리스트의 일례를 도시한 도면.
도 9는 전체화상과 부분화상의 생성 처리를 설명하기 위한 도면.
도 10은 전체동화와 부분동화의 스트림 구조를 도시한 도면.
도 11은 전체동화와 부분동화의 표시예를 도시한 도면.
도 12는 전체동화와 부분동화의 표시예를 도시한 도면.
도 13은 제 2 실시 형태에 있어서의 부분화상 리스트의 작성 처리의 흐름을 도시한 플로우 차트.
도 14는 제 2 실시 형태에서 생성된 부분동화에 관해 설명하기 위한 도면.
도 15는 제 3 실시 형태에 있어서의 부분화상의 생성·기록 처리의 흐름을 도시한 플로우 차트.
(도면의 주요부분에 대한 부호의 설명)
1 : 동화 기록 장치 10 : 촬상부
11 : 프레임 메모리 12 : 화상 처리부
13 : 얼굴 처리부 14 : 얼굴 정보 등록부
15 : 전체화상 기록부 16 : 부분화상 기록부
17 : 화상 합성부 18 : 표시부
20, 22, 27 : 디지털 비디오 카메라 21 : 표시부
23, 29 : 텔레비전 수상기 24 : 비디오 카메라
25 : 정보 처리 장치 26 : 디스플레이
28 : 플레이어 30 : 반도체 메모리
31 : DVD
기술 분야
본 발명은, 동화의 기록 및 재생의 기술에 관한 것이다.
종래의 기술
핸디 타입의 비디오 카메라나 설치형의 감시 카메라 등, 동화의 기록을 행하 는 동화 기록 장치는 다양한 용도에 이용된다. 동화 기록 장치로 촬영된 영상은, 비데오 테이프, DVD, HD, 메모리 등의 기록 미디어에 기록되고, 동화 재생 장치에 의해 재생된다. 또한, 동화 재생 기능을 구비하는 타입의 동화 기록 장치도 있고, 이런 종류의 장치에서는, 장치 단체(單體)로 동화의 기록 및 재생을 행하거나, 외부의 표시 장치에 대해 영상 신호를 출력하거나 할 수 있다.
동화 기록 장치의 촬영 대상이 되는 것은, 오로지 인물, 그 중에서도 사람의 얼굴 부분인 케이스가 많다. 그래서 종래부터, 인물이나 얼굴 부분의 화상 품질을 향상시키기 위한 기술이 종종 검토되고 있다.
예를 들면, 특허 문헌 1에서는, 화상으로부터 얼굴이나 인물의 영역을 검출하고, 그 영역을 부분 고화질 부호화 또는 부분 확대 부호화함에 의해, 휴대 단말의 작은 화면상에 내방자(來訪者)의 얼굴이나 의심스런 인물을 선명하게 표시할 수 있도록 하는 수법이 제안되어 있다. 또한, 특허 문헌 2에서는, 이른바 ROI(Region of Interest) 방식을 사용하여, 화상중 인물 영역의 압축률을 낮게 억제함으로써, 그 부분의 화질을 높게 유지하는 한편, 그 밖의 배경 부분의 압축률을 높게 설정하고, 전체로서 압축률을 높여 압축 처리 후의 화상의 전체 용량을 저감하는 수법이 제안되어 있다. 또한, 특허 문헌 3에서는, 화상의 얼굴 영역에 관해서는 데이터 압축 처리를 실행하고, 배경 영역에 관해서는 대표 압축 데이터로 치환함으로써, 전체로서 화상의 용량을 작게 하는 수법이 제안되어 있다.
이와 같이, 종래 기술은, 화질 향상과 용량 삭감이라는 상반되는 과제의 양립을 목적으로 하고, 얼굴이나 인물 부분의 품질을 유지하는 대신에, 그 밖의 부분 의 품질을 희생으로 하는 것이었다.
[특허 문헌 1]
특개2003-219396호 공보
[특허 문헌 2]
특개2001-145101호 공보
[특허 문헌 3]
특개평6-6747호 공보
기록 미디어의 대용량화와 통신 속도의 고속화에 의해, 지금, 동화의 기록 용량에 관한 문제는 해소된다. 따라서 금후는, 배경을 포함한 전체의 양상도 깨끗하게 집어넣으면서, 사람이나 얼굴 부분은 지금까지 이상으로 깨끗하게 촬영하고 싶다는, 화질에 대한 요구가 높아질 것으로 예상된다. 예를 들면, 아이의 운동회를 촬영하는 장면에서는, 자신의 아이가 다른 아이들과 서로 경쟁하고 있는 양상이나 운동회의 풍경 등을 촬영하면서, 동시에 자신의 아이의 달리기나 얼굴의 표정을 클로즈업시켜 선명하게 기록한다는 니즈가 상정된다.
그러나, 종래의 동화 기록 장치에서는, 전체의 화상을 촬영하기 때문에 줌 아웃하면, 상대적으로 사람이나 얼굴 부분이 작아져 버려, 그 표정 등을 선명하게 기록할 수 없다. 역으로, 클로즈업된 화상을 촬영하기 위해 줌 인하면, 주위의 풍경이 화각(畵角)으로부터 잘려 버려서, 전체의 양상을 집어넣을 수 없다. 그 때문에, 아이의 달리기를 촬영하여도, 달리기 전체의 양상을 집어넣으려고 하여 아이의 생생한 표정을 촬영할 수 없거나, 아이의 클로즈업만을 너무 쫓아서, 아이가 다른 아이를 추월하는 신을 놓쳐 버리거나 하여, 마음먹은 촬영을 할 수 없는 경우가 많다. 특히, 움직이는 피사체를 촬영하는 경우에는, 줌의 전환이나, 얼굴을 클로즈업하면서 피사체의 움직임에 추종하는 것은 곤란하다.
본 발명은 상기 실정을 감안하여 이루어진 것으로, 그 목적으로 하는 바는, 전체 및 클로즈업의 고화질의 동화를 간단하게 촬영, 기록, 그리고 재생할 수 있는 기술을 제공하는 데 있다.
과제를 해결하기 위한 수단
상기 목적을 달성하기 위해 본 발명에서는, 이하의 수단 또는 처리에 의해 동화의 촬영, 기록 또는 재생을 행한다.
본 발명의 동화 기록 장치는, 촬상 수단과, 전체화상 생성 수단과, 부분화상 생성 수단과, 기록 수단을 구비한다. 촬상 수단은, 동화 기록용 화소수보다도 높은 해상도로 촬상한다. 여기서는 촬상에 의해 얻어진 화상을 「원화상」이라고 부른다. 전체화상 생성 수단은, 원화상을 동화 기록용 화소수의 화상으로 해상도 변환한다. 전체화상 생성 수단에 의해 생성되는 화상을 「전체 화상」이라고 부른다. 다른 한편, 부분화상 생성 수단은, 원화상의 일부분으로부터 동화 기록용 화소수의 화상을 생성한다. 부분화상 생성 수단에 의해 생성되는 화상을 「부분화상」이라고 부른다. 그리고, 기록 수단은, 전체화상으로 구성되는 전체동화와 부분화상으로 구성되는 부분동화를 관련시켜 기록한다.
이 구성에 의하면, 전체의 양상을 화각에 집어넣어 촬영을 행하는 것만으로, 전체와 부분(업)의 2종류의 동화가 자동적으로 기록되기 때문에, 촬영자에 의한 줌 조작 등은 불필요하게 되고, 촬영 및 기록의 간단화가 도모된다. 게다가, 어느 화상도 고해상도의 원화상으로부터 생성되기 때문에, 양호한 화질을 얻을 수 있다.
원화상의 어느 영역으로부터 부분화상을 생성하는가는, 고정적으로 설정하여도 좋고, 동적으로 바꾸도록 하여도 좋다.
예를 들면 건물이나 대지의 입구를 감시하기 위한 동화 기록 장치(감시 카메라)와 같이, 클로즈업으로 촬영하고 싶은 영역을 미리 특정할 수 있는 경우에는, 원화상중의 부분화상을 생성하는 영역을 고정적으로 설정하면 좋다. 또한, 클로즈업으로 촬영하고 싶은 영역이 복수 존재하는 경우에는, 일정 시간 간격으로 그들의 영역을 바꾸도록 하여도 좋다.
또한, 화상 처리 기술이나 화상 인식 기술을 이용하여, 원화상중에서 클로즈업으로 촬영하고 싶은 피사체(사람, 얼굴, 또는 물체)를 검출함에 의해, 부분화상의 영역을 자동적으로 전환할 수도 있다.
상세하게는, 부분화상 생성 수단이, 원화상으로부터 사람의 얼굴을 검출하는 얼굴 검출 수단을 가지고, 검출된 얼굴을 포함하도록 부분화상을 생성하면 좋다. 이 구성에 의하면, 피사체가 되는 인물을 화각 내에 넣어서 촬영을 행하는 것만으로, 그 사람의 얼굴을 클로즈업으로 따라가는 부분동화가 자동적으로 기록된다.
여기서, 부분화상 생성 수단이, 얼굴 정보가 등록되는 얼굴 정보 등록 수단과, 검출된 얼굴이 얼굴 정보 등록 수단에 등록되어 있는 얼굴과 일치하는지의 여 부를 판정하는 얼굴 인식 수단을 갖고 있고, 등록되어 있는 얼굴의 경우는 그 얼굴을 포함하는 부분화상을 생성한 것이 바람직하다. 이 구성에 의하면, 비등록자의 부분동화는 생성되지 않기 때문에, 화각 내에 많은 인물이 들어가 있는 경우에도 소망하는 인물(등록자)의 부분동화만이 기록된다는 이점이 있다.
부분화상 생성 수단은, 동화 기록용 화소수의 크기의 영역을 원화상으로부터 발출한 것을 부분화상으로 하는 것이 바람직하다. 이 경우, 해상도 변환이 불필요하게 되기 때문에, 부분화상 생성 처리의 단순화 및 고속화를 도모할 수 있음과 함께, 해상도 변환에 의한 화질 열화를 방지할 수 있다.
또는, 부분화상 생성 수단이, 얼굴의 크기에 개략 비례한 크기의 영역을 원화상으로부터 발취한 후, 그 발출된 화상을 동화 기록용 화소수의 부분화상으로 해상도 변환하도록 하여도 좋다. 이 경우, 부분화상에 차지하는 얼굴의 크기가 대략 일정하게 된다. 즉, 얼굴을 항상 같은 크기로 촬영할 수 있다는 이점이 있다.
부분화상 생성 수단이, 부분화상중 얼굴의 위치가 대략 일정하게 되도록 상기 영역을 원화상으로부터 발출하면 보다 바람직하다. 이로써, 흔들림이 거의 없는, 보기 쉬운 부분동화를 얻을 수 있다.
기록 수단은, 전체동화와 부분동화를 시간적인 대응관계를 취하면서 기록하는 것이 바람직하고. 이로써, 기록된 동화를 재생할 때에, 전체동화와 부분동화를 동기시키면서 표시하는 것이 용이해진다.
또한, 기록 수단이, 전체화상중 부분화상의 위치를 기록하는 것도 바람직하다. 이로써, 기록된 동화를 재생할 때, 전체화상과 부분동화를 관련짓는 다양한 표 시 효과를 용이하게 실현할 수 있다.
기록 수단이, 동화 기록 장치 본체로부터 떼어냄이 가능한 기록 미디어를 갖는 것이 바람직하다. 이로써 기록하는 동화를 다른 기기에 건네주는 것이 용이해진다.
동화 기록 장치가, 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하는 화상 합성 수단을 구비하는 것도 바람직하다. 또한, 동화 기록 장치가, 영상 신호를 표시하는 표시 수단을 구비하면 좋다. 여기서, 화상 합성 수단이나 표시 수단은 동화 기록 장치 본체와 일체의 구성이라도 좋고, 별체의 구성이라도 좋다.
본 발명의 동화 재생 장치는, 상술한 동화 기록 장치에 의해 기록된 전체동화 및 부분동화를, 동화 기록 장치로부터 판독하는 판독 수단과, 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하는 화상 합성 수단과, 영상 신호를 표시하는 표시 수단을 구비한다.
동화 기록 장치 또는 동화 재생 장치가 동화의 재생·표시를 행할 때에는, 예를 들면, 화상 합성 수단이, 부분동화의 영역을 나타내는 마크를 전체동화에 합성하면 좋다. 이로써, 유저(시청자)는 어느 영역이 클로즈업으로 표시되어 있는지를 용이하게 파악할 수 있다.
또한, 전체동화에 관련시켜져 있는 부분동화가 복수 있는 경우에, 조작 수단에 의해, 화면상에 표시하는 부분동화를 유저에게 선택시키는 것도 바람직하다. 이로써, 유저가 희방하는 부분이 클로즈업으로 표시되도록 된다. 선택 화면의 양태로 서는, 예를 들면, 부분동화를 나열하여 표시한 양태, 전체동화 위에 각 부분동화의 영역을 나타내는 복수의 마크를 합성 표시하는 양태, 전체동화의 임의의 위치를 선택시키고, 그 선택 위치에 가장 가까운 부분화상을 표시하는 양태 등, 다양한 것이 고려된다.
또한, 본 발명은, 상기 구성의 적어도 일부를 갖는 동화 기록 장치 또는 동화 재생 장치로서 파악할 수 있다. 또한, 본 발명은, 상기 처리의 적어도 일부를 포함하는 동화 기록 방법 또는 동화 기록 재생 방법, 또는, 이러한 방법을 실현하기 위한 프로그램으로서 파악할 수도 있다. 상기 구성 및 처리의 각각은 가능한 한 서로 조합시켜서 본 발명을 구성할 수 있다.
본 발명에 의하면, 전체의 동화와 클로즈업의 동화를 간단하게 촬영, 기록, 그리고 재생할 수 있다.
이하에 도면을 참조하여, 본 발명의 알맞는 실시의 형태를 예시적으로 상세하게 설명한다.
<제 1 실시 형태>
(동화 기록 장치의 기능 구성)
도 1에, 본 발명의 실시 형태에 관한 동화 기록 장치의 기능 구성을 도시한다. 동화 기록 장치(1)는, 이른바 디지털 비디오 카메라 시스템으로서고, 촬영한 영상을 디지털 형식의 동화나 정지화로서 기록하는 장치이다.
도 1에 도시한 바와 같이, 본 실시 형태의 동화 기록 장치(1)는, 화상 처리 계로서, 촬상부(10), 프레임 메모리(11), 화상 처리부(12), 얼굴 처리부(13), 얼굴 정보 등록부(14), 전체화상 기록부(15), 부분화상 기록부(16), 화상 합성부(17), 표시부(18)를 구비한다. 또한, 도시를 생략하지만, 마이크로폰이나 음성 처리부 등의 음성 처리계도 구비한다.
촬상부(10)는, 대략, 광학계와 촬상 소자로 구성되는 촬상 수단이다. 촬상 소자는 CCD 또는 CMOS 등의 이미지 센서로서, 적어도 수100만 오더의 유효 화소수(예를 들면, 300만 화소)를 갖는 것이 이용된다. 촬상부(10)에서 촬영된 화상(「원화상」이라고 부른다)은, 프레임 메모리(11)에 일시적으로 기억된다.
화상 처리부(12)는, 프레임 메모리(11)로부터 원화상을 판독하고, 그 원화상에 대해 다양한 화상 처리를 행하는 기능이다. 화상 처리로서는, 예를 들면, 해상도 변환, 트리밍, 손떨림 보정, 샤프니스, 색조 보정 등이 있다.
동화 기록 장치(1)의 촬영 모드로는 동화 촬영 모드와 정지화 촬영 모드가 있고, 또한 정지화 촬영 모드로는 고정밀 모드와 통상 모드가 있다. 고정밀 모드에서는 원화상과 거의 같은 약 2000×1500화소로, 통상 모드에서는 약 1600×1200화소로 정지화의 기록이 행하여진다. 또한 동화 촬영 모드로는 640×480화소(VGA 사이즈)의 동화 기록용 화소수로 동화의 기록이 행하여진다. 이와 같이 촬영 모드에 의해 기록용 화소수가 다르기 때문에, 화상 처리부(12)는 촬영 모드에 따라 원화상에 적절히 해상도 변환이나 트리밍을 시행하여 기록용의 화상을 생성한다.
본 실시 형태에서는, 동화 촬영 모드에서, 약 2000×1500화소수의 원화상으로부터, 전체화상과 부분화상의 2종류의 VGA 사이즈(동화 기록용 화소수)의 화상이 생성된다. 전체화상 생성 수단은 화상 처리부(12)에 의해 구성된다. 또한, 부분화상 생성 수단은 화상 처리부(12), 얼굴 처리부(13) 및 얼굴 정보 등록부(14)에 의해 구성된다.
여기서 전체화상이란, 원화상으로 찍혀 있는 상의 거의 전체를 포함하고 있는 화상을 말한다. 이 전체화상은, 원화상의 유효 영역 전체를 VGA 사이즈로 해상도 변환(다운 컨버트)함에 의해 생성된다. 또한, 유효 영역이란 원화상으로부터 손떨림 보정용의 마진이나 애스펙트비 조정용의 잉여 화소 등을 제외한 부분을 말하고, 실질적으로는 원화상의 전영역에 상당한다.
한편, 부분화상이란, 원화상으로 찍혀 있는 상의 일부분만을 포함하고 있는 화상을 말한다. 이 부분화상은, 원화상의 유효 영역으로부터 VGA 사이즈의 영역을 트리밍함(발출함)에 의해 생성된다. 본 실시 형태에서는 얼굴 처리부(13)에서 검출된 얼굴의 부분을 포함하도록 트리밍 범위가 결정된다.
전체화상과 부분화상은 모두 같은 원화상으로부터 생성되는 것이지만, 전체화상은 원화상의 거의 전영역에서부터 생성됨에 대해, 부분화상은 전체화상보다도 작은 영역에서부터 생성된다. 따라서 부분화상은 전체화상의 일부분(얼굴의 부분)을 클로즈업으로 하는 화상으로 된다.
얼굴 처리부(13)는, 원화상으로부터 사람의 얼굴을 검출하는 얼굴 검출 처리를 실행하는 기능(얼굴 검출 수단)과, 검출된 얼굴의 인식을 행하는 얼굴 인식 처리를 실행하는 기능(얼굴 인식 수단)을 구비한다. 얼굴 검출 처리에서는, 얼굴 처리부(13)는 원화상중에서 얼굴의 특징을 갖는 영역을 검출하고, 그 얼굴을 둘러싸 는 사각형(「얼굴 사각형」이라 부른다)의 좌표치를 산출한다. 또한, 얼굴 인식 처리에서는, 얼굴 처리부(13)는 얼굴 사각형으로 둘러싸인 소화상으로부터, 눈썹, 목, 코, 입, 윤곽 등의 얼굴 기관의 특징량(「얼굴 정보」라 부름)을 추출하고, 얼굴 정보 등록부(14)에 미리 등록되어 있는 얼굴 정보와 비교하여, 검출된 얼굴과 등록되어 있는 얼굴이 일치하는지의 여부를 판정한다.
동화를 기록하는 기록 수단은, 전체화상 기록부(15)와 부분화상 기록부(16)로 구성된다. 전체화상 기록부(15)는, 화상 처리부(12)로부터 전체화상을 순차적으로 수취하면, 동화 인코드 처리를 행하여 전체동화를 생성한다. 또한, 부분화상 기록부(16)는 화상 처리부(12)로부터 부분화상을 순차적으로 수취하면, 동화 인코드 처리를 행하여 부분동화를 생성한다. 그리고, 전체화상 기록부(15)와 부분화상 기록부(16)는 같은 원영상으로부터 생성된 전체동화와 부분동화를 서로 관련시켜 기록 미디어에 기록한다.
기록 미디어는, 동화 기록 장치(1)의 본체로부터 떼어냄이 가능하다. 떼어냄이 가능한 기록 미디어로서는, 예를 들면, 반도체 메모리, CD, DVD, 하드 디스크 등이 상정된다.
화상 합성부(17)는, 기록 미디어로부터 전체동화나 부분동화를 판독하고, 디코드 처리를 행하여 영상 신호를 생성하는 기능이다. 이 영상 신호는, 액정 디스플레이 등으로 구성되는 표시부(18)에 표시되거나, 외부 출력 I/F를 이용하여 프린터, 표시 장치, 기록 장치 (DVD 레코더, HD 레코더 등) 등의 외부 기기에 출력된다.
(동화 기록 장치의 기기 구성)
도 2는 동화 기록 장치의 기기 구성예를 도시한다.
제 1의 구성예에서는, 표시부(21)를 구비하는 동화 재생 기능이 있는 디지털 비디오 카메라(20) 단체로 동화 기록 장치가 구성된다.
제 2의 구성예에서는, 디지털 비디오 카메라(22)와 텔레비전 수상기(23)로 동화 기록 장치가 구성되어 있다. 이 구성에서는, 동화 기록 장치의 구성 요소중 표시부(18)의 기능을 텔레비전 수상기(23)가 담당하고, 그 밖의 기능은 디지털 비디오 카메라(22)에 마련되어 있다. 디지털 비디오 카메라(22)로 촬영·기록된 전체동화와 부분동화는, 디지털 비디오 카메라(22)에서 영상 신호 출력되고, 텔레비전 수상기(23)에 표시된다.
제 3의 구성예에서는, 비디오 카메라(24)와 정보 처리 장치(퍼스널 컴퓨터 등)(25)와 디스플레이(26)로 동화 기록 장치가 구성된다. 이 구성에서는, 비디오 카메라(24)가 촬상부(10)의 기능을 담당하고, 디스플레이(26)가 표시부(18)의 기능을 담당하고, 그 밖의 구성 요소에 관해서는 정보 처리 장치(25)가 담당한다. 정보 처리 장치(25)는 비디오 카메라(24)로부터 영상을 받아들이고, 전체동화와 부분동화를 생성하여 기록한다. 기록된 동화는 정보 처리 장치(25)에 의해 재생되고, 디스플레이(26)에 표시된다.
제 4의 구성예에서는, 디지털 비디오 카메라(27)와 플레이어(28)와 텔레비전 수상기(29)로 동화 기록 장치가 구성되어 있다. 이 구성에서는, 플레이어(28)가 화상 합성부(17)의 기능을 담당하고, 텔레비전 수상기(29)가 표시부(18)의 기능을 담 당하고, 그 밖의 구성 요소에 관해서는 디지털 비디오 카메라(27)가 담당한다. 디지털 비디오 카메라(27)에서 생성된 전체동화 및 부분동화는, 반도체 메모리(30)나 DVD(31) 등의 기록 미디어에 기록되어 있다. 플레이어(동화 재생 장치)(28)는 그 기록 미디어로부터 동화를 판독하고, 영상 신호를 생성한다. 영상 신호는 텔레비전 수상기(29)에 표시된다. 떼어냄이 가능한 기록 미디어에 동화를 기록 함으로써, 동화를 별체의 기기에 건네주는 것이 용이해진다.
이상 기술한 바와 같이, 동화 기록 장치는 일체의 구성(제 1의 구성예)이라도 좋고, 복수의 기기로 이루어지는 별체의 구성(제 2 내지 4의 구성예)이라도 좋다. 또한, 여기서 들은 예로 한하지 않고, 적절히 구성을 변형하거나 조합시키거나 하여도 좋다.
(동화 기록 처리)
다음에, 동화 기록 장치의 동화 기록 처리에 관해 상세하게 설명한다. 도 3 내지 도 6은 본 발명의 제 1 실시 형태에서의 동화 기록 처리의 흐름을 도시한 플로우 차트이다. 이하에 기술하는 처리는, 동화 기록 장치의 컨트롤러(CPU)가 프로그램에 따라 하드웨어의 제어나 연산 처리를 실행함에 의해 실현되는 것이다.
동화 기록을 시작하면, 도 3의 처리가 실행된다. 도 3의 플로우 차트는, 하나의 프레임(화상)을 촬상·기록하는 처리이다. 동화 기록중에는, 이 처리가 프레임 레이트에 동기한 타이밍(예를 들면 30회/초)으로 반복 실행된다.
우선, 촬상부(10)가 촬상을 행한다(스텝 S10). 촬상부(10)에서는, 동화 기록용 화소수(VGA 사이즈)보다도 높은 해상도(300만 화소)로 촬상이 행하여진다. 촬상 에 의해 얻어진 원화상은 프레임 메모리(11)에 격납된다.
다음에, 얼굴 처리부(13)가 원화상으로부터 부분화상 리스트를 작성한다(스텝 S11). 상세하게는, 도 4에 도시한 바와 같이, 얼굴 처리부(13)가 프레임 메모리(11)로부터 원화상을 판독하고(스텝 S110), 원화상으로부터 얼굴을 검출하여 얼굴 사각형을 산출한다(스텝 S111). 예를 들면, 도 7과 같은 원화상의 경우에는, 2개의 얼굴 사각형(40, 41)이 얻어진다.
얼굴 사각형이 얻어지면, 얼굴 처리부(13)는 얼굴 사각형(40)으로 둘러싸인 얼굴 화상으로부터 얼굴 정보를 추출한다(스텝 S113). 그리고, 얼굴 처리부(13)는, 얼굴 정보 등록부(14)에 등록되어 있는 얼굴 정보를 참조하여, 검출된 얼굴이 등록되어 있는 얼굴에 일치하는지의 여부를 조사한다(스텝 S114). 일치하는 경우(스텝 S115 ; YES), 얼굴 처리부(13)는 그 얼굴의 등록 ID와 얼굴 사각형을 부분화상 리스트에 추가한다(스텝 S116). 일치하는 얼굴이 없는 경우에는(스텝 S115 ; NO), 부분화상 리스트에의 추가는 행하여지지 않는다. 얼굴 사각형(40)에 관한 처리가 종료되면, 다른 얼굴 사각형(41)에 관해서도 마찬가지의 처리가 실행된다(스텝 S112).
도 8에 부분화상 리스트의 일례를 도시한다. 부분화상 리스트는, 얼굴의 등록 ID와 얼굴 사각형의 4점의 좌표치가 대응시켜진 정보이다. 등록자의 얼굴이 검출될 때마다 부분화상 리스트의 항목(행)이 추가된다. 본 예에서는, 얼굴 사각형(40)에 관한 정보만이 추가되어 있고, 부분화상 리스트의 항목수는 1이다.
얼굴 처리부(13)에서 작성된 부분화상 리스트는, 화상 처리부(12)에 건네진 다. 화상 처리부(12)는, 부분화상 리스트의 항목수가 0인지 0보다 많은지를 조사한다(스텝 S12). 항목수가 0일 경우, 즉 얼굴이 검출 되지 않은 경우는, 전체화상만이 생성·기록된다(스텝 S14). 한편, 항목수가 0보다 많은 경우, 즉 등록자의 얼굴이 적어도 하나 검출된 경우에는, 전체화상뿐만 아니라, 검출된 얼굴의 부분화상(업 화상)도 생성·기록된다(스텝 S13, S14).
도 5는 부분화상의 생성·기록 처리를 도시한다. 화상 처리부(12)는 부분화상 리스트의 각 항목에 관해 이하의 처리를 실행한다(스텝 S130).
우선, 화상 처리부(12)는 프레임 메모리(11)로부터 원화상을 판독한다(스텝 S131). 다음에, 화상 처리부(12)는 부분화상 리스트로부터 얼굴 사각형의 좌표를 취득하고, 부분화상으로서 발출하는 영역의 좌표를 산출한다(스텝 S132). 여기서는, 얼굴 사각형의 중심과 부분화상의 영역의 중심이 일치하도록 좌표를 결정한다. 이것은, 부분화상중 얼굴의 위치를 일정하게 하기 위해서이다. 예를 들면 도 9의 예에서는, 부분화상은 얼굴 사각형(40) 중심의 주위 640×480화소의 영역(42)으로 된다.
화상 처리부(12)는, 원화상으로부터 상기 영역을 발출하고, 도 9에 도시한 바와 같은 VGA 사이즈의 부분화상을 생성한다(스텝 S133). 생성된 부분화상은, 스텝 S132에서 산출한 좌표 및 등록 ID와 함께 부분화상 기록부(16)에 건네진다.
부분화상 기록부(16)는, 우선, 등록 ID가 일치하는 부분동화(기록중의 것에 한한다)가 존재하는지의 여부를 조사한다. 존재하면, 부분화상 기록부(16)는 수취한 부분화상을 인코드하고, 기록중의 부분동화에 추가하여 간다. 존재하지 않는 경 우, 부분화상 기록부(16)는 그 등록 ID에 관한 부분동화를 신규로 생성한다. 이와 같이, 본 실시 형태에서는 등록자별로(얼굴별로) 부분동화의 생성 및 기록이 행하여진다(스텝 S134).
도 6은 전체화상의 생성·기록 처리를 도시하고 있다. 우선, 화상 처리부(12)는 프레임 메모리(11)로부터 원화상을 판독한다(스텝 S140). 다음에, 화상 처리부(12)는 원화상을 VGA 사이즈의 화상으로 해상도 변환하고, 도 9에 도시한 바와 같은 전체화상을 생성한다(스텝 S141). 그리고 전체화상 기록부(15)가, 전체화상을 인코드 하고, 전체동화의 생성 및 기록을 행한다(스텝 S142).
도 10은 전체동화와 부분동화의 스트림 구조(데이터 구조)의 일례를 도시한다. 여기서는, 전체동화 스트림(50)과, 3개의 부분동화 스트림(51)이 관련시켜 기록되어 있다.
전체동화 스트림(50)의 각 프레임은, 프레임 데이터(전체화상)와 포인터와 타임 스탬프로 구성된다. 해당 프레임에 대응하는 부분화상이 존재하는 경우에는, 포인터에 부분동화 스트림(51)을 특정하기 위한 정보(예를 들면, 파일명 또는 기록되어 있는 트랙 등)가 격납되고, 타임 스탬프에 부분화상의 프레임을 특정하기 위한 정보(예를 들면, 시간 또는 프레임 번호 등)가 격납된다. 또한, 하나의 프레임에 복수의 부분화상이 대응하고 있는 경우는, 각 부분화상에의 포인터와 타임 스탬프가 격납되게 된다. 이로써, 전체동화와 부분동화의 스트림 사이의 관련시킴과 시간적인 대응시킴이 취하여져 있다.
또한, 부분동화 스트림(51)의 각 프레임은, 프레임 데이터(부분화상)와 위치 정보로 구성된다. 위치 정보에는, 전체화상중 부분화상의 위치(영역)를 나타내는 좌표치가 격납된다. 이로써, 전체동화와 부분동화의 위치적인 대응시킴이 취하여져 있다.
(동화 재생 처리)
다음에, 전체동화와 부분동화를 대응시키면서 표시하는 처리에 관해 설명한다.
화상 합성부(17)는, 표시 대상이 되는 전체동화와 부분동화를 기록 미디어로부터 판독하고, 디코드 처리를 시행한 후, 전체동화와 부분동화의 각각을 표시 사이즈에 맞추어서 적절히 해상도 변환한다. 그리고, 화상 합성부(17)는, 전체동화와 부분동화를 합성하여 영상 신호를 생성하고, 그 영상 신호를 표시부(18)에 출력한다. 이로써, 전체동화와 부분동화를 동기시키면서 표시할 수 있다.
도 11은 부분동화를 화면 전체에 표시하고, 화면의 좌하(左下)에 전체동화를 축소 표시하는 표시예를 도시하고 있다. 이 표시 양태는, 얼굴의 표정을 메인으로 보고 싶을 때 등에 알맞다.
도 12는 전체동화를 화면 전체에 표시하고, 화면의 좌상에 부분동화를 축소 표시하는 표시예를 도시하고 있다. 이 표시 양태는, 전체의 양상을 메인으로 보고 싶을 때 등에 알맞다.
다른 표시 양태로서는, 예를 들면, 전체동화와 부분동화를 화면상에 동일한 크기로 표시하는 양태, 전체동화 또는 부분동화의 어느 한쪽만을 표시하는 양태, 전체동화에 2개 이상의 부분동화를 합성 표시하는 양태 등이 있다.
시청자는, 동화 기록 장치의 버튼이나 리모트 콘트롤 등의 조작 수단을 조작함에 의해, 표시 양태의 전환을 행할 수 있다. 표시중 전체동화에 관련시켜져 있는 부분동화가 복수 있는 경우에는, 조작 수단을 조작함에 의해, 화면상에 표시하는 부분동화를 전환하거나, 복수의 부분동화를 동시에 표시하거나 하는 것도 가능하다.
또한, 도 11, 도 12의 표시예에서는, 부분동화의 영역을 나타내는 마크(테두리)(60)가 전체 동화에 합성 표시되어 있다. 이 마크(60)는, 화상 합성부(17)가 부분동화 스트림에 포함되는 위치 정보에 의거하여 생성한 것이다. 이와 같은 마크 표시에 의해, 시청자는 어느 사람의 얼굴이 클로즈업으로 표시되어 있는지를 용이하게 파악할 수 있다.
이상 기술한 본 실시 형태의 동화 기록 장치에 의하면, 전체의 양상을 화각에 집어넣어 촬영을 행하는 것만으로 전체와 부분(업)의 2종류의 동화가 자동적으로 기록되기 때문에, 촬영자에 의한 줌 조작 등은 불필요하게 되고, 촬영 및 기록의 간단화가 도모된다. 게다가, 어느 화상도 고해상도의 원화상으로부터 생성되기 때문에, 양호한 화질을 얻을 수 있다.
또한, 본 실시 형태에서는, 원화상중에서부터 클로즈업으로 촬영하여야 할 얼굴이 자동 검출되기 때문에, 피사체가 되는 인물을 화각 내에 넣어서 촬영을 행하는 것만으로, 그 사람의 얼굴을 클로즈업으로 뒤쫓아가는 부분동화가 자동적으로 기록된다. 게다가, 비등록자의 부분동화는 생성되지 않기 때문에, 화각 내에 많은 인물이 들어가 있는 경우에도 소망하는 인물(등록자)의 부분동화만이 기록된다는 이점이 있다.
또한, 본 실시 형태에서는, 원화상으로부터 VGA 사이즈의 영역을 트리밍함에 의해 부분화상을 생성한다. 따라서, 해상도 변환이 불필요하게되고, 부분화상 생성 처리의 단순화 및 고속화를 도모할 수 있음과 함께, 해상도 변환에 의한 화질 열화를 방지할 수 있다.
또한, 종래의 동화 기록 장치에서는, 피사체의 움직임이나 손떨림의 영향에 의해, 얼굴을 클로즈업으로 하면서 그 움직임에 추종하는 것이 곤란하였지만, 본 실시 형태의 동화 기록 장치에서는, 부분화상중 얼굴의 위치가 대략 일정하게 되도록 부분화상의 트리밍이 행하여지기 때문에, 흔들림이 거의 없는 보기 쉬운 동화를 얻을 수 있다.
<제 2 실시 형태>
다음에, 본 발명의 제 2 실시 형태에 관해 설명한다. 제 1 실시 형태에서는, 얼굴 인식에 의해 등록자별로 부분동화를 기록하고 있지만, 본 실시 형태에서는, 원화상중 얼굴의 사이즈가 큰 순서로 부분동화를 기록한다. 구체적으로는 부분화상 리스트의 작성 처리가 다르다.
도 13은 제 2 실시 형태에 있어서의 부분화상 리스트의 작성 처리를 도시하고 있다. 또한, 도 13중, 도 4와 같은 처리에는 동일한 스텝 번호를 붙이고 있다.
우선, 얼굴 처리부(13)는, 제 1 실시 형태와 마찬가지로, 프레임 메모리(11)로부터 원화상을 판독하고(스텝 S110), 원화상으로부터 얼굴을 검출하여 얼굴 사각형을 산출한다(스텝 S111).
얼굴 사각형이 얻어지면, 얼굴 처리부(13)는 사이즈가 큰 순서로 얼굴 사각형을 소트한다(스텝 S117). 소트 후에, 상위 2개 이외의 얼굴 사각형을 삭제하거나, 소정의 임계치보다도 작은 얼굴 사각형을 삭제하거나 함에 의해, 큰 얼굴 사각형만을 선출하도록 하여도 좋다.
그리고, 얼굴 처리부(13)는, 소트 후의 얼굴 사각형을 부분화상 리스트에 순번대로 추가하여 간다(스텝 S118, S119). 본 실시 형태에서는, 등록 ID 대신에, 소트 후의 순번(1, 2, …)이 기록된다. 이후의 처리는 제 1 실시 형태의 것과 마찬가지이다.
본 실시 형태의 처리에 의하면, 사이즈가 큰 얼굴이 자동적으로 부분동화의 기록대상으로서 선택된다. 촬영자는 자신이 찍고 싶은 피사체가 가장 크게 찍히도록 촬영을 행하는 것이 통례이기 때문에, 부분동화의 기록대상과 피사체가 일치할 개연성이 높다. 즉, 본 실시 형태에서는, 얼굴 정보의 등록이나 얼굴 인식 처리를 행하지 않고도, 소망하는 피사체의 부분동화를 자동적으로 기록할 수 있게 된다.
또한, 도 14에 도시한 바와 같이, 촬영중에 얼굴(A)과 얼굴(B)의 크기가 교체되면, 첫번째의 부분동화(52)에서는 얼굴(A)로부터 얼굴(B)로, 2번째의 부분동화(53)에서는 얼굴(B)로부터 얼굴(A)로 피사체가 교체된다. 이것을 이용하면, 예를 들면, 달리기의 선두 쟁탈의 양상을 현장감 넘치는 영상으로서 표시하는 등, 유니크한 표시 효과를 얻을 수 있다는 이점도 있다.
<제 3 실시 형태>
다음에, 본 발명의 제 3 실시 형태에 관해 설명한다. 제 1 실시 형태에서는, 원화상으로부터 VGA 사이즈의 부분화상을 트리밍하고 있지만, 본 실시 형태에서는, 부분화상중 얼굴의 크기가 대략 일정하게 되도록 부분화상을 생성한다.
도 15는 제 3 실시 형태에 있어서의 부분화상의 생성·기록 처리를 도시한다. 또한, 도 15중, 도 5와 같은 처리에는 동일한 스텝 번호를 붙이고 있다.
우선, 화상 처리부(12)는 프레임 메모리(11)로부터 원화상을 판독한다(스텝 S131). 다음에, 화상 처리부(12)는 부분화상 리스트로부터 얼굴 사각형의 좌표를 취득하고, 얼굴 화상으로서 발출하는 영역의 좌표를 산출한다(스텝 S135). 얼굴 화상이란, 얼굴(얼굴 사각형)을 포함하고, 또한, 얼굴(얼굴 사각형)에 대략 비례한 크기의 화상이다. 본 실시 형태에서는, 얼굴 사각형의 약 1.5 내지 2배가 되도록 얼굴 화상의 영역을 결정한다. 또한, 얼굴 화상의 애스펙트비는 동화 기록용 화소수 (VGA 사이즈)에 맞춘다.
화상 처리부(12)는, 원화상으로부터 얼굴 화상을 발출한 후(스텝 S136), 그 얼굴 화상을 VGA 사이즈의 화상으로 해상도 변환하고 부분화상을 생성한다(스텝 S137). 이후의 처리는 제 1 실시 형태의 것과 마찬가지이다.
본 실시 형태의 처리에 의하면, 부분화상에 차지하는 얼굴의 크기가 대략 일정하게 된다. 즉, 얼굴을 항상 같은 크기로 촬영할 수 있다는 이점이 있다.
이상, 제 1 내지 제 3 실시 형태에 의해 본 발명의 구체적인 예를 나타냈지만, 본 발명의 범위는 상기 실시 형태로 한정되는 것이 아니고, 그 기술 사상의 범위 내에서 다양한 변형이 가능하다.
예를 들면, 상기 실시 형태에서는 핸디 타입의 비디오 카메라에 본 발명을 적용한 사례를 나타냈지만, 본 발명은 감시 카메라 등 다른 용도에도 바람직하게 적용할 수 있다. 감시 카메라와 같은 설치형의 동화 기록 장치의 경우에는, 부분화상으로서 추출하는 영역을 고정적으로 하여도 좋다.
또한, 제 1 실시 형태와 제 2 실시 형태의 처리를 조합시킴에 의해, 얼굴의 사이즈가 크고, 또한, 그 얼굴이 등록되어 있는 경우에만 부분동화를 기록하도록 하여도 좋다. 또는, 제 2 실시 형태와 제 3 실시 형태를 조합시켜도 좋다.
또한, 상기 실시 형태에서는 스트림중에 전체동화와 부분동화를 관련시키는 정보를 기록하였지만, DVD의 멀티앵글 트랙과 같은 구조를 이용하여 전체동화와 부분동화의 관련시킴을 행하는 것도 바람직하다.
또한, 상기 실시 형태에서는, 검출한 얼굴과 등록자의 얼굴의 비교를 모두 프레임에 관해 조사하고 있지만, 예를 들면 60프레임에 1회만 비교를 행하도록 하고, 나머지 프레임은 얼굴 사각형의 이동을 트래킹하도록 하여도 좋다. 이로써 처리의 고속화를 도모할 수 있다.
또한, 상기 실시 형태에서 기술한 동화의 스트림 구조나 부분화상 리스트의 구조는 일례에 지나지 않고, 적절히 변경 가능하다. 촬상부(10)의 유효 화소수나 동화 기록용 화소수에 관해서도 적절히 변경 가능하다.
또한, 상기 실시 형태에서는 얼굴 부분을 부분화상으로서 추출하였지만, 예를 들면, 얼굴이나 얼굴 사각형의 크기로부터 그 사람의 신장을 추정함에 의해, 전신 또는 상반신을 부분화상으로서 추출하도록 하여도 좋다.
본 발명에 의하면, 전체의 동화와 클로즈업의 동화를 간단하게 촬영, 기록, 그리고 재생할 수 있다.

Claims (19)

  1. 동화 기록용 화소수보다도 높은 해상도로 촬상하는 촬상 수단과,
    촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하는 전체화상 생성 수단과, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하는 부분화상 생성 수단과, 상기 전체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하는 기록 수단을 구비하는 것을 특징으로 하는 동화 기록 장치.
  2. 제 1항에 있어서,
    상기 부분화상 생성 수단은, 상기 원화상으로부터 사람의 얼굴을 검출하는 얼굴 검출 수단을 가지며,
    검출된 얼굴을 포함하도록 상기 부분화상을 생성하는 것을 특징으로 하는 동화 기록 장치.
  3. 제 2항에 있어서,
    상기 부분화상 생성 수단은, 얼굴 정보가 등록된 얼굴 정보 등록 수단과, 검출된 얼굴이 상기 얼굴 정보 등록 수단에 등록되어 있는 얼굴과 일치하는지의 여부를 판정하는 얼굴 인식 수단을 가지며, 등록되어 있는 얼굴의 경우는 그 얼굴을 포함하는 부분화상을 생성하는 것을 특징으로 하는 동화 기록 장치.
  4. 제 1항에 있어서,
    상기 부분화상 생성 수단은, 동화 기록용 화소수의 크기의 영역을 상기 원화상으로부터 발출한 것을 부분화상으로 하는 것을 특징으로 하는 동화 기록 장치.
  5. 제 2항에 있어서,
    상기 부분화상 생성 수단은, 얼굴의 크기에 대략 비례한 크기의 영역을 상기 원화상으로부터 발출한 후, 그 발출된 화상을 동화 기록용 화소수의 부분화상으로 해상도 변환하는 것을 특징으로 하는 동화 기록 장치.
  6. 제 2항에 있어서,
    상기 부분화상 생성 수단은, 부분화상중 얼굴의 위치가 대략 일정하게 되도록 상기 영역을 상기 원화상으로부터 발출하는 것을 특징으로 하는 동화 기록 장치.
  7. 제 1항에 있어서,
    상기 기록 수단은, 상기 전체동화와 상기 부분동화를 시간적으로 대응시키면서 기록하는 것을 특징으로 하는 동화 기록 장치.
  8. 제 1항 내지 제 7항중 어느 한 항에 있어서,
    상기 기록 수단은, 상기 전체화상중 상기 부분화상의 위치를 기록하는 것을 특징으로 하는 동화 기록 장치.
  9. 제 1항에 있어서,
    상기 기록 수단은, 동화 기록 장치 본체로부터 떼어냄이 가능한 기록 미디어를 갖는 것을 특징으로 하는 동화 기록 장치.
  10. 제 1항에 있어서,
    상기 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하는 화상 합성 수단을 구비하는 것을 특징으로 하는 동화 기록 장치.
  11. 제 10항에 있어서,
    상기 영상 신호를 표시하는 표시 수단을 구비하는 것을 특징으로 하는 동화 기록 장치.
  12. 제 10항에 있어서,
    상기 화상 합성 수단은, 부분동화의 영역을 나타내는 마크를 전체동화에 합성하는 것을 특징으로 하는 동화 기록 장치.
  13. 제 10항에 있어서,
    전체동화에 관련되어 있는 부분동화가 복수 있는 경우에 화면상에 표시하는 부분동화를 유저에게 선택시키는 조작 수단을 구비하는 것을 특징으로 하는 동화 기록 장치.
  14. 제 1항 내지 제 13항 중 어느 한 항에 기재된 동화 기록 장치에 의해 기록된 전체동화 및 부분동화를, 상기 동화 기록 장치로부터 판독하는 판독 수단과, 상기 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하는 화상 합성 수단과, 상기 영상 신호를 표시하는 표시 수단을 구비하는 것을 특징으로 하는 동화 재생 장치.
  15. 동화 기록 장치가,
    동화 기록용 화소수보다도 높은 해상도로 촬상하고, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하고, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하고,
    상기 전체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하는 것을 특징으로 하는 동화 기록 방법.
  16. 동화 기록 장치가, 동화 기록용 화소수보다도 높은 해상도로 촬상하고, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하고, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하고, 상기 전 체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하고, 기록된 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하고, 상기 영상 신호를 표시 수단에 표시하는 것을 특징으로 하는 동화 기록 재생 방법.
  17. 동화 기록 장치에, 동화 기록용 화소수보다도 높은 해상도로 촬상하는 처리와, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하는 처리와, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하는 처리와, 상기 전체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하는 처리를 실행시키는 것을 특징으로 하는 프로그램.
  18. 동화 기록 장치에, 동화 기록용 화소수보다도 높은 해상도로 촬상하는 처리와, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하는 처리와, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하는 처리와, 상기 전체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하는 처리와, 기록된 전체동화 및 부분동화를 대응시키면서 표시하기 위한 영상 신호를 생성하는 처리와, 상기 영상 신호를 표시 수단에 표시하는 처리를 실행시키기는 것을 특징으로 하는 프로그램.
  19. 동화 기록 장치가,
    동화 기록용 화소수보다도 높은 해상도로 촬상하고, 촬상에 의해 얻어진 원화상을 동화 기록용 화소수의 전체화상으로 해상도 변환하고, 상기 원화상의 일부분으로부터 동화 기록용 화소수의 부분화상을 생성하고,
    상기 전체화상으로 구성되는 전체동화와 상기 부분화상으로 구성되는 부분동화를 관련시켜 기록하는 것을 특징으로 하는 기록 미디어.
KR20050091032A 2004-10-06 2005-09-29 동화 기록 장치 및 동화 재생 장치 KR100734705B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00293373 2004-10-06
JP2004293373A JP2006109119A (ja) 2004-10-06 2004-10-06 動画記録装置および動画再生装置

Publications (2)

Publication Number Publication Date
KR20060051810A true KR20060051810A (ko) 2006-05-19
KR100734705B1 KR100734705B1 (ko) 2007-07-02

Family

ID=35466528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20050091032A KR100734705B1 (ko) 2004-10-06 2005-09-29 동화 기록 장치 및 동화 재생 장치

Country Status (6)

Country Link
US (1) US20060115235A1 (ko)
EP (1) EP1646235B1 (ko)
JP (1) JP2006109119A (ko)
KR (1) KR100734705B1 (ko)
CN (1) CN100459687C (ko)
AT (1) ATE527818T1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050091690A1 (en) * 2003-09-12 2005-04-28 Alain Delpuch Method and system for controlling recording and playback of interactive applications
JP4431532B2 (ja) * 2005-09-16 2010-03-17 富士フイルム株式会社 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
JP2007214664A (ja) * 2006-02-07 2007-08-23 Funai Electric Co Ltd ハードディスクレコーダ
JP4984728B2 (ja) * 2006-08-07 2012-07-25 パナソニック株式会社 被写体照合装置および被写体照合方法
JP2008061172A (ja) * 2006-09-04 2008-03-13 Sony Corp 画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体
JP4225339B2 (ja) 2006-09-11 2009-02-18 ソニー株式会社 画像データ処理装置および方法、プログラム、並びに記録媒体
JP4228320B2 (ja) * 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8218025B2 (en) 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product
JP2008228281A (ja) * 2007-02-15 2008-09-25 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP2008203313A (ja) * 2007-02-16 2008-09-04 Nikon Corp 振れ補正装置、カメラシステム、カメラボディおよび交換レンズ
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置
JP2009033369A (ja) 2007-07-26 2009-02-12 Sony Corp 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム
WO2009054333A1 (ja) * 2007-10-23 2009-04-30 Sony Corporation 映像再生装置及び映像再生方法
JP2009237619A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像における顔領域および器官領域の検出
JP5129031B2 (ja) * 2008-06-04 2013-01-23 富士フイルム株式会社 監視カメラ装置
JP5332369B2 (ja) 2008-07-18 2013-11-06 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2010187112A (ja) * 2009-02-10 2010-08-26 Nikon Corp 画像再生装置
US8605191B2 (en) 2009-02-10 2013-12-10 Nikon Corporation Imaging device
RU2012108572A (ru) * 2009-08-11 2013-09-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обеспечения изображения для отображения
JP2011066877A (ja) * 2009-08-21 2011-03-31 Sanyo Electric Co Ltd 画像処理装置
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP5756645B2 (ja) * 2011-02-10 2015-07-29 株式会社アイ・エム・エス 写真シール払出装置およびその制御方法
JP2012222664A (ja) * 2011-04-11 2012-11-12 Honda Elesys Co Ltd 車載カメラシステム
JP5694097B2 (ja) * 2011-09-08 2015-04-01 オリンパスイメージング株式会社 撮影機器
US9363494B2 (en) * 2012-12-05 2016-06-07 At&T Intellectual Property I, L.P. Digital video recorder that enables recording at a selected resolution
JP2014165530A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理システム
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックＩｐマネジメント株式会社 撮像装置
CN104462470A (zh) * 2014-12-17 2015-03-25 北京奇虎科技有限公司 动态图像显示方法和装置
JP5942002B2 (ja) * 2015-02-04 2016-06-29 オリンパス株式会社 撮影機器および撮影機器の制御方法
CN108712603B (zh) * 2018-04-27 2021-02-09 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143330A (ja) * 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
JP3526057B2 (ja) * 1992-07-31 2004-05-10 キヤノン株式会社 動画像伝送装置
JP3242515B2 (ja) * 1993-12-24 2001-12-25 キヤノン株式会社 撮像装置
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP3788483B2 (ja) * 1995-12-25 2006-06-21 ソニー株式会社 撮像装置および撮像方法
WO1998015117A1 (en) * 1996-10-04 1998-04-09 Nippon Telegraph And Telephone Corporation Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method
US6173069B1 (en) * 1998-01-09 2001-01-09 Sharp Laboratories Of America, Inc. Method for adapting quantization in video coding using face detection and visual eccentricity weighting
CN1224304A (zh) * 1998-01-20 1999-07-28 日本胜利株式会社 数字视频信号记录装置和再生装置
US6816626B1 (en) * 2001-04-27 2004-11-09 Cisco Technology, Inc. Bandwidth conserving near-end picture-in-picture videotelephony
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム

Also Published As

Publication number Publication date
EP1646235A3 (en) 2007-08-01
KR100734705B1 (ko) 2007-07-02
ATE527818T1 (de) 2011-10-15
CN1758735A (zh) 2006-04-12
EP1646235A2 (en) 2006-04-12
EP1646235B1 (en) 2011-10-05
US20060115235A1 (en) 2006-06-01
CN100459687C (zh) 2009-02-04
JP2006109119A (ja) 2006-04-20

Similar Documents

Publication Publication Date Title
KR100734705B1 (ko) 동화 기록 장치 및 동화 재생 장치
US8964065B2 (en) Video picture extracting apparatus, imaging apparatus and recording medium
US10367997B2 (en) Enriched digital photographs
US8866943B2 (en) Video camera providing a composite video sequence
TWI425826B (zh) 影像選擇裝置、影像選擇方法
US8849093B2 (en) Thumbnail generating apparatus and thumbnail generating method
US9264651B2 (en) Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same
US8000558B2 (en) Thumbnail generating apparatus and image shooting apparatus
US20070268394A1 (en) Camera, image output apparatus, image output method, image recording method, program, and recording medium
US20110007187A1 (en) Imaging Device And Image Playback Device
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2010004711A1 (en) Image processing apparatus and image pickup apparatus using the image processing apparatus
US20080240503A1 (en) Image Processing Apparatus And Image Pickup Apparatus Mounting The Same, And Image Processing Method
JP2008278466A (ja) 画像処理装置およびそれを搭載した撮像装置、画像処理方法
US8120675B2 (en) Moving image recording/playback device
JP2009124644A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2009089220A (ja) 撮像装置
JP2007274505A (ja) 撮像装置
JP5231178B2 (ja) カメラ
JP2010245856A (ja) 映像編集装置
WO2011048742A1 (ja) 半導体集積回路及びそれを備える撮像装置
JP5003666B2 (ja) 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
US10043299B2 (en) Image processing apparatus for generating a new moving image from a moving image
JPH06133221A (ja) 撮像装置
JP5868145B2 (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13