KR101760345B1 - 동영상 촬영 방법 및 동영상 촬영 장치 - Google Patents
동영상 촬영 방법 및 동영상 촬영 장치 Download PDFInfo
- Publication number
- KR101760345B1 KR101760345B1 KR1020100133717A KR20100133717A KR101760345B1 KR 101760345 B1 KR101760345 B1 KR 101760345B1 KR 1020100133717 A KR1020100133717 A KR 1020100133717A KR 20100133717 A KR20100133717 A KR 20100133717A KR 101760345 B1 KR101760345 B1 KR 101760345B1
- Authority
- KR
- South Korea
- Prior art keywords
- speaker
- area
- moving picture
- still image
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 239000000306 component Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 화자의 입모양 인식, 또는/및 화자의 음성을 인식하여 화자 영역을 검출하고, 검출한 상기 화자 영역에 대하여 선택적으로 영상 신호 처리를 행하는 동영상 촬영 장치 및 방법을 제공한다. 또한 상기 동영상 촬영 장치 및 방법은 상기 화자 영역을 포함하는 정지 영상을 생성하여 동영상의 북마크로 사용함으로써 동영상 재생시 화자에 따라 선택적으로 재생을 행할 수 있다.
Description
본 발명은 동영상 촬영 방법 및 동영상 촬영 장치에 관한 것이다.
동영상 촬영 시 화면의 이동은 주로 음원의 이동에 따라 움직이는 경우가 많다. 예를 들어, 화자를 동영상으로 촬영하는 경우 상기 화자의 영상에 대해 선택적으로 영상 처리를 행하기 위해서는 사용자의 추가적인 조작 동작이 반드시 필요하였다.
또한, 동영상 재생시에도 특정 피사체가 말하는 모습의 화면을 선택적으로 재생하고자 하는 경우 또는 동영상을 처음부터 재생하거나 임의의 시점부터 재생하여 상기 피사체가 말하는 모습의 화면을 찾아내야 하는 불편함이 있다.
본 발명은 음원의 이동, 예를 들어 화자 영역을 인식 및 검출하여 검출한 상기 화자 영역에 대하여 선택적으로 영상 신호 처리를 행하고, 상기 화자 영역을 포함하는 정지 영상을 생성하여 동영상의 북마크로 사용함으로써 동영상 재생시 화자에 따라 선택적으로 재생을 행할 수 있다.
본 발명은 화자를 피사체로 한 동영상을 입력하는 단계와, 상기 화자의 입모양을 인식하는 단계와, 상기 화자의 입모양이 변하는 경우, 화자 영역을 포함하는 정지 영상을 생성하는 단계를 구비하는 동영상 촬영 방법을 제공한다.
본 발명에 관한 동영상 촬영 방법은 얼굴 인식 알고리즘을 통하여 화자 영역을 특정하는 단계를 더 구비하고, 상기 화자 영역에 대하여 상기 화자의 입모양을 인식할 수 있다.
본 발명에 관한 동영상 촬영 방법은 상기 화자의 음성을 입력하는 단계와, 상기 화자의 음성을 인식하는 단계와, 상기 화자의 음성을 인식하는 경우, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계를 더 구비할 수 있다.
본 발명에 관한 동영상 촬영 방법에 있어서, 상기 화자의 음성을 인식하는 단계는, 저장된 음성 데이터와 상기 화자의 음성 데이터를 비교하는 단계와, 저장된 음성 데이터에 상기 화자의 음성 데이터가 대응하는 경우 상기 화자의 음성을 인식하는 것으로 판단하는 단계를 포함할 수 있다.
본 발명에 관한 동영상 촬영 방법에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는, 상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하는 단계를 포함하고, 상기 정지 영상은 자동 아웃 오브 포커싱 처리가 행해진 상기 화자 영역을 포함할 수 있다.
본 발명에 관한 동영상 촬영 방법에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는, 상기 화자 영역에 대하여 주밍(Macro zooming) 처리를 행하는 단계를 포함하고, 상기 정지 영상은 상기 주밍 처리가 행해진 상기 화자 영역을 포함할 수 있다.
본 발명에 관한 동영상 촬영 방법에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는, 상기 화자 영역에 대하여 마크로 포커싱(Macro focusing) 처리를 행하는 단계를 포함하고, 상기 정지 영상은 마크로 포커싱 처리가 행해진 상기 화자 영역을 포함할 수 있다.
본 발명에 관한 동영상 촬영 방법에 있어서, 상기 화자 영역이 변하는 경우, 화자 영역들 각각을 포함하는 정지 영상들을 생성할 수 있다.
본 발명에 관한 동영상 촬영 방법은 상기 동영상의 북마크(bookmark) 기능을 하는 상기 정지 영상들을 포함하는 동영상 파일을 생성하는 단계를 더 포함할 수 있다.
또한, 본 발명은 화자를 피사체로 한 동영상을 입력하는 동영상 입력부와, 상기 화자의 입모양을 인식하는 입모양 인식부와, 상기 화자의 입모양이 변하는 경우, 화자 영역을 포함하는 정지 영상을 생성하는 정지 영상 생성부를 구비하는 동영상 촬영 장치를 제공한다.
본 발명에 관한 동영상 촬영 장치는 얼굴 인식 알고리즘을 통하여 화자 영역을 특정하는 얼굴 인식부를 더 구비하고, 상기 입모양 인식부는 상기 화자 영역에 대하여 상기 화자의 입모양을 인식할 수 있다.
본 발명에 관한 동영상 촬영 장치는 상기 화자의 음성을 입력하는 음성 입력부, 상기 화자의 음성을 인식하는 음성 인식부, 상기 화자의 음성을 인식하는 경우, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 영상 신호 처리부를 더 구비할 수 있다.
본 발명에 관한 동영상 촬영 장치에 있어서, 상기 음성 인식부는 저장된 음성 데이터와 상기 화자의 음성 데이터를 비교하는 비교부와, 저장된 음성 데이터에 상기 화자의 음성 데이터가 대응하는 경우, 상기 화자의 음성을 인식하는 것으로 판단하는 판단부를 포함할 수 있다.
본 발명에 관한 동영상 촬영 장치에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하고, 상기 정지 영상 생성부는 상기 자동 아웃 오브 포커싱 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성할 수 있다.
본 발명에 관한 동영상 촬영 장치에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 주밍(Macro zooming) 처리를 행하고, 상기 정지 영상 생성부는 상기 주밍 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성할 수 있다.
본 발명에 관한 동영상 촬영 장치에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 마크로 포커싱(Macro focusing) 처리를 행하고, 상기 정지 영상 생성부는 상기 마크로 포커싱 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성할 수 있다.
본 발명에 관한 동영상 촬영 장치에 있어서, 상기 정지 영상 생성부는 상기 화자 영역이 변하는 경우 화자 영역들 각각을 포함하는 정지 영상들을 생성할 수 있다.
본 발명에 관한 동영상 촬영 장치는 상기 동영상의 북마크(bookmark) 기능을 하는 상기 정지 영상들을 포함하는 동영상 파일을 생성하는 동영상 파일 생성부를 더 포함할 수 있다.
본 발명은 음원의 이동, 예를 들어 화자 영역을 인식 및 검출하여 검출한 상기 화자 영역에 대하여 선택적으로 영상 신호 처리를 행하고, 상기 화자 영역을 포함하는 정지 영상을 생성하여 동영상의 북마크로 사용함으로써 동영상 재생시 화자에 따라 선택적으로 재생을 행할 수 있다.
도 1은 본 발명에 관한 동영상 촬영 장치의 일 실시 예로서 디지털 카메라를 설명하기 위한 블럭도이다.
도 2는 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 일 실시 예를 설명하기 위한 블럭도이다.
도 3은 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 다른 실시 예를 설명하기 위한 블럭도이다.
도 4는 도 1에서 도시한 디지털 카메라로 동영상을 촬영하는 화면을 설명하기 위한 도면이다.
도 5는 도 1에서 도시한 디지털 카메라로 동영상 촬영 시, 화자를 인식하고 인식한 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하는 동작을 설명하기 위한 도면이다.
도 6은 생성한 동영상 파일의 화자에 따른 북마크 기능을 설명하기 위한 도면이다.
도 7은 본 발명에 관한 동영상 촬영 방법의 일 실시 예를 설명하기 위한 순서도이다.
도 8은 본 발명에 관한 동영상 촬영 방법의 다른 실시 예를 설명하기 위한 순서도이다.
도 2는 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 일 실시 예를 설명하기 위한 블럭도이다.
도 3은 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 다른 실시 예를 설명하기 위한 블럭도이다.
도 4는 도 1에서 도시한 디지털 카메라로 동영상을 촬영하는 화면을 설명하기 위한 도면이다.
도 5는 도 1에서 도시한 디지털 카메라로 동영상 촬영 시, 화자를 인식하고 인식한 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하는 동작을 설명하기 위한 도면이다.
도 6은 생성한 동영상 파일의 화자에 따른 북마크 기능을 설명하기 위한 도면이다.
도 7은 본 발명에 관한 동영상 촬영 방법의 일 실시 예를 설명하기 위한 순서도이다.
도 8은 본 발명에 관한 동영상 촬영 방법의 다른 실시 예를 설명하기 위한 순서도이다.
본 발명에 관한 동영상 촬영 장치에 관하여 첨부한 도면들을 참조하여 더욱 상세히 설명한다. 이하의 실시 예들에서는 상기 동영상 촬영 장치로서 디지털 카메라를 예시한다. 그러나 이에 본 발명이 한정되는 것은 아니며, 디지털 캠코더, PDA(personal digital assistant), 스마트폰 등의 디지털 기기에도 적용 가능하다.
도 1은 본 발명에 관한 동영상 촬영 장치의 일 실시 예로서, 디지털 카메라를 설명하기 위한 블럭도이다.
도 1을 참조하면, 상기 디지털 카메라는 광학부(10),상기 광학부(10)를 구동하는 광학 구동부(11), 촬상부(20) 카메라 제어부(20), 조작부(30), 메모리(50), 메모리 카드(60), 표시부(70), 마이크/스피커(80)를 구비한다.
상기 광학부(10)는 피사체로부터의 광학 신호를 집광하는 결상 광학계, 셔터, 조리개를 구비한다. 상기 결상 렌즈계로 초점을 조절하는 포커스 렌즈, 초점 거리를 조절하는 줌렌즈를 구비한다.
광학 구동부(11)로는 상기 초점 렌즈의 위치를 조절하는 초점 렌즈 구동부, 조리개의 조임 량을 조절하는 조리개 구동부, 셔터의 개폐를 조절하는 셔터 구동부를 구비할 수 있다.
상기 촬상부(20)는 교환 렌즈의 결상 광학계를 통과한 영상 광을 촬상하여 영상 신호를 생성하는 촬상 소자를 구비한다. 상기 촬상 소자는 매트릭스 형태로 배열된 복수의 광전전환부와, 타이밍 신호에 동기해 상기 광전전환부로부터 전하를 이동시켜 영상 신호를 도출 하는 수직 또는/및 수평 전송로 등을 포함할 수 있다. 촬상 소자로 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 사용할 수 있다. CCD 센서를 사용하는 경우, 촬상 소자에서 출력된 전기 신호에 포함된 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭시키는 CDS/AMP(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))와, CDS/AMP에서 출력된 전기 신호를 디지털 변환하는 A/D컨버터를 더 구비할 수 있다.
본 발명에서 동영상 입력부는 상기 광학부(10) 및 촬상부(20)를 포함할 수 있다. 필요한경우 상기 광학 구동부(11)를 더 포함할 수도 있다.
또한, 상기 디지털 카메라는 카메라 제어부(30)를 구비한다. 상기 카메라 제어부(30)는 영상 신호 처리부/CPU(31)를 구비한다.
상기 영상 신호 처리부/CPU(31)는 촬상부(20)로부터 획득한 영상 신호에 대하여 화이트 밸런스 조절을 위한 AWB(Auto White Balance) 평가값, 노출 조절을 위한 AE(Auto Exposure) 평가값 및 초점 조절을 위한 AF(Auto focusing) 평가값을 산출하고, 산출한 평가값에 따라 적정 화이트 밸런스 제어, 노출 제어, 자동 초점 조절을 제어할 수 있다. 또한, 입력된 영상 신호에 대하여 얼굴 인식과 같은 객체 인식, 장면 인식 등의 각종 어플리케이션 동작을 행할 수 있다. 또한, 기록 보존을 위한 영상 처리 및 표시를 위한 영상 처리를 행할 수 있다. 영상 처리의 예로서, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등을 행할 수 있다. 또한, 기록 보존을 위하여 JPEG압축 형식 또는 LZW압축 형식 등의 형식으로 압축 처리를 행할 수 있다.
또한, 본 발명에 따르면 상기 영상 신호 처리부/CPU(31)는 상술한 영상 신호 처리 이외에 화자의 입모양 인식 및/또는 입력된 음성 데이터를 인식하는 동작, 인식한 화자의 영상을 캡쳐하여 정지 영상으로 생성하고, 상기 정지 영상을 북마크 기능으로 하여 저장한 동영상 파일을 생성하는 영상 신호 처리들을 선택적으로 포함할 수 있다. 이하의 도면들을 참조하여 더욱 상세히 설명하도록 한다.
또한, 상기 카메라 제어부(30)는 메모리 콘트롤러(32), 카드 콘트롤러(33), 디스플레이 콘트롤러(34), 오디오 콘트롤러(35)를 구비한다.
상기 메모리 콘트롤러(32)는 촬영 영상, 각종 정보 등을 일시적으로 메모리(50)에 저장하거나, 또는 메모리(50)로부터 촬영 영상, 각종 정보의 출력할 수 있다. 또한, 메모리(50)에 저장된 프로그램 정보를 독출할 수 있다. 상기 메모리(50)는 촬영 영상, 각종 정보 등을 일시적으로 저장하는 버퍼 메모리로서, DRAM, SDRAM 등을 구비할 수 있다. 또한, 상기 메모리(50)는 프로그램을 저장하는 저장부로서 플래쉬 메모리, ROM 등을 구비할 수 있다.
상기 카드 콘트롤러(33)는 메모리 카드(60)에 영상 파일을 저장 및 독출할 수 있다. 영상 파일 뿐만 아니라 보존하고자 하는 각종 정보의 독출 및 저장을 제어할 수 있다. 메모리 카드(60)로 SD card 등을 구비할 수 있다. 본 실시 예에서는 저장 매체로 메모리 카드(60)를 사용함을 예시하였으나, 이에 한정하는 것은 아니며 광디스크(CD, DVD, 블루레이디스크 등), 광자기 디스크, 자기 디스크 등의 기록 매체를 사용하여 용상 파일 및 상기 각종 정보를 저장할 수도 있다. 광디스크(CD, DVD, 블루레이디스크 등), 광자기 디스크, 자기 디스크 등의 기록 매체를 사용하는 경우, 이들를 읽을 수 있는 독출 장치를 더 구비할 수 있다.
또한, 상기 디스플레이 콘트롤러(34)는 표시부(70)의 영상 표시를 제어할 수 있다. 상기 표시부(70)는 LCD, OLED 등의 디스플레이 장치를 사용할 수 있다.
또한, 상기 영상 신호 처리부/CPU(31)는 오디오 콘트롤러(35)를 구비할 수 있다. 오디오 콘트롤러(35)는 마이크(80)로부터 입력된 아날로그 오디오 신호(예를 들어 화자의 음성)를 디지털로 변환하여 영상 신호 처리부/CPU(31)에 입력한다. 또는 역으로 영상 신호 처리부/CPU(31)에서 제공하는 디지털 오디오 신호 등을 아날로그로 변환하여 스피커(80)를 통해 외부로 출력할 수 있다. 본 발명에서 음성 입력부라 하면 상기 마이크(80)를 포함할 수 있다. 또한, 오디오 콘트롤러(35)도 더 포함할 수 있다.
또한, 상기 디지털 카메라는 사용자의 조작 신호를 입력하는 조작부(40)를 구비한다. 조작부(40)는 사용자가 상기 디지털 카메라를 조작하거나 촬영시 각종의 설정을 행하기 위한 부재를 포함할 수 있다. 예를 들어, 버튼, 키, 터치 패널, 터치 스크린, 다이얼 등의 형태로 구현될 수 있으며, 전원 온/오프, 촬영 개시/정지, 재생 개시/정지/서치, 광학계의 구동, 모드 변환(예를 들어 동영상 촬영 모드 실행 등), 메뉴 조작, 선택 조작 등의 사용자 조작 신호를 입력할 수 있다. 일 예로서, 셔터 버튼은 사용자에 의한 반누름, 완전누름, 해제가 가능하다. 셔터 버튼은 반누름(S1조작)되었을 때 포커스 제어 개시 조작 신호를 출력하고 반 누름 해제로 포커스 제어가 종료된다. 상기 셔터 버튼은 완전누름(S2조작)되었을 때 촬영 개시 조작 신호를 출력할 수 있다. 상기 조작 신호는 영상 신호 처리부/CPU(20) 등에 전송되어, 이에 따라 해당 구성 요소를 구동시킬 수 있다.
도 2는 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 일 실시 예를 설명하기 위한 블럭도이다.
도 1과 함께 도 2를 참조하면, 상기 영상 신호 처리부/CPU(31a)는 입모양 인식부(31a-2), 정지 영상 생성부(31a-3)를 구비한다.
광학부(도 1의 10) 및 촬상부(도 1의 20)의 동영상 입력부를 통해 입력된 동영상의 프레임 영상들에 대하여 입모양 인식부(31a-2)에서 화자의 입모양을 인식한다. 입모양 인식은 상기 프레임 영상들의 색 정보, 에지 정보, 벡터 정보 등의 다양한 정보를 이용하여 인식할 수 있다. 그리고 상기 정지 영상 생성부(31a-3)는 인식한 입모양이 변하는 경우, 상기 프레임 영상 중에서 화자 영역을 포함하는 정지 영상을 캡쳐하여 생성할 수 있다.
또한, 상기 영상 신호 처리부/CPU(31a)는 얼굴 인식부(31a-1)를 더 포함할 수 있다. 상기 얼굴 인식부(31a-1)는 상기 동영상을 구성하는 프레임 영상들에 대하여 얼굴 인식 알고리즘을 통하여 화자 영역을 특정할 수 있다. 그리고 상기 입모양 인식부(31a-2)는 특정한 상기 화장 영역에 대하여 입모양 인식을 행할 수 있다. 또한, 상기 정지 영상 생성부(31a-3)는 상기 입모양이 변하는 화자 영역이 복수 개로 검출되는 경우, 더욱 구체적으로 시간순으로 복수 개 검출되는 경우, 화자 영역들 각각을 포함하는 정지 영상을 생성할 수 있다. 그리고 상기 복수 개의 정지 영상들은 상기 동영상의 북마크(book mark) 기능을 할 수 있다. 이후 상기 동영상을 재생하는 경우, 북마크 기능을 하는 화자 영역을 포함하는 정지 영상을 선택하는 경우, 상기 정지 영상에 포함된 화자가 말하는 모습부터 재생할 수 있다. 따라서 화자 별로 선택하여 동영상을 재생할 수 있다. 상기 영상 신호 처리부/CPU(31a)는 동영상 파일 생성부(31a-4)를 더 구비할 수 있는데, 북마크 기능을 하는 상기 복수 개의 정지 영상들과 상기 동영상을 포함하는 동영상 파일을 생성할 수 있다. 상기 동영상 파일은 상기 동영상 및/또는 상기 정지 영상들을 H.264 코덱 등으로 압축하여 생성할 수 있다.
도 3은 도 1에서 예시하는 디지털 카메라의 영상 신호 처리부/CPU의 다른 실시 예를 설명하기 위한 블럭도이다.
도 3을 참조하면, 본 실시 예에 따른 영상 신호 처리부/CPU(31b)는 음성 입력부인 마이크(80)를 통해 입력된 화자의 음성을 인식하는 음성 인식부(31b-1)를 구비한다. 상기 음성 인식부(31b-1)는 저장된 음성 데이터와 상기 화자의 음성 데이터를 비교하는 비교부와 저장된 음성 데이터에 상기 화자의 음성 데이터가 대응하는 경우 상기 화자의 음성을 인식하는 것으로 판단하는 판단부를 구비한다.
상기 음성 인식부(31b-1)에서 상기 화자의 음성을 인식하는 경우, 동영상 입력부를 통해 입력된 동영상을 이루는 프레임 영상들 중 음성의 진원지인 화자 영역에 대하여 미리 설정된 영상 신호 처리를 행하는 영상 신호 처리부(31b-2)를 구비한다. 영상 신호 처리의 일 실시 예로서, 상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행할 수 있다. 다른 실시 예로서 상기 화자 영역에 대하여 주밍(Macro zooming) 처리를 행할 수도 있다. 또 다른 실시 예로서 오토포커싱 및 주밍 처리를 동시에 행하는 마크로 포커싱(Macro focusing) 처리를 행할 수 있다.
본 실시 예에서 도시하지는 않았지만, 음성 인식부(31b-1)에서 음성을 인식하는 것으로 판단하는 경우 얼굴 인식 알고리즘을 이용하여 상기 화자 영역을 특정하는 얼굴 인식부를 더 구비할 수도 있다.
자동 아웃 오브 포커싱 처리, 주밍 처리, 마크로 포커싱 등의 영상 신호 처리를 행한 상기 화자 영역에 대하여 입모양 인식을 행하는 입모양 인식부(31b-3)를 구비한다. 상기 화자 영역의 입모양이 변하는 경우, 상기 화자 영역을 포함하는 정지 영상을 생성하는 정지 영상 생성부(31b-4)를 구비한다. 그리고 상기 정지 영상과 입력된 상기 동영상을 포함하는 동영상 파일을 생성하는 동영상 파일 생성부(31b-5)를 구비할 수 있다.
상기 정지 영상 생성부(31b-4)는 동영상을 구성하는 프레임 영상들에 대하여 입모양이 변하는 다른 화자 영역을 검출하는 경우, 화자 영역들 각각을 포함하는 정지 영상들을 생성할 수 있다. 생성한 정지 영상들은 입력된 상기 동영상의 북마크기능을 행할 수 있다. 따라서 상기 동영상 파일 생성부(31b-5)는 입력된 동영상과 북마크 기능을 하는 상기 복수의 정지 영상들을 포함하는 동영상 파일을 생성할 수 있다.
도 4는 도 1에서 도시한 디지털 카메라로 동영상을 촬영하는 화면을 설명하기 위한 도면이다. 도 4를 참조하면 도 1에서 설명한 디지털 카메라로 복수의 화자들이 돌아가면서 마이크를 잡고 말하는 모습을 동영상 촬영을 행한다. 가운데 화자의 입모양 변화가 인식되는 경우, 상기 입모양을 포함하는 화자 영역을 정지 영상으로 캡쳐할 수 있다. 상기 화자 영역만을 선택적으로 캡쳐하거나 또는 입모양이 변하는 시점의 프레임 영상을 캡쳐하여 정지 영상으로 생성할 수도 있다.
가운데 화자가 마이크를 잡고 말을 하면, 상기 가운데 화자의 음성을 인식하여 음원의 출원지의 적어도 일부를 포함하는 화자 영역에 대하여 자동으로 아웃 오브 포커싱 처리를 실행하여 상기 화자 영역은 선명하고 상기 화자 영역을 제외한 배경 영역을 흐릿한 프레임 영상들을 생성할 수 있다. 이때, 얼굴 인식 알고리즘을 이용하여 얼굴 영역 검출도 함께 할 수 있으며, 얼굴 영역 검출을 나타내는 아이콘 I를 디스플레이할 수 있다. 이와 같은 동작은 도 5에 도시한 바와 같다.
도 6은 동영상 촬영이 완료되어, 동영상 파일을 생성한 경우, 상기 동영상 파일에는 화자에 따른 북마크 기능을 수행할 수 있도록, 도 4에서 설명한 것과 같은 정지 영상을 화자 별로 생성할 수 있다. 본 실시 예에서는 P1 화자, P2 화자, P3 화자가 순차적으로 발표를 한 경우, 각 화자가 말할 때(예를 들어, 말을 시작할 때)의 프레임 영상을 캡쳐하여 정지 영상을 생성한다. 따라서 3개의 정지 영상들을 생성하며, 상기 3개의 정지 영상들과 촬영한 동영상을 포함하는 동영상 파일을 생성할 수 있다.
상기 동영상 파일 재생 시에, 상기 정지 영상들을 북마크 기능을 수행할 수 있다. 상기 P1 화자의 정지 영상을 선택하면 상기 P1 화자가 말하는 동영상을 재생하며, 상기 P2 화자의 정지 영상을 선택하면 상기 P2 화자가 말하는 동영상을 재생할 수 있다. 따라서, 화자별로 임의로 재생 시점을 조절할 수 있다.
이하에서는 본 발명에 관한 동영상 촬영 방법을 첨부된 도면을 참조하여 설명한다.
도 7은 본 발명에 관한 동영상 촬영 방법의 일 실시 예를 설명하기 위한 순서도이다.
도 7을 참조하면, 우선 동영상 촬영을 개시한다(S11). 입력된 동영상을 구성하는 프레임 영상들에 대하여 얼굴 인식 알고리즘을 이용하여 얼굴 영역을 검출한다(S12). 검출한 얼굴 영역에 대하여 입모양 인식을 행하여 입모양이 변하는지 판단한다(S13). 본 실시 예에서는 검출한 얼굴 영역에 대하여 입모양 인식을 행함을 예시하였지만, 얼굴 인식 과정을 생략하고 상기 프레임 영상에 대하여 입모양 인식이 가능하다. 입모양이 변하는 경우, 입 영역을 포함하는 화자 영역을 포함하는 정지 영상을 생성한다(S14). 얼굴 영역을 검출한 경우에는 입모양이 변하는 얼굴 영역이 상기 화자 영역에 대응할 수 있으므로, 검출한 상기 얼굴 영역을 포함하는 정지 영상을 생성할 수 있다. 그리고 동영상 촬영이 종료하는지 판단하여(S15), 종료하는 경우 입력된 동영상과 상기 정지 영상을 포함하는 동영상 파일을 생성한다(S16).
상기 S12 단계에서 얼굴 영역을 검출하지 못하거나, 상기 S13 단계에서 입모양 변화를 인식하지 못한 경우에는, S15 단계로 진입하여 동영상 촬영이 종료되는지 판단하고, 동영상 촬영이 종료하는 경우 입력된 동영상을 포함하는 동영상 파일을 생성한다(S16).
상기 S15 단계에서 동영상 촬영이 종료되지 않은 경우, 종료할 때까지 동영상 촬영(S11)을 계속한다. 일 예로서, 사용자가 셔터릴리즈 버튼을 눌러 동영상 촬영을 개시하고 상기 셔터릴리즈 버튼을 한번 더 눌러 동영상 촬영을 종료할 수 있다. 상기 셔터릴리즈 버튼 뿐만 아니라 터치 스크린에 사용자가 터치하여 동영상 촬영 및 종료를 제어할 수 있다.
도 8은 본 발명에 관한 동영상 촬영 방법의 다른 실시 예를 설명하기 위한 순서도이다.
도 8을 참조하면, 우선 동영상 촬영을 개시한다(S21).
Smart voice Detection이 설정되어 있는지 판단한다(S22). 사용자의 조작 또는 자동으로 설정 가능하다. 설정되어 있는 경우, 마이크를 통해 입력되는 화자의 음성을 인식한다(S23). 입력된 음성의 출원지를 인식할 수 있다. 예를 들어, 2 개 이상의 마이크들을 이용하여 특정 방향에서 발성되는 화자의 음성을 강화하는 동시에 그 외의 방향에서 들어오는 잡음들을 감쇠시키는 빔포밍기술과 혼합된 신호들로부터 통계적 알고리즘에 의해 원음들을 분리해내는 독립요소분석(Independent comconent analysis; ICA)들을 이용하여 인식 가능하다. 입력된 음성의 출원지를 인식하지 못하거나, 복수의 음성일 경우에는 화자의 음성이 인식되지 않은 것으로 판단할 수 있다. 음성 데이터 인식이 성공하고, 또한 단일 음성일 경우, 화자의 음성을 main으로 인식한다. 음성 인식이 성공하면, 음성의 위치를 기준 피사체로 결정하여 화자 영역을 도출할 수 있다. 도출한 화자 영역에 대하여 자동 아웃 오브 포커싱 처리(Auto out of focusng)를 수행할 수 있다(S24). 본 실시 예에서는 상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리을 행함을 예시하였지만, 이에 한정하는 것은 아니며, 주밍, 마크로 포커싱 등의 영상 신호 처리를 행할 수 있다.
그리고 상기 화자 영역에 대하여 주기적으로 입모양을 인식하여 입모양이 변하는지 판단한다(S25). 입모양이 변하는 경우, 화자 영역을 포함하는 정지 영상을 생성한다(S26).
그리고 동영상 촬영이 종료하는지 판단하여(S27), 종료하는 경우 상기 정지 영상과 입력된 동영상을 포함하는 동영상 파일을 생성한다(S28). 따라서 상기 동영상 파일을 재생하는 경우, 상기 정지 영상은 북마크 기능을 행함으로써 화자의 변화에 따른 영상의 선택적 재생이 가능하다. 동영상 촬영이 종료되지 않은 경우 동영상 촬영을 계속하여 수행한다(s21).
상기 S22 단계에서 Smart Voice Detection이 설정되지 않은 경우, S23 단계에서 화자의 음성이 인식되지 않은 경우, S25 단계에서 화자 영역의 입모양 인식이 되지 않은 경우, 일반 동영상 촬영 모드를 수행하고, 동영상 촬영이 종료되는 경우, 입력된 동영상을 포함하는 동영상 파일을 생성한다(S28).
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.
소프트웨어 모듈 또는 알고리즘으로 구현되는 본 발명의 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체 등이 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 상기 매체는 컴퓨터에 의해 판독가능하며, 상기 플래쉬 메모리에 저장되고, 상기 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 상기 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성" 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
Claims (18)
- 화자를 피사체로 한 동영상을 입력하는 단계;
상기 화자의 입모양을 인식하는 단계;
상기 화자의 발화시점에 화자의 영상을 캡쳐하는 단계;
상기 화자의 입모양이 변하는 경우, 화자 영역을 포함하는 정지 영상을 생성하고, 상기 동영상의 북마크로서 기능하는 상기 정지 영상을 포함하는 동영상 파일을 생성하는 단계;를 구비하고,
상기 정지 영상은 화자의 발화시점에 상기 동영상을 재생하도록 선택할 수 있는 북마크로서 기능하고,
상기 동영상에 복수의 화자가 존재하는 경우, 각각의 화자마다 각각의 정지 영상이 생성되고,
상기 동영상의 재생 시, 재생 영역과 중첩되는 영역에 상기 생성된 각각의 정지 영상이 표시되는 것을 특징으로 하는 동영상 촬영 방법. - 제1항에 있어서, 얼굴 인식 알고리즘을 통하여 화자 영역을 특정하는 단계를 더 구비하고,
상기 화자 영역에 대하여 상기 화자의 입모양을 인식하는 것을 특징으로 하는 동영상 촬영 방법. - 제1항에 있어서, 상기 동영상을 입력하는 단계 다음에,
상기 화자의 음성을 입력하는 단계;
상기 화자의 음성을 인식하는 단계;
상기 화자의 음성을 인식하는 경우, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계;를 더 구비하는 동영상 촬영 방법. - 제3항에 있어서, 상기 화자의 음성을 인식하는 단계는;
저장된 음성 데이터와 상기 화자의 음성 데이터를 비교하는 단계;
저장된 음성 데이터에 상기 화자의 음성 데이터가 대응하는 경우, 상기 화자의 음성을 인식하는 것으로 판단하는 단계;를 포함하는 동영상 촬영 방법. - 제3항에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는,
상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하는 단계를 포함하고
상기 정지 영상은 자동 아웃 오브 포커싱 처리가 행해진 상기 화자 영역을 포함하는 것을 특징으로 하는 동영상 촬영 방법. - 제3항에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는,
상기 화자 영역에 대하여 주밍(Macro zooming) 처리를 행하는 단계를 포함하고,
상기 정지 영상은 상기 주밍 처리가 행해진 상기 화자 영역을 포함하는 것을 특징으로 하는 동영상 촬영 방법. - 제3항에 있어서, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 단계는,
상기 화자 영역에 대하여 마크로 포커싱(Macro focusing) 처리를 행하는 단계를 포함하고,
상기 정지 영상은 마크로 포커싱 처리가 행해진 상기 화자 영역을 포함하는 것을 특징으로 하는 동영상 촬영 방법. - 제1항에 있어서, 상기 화자 영역이 변하는 경우, 화자 영역들 각각을 포함하는 정지 영상들을 생성하는 것을 특징으로 하는 동영상 촬영 방법.
- 삭제
- 화자를 피사체로 한 동영상을 입력하는 동영상 입력부;
상기 화자의 입모양을 인식하는 입모양 인식부;
상기 화자의 발화시점에 화자의 영상을 캡쳐하고, 상기 화자의 입모양이 변하는 경우, 화자 영역을 포함하는 정지 영상을 생성하는 정지 영상 생성부; 및
상기 동영상의 북마크(bookmark) 기능을 하는 상기 정지 영상들을 포함하는 동영상 파일을 생성하는 동영상 파일 생성부를 구비하고,
상기 정지 영상은 화자의 발화시점에 상기 동영상을 재생하도록 선택할 수 있는 북마크로서 기능하고,
상기 동영상에 복수의 화자가 존재하는 경우, 각각의 화자마다 각각의 정지 영상이 생성되고,
상기 동영상의 재생 시, 재생 영역과 중첩되는 영역에 상기 생성된 각각의 정지 영상이 표시되는 것을 특징으로 하는 동영상 촬영 장치. - 제10항에 있어서, 얼굴 인식 알고리즘을 통하여 화자 영역을 특정하는 얼굴 인식부를 더 구비하고,
상기 입모양 인식부는 상기 화자 영역에 대하여 상기 화자의 입모양을 인식하는 것을 특징으로 하는 동영상 촬영 장치. - 제10항에 있어서, 상기 화자의 음성을 입력하는 음성 입력부;
상기 화자의 음성을 인식하는 음성 인식부;
상기 화자의 음성을 인식하는 경우, 상기 화자 영역에 대하여 영상 신호 처리를 행하는 영상 신호 처리부;를 더 구비하는 동영상 촬영 장치. - 제12항에 있어서, 상기 음성 인식부는;
저장된 음성 데이터와 상기 화자의 음성 데이터를 비교하는 비교부;
저장된 음성 데이터에 상기 화자의 음성 데이터가 대응하는 경우, 상기 화자의 음성을 인식하는 것으로 판단하는 판단부;를 포함하는 동영상 촬영 장치. - 제12항에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 자동 아웃 오브 포커싱 처리를 행하고,
상기 정지 영상 생성부는 상기 자동 아웃 오브 포커싱 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성하는 것을 특징으로 하는 동영상 촬영 장치. - 제12항에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 주밍(Macro zooming) 처리를 행하고,
상기 정지 영상 생성부는 상기 주밍 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성하는 것을 특징으로 하는 동영상 촬영 장치. - 제12항에 있어서, 상기 영상 신호 처리부는 상기 화자 영역에 대하여 마크로 포커싱(Macro focusing) 처리를 행하고,
상기 정지 영상 생성부는 상기 마크로 포커싱 처리가 행해진 상기 화자 영역을 포함하는 정지 영상을 생성하는 것을 특징으로 하는 동영상 촬영 장치. - 제10항에 있어서, 상기 정지 영상 생성부는 상기 화자 영역이 변하는 경우 화자 영역들 각각을 포함하는 정지 영상들을 생성하는 것을 특징으로 하는 동영상 촬영 장치.
- 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100133717A KR101760345B1 (ko) | 2010-12-23 | 2010-12-23 | 동영상 촬영 방법 및 동영상 촬영 장치 |
| US13/239,859 US8687076B2 (en) | 2010-12-23 | 2011-09-22 | Moving image photographing method and moving image photographing apparatus |
| GB1121694.2A GB2486793B (en) | 2010-12-23 | 2011-12-16 | Moving image photographing method and moving image photographing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100133717A KR101760345B1 (ko) | 2010-12-23 | 2010-12-23 | 동영상 촬영 방법 및 동영상 촬영 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120071967A KR20120071967A (ko) | 2012-07-03 |
| KR101760345B1 true KR101760345B1 (ko) | 2017-07-21 |
Family
ID=45572551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100133717A KR101760345B1 (ko) | 2010-12-23 | 2010-12-23 | 동영상 촬영 방법 및 동영상 촬영 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8687076B2 (ko) |
| KR (1) | KR101760345B1 (ko) |
| GB (1) | GB2486793B (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013093565A1 (en) | 2011-12-22 | 2013-06-27 | Nokia Corporation | Spatial audio processing apparatus |
| KR102114729B1 (ko) * | 2013-08-23 | 2020-05-26 | 삼성전자주식회사 | 저장된 정보 표시 방법 및 그 전자 장치 |
| CN107948517B (zh) * | 2017-11-30 | 2020-05-15 | Oppo广东移动通信有限公司 | 预览画面虚化处理方法、装置及设备 |
| KR102012719B1 (ko) * | 2017-12-06 | 2019-08-21 | 서울과학기술대학교 산학협력단 | 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법 |
| KR102433393B1 (ko) * | 2017-12-12 | 2022-08-17 | 한국전자통신연구원 | 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법 |
| US10847162B2 (en) * | 2018-05-07 | 2020-11-24 | Microsoft Technology Licensing, Llc | Multi-modal speech localization |
| US20230068798A1 (en) * | 2021-09-02 | 2023-03-02 | Amazon Technologies, Inc. | Active speaker detection using image data |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090201313A1 (en) * | 2008-02-11 | 2009-08-13 | Sony Erisson Mobile Communications Ab | Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014625A (en) * | 1996-12-30 | 2000-01-11 | Daewoo Electronics Co., Ltd | Method and apparatus for producing lip-movement parameters in a three-dimensional-lip-model |
| JP3688879B2 (ja) * | 1998-01-30 | 2005-08-31 | 株式会社東芝 | 画像認識装置、画像認識方法及びその記録媒体 |
| US6377995B2 (en) | 1998-02-19 | 2002-04-23 | At&T Corp. | Indexing multimedia communications |
| JP2000101901A (ja) | 1998-09-25 | 2000-04-07 | Canon Inc | 撮像装置、撮像方法、撮像装置制御システム及び記憶媒体 |
| GB2342802B (en) | 1998-10-14 | 2003-04-16 | Picturetel Corp | Method and apparatus for indexing conference content |
| US7598975B2 (en) * | 2002-06-21 | 2009-10-06 | Microsoft Corporation | Automatic face extraction for use in recorded meetings timelines |
| JP2004118314A (ja) | 2002-09-24 | 2004-04-15 | Advanced Telecommunication Research Institute International | 発話者検出システムおよびそれを用いたテレビ会議システム |
| KR20040060374A (ko) | 2002-12-30 | 2004-07-06 | 엘지전자 주식회사 | 음성인식을 이용한 휴대폰 카메라의 초점 조절방법 및 장치 |
| US7343289B2 (en) * | 2003-06-25 | 2008-03-11 | Microsoft Corp. | System and method for audio/video speaker detection |
| US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| US7680342B2 (en) * | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
| JPWO2005032829A1 (ja) * | 2003-09-25 | 2006-12-14 | 松下電器産業株式会社 | 再生装置及びブックマークシステム |
| KR20070010673A (ko) | 2005-07-19 | 2007-01-24 | 엘지전자 주식회사 | 자동초점조절 기능을 갖는 휴대용 단말기 및 그 방법 |
| JP4502992B2 (ja) | 2006-09-26 | 2010-07-14 | Ｓｋｙ株式会社 | 撮影装置 |
| US8984389B2 (en) * | 2007-06-04 | 2015-03-17 | Lg Electronics Inc. | Mobile terminal for setting bookmarking area and control method thereof |
| JP5088161B2 (ja) * | 2008-02-15 | 2012-12-05 | ソニー株式会社 | 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム |
| US8503653B2 (en) | 2008-03-03 | 2013-08-06 | Alcatel Lucent | Method and apparatus for active speaker selection using microphone arrays and speaker recognition |
| KR101178801B1 (ko) | 2008-12-09 | 2012-08-31 | 한국전자통신연구원 | 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법 |
| KR101610708B1 (ko) | 2008-11-20 | 2016-04-08 | 광주과학기술원 | 음성 인식 장치 및 방법 |
| JP5369947B2 (ja) * | 2009-07-09 | 2013-12-18 | ソニー株式会社 | 撮像装置、画像処理方法及びプログラム |
| US8705933B2 (en) * | 2009-09-25 | 2014-04-22 | Sony Corporation | Video bookmarking |
| US8204759B2 (en) * | 2009-11-30 | 2012-06-19 | International Business Machines Corporation | Social analysis in multi-participant meetings |
| WO2013106013A1 (en) * | 2011-03-31 | 2013-07-18 | Noah Spitzer-Williams | Bookmarking moments in a recorded video using a recorded human action |
-
2010
- 2010-12-23 KR KR1020100133717A patent/KR101760345B1/ko active IP Right Grant
-
2011
- 2011-09-22 US US13/239,859 patent/US8687076B2/en active Active
- 2011-12-16 GB GB1121694.2A patent/GB2486793B/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090201313A1 (en) * | 2008-02-11 | 2009-08-13 | Sony Erisson Mobile Communications Ab | Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2486793A (en) | 2012-06-27 |
| KR20120071967A (ko) | 2012-07-03 |
| US20120162470A1 (en) | 2012-06-28 |
| US8687076B2 (en) | 2014-04-01 |
| GB201121694D0 (en) | 2012-02-01 |
| GB2486793B (en) | 2017-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101720776B1 (ko) | 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| KR100821801B1 (ko) | 촬상장치 및 오토포커스 제어방법 | |
| KR101634247B1 (ko) | 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법 | |
| KR101700363B1 (ko) | 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| KR101760345B1 (ko) | 동영상 촬영 방법 및 동영상 촬영 장치 | |
| JP4042710B2 (ja) | オートフォーカス装置及びそのプログラム | |
| US8917333B2 (en) | Digital image processing apparatus, digital image processing method, and recording medium storing the digital image processing method | |
| JP4727534B2 (ja) | 撮像装置 | |
| KR101710631B1 (ko) | 손 떨림 보정 모듈을 구비하는 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| KR101710626B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| KR101739379B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| JP2007215091A (ja) | 撮像装置及びそのプログラム | |
| US20120147220A1 (en) | Digital image processing apparatus for quickly entering into reproduction mode and method of controlling the same | |
| JP2011160044A (ja) | 撮像装置 | |
| KR101737086B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| KR101721226B1 (ko) | 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
| JP5013852B2 (ja) | 画角補正装置及び方法並びに撮像装置 | |
| KR20120011920A (ko) | 디지털 영상 신호 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체 | |
| JP2011193185A (ja) | 撮像装置、撮像システム、交換レンズの制御方法およびプログラム | |
| KR20110055241A (ko) | 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법 | |
| KR101770298B1 (ko) | 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| KR20120080376A (ko) | 디지털 영상 촬영 장치 및 이의 제어 방법 | |
| CN102006406A (zh) | 摄像装置 | |
| JP2011205527A (ja) | 撮像装置及び方法、並びにプログラム | |
| KR101464532B1 (ko) | 디지털 영상 처리 장치 및 이의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |