KR101635105B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR101635105B1
KR101635105B1 KR1020090134912A KR20090134912A KR101635105B1 KR 101635105 B1 KR101635105 B1 KR 101635105B1 KR 1020090134912 A KR1020090134912 A KR 1020090134912A KR 20090134912 A KR20090134912 A KR 20090134912A KR 101635105 B1 KR101635105 B1 KR 101635105B1
Authority
KR
South Korea
Prior art keywords
image
focal length
smoothing
recorded
zooming
Prior art date
Application number
KR1020090134912A
Other languages
English (en)
Other versions
KR20110016376A (ko
Inventor
마사유 히구치
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/852,867 priority Critical patent/US8363128B2/en
Publication of KR20110016376A publication Critical patent/KR20110016376A/ko
Application granted granted Critical
Publication of KR101635105B1 publication Critical patent/KR101635105B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Lens Barrels (AREA)

Abstract

사용자가 수동으로 주밍 동작을 하여 촬영할 때, 매끄러운 주밍 변화를 갖는 동영상을 생성할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.
피사체상을 확대/축소하는 줌렌즈가 사용자의 수동 조작에 의해 구동되어 촬영된 복수매의 영상과, 복수매의 영상에 대응되는 촬영시의 초점 거리를 기록하는 기록부와, 기록된 초점 거리에 따라 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출하는 초점 거리 산출부와, 스무스화용 초점 거리와 기록된 초점 거리와, 기록된 영상에 따라 스무스화용 초점 거리에 대응되는 화각을 갖는 스무스화용 영상을 생성하는 영상 생성부를 구비하는 것을 특징으로 한다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
동영상을 주로 촬영하는 비디오 카메라에서는, 주밍 동작 중에도 영상이 기록되고, 피사체가 줌 인 또는 줌 아웃되면서 촬영되고 그 데이터가 기록된다. 줌 인 또는 줌 아웃을 포함하는 동영상을 재생할 때 시청자가 위화감을 느끼지 않도록, 기록중인 비디오 카메라의 줌은 매끄럽게(스무스하게) 동작할 것(주밍 속도의 변화가 적을 것)이 요구된다.
한편, 렌즈 교환이 가능한 디지털 일안 리플렉스(DSLR: Digital Single-Lens Reflex) 카메라 등의 카메라에서는 주밍 동작 중에 영상을 기록하지 않는다. 또한, 노광간 주밍 등의 예외적인 촬영시의 조작이 있으나, 통상의 촬영시에는 주밍 동작은 수행하지 않는다. 그리고, 정지영상 촬영에서 촬영자가 바라는 줌 배율에 신속하게 도달할 수 있도록, 줌렌즈는 줌 링을 수동으로 회전시키는 기구가 채용되어 있다.
줌에 관한 기술로서, 예컨대 특허문헌 1 및 특허문헌 2가 개시되어 있다. 특 허문헌 1에서는, 광학 줌을 모터나 기어 등을 이용하여 동작시킬 때, 사용자의 조작과 줌 기구의 동작 사이의 타임러그(time lug)를 개선한다. 이를 위해, 상기 타임러그를 전기적인 화각 변경(이른바 디지털 줌)으로 보충한다. 또한 특허문헌 2는 수동 줌을 전동 줌으로 바꾸는 기술이다.
그런데, 렌즈 교환 가능한 디지털 일안 리플렉스 카메라 등 종래의 정지영상 촬영에 사용되어 온 카메라에서도 최근 비디오 카메라와 같이 동영상을 촬영할 수 있게 되었다. 그러나, 동영상을 촬영할 수 있는 디지털 일안 리플렉스 카메라에서는 주밍 동작을 사용자가 수동으로 해야 한다. 따라서, 전동으로 주밍 동작을 하는 비디오 카메라에 비해, 줌의 속도가 불균일해지는 문제가 발생한다.
따라서, 특허문헌 2와 같이, 교환 렌즈의 줌 기구를 전동으로 조작할 수 있게 렌즈를 구성하는 것도 가능한데, 렌즈의 제조비용이 증가하거나, 렌즈가 전체적으로 커지거나 무거워지는 등의 문제가 있다. 또한 디지털 일안 리플렉스 카메라의 장점으로 과거의 렌즈 자산을 이용할 수 있다는 점이 있는데, 종래의 대부분의 렌즈는 전동 줌 기구가 없기 때문에, 이들 렌즈를 장착하였을 때는 당연히 전동으로 줌을 작동할 수 없다. 특허문헌 1에서는, 사용자가 수동으로 주밍 동작을 수행하는 것에 대해서는 개시되어 있지 않다.
[특허문헌 1] 일본특허공개 2008-53769호 공보
[특허문헌 2] 일본특허공개 2007-108373호 공보
따라서, 본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적은, 사용자가 수동으로 줌을 동작하여 촬영할 때, 매끄러운 주밍 변화를 갖는 동영상을 생성할 수 있는 신규하고도 개량된 영상 처리 장치 및 영상 처리 방법을 제공함에 있다.
상기 과제를 해결하기 위해, 본 발명이 일관점에 따르면, 피사체상을 확대/축소하는 줌렌즈가 사용자의 수동 조작에 의해 구동되어 촬영된 복수매의 영상과, 복수매의 영상에 대응되는 촬영시의 초점 거리를 기록하는 기록부와, 기록된 초점 거리에 따라 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출하는 초점 거리 산출부와, 스무스화용 초점 거리와, 기록된 초점 거리와, 기록된 영상에 따라 스무스화용 초점 거리에 대응되는 화각을 갖는 스무스화용 영상을 생성하는 영상 생성부를 구비하는 것을 특징으로 하는 영상 처리 장치가 제공된다.
이 구성에 의해 스무스화용 초점 거리가 기록부에 기록된 초점 거리에 따라 초점 거리의 시간 변화가 원활해지도록 산출되고, 스무스화용 영상이 스무스화용 초점 거리에 대응되는 화각을 갖도록, 스무스화용 초점 거리, 기록부에 기록된 초점 거리와 영상에 따라 생성된다. 그 결과, 사용자가 줌렌즈를 사용하여 수동으로 줌을 동작하여 촬영한 경우에도 매끄러운 주밍 변화를 갖는 동영상을 생성할 수 있다.
상기 영상 생성부가 스무스화용 영상을 생성할 때, 스무스화용 영상이 기록된 영상에 대해 확대되도록, 초점 거리 산출부가 스무스화용 초점 거리를 산출한다. 이 구성에 의해 스무스화용 영상을 생성할 때, 같은 시각의 기록된 영상을 사용할 수 있으므로, 매끄러운 주밍 변화를 갖는 동영상을 확실히 생성할 수 있다.
상기 초점 거리 산출부는, 기록된 초점 거리가 증가 방향의 일방향 또는 감소 방향의 일방향으로 변화되는 동안, 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출한다. 이 구성에 의해 기록된 초점 거리의 변화 방향이 동일한 기간만이 스무스화용 초점 거리의 산출에 있어서 고려된다.
또한 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 피사체상을 확대/축소하는 줌렌즈가 사용자의 수동 조작에 의해 구동되어 촬영된 복수매의 영상과, 복수매의 영상에 대응하는 촬영시의 초점 거리를 기록부에 기록하는 단계와, 기록된 초점 거리에 따라 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출하는 단계와, 스무스화용 초점 거리와, 기록된 초점 거리와, 기록된 영상에 따라 스무스화용 초점 거리에 대응하는 화각을 갖는 스무스화용 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법이 제공된다.
이상 설명한 바와 같이 본 발명에 의하면 사용자가 수동으로 주밍 동작을 수행하여 촬영할 때 매끄러운 주밍 변화를 갖는 동영상을 생성할 수 있다.
이하 첨부한 도면을 참조하면서, 본 발명의 바람직한 실시예들에 대해 상세 히 설명하기로 한다. 여기서, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능의 구성을 갖는 구성 요소에 대해서는 동일한 부호를 붙임으로써 중복 설명을 생략한다.
<일 실시예>
[촬상 장치의 구성]
우선, 도 1을 참조하여 본 발명의 일 실시예에 따른 촬상 장치(100)의 구성에 대해 설명하기로 한다. 도 1은 본 실시예에 따른 촬상 장치(100)를 나타내는 블록도이다.
촬상 장치(100)는, 예컨대 정지영상 및 동영상을 촬영할 수 있고 렌즈 교환이 가능한 디지털 일안 리플렉스 카메라이다. 촬상 장치(100)는, 예컨대, 교환 렌즈(102), 촬상 소자(110), 전처리부(112), MPU(Micro Processor Unit)(120), 영상 메모리(122), 메모리 카드(126), 정지영상 처리부(132), 동영상 처리부(134), JPEG 처리부(136), 표시부(140), 조작부(150) 등을 포함한다. 또한, 촬상 장치(100)는, 일안 리플렉스 카메라에 한정되지 않으며 교환 렌즈가 장착 가능한 콤팩트형 카메라여도 무방하다.
교환 렌즈(102)는 렌즈(103) 및 AF 구동부(104) 등을 갖는다. 렌즈(103)는 도시하지 않았지만, 예컨대 줌렌즈, 조리개, 포커스 렌즈 등으로 이루어진다. 그리고, 교환 렌즈(102)에는 사용자가 수동으로 줌을 변화시킬 수 있도록 예컨대 줌 링 등이 마련되어 있다. 줌 링을 회전시키므로써, 촬상면에 결상하는 피사체상을 확대하거나 축소할 수 있다.
교환 렌즈(102)는 외부의 광정보를 촬상 소자(110)에 결상시키는 광학계 시스템으로서, 피사체로부터의 광을 촬상 소자(110)까지 투과시킨다. 줌렌즈는 초점 거리를 변화시켜 화각을 바꾸는 렌즈이다. 조리개는 투과하는 광량을 조절하는 기구이다. 포커스 렌즈는 광축 방향으로 이동하므로써 촬상 소자(110)의 촬상면에 피사체상을 포커싱한다. 포커스 렌즈는 AF 구동부(104)에 의해 구동된다.
촬상 소자(110)는 광전변환 소자의 일예로서, 교환 렌즈(102)를 투과하여 입사한 광정보를 전기 신호로 변환하는 광전변환이 가능한 복수의 소자로 구성된다. 각 소자는 수광한 광량에 따른 전기 신호를 생성한다. 촬상 소자(110)는 CCD(charge coupled device)센서, CM0S(complementary metal oxide semiconductor) 센서 등을 적용할 수 있다.
또한, 촬상 소자(110)의 노광시간을 제어하기 위해 비촬영시에 광을 차단하고 촬영시에만 광이 접촉하도록, 메커니컬 셔터(미도시)를 적용할 수 있다. 또한 이에 한정되지 않고 전자 셔터를 적용해도 된다. 또한, 메커니컬 셔터 또는 전자 셔터의 동작은 셔터 버튼(조작부(150))의 스위치에 의해 행해진다.
촬상 소자(110)는, 또한 CDS/AMP(상관 2중 샘플링 회로(correlated double sampling)/증폭기(amplifier))부, A/D 변환부(Analog/Digital converter)를 갖는다. CDS/AMP부는 촬상 소자(110)로부터 출력된 전기 신호에 포함되는 리셋 노이즈와 앰프 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭한다. A/D 변환부는 CDS/AMP부로부터 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성한다. A/D 변환부는 생성한 디지털 신호를 전처리부(112)에 출력한다.
전처리부(112)는 A/D 변환부로부터 출력된 디지털 신호에 대해 처리를 실시하여 영상 처리가 가능한 영상 신호를 생성한다. 전처리부(112)는 예컨대, 촬상 소자(110)의 화소 결함 보정, 흑레벨 보정, 쉐이딩 보정 등의 처리를 한다. 전처리부(112)는 생성한 영상 신호를, 예컨대 정지영상 처리부(132)로 출력한다. 또한 전처리부(112)는 영상 메모리(122)에 대한 영상 데이터의 읽기/쓰기를 제어한다.
MPU(120)는 프로그램에 의해 연산 처리 장치 및 제어 장치로서 기능하고, 촬상 장치(100) 내에 설치된 각 구성 요소의 처리를 제어한다. MPU(120)는, 예컨대, AF 구동부(104)로 신호를 출력하여 교환 렌즈(102)의 포커스 렌즈를 구동시킨다. 또한 MPU(120)는 조작부(150)로부터의 신호에 따라 촬상 장치(100)의 각 구성 요소를 제어한다. 또한, 본 실시예에서는, MPU(120)가 하나만으로 이루어진 구성이지만, 신호계의 명령과 조작계의 명령을 각각 별도의 MPU에서 행하는 등 복수의 MPU로 구성되어도 된다.
영상 메모리(122)는, 예컨대 SDRAM(synchronous DRAM)이고, 촬영한 영상의 영상 데이터를 일시적으로 저장한다. 영상 메모리(122)는 복수 영상의 영상 데이터를 저장할 수 있는 저장 용량을 가지고 있다. 영상 메모리(122)에 대한 영상의 읽기/쓰기는, 전처리부(112)에 의해 제어된다. 본 실시예에서, 영상 메모리(122)는 기록부의 일예로서, 줌렌즈가 사용자의 수동 조작에 의해 사용되어 촬영된 여러장의 영상과, 여러장의 영상에 대응된 촬영시의 초점 거리를 기록할 수 있다.
메모리 카드(126)는 영상 데이터가 기입되거나, 또는 기록된 영상 데이터나 설정 정보 등이 독출된다. 메모리 카드(126)는, 예컨대, 자기 디스크, 반도체 기억 매체 등의 기록 매체로서 촬영된 영상 데이터를 기록한다. 기록 매체라면, 메모리 카드(126)에 한정되지 않고 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크 등이여도 무방하다. 메모리 카드(126)는 촬상 장치(100)로부터 착탈 가능하게 구성되어도 된다.
정지영상 처리부(132)는, 전처리부(112)로부터 영상 신호를 받아 휘도 신호와 색신호로 변환 처리한다. 정지영상 처리부(132)는 WB 제어값, γ값, 에지(윤곽)강조 제어값 등에 기초하여 영상 처리된 영상 신호를 생성한다. 정지영상 처리부(132)는 생성한 영상 신호를 동영상 처리부(134)나 JPEG 처리부(136)로 보낸다.
동영상 처리부(134)는 정지영상 처리부(132)로부터 정지영상의 영상 데이터를 받아 코딩(부호화) 처리에 의해 동영상 데이터를 생성한다. 동영상 처리부(134)는, 예컨대 MPEG 형식 등으로 부호화 처리를 하고, 복수의 영상 프레임이 하나의 파일로 정리된 스트림 데이터를 생성한다. 생성된 동영상 데이터는 메모리 카드(126) 등에 기록된다.
동영상 처리부(134)는 초점 거리 산출부를 더 가지며, 영상 메모리(122)에 기록된 초점 거리에 기초하여 초점 거리의 시간 경과에 따른 변화, 이른바 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출한다. 또한 동영상 처리부(134)는 영상 생성부의 일예로서, 스무스화용 초점 거리, 영상 메모리(122)에 기록된 초점 거리, 및 영상 메모리(122)에 기록된 영상에 의해 스무스화용 초점 거리에 대응하는 화각을 갖는 스무스화용 영상을 생성한다.
상기 스무스화용 영상을 생성할 때, 스무스화용 영상이 기록된 영상에 대해 확대되도록 초점 거리 산출부가 스무스화용 초점 거리를 산출한다. 또한 상기 초점 거리 산출부는 기록된 초점 거리가 증가 방향의 일방향 또는 감소 방향의 일방향으로 변화하는 동안에 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출한다.
JPEG 처리부(136)는 정지영상 처리부(132)로부터의 영상 데이터에 대해, 예컨대 JPEG(Joint Photographic Experts Group) 규격 등의 정지영상의 부호화 방식으로 압축 부호화 처리를 수행한다. 생성된 압축 부호화된 데이터는 메모리 카드(126) 등에 기록된다. 또한 메모리 카드(126)로부터 공급된 정지영상의 부호화 데이터에 대해 신장(伸張) 복호화 처리를 한다.
표시부(140)는, 예컨대 VRAM으로부터 영상 데이터를 받아 화면에 영상을 표시한다. 표시부(140)는, 예컨대 촬상 장치(100)의 본체에 설치된다. 표시부(140)가 표시하는 영상은, 예컨대, VRAM으로부터 독출된 촬영전의 영상(라이브 뷰 표시), 촬상 장치(100)의 각종 설정 화면이나, 촬상하여 기록된 영상 등이다. 표시부(140)는, 예컨대 액정 디스플레이, 유기 EL 디스플레이 등이다.
또한, VRAM(video RAM)은 영상 표시용 메모리로서 복수의 채널을 갖는다. VRAM은 영상 메모리(122)로부터의 영상 표시용 영상 데이터의 입력과, 표시부(140)에 대한 영상 데이터의 출력을 동시에 실행할 수 있다. 표시부(140)의 해상도나 최대 발색수는 VRAM의 용량에 의존한다.
조작부(150)는, 예컨대, 촬상 장치(100)에 설치된 상하좌우키, 전원 스위치, 모드 다이얼, 셔터 버튼 등이다. 조작부(150)는 사용자의 조작에 따라 조작 신호를 MPU(120) 등으로 보낸다. 예컨대, 셔터 버튼은 사용자에 의한 절반 누름(S1 조작), 완전 누름(S2 조작), 해제가 가능하다. 셔터 버튼은 절반 누름시 포커스 제어 개시 조작 신호를 출력하고, 절반 누름 해제로 포커스 제어가 종료된다. 또한 셔터 버튼은 완전 누름시 촬영 개시 조작 신호를 출력한다.
또한, 촬상 장치(100)에서의 일련의 처리는, 하드웨어로 처리해도 되고, 컴퓨터 상의 프로그램에 의한 소프트웨어 처리로 실현해도 된다.
[촬상 장치의 동작]
도 2a 및 도 2b는 본 실시예에 따른 촬상 장치(100)의 동영상 촬영 동작을 나타내는 흐름도이다. 도 11은 종래의 촬상 장치의 동영상 촬영 동작을 나타내는 흐름도이다.
본 실시예의 촬상 장치(100)는 종래의 촬상 장치와 비교하여 S111 단계가 우선 행해지고, S115 단계의 YCC화 처리 후에 주밍 동작 중인지 여부에 따라 다양한 처리가 행해지는 점에서 다르다. 종래의 촬상 장치에서는, 주밍 동작 중인지 여부에 관계없이 S14 단계의 YCC화 처리 후에 동영상 코딩(단계 S15), 동영상 스트림의 카드 기록(S16)이 행해지고 촬영이 종료된다.
이하, 본 실시예에 따른 촬상 장치(100)의 동영상 촬영 동작에 대해 설명하기로 한다.
촬상 장치(100)의 동영상 촬영 동작이 개시되면, 우선, 주밍 동작 중의 영상 데이터가 영상 메모리(122)에 기록되어 있는지 여부를 나타내는 일시 기록 플래그를 OFF로 설정한다(S111). 그리고, 자동노출(AE)이나 자동초점(AF)이 설정된 다(S112, S113).
촬영 데이터는 촬상 소자(110)로부터 RAW 영상 데이터로서 독출되고, 정지영상 처리부(132)에서 YCC화 처리가 행해진다(S115).
또한 촬상 장치(100)에 의한 촬영이 주밍 동작중인지 또는 주밍 동작이 정지되었는지가 판단된다(S116). 주밍 동작 중인지 여부는 촬영시의 초점 거리가 증가 방향의 일방향 또는 감소 방향의 일방향으로 변화하는지 여부로 판단한다. 초점 거리의 변화 방향이 반대 방향 또는 일정하게 되었을 때 주밍 동작이 정지된 것으로 판단한다.
주밍 동작 여부의 판단은 프레임마다 해도 되고, 예컨대 1초마다 등 소정 시간마다 해도 된다. 단, 주밍 동작 여부의 판단을 프레임마다 등 짧은 시간 단위로 하면 줌 조작 방법에 따라서는 줌 계속 중이라고 판단되는 기간이 짧아지는 경우가 있다. 그 결과, 짧은 시간의 파일이 다수 생성되기 때문에 1초에 1회정도의 빈도로 행하면 된다.
주밍 동작 중이 아니라고 판단된 경우, 이어서 일시 기록 플래그의 ON/OFF 여부가 판단된다(S117). 주밍 동작이 이전에 이루어지지 않은 경우, 일시 기록 플래그는 OFF이다. 그리고, 일시 기록 플래그가 OFF라고 판단되면, 촬영 중인 영상 데이터에 대해 동영상 코딩이 이루어진다(S118). 예컨대, 영상 데이터는 MPEG 형식 등으로 부호화된다. 그 후, 코딩된 영상 데이터(동영상 스트림)가 메모리 카드(126) 등의 기록 미디어에 기록된다(S119).
즉, 이전에 주밍 동작이 되지 않은 경우로서, 주밍 동작 중이 아닐 때는 종 래와 같이 촬영 중인 데이터가 그대로 기록 미디어에 기록된다.
주밍 동작 중이 아니라고 판단되고, 동영상 스트림의 카드 기록(S119)이 완료되었을 때 촬영이 종료되었는지 여부가 판단된다(S126). 촬영이 종료되지 않은 경우는 S112 단계로 되돌아 온다. 촬영이 종료된 경우에는 S127 단계로 진행한다.
한편, S116 단계에서 촬상 장치(100)에 의한 촬영이 주밍 동작 중이라고 판단된 경우, 우선 영상이 일시적으로 기록되어 있는지 여부를 나타내는 일시 기록 플래그를 ON으로 전환한다(S120). 그리고, S115 단계에서 YCC화 처리된 주밍 동작 중의 영상 데이터(동영상 스트림)가 순차적으로 영상 메모리(122)에 기록된다(S121). 또한 주밍 동작 중의 영상 데이터에 대응된 촬영시의 초점 거리가 동시에 영상 메모리(122)에 기록된다.
영상 데이터는 프레임 단위로 기록되지만, S116 단계의 주밍 동작 여부의 판단은 상술한 바와 같이, 예컨대 1초마다 등으로 해도 된다. 이 경우, S116 단계의 판단이 행해지지 않는 프레임에서는 이전의 상태가 계속된다. 예컨대, 이전의 상태가 주밍 동작 중이었다면, 주밍 동작 여부의 판단이 이루어지지 않은 프레임도 주밍 동작 중인 것으로 간주하여, S120, S121 단계로 이동하고, 주밍 동작 중의 영상 데이터가 기록된다.
주밍 동작 중에 동영상 스트림의 일시 기록(S121)이 완료되었을 때 촬영 종료 여부가 판단된다(S126). 촬영이 종료되지 않은 경우는, S112 단계로 되돌아간다. 주밍 동작 중에 촬영이 종료된 경우에는 S127 단계로 진행한다.
촬영이 종료되지 않은 경우, 주밍 동작이 정지되면, S116 단계에서 주밍 동 작이 정지되었다고 판단하고, S117 단계에서 일시 기록 플래그가 ON이 되었다고 판단한다. 그리고, S122 단계로 이동하여 일시 기록 플래그를 OFF로 전환한다. 그 후, S121 단계에서 영상 메모리(122)에 일시 기록된 주밍 동작 중의 영상 데이터에 대해 스무스화 처리를 수행한다(S123). 스무스화 처리는 기록된 초점 거리가 증가 방향의 일방향 또는 감소 방향의 일방향으로 변화하는 동안에 행해진다. 이에 따라, 사용자에 의해 수동으로 줌 조작되어 촬영된 영상이 스무스한 영상으로 변환된다.
그리고, 스무스화 처리된 영상 데이터는 동영상 코딩된다(S124). 예컨대, 영상 데이터는 MPEG 형식 등으로 부호화된다. 그 후, 코딩되어 순차적으로 출력되는 데이터(동영상 스트림)가 메모리 카드(126) 등의 기록 미디어에 기록된다(S125). S122~S123 단계의 동작은 주밍 동작이 정지되어 주밍 동작이 없는 촬영에서의 동영상 코딩(S118)과 동영상 스트림의 카드 기록(S119)과 병행하여 행해진다.
주밍 동작 중이 아니라고 판단되고, 스무스화된 동영상 스트림의 카드 기록(S125)이 완료되었을 때, 촬영이 종료되었는지 여부가 판단된다(S126). 촬영이 종료되지 않은 경우는 S112 단계로 되돌아간다. 촬영이 종료된 경우는 S127 단계로 진행한다.
S127 단계에서는, 일시 기록 플래그의 ON/OFF 여부가 판단된다(S127). 주밍 동작 중에 촬영이 종료된 경우는 일시 기록 플래그가 ON 상태이므로, S128 단계로 진행한다. 한편, 그 이외의 경우에는 일시 기록 플래그는 OFF이므로 S132 단계로 진행한다.
주밍 동작 중에 촬영이 종료된 경우, 상술한 S123 단계 등의 일시 기록된 주밍 동작 중의 영상 데이터의 스무스화 처리 등이 행해져 있지 않다. 따라서, 먼저 일시 기록 플래그를 OFF로 전환한다(S128). 그 후, S121 단계에서 영상 메모리(122)에 일시 기록된 주밍 동작 중의 영상 데이터에 대해 스무스화 처리를 수행한다(S129). 이에 의해, 사용자에 의해 수동으로 줌 조작되어 촬영된 영상이 스무스한 영상으로 변환된다.
그리고, 스무스화 처리된 영상 데이터는 동영상 코딩된다(S130). 그 후, 코딩되어 순차적으로 출력되는 데이터(동영상 스트림)가 메모리 카드(126) 등의 기록 미디어에 기록된다(S131). S128~S131 단계의 동작은 촬영이 완료된 후에 행해진다.
그 후, 촬영 개시부터 촬영 종료까지 스무스화 처리된 데이터와, 스무스화 처리가 불필요한 데이터가 따로 메모리 카드(126)에 기록되어 있기 때문에, 파일을 일련의 동영상 파일로 합성하여 최종 처리(파이널라이즈 처리(finalize process))를 수행한다(S132). 이에 의해, 하나의 촬영에 대해 도중에 사용자에 의한 수동 줌 조작이 행해진 경우라도, 줌 촬영된 영상을 수동으로 그대로 기록한 촬영 데이터가 아닌 스무스화된 촬영 데이터를 기록할 수 있다.
도 6은 초점 거리의 변화 특성을 나타내는 그래프로서, 촬영 개시부터 촬영 종료까지의 초점 거리의 변화를 나타내고 있다. 도 6에 도시한 예에서는 사용자가 줌 조작을 하여 촬영한 기간이 줌 이동 영역 A와 줌 이동 영역 B의 2회이며, 줌 조작을 정지하여 줌 조작을 하지 않고 촬영한 기간이 줌 이동 영역 A와 줌 이동 영역 B 사이에 1회 있다. 이러한 경우, 스무스화 처리된 데이터와 스무스화 처리되지 않 은 데이터가 모두 3파일 존재하므로, 이들 파일을 합성하여 최종 처리를 수행한다.
[스무스화 처리에 대해서]
이어서, 영상 메모리(122)에 일시 기록된 주밍 동작 중의 영상 데이터에 대해 스무스화 처리를 하는 동작에 대해 설명하기로 한다. 도 3은 본 실시예에 따른 촬상 장치(100)의 메모리시 기록 영상의 스무스화 동작을 나타내는 흐름도이다.
영상 메모리(122)에는 줌렌즈가 사용자에 의해 수동 조작되어 촬영된 주밍 동작 중의 영상 데이터가 기록되어 있다. 또한 해당 영상 데이터에 대응되는 촬영시의 초점 거리(f0)가 동시에 영상 메모리(122)에 기록되어 있다. 따라서, 주밍 동작 중의 각 프레임의 영상 데이터와, 촬영시의 초점 거리(f0)를 취득하고, 예컨대, 도 4 및 도 5의 실선으로 나타낸 바와 같은 촬영시의 초점 거리(f0)의 시간 변화 특성을 작성한다(S141). 도 4 및 도 5는 초점 거리의 변화 특성을 나타내는 그래프이고, 도 4는 줌인 동작을 나타내며, 도 5는 줌아웃 동작을 나타내고 있다.
이어서, 스무스화용 초점 거리(fs)의 시간 변화 특성을 작성한다(S142). S142 단계에서는 우선 촬영시의 초점 거리(f0)의 시간 변화 특성에 따라 Δf0/Δt를 산출하여 Δf0/Δt의 시간 변화를 취득한다. 그리고, Δf0/Δt의 변화가 감소로 바뀌는 포인트를 취득하여 기억해 둔다. 도 4 및 도 5에 도시한 예에서는, 흰점으로 나타낸 포인트가 된다. 그리고, 기억해 둔 포인트와, 주밍 동작 개시점과, 주밍 동작 종료점을 이용하여, 예컨대 2차 스플라인 보간(spline interpolation)을 행하 고, 예컨대 도 4 및 도 5의 파선으로 나타낸 바와 같은 각 시간의 스무스화용 초점 거리(fs)를 산출한다.
또한, 스무스화용 초점 거리(fs)의 산출은 상술한 보간 방법 이외의 처리로 산출해도 된다. 스무스화용 초점 거리(fs)를 산출하는 경우는, 촬영시의 영상 데이터에 비해 스무스화용 초점 거리에 대응되는 영상이 확대되는 방향으로 산출하면 된다. 즉, 도 4 및 도 5에 나타낸 예에서는, 파선이 실선 보다 상측의 위치가 되도록, 촬영시의 초점 거리(f0) 보다 망원측으로 스무스화용 초점 거리(fs)를 산출하면 된다.
그리고, 촬영시의 영상 데이터로부터 스무스화용 영상 데이터를 작성하기 위하여, 디지털 줌의 대상으로 하는 본래의 영상 프레임과 트리밍 사이즈를 결정한다(S143). 디지털 줌의 대상으로 하는 영상 프레임은 도 4 및 도 5에 도시한 예에서는 실선과 파선이 겹치지 않은 프레임, 즉, 촬영시의 초점 거리(f0)와 스무스화용 초점 거리(fs)가 다른 프레임을 추출하여 결정한다. 트리밍 사이즈는 촬영시의 초점 거리(f0)와 스무스화용 초점 거리(fs)에 기초하여 본래의 프레임에 대한 확대율을 산출하여 결정한다.
또한, 스무스화용 초점 거리(fs)의 산출에 있어서, 보간 방법이나 초점 거리의 변화 특성에 따라서는 촬영시의 초점 거리(f0)쪽이 산출된 스무스화용 초점 거리(fs) 보다 커지는 경우가 있다. 이 때, 촬영시의 초점 거리(f0)와 스무스화용 초 점 거리(fs)에 기초하여 본래의 프레임에 대한 확대율을 산출하면, 스무스화용 영상 프레임의 크기는 본래의 프레임에 비해 축소되는 방향이 된다. 이 경우, 트리밍할 수 없기 때문에 본래의 프레임을 스무스화용 영상 프레임으로 사용한다. 또는, 촬상 소자(110)의 촬상면 상에서 본래의 프레임의 크기 보다 조금 크게 촬상하고 있는 경우에는, 여분으로 촬영하고 있는 부분을 사용하여 본래의 프레임에 대해 축소 처리를 해도 된다.
이어서, 산출된 확대율과, 촬영시의 영상 프레임을 사용하여 트리밍 처리 및 확대 처리를 하고, 스무스화용 영상 프레임을 생성한다(S144). 그리고, 생성된 스무스화용 영상 프레임을, 촬영시의 원영상 프레임과 치환한다(S145). 이에 따라 영상 메모리(122)에 일시 기록된 주밍 동작 중의 영상 데이터를 스무스화 처리하는 동작이 완료된다.
상기한 스무스화 처리는 일련의 촬영이 완료된 후, 또는 사용자에 의한 줌 조작이 완료된 후의 타이밍에 수행한다.
또한, 도 10에 도시한 바와 같이, 주밍 동작 중의 촬영시의 초점 거리(f0)의 변화가 매끄럽고, Δf0/Δt의 변화가 감소로 바뀌는 포인트가 없는 경우, 주밍 동작 개시점과, 주밍 동작 종료점을 이용하여 보간 처리를 하면, 예컨대 도 10의 파선과 같이 된다. 그러나, 수동의 줌 조작이 애당초 매끄럽고, 스무스화 처리를 하면 트리밍 처리 및 확대 처리가 생겨 해상도의 변화가 생기기 때문에, 촬영시의 영상 데이터를 채용하는 것으로 하고, 스무스화 처리는 수행하지 않는다. 즉, Δf0/Δt의 변화가 감소로 바뀌는 포인트를 카운트하고, 카운트수가 0인 경우에 S143∼S145 단계는 스킵하고 스무스화 처리를 생략한다.
<다른 실시예>
다음으로, 본 발명의 다른 실시예에 따른 영상 처리 장치(200)에 대해 설명하기로 한다.
상술한 실시예에서는, 촬영시에 리얼 타임으로 줌 중의 영상을 코딩하지 않고 일시 기억하고, 줌 처리 후에 스무스화 처리를 하는 경우에 대해 설명하였다. 본 실시예에서는, 촬영시에는 스무스화 처리를 하지 않고 촬영시의 영상 데이터와 촬영시의 초점 거리에 기초하여 퍼스널 컴퓨터 등의 정보처리 장치(영상 처리 장치)를 이용하여 스무스화 처리를 촬영 후에 실시한다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 장치(200)를 나타내는 블록도이다. 영상 처리 장치(200)는, 예컨대 MPU(Micro Processor Unit)(220), 메모리(222), HDD(Hard Disk Drive)(226), 표시부(240), 및 조작부(250) 등을 포함한다. MPU(220)는 초점 거리 산출부(232), 영상 생성부(234) 등을 포함한다.
MPU(220)는 프로그램에 의해 연산 처리 장치 및 제어 장치로서 기능하고, 영상 처리 장치(200) 내에 설치된 각 구성 요소의 처리를 제어한다. 메모리(222)에는 MPU(220)에서 실행되는 프로그램 등이 기억되어 있다. HDD(226)는 기억 매체 및 그 제어 장치의 일예로서, 촬상 장치에서 촬영된 영상 등이 기록되어 있고, 스무스화 처리시, 기록된 영상이 독출된다. 또한 HDD(226)에는 본 실시예에서 생성되는 스무스화 처리 후의 영상이 새롭게 기록된다. 또한, 기억 매체로는 하드 디스크에 한정 되지 않고 광디스크 등 다른 기억 매체여도 무방하다.
표시부(240)는, 예컨대 액정 디스플레이, 유기 EL 디스플레이 등이며 화면에 영상 등을 표시한다. 조작부(250)는, 예컨대 키보드, 마우스 등이며 사용자에 의한 조작을 접수하여 조작 신호를 MPU(220)로 보낸다. 또한, HDD(226), 표시부(240), 조작부(250)는 영상 처리 장치(200)에 일체로 설치되어도 되고, 영상 처리 장치(200)로부터 착탈 가능하게 구성 되어도 된다.
초점 거리 산출부(232)는 영상과 함께 기록된 초점 거리에 기초하여 초점 거리의 시간 변화가 원활해지도록 스무스화용 초점 거리를 산출한다. 영상 생성부(234)는 스무스화용 초점 거리와, 영상과 함께 기록된 초점 거리와, HDD(226)로부터 독출된 영상에 기초하여 스무스화용 초점 거리에 대응되는 화각을 갖는 스무스화용 영상을 생성한다. 또한 MPU(220)는 영상 데이터의 디코딩 처리, 스무스화 처리된 영상의 동영상 코딩 처리를 한다. 또한, MPU(220)는 스무스화 처리된 영상을 원영상과 치환하고, 스무스화 처리된 영상과 스무스화 처리되지 않은 영상과의 병합(머지(merge)) 처리를 한다.
본 실시예를 실현하기 위해서는, 먼저 촬영시 기록된 각 프레임에 관련하여 초점 거리 정보를 기록해 둔다. 촬상 장치는, 예컨대 도 8에 도시한 바와 같은 동영상상 파일 형식으로 동영상 데이터 및 초점 거리 정보를 기록한다. 도 8은 본 실시예에 따른 영상 처리 장치(200)에 적용 가능한 동영상 파일의 데이터 구조를 나타내는 설명도이다.
동영상 파일은, 예컨대 동영상 데이터 헤더(10), 동영상 데이터(20), 동영상 정보 데이터 헤더(30), 및 동영상 정보 데이터(40) 등으로 이루어진다.
동영상 데이터 헤더(10)에는 동영상 데이터(20)의 식별 정보나 전체 동영상 데이터 사이즈 등이 기술되어 있다. 동영상 데이터(20)의 식별 정보에 의해 동영상 데이터(20)의 식별이 행해진다.
동영상 데이터(20)는, 예컨대 청크01(Chunk01), 청크02(Chunk02)……등 복수의 블록으로 나뉘어 저장되어 있다. 본 실시예에서는, 예컨대 1초간의 프레임 데이터의 집합으로 하나의 청크를 구성한다.
동영상 정보 데이터 헤더(30)에는 동영상의 종횡 픽셀 사이즈, 프레임 레이트, 포맷 타입 등이 기록되고, 또한 각 청크의 프레임수나 액세스를 위한 어드레스 정보 등이 기록된다.
동영상 정보 데이터(40)의 영역에 각 프레임의 초점 거리 정보가 저장된다.
이어서, 본 실시예에 따른 영상 처리 장치(200)의 줌 스무스화 동작에 대해 설명하기로 한다.
도 9는, 본 실시예에 따른 영상 처리 장치(200)의 줌 스무스화 동작을 나타내는 흐름도이다.
우선, 동영상 정보 데이터(40) 중 각 프레임의 초점 거리 정보(42)를 취득한다(S241). 그리고, 취득한 초점 거리 정보로부터, 줌 조작을 하여 촬영한 프레임, 즉 초점 거리가 시간 변화되는 프레임을 검색하고, 검색된 프레임을 포함하는 청크가 어느 것인지를 특정한다. 그 후, 특정한 청크를 추출한다(S242).
이어서, 추출한 청크(복수의 프레임으로 이루어지는 동영상 스트림)를 디코 딩 처리한다(S243). 그리고, 주밍 동작 중의 영상 데이터에 대해 스무스화 처리를 한다(S244). 스무스화 처리는 이전 실시예에서 설명한 처리와 같은 동작이다. 스무스화 처리에 의해 수동으로 줌 조작되어 촬영된 영상이 스무스한 영상으로 변환된다.
그리고, 스무스화 처리된 영상 데이터는, 청크 단위로 동영상 코딩(인코딩)된다. 예컨대, 영상 데이터는 MPEG 형식 등으로 부호화된다. 그 후, 코딩되어 순차적으로 출력되는 데이터(동영상 스트림)가 하드 디스크 드라이브(HDD(226)) 등의 기록 미디어에 기록된다(S245).
그 후, 본래의 동영상 파일의 스무스화처리 전의 청크를 스무스화 처리된 청크로 치환하고, 스무스화 처리된 청크를 본래의 동영상 파일로 병합한다(S246). 이 때, 동영상 파일에 있어서, 동영상 데이터 헤더(10)와 동영상 정보 데이터 헤더를 새로운 청크에 적합하도록 데이터를 리라이팅한다. 이에 따라, 하나의 촬영에 대해, 도중에 사용자에 의한 수동 줌 조작이 행해진 경우라도, 줌 촬영된 영상을 수동으로 그대로 기록한 촬영 데이터로부터, 스무스화된 촬영 데이터로 변환할 수 있다.
이상, 본 발명의 실시예들에 의하면, 줌 조작 중의 영상 프레임과, 그 영상 프레임에 대응되는 초점 거리와, 스무스화용 초점 거리를 이용하여 동영상이 스무스하게 주밍되도록 영상 프레임을 트리밍 처리한다. 이 때, 스무스화용 초점 거리의 산출은 촬영시의 초점 거리보다 망원측이 되도록 산출하면 된다.
그 결과, 디지털 일안 리플렉스 카메라와 같은 수동 줌 기구를 구비하는 촬 상 장치에서 동영상을 촬영하는 경우, 주밍 속도가 불균일해지는 것을 방지할 수 있다. 또한 전동 줌 기능이 있는 교환 렌즈를 따로 준비하지 않고도 매끄러운 주밍 변화를 갖는 동영상을 생성할 수 있다.
본 발명에 따른 영상 처리 장치 및 영상 처리 방법은 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(premanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서 상에서 실행가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장매체(예컨데, ROM(read-only memory), RAM(random-aceess memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨데, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 상기 매체는 컴퓨터에 의해 판독 가능하며, 상기 메모리에 저장되고, 상기 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시예들에서 참조 부호 를 기재하였으며, 상기 실시예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에게 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에서의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적 인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단게들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬상 장치(100)를 나타내는 블록도이다.
도 2a는 도 1에 따른 촬상 장치(100)의 동영상 촬영 동작을 나타내는 흐름도이다.
도 2b는 도 1에 따른 촬상 장치(100)의 동영상 촬영 동작을 나타내는 흐름도이다.
도 3은 도 1에 따른 촬상 장치(100)의 메모리의 일시기록영상의 스무스화 동작을 나타내는 흐름도이다.
도 4는 초점 거리의 변화 특성을 나타내는 그래프이다.
도 5는 초점 거리의 변화 특성을 나타내는 그래프이다.
도 6은 초점 거리의 변화 특성을 나타내는 그래프이다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 장치(200)를 나타내는 블록도이다.
도 8은 도 7에 따른 영상 처리 장치(200)에 적용 가능한 동영상 파일의 데이터 구조를 나타내는 설명도이다.
도 9는 도 7에 따른 영상 처리 장치(200)의 줌 스무스화 동작을 나타내는 흐름도이다.
도 10은 초점 거리의 변화 특성을 나타내는 그래프이다.
도 11은 종래의 촬상 장치의 동영상 촬영 동작을 나타내는 흐름도이다.
<부호의 설명>
100 촬상 장치 102 교환 렌즈
103 렌즈 104 AF 구동부
110 촬상 소자 112 전처리부
120, 220 MPU 122 영상 메모리
126 메모리 카드 132 정지영상 처리부
134 동영상 처리부 136 JPEG 처리부
140, 240 표시부 150, 250 조작부
200 영상 처리 장치 222 메모리
226 HDD 232 초점 거리 산출부
234 영상 생성부

Claims (4)

  1. 피사체상을 확대/축소하는 줌렌즈가 사용자의 수동 조작에 의해 구동되어 촬영된 복수매의 영상과, 상기 복수매의 영상에 대응되는 촬영시의 초점 거리를 기록하는 기록부와,
    상기 기록된 초점 거리에 기초하여 초점 거리의 시간 변화가 원활(圓滑)해지도록 스무스화용 초점 거리를 산출하는 초점 거리 산출부와,
    상기 스무스화용 초점 거리와, 상기 기록된 초점 거리와, 상기 기록된 영상에 따라, 상기 복수매의 영상 촬영이 완료된 후, 또는 사용자의 수동 조작에 의해 줌렌즈의 구동이 완료된 후 상기 스무스화용 초점 거리에 대응되는 화각을 갖는 스무스화용 영상을 생성하는 영상 생성부를 구비하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 영상 생성부가 상기 스무스화용 영상을 생성할 때, 상기 스무스화용 영상이 상기 기록된 영상에 대해 확대되도록 상기 초점 거리 산출부가 스무스화용 초점 거리를 산출하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 초점 거리 산출부는 기록된 초점 거리가 증가 방향의 일방향 또는 감소 방향의 일방향으로 변화되는 동안에, 초점 거리의 시간 변화가 원활해지도록 상기 스무스화용 초점 거리를 산출하는 것을 특징으로 하는 영상 처리 장치.
  4. 피사체상을 확대/축소하는 줌렌즈가 사용자의 수동 조작에 의해 구동되어 촬영된 복수매의 영상과, 상기 복수매의 영상에 대응하는 촬영시의 초점 거리를 기록부에 기록하는 단계와,
    상기 기록된 초점 거리에 따라 초점 거리의 시간 변화가 원활(圓滑)해지도록 스무스화용 초점 거리를 산출하는 단계와,
    상기 스무스화용 초점 거리, 상기 기록된 초점 거리, 및 상기 기록된 영상에 따라, 상기 복수매의 영상 촬영이 완료된 후, 또는 사용자의 수동 조작에 의해 줌렌즈의 구동이 완료된 후 상기 스무스화용 초점 거리에 대응하는 화각을 갖는 스무스화용 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
KR1020090134912A 2009-08-10 2009-12-30 영상 처리 장치 및 영상 처리 방법 KR101635105B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/852,867 US8363128B2 (en) 2009-08-10 2010-08-09 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-185809 2009-08-10
JP2009185809A JP5352377B2 (ja) 2009-08-10 2009-08-10 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20110016376A KR20110016376A (ko) 2011-02-17
KR101635105B1 true KR101635105B1 (ko) 2016-06-30

Family

ID=43768271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090134912A KR101635105B1 (ko) 2009-08-10 2009-12-30 영상 처리 장치 및 영상 처리 방법

Country Status (2)

Country Link
JP (1) JP5352377B2 (ko)
KR (1) KR101635105B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186018A (zh) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 摄像头对焦方法及装置
JP2014049883A (ja) * 2012-08-30 2014-03-17 Toshiba Corp 情報処理装置及び情報処理方法及びデジタルテレビジョン受信装置及び記憶媒体
US10158808B2 (en) 2014-07-02 2018-12-18 Sony Corporation Zoom control device, zoom control method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0124588B1 (ko) * 1993-05-21 1997-12-01 구자홍 비디오 카메라의 줌트래킹 방법
JP3417166B2 (ja) * 1995-10-24 2003-06-16 松下電器産業株式会社 レンズフォーカス装置
KR100197609B1 (ko) * 1996-07-27 1999-06-15 윤종용 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
JP2008053769A (ja) * 2006-08-22 2008-03-06 Ricoh Co Ltd 撮像装置
JP2008083338A (ja) * 2006-09-27 2008-04-10 Fujitsu Ltd Ａｆ検波の光学ズーム補正撮像装置
JP2008294788A (ja) * 2007-05-25 2008-12-04 Sharp Corp 複数領域撮像用多段ズーム機能付き撮像装置
JP2009260413A (ja) * 2008-04-11 2009-11-05 Canon Inc 撮像装置及び撮像装置の制御方法

Also Published As

Publication number Publication date
JP5352377B2 (ja) 2013-11-27
KR20110016376A (ko) 2011-02-17
JP2011040945A (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
US7151564B2 (en) Image recording apparatus and method
JP5013705B2 (ja) 撮像装置，画面表示方法，焦点調整方法，露出調整方法，およびコンピュータプログラム
JP5623915B2 (ja) 撮像装置
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
WO2009098877A1 (ja) 画像処理装置、及び画像処理方法
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2011248159A (ja) 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP2007215091A (ja) 撮像装置及びそのプログラム
US10298862B2 (en) Imaging apparatus and imaging method
JP4635739B2 (ja) 撮像装置
JP5614425B2 (ja) 撮像装置及びプログラム
US8363128B2 (en) Image processing apparatus and image processing method
JP6083162B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
KR101635105B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6706167B2 (ja) 撮像装置、画像合成方法、およびプログラム
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP2010199681A (ja) 画像処理装置、および画像処理プログラム
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
KR101720775B1 (ko) 촬상 장치 및 촬상 방법
JP4985716B2 (ja) 撮像装置、合焦評価領域の設定方法、及び、プログラム
JP5211947B2 (ja) 撮像装置及びプログラム
JP2007116305A (ja) 撮像装置、及びズーム倍率制御方法
JP5600935B2 (ja) 画像記録装置、画像記録方法及び画像記録プログラム
JP5772849B2 (ja) 撮像装置
JP2010081100A (ja) 撮像装置、撮像方法及び撮像プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4