KR102089981B1 - 영상처리장치, 영상처리방법 및 프로그램 - Google Patents

영상처리장치, 영상처리방법 및 프로그램 Download PDF

Info

Publication number
KR102089981B1
KR102089981B1 KR1020130066171A KR20130066171A KR102089981B1 KR 102089981 B1 KR102089981 B1 KR 102089981B1 KR 1020130066171 A KR1020130066171 A KR 1020130066171A KR 20130066171 A KR20130066171 A KR 20130066171A KR 102089981 B1 KR102089981 B1 KR 102089981B1
Authority
KR
South Korea
Prior art keywords
frame
image
video
frames
unit
Prior art date
Application number
KR1020130066171A
Other languages
English (en)
Other versions
KR20140071865A (ko
Inventor
엔도 유키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/094,888 priority Critical patent/US9521355B2/en
Publication of KR20140071865A publication Critical patent/KR20140071865A/ko
Application granted granted Critical
Publication of KR102089981B1 publication Critical patent/KR102089981B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

영상처리장치가 개시된다. 영상 처리 장치는, 연속한 복수의 영상 프레임을 저장하는 저장부 및, 상기 저장부에 저장된 상기 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 해당 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성부를 포함하며, 상기 프레임 생성부는, 동일한 영상 프레임을 타 동영상 재생용 프레임에 사용한다.

Description

영상처리장치, 영상처리방법 및 프로그램 { Image processing apparatus, image processing method and program thereof }
본 발명은, 영상처리장치, 영상처리방법 및 프로그램에 관한 것이다.
종래, 각종의 영상합성은, 정지화(靜止畵) 촬영에 의해 수행되어 왔다.
예를 들면, 카메라에서는 노출을 바꿔 합성함으로써, 하이 다이내믹 레인지(High Dynamic Range:HDR) 영상을 생성하고 있다. 또한 퍼스널 컴퓨터에서 실행 가능한 각종 어플리케이션에서는 포커스 위치를 바꿔 합성함으로써 피사계 심도의 확장 영상을 생성하고 있다. 조리개값을 바꿔 영상을 합성함으로서, 이른바 흐려짐의 제어를 수행하는 것도 가능하다.
이와 같은 영상합성의 기능이, 근년, 동영상에도 도입되게 되어 왔다. 예를 들면, 하기의 특허문헌 1(특개 2010―45609호 공보)에서는, 촬상한 복수 프레임으로부터 하나의 동영상 재생용 프레임을 합성하는 기술이 제안되고 있다.
하지만, 특허문헌 1에 기재된 방법에서는, 1장의 촬상 영상을 최대 1 프레임에밖에 사용하지 않는다는 조건하에서 촬상한 복수 프레임을 합성하고 하나의 동영상 재생용 프레임을 생성하기 때문에, 전체의 프레임수가 감소해버려, 프레임 레이트의 저하가 발생해 버린다. 특허문헌 1에서는, 고속으로 촬상한 다음에 프레임 연장을 수행함으로써, 재생을 위한 프레임 레이트를 확보하는 것이 제안되고 있으나, 촬상 프레임 레이트에 대해, 재생 프레임 레이트가 감소하는 것은 피할 수 없다는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 프레임 레이트의 저하를 초래하지 않고, 동영상 재생용 프레임을 생성하는 것이 가능한, 영상처리장치, 영상처리방법 및 프로그램을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 처리 장치는, 연속한 복수의 영상 프레임을 저장하는 저장부 및, 상기 저장부에 저장된 상기 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 해당 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성부를 포함하며, 상기 프레임 생성부는, 동일한 영상 프레임을 타 동영상 재생용 프레임에 사용한다.
이 경우, 상기 프레임 생성부는, 노광량, 피사계 심도 및 포커 스위치 중 적어도 하나의 영상 특성을 변화시킨 상기 영상 프레임을 이용하여, 상기 동영상 재생용 프레임을 합성할 수 있다.
또한, 피사체를 복수회 촬상함으로써 상기 복수의 영상 프레임을 생성하는 촬상부 및 상기 촬상부를 제어함으로써 상기 영상특성을 제어하는 영상특성 제어부를 더 포함하며, 상기 영상특성 제어부는, 상기 동영상 재생용 프레임의 상기 영상특성이 단조로 변화하도록, 상기 영상특성을 변화시킬 수 있다.
또한, 상기 영상특성 제어부는, 상기 동영상 재생용 프레임의 상기 영상특성이 연속적으로 변화하도록, 상기 영상특성을 변화시킬 수 있다.
또한, 상기 영상특성 제어부는, 노광시간, 게인 특성, 조리개값 및 ND 필터 중 적어도 하나를 변화시켜 상기 영상 프레임의 노광량을 제어할 수 있다.
또한, 상기 영상특성 제어부는, 조리개 값을 변화시켜 상기 영상 프레임의 피사계 심도를 제어할 수 있다.
또한, 상기 영상특성 제어부는, 상기 촬상부에 마련된 포커스 렌즈를 제어하여 상기 영상 프레임의 포커스 위치를 제어할 수 있다.
또한, 상기 촬상부는, 상기 영상특성에 따라 상기 영상 프레임의 중요도가 관련이 있는 경우, 상기 중요도에 따라 영상 프레임의 촬상 빈도를 변화시킬 수 있다.
또한, 상기 프레임 생성부는, 상기 영상 프레임 사이에서 영상정보가 소정의 임계값 이상으로 크게 변화하는 경우, 상기 동영상 재생용 프레임의 생성을 중지할 수 있다.
또한, 상기 동영상 재생용 프레임을 재생하는 재생부를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상처리방법은, 연속한 복수의 영상 프레임을 저장하는 저장단계 및, 상기 저장단계에서 저장된 상기 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 상기 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성단계를 포함하고, 상기 프레임 생성단계에서는, 동일한 영상 프레임을 타 동영상 재생용 프레임에 사용할 수 있다.
또한, 본 발명의 본 발명의 일 실시 예에 따른 컴퓨터로 실행가능한 프로그램 코드를 저장하는 비일시적 판독 가능 매체에 있어서, 상기 프로그램 코드에 의해 실행되는 방법은, 연속한 복수의 영상 프레임을 저장하는 저장단계 및, 상기 저장단계에서 저장된 상기 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 상기 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성단계를 포함하고, 상기 프레임 생성단계에서는, 동일한 영상 프레임을 타 동영상 재생용 프레임에 사용할 수 있다.
이상 설명한 바와 같이 본 발명에 의하면, 영상 프레임의 중복 사용을 허용하여 동영상 재생용 프레임의 생성을 수행하는데 있어 프레임 레이트의 저하를 방지할 수 있게 된다.
도 1은 동영상에 있어서의 일반적인 영상합성처리를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상처리장치의 구성을 나타내는 블록도이다.
도 3 내지 9는 본 발명의 다양한 실시 예에 따른 동영상 재생용 프레임 생성처리방법을 설명하기 위한 도면이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시형태에 대해 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 부여함으로써 중복 설명을 생략한다.
(동영상에 있어서의 일반적인 영상합성처리에 대해)
본 발명의 실시형태에 따른 영상처리장치 및 영상처리방법에 대해 설명하기에 앞서, 우선 도 1을 참조하면서, 동영상에 있어서의 일반적인 영상합성처리에 대해 설명한다. 도 1은, 동영상에 있어서의 일반적인 영상합성처리에 대해 설명하기 위한 설명도이다.
노광량을 바꾸면서 피사체를 촬상하여 HDR 영상을 합성하는 영상합성처리를 수행하여, 동영상 재생용 영상 프레임(동영상 재생용 프레임)을 생성하는 경우를 상정하도록 한다. 이 경우, 일반적인 영상합성처리에서는, 소정의 촬상 프레임마다(도 1에서는, 3장의 촬상 프레임마다) 영상합성처리가 수행되기 때문에, 실제로 생성되는 동영상 재생용 프레임의 프레임 레이트는, 촬상 프레임의 프레임 레이트보다도 저하되게 되어버린다.
도 1에 도시한 바와 같이 프레임 레이트의 저하를 방지하기 위해, 특허문헌 1에서는, 고속으로 촬상한 다음에 프레임 연장을 수행함으로써, 재생을 위한 프레임 레이트를 확보하는 것이 제안되고 있으나, 촬상 프레임 레이트에 대해, 재생 프레임 레이트가 감소하는 것은 피할 수 없다는 문제가 있다.
이와 같은 문제를 해결하기 위해, 프레임 레이트의 저하를 야기하지 않고 동영상 재생용 프레임을 생성하는 것이 가능한 영상처리장치를 제안한다.
(제1 실시형태)
- 영상처리장치의 구성에 대해 -
우선, 도 2를 참조하면서, 본 발명의 제1 실시형태에 따른 영상처리장치의 구성에 대해, 상세히 설명한다. 도 2는, 본 실시형태에 따른 영상처리장치의 구성의 일 예를 나타내는 블록도이다. 또한, 이하에서는, 본 실시형태에 따른 영상처리장치가, 피사체를 촬상 기능을 제공하는 촬상장치로서 구현되는 경우를 예로 들어 설명하도록 한다.
촬상장치로서 기능하는 본 실시형태에 따른 영상처리장치(10)는, 도 2에 도시한 바와 같이, CPU(Central Processing Unit)／DSP(Digital Signal Processor)(101), 촬상부(103)와, 영상입력 인터페이스(I／F)(105), SDRAM(107), 압축 처리 회로(109), LCD 드라이버(111), 재생장치(113), 미디어 인터페이스(I／F)(115), 기록장치(117), 조리개값 제어부(121), 포커스 위치 제어부(123), 타이밍 발생부(125), 게인 제어부(127), 및, 모터나 액츄에이터 등의 기구를 갖는 구동기구를 주로 구비한다. CPU／DSP(101), 영상입력 I／F(105), SDRAM(107), 압축 처리 회로(109), LCD 드라이버(111) 및 미디어 I／F(115)는, 내부 버스에 의해 서로 접속되고, 각 처리부 사이에서 상호 신호를 송수신하는 것이 가능하다.
CPU／DSP(101)는, 연산처리장치 및 제어장치로서 기능하고, SDRAM(107)이나, 미도시의 메모리나 저장부 등에 기록된 각종 프로그램에 따라, 영상처리장치(10) 내의 동작 전반 또는 그 일부를 제어한다. 또, CPU／DSP(101)는, 촬상부(103)에 의해 촬상된 영상(촬상 영상)에 대해 공지의 영상 처리를 수행할 수 있다.
이 CPU／DSP(101)는, 도 2에 도시한 바와 같이, 영상 처리부(131), 오토 포커스(AF)부(113), 자동 노광(AE)부(135), 오토 화이트 밸런스(AWB)부(137) 및 프레임 생성부(139)를 포함한다.
영상 처리부(131)는, 촬상부(103)에 의해 촬상되고, 영상입력 I／F(105)를 통해 입력된 촬상 영상에 대해, 공지의 영상처리를 수행하는 처리부이다. 영상 처리부(131)가 실시하는 각종의 영상처리는 특히 한정되는 것이 아니라, 촬상소자로부터 출력된 촬상 영상에 대해 실시되는 공지의 영상처리를 수행할 수 있다. 영상 처리부(131)에 의해 영상처리가 이루어진 촬상 영상은, 저장부로서 기능하는 SDRAM(107)에 저장되게 된다.
AF부(133)는, 촬상소자로부터 출력되는 촬상 영상에 관한 정보에 기초하여 피사체까지의 거리를 검출하고, 포커스 위치 제어부(123)에 의해 촬상부(103)에 마련된 포커스 렌즈를 구동시킴으로써, 초점거리를 조절한다. 이와 같이, AF부(133)는, 후술하는 촬상부(103)에 있어서의 포커스를 제어하는, 포커스 제어부로서 기능한다.
AE부(135)는, 촬상소자로부터 출력되는 촬상 영상의 휘도 정보에 기초하여, 촬상시의 노출값 및 적정 노출값을 산출한다. 여기서, 이 휘도 정보란, 피사체(촬상 영상)의 휘도값에 관한 정보를 나타낸다.
또한, AE부(135)는, 산출한 적정 노출값 등에 기초하여, 촬상소자로 획득되는 영상신호의 노출값이 적정 노출값에 따른 노출값이 되도록, 조리개값 제어부(121)를 통해 촬상부(103)의 조리개를 제어하거나, 타이밍 발생부(125)를 통해 촬상부의 셔터나 촬상소자를 제어한다.
또한, AE부(135)는, 산출된 적정 노출값에 기초하여, 영상신호에 작용시키는 게인을 산출하고, 게인 제어부(127)를 통해 영상신호의 증폭을 제어한다. 이와 같이, AE부(135)는, 촬상부(103)에 있어서의 노출값에 관한 각종의 물리량을 산출하고, 해당 물리량에 기초하여 촬상부(103)에 있어서의 노광량을 제어하는, 노광량 제어부로서 기능한다.
AWB부는, 촬상소자로부터 출력되는 촬상 영상에 관한 정보에 기초하여, 적정한 화이트 밸런스 게인을 산출하고, 게인 제어부(127)를 통해 촬상부(103)의 화이트 밸런스의 조정을 제어한다.
이상 설명한 바와 같은, 조리개 값 제어부(121), 포커스 위치 제어부(123), 타이밍 발생부(125), 게인 제어부(127), AF부(133), AE부(135) 및 AWB부(137)는, 촬상부(103)에 의해 촬상되는 촬상 영상의 다양한 영상특성을 제어하는, 영상특성 제어부로서 기능하게 된다.
프레임 생성부(139)는, 영상 처리부(131)에 의해 영상 처리가 수행되고, 저장부인 SDRAM(107)에 저장되어 있는 동영상용 촬상 영상(촬상 프레임)을 이용하여, 후술하는 동영상 재생용 프레임을 생성한다. 이 프레임 생성처리에 대해서는, 이하에서 상술하도록 한다.
촬상부(103)는, 줌렌즈나 포커스렌즈 등의 렌즈군, 조리개, 셔터, ND 필터, 촬상소자 등으로 구성되어 있다.
촬상부(103)는, CPU／DSP(101)나 영상특성 제어부 등에 의한 제어 하에서, 피사체로부터의 빛을 후술하는 촬상소자의 수광면에 입사시킨다. 이로 인해, 촬상소자에 있어서, 수광면에 입사한 빛이 전기신호로 변환되고, 촬상 영상이 생성되게 된다.
또한, 본 실시형태에 따른 촬상부(103)에서는, 렌즈군, 조리개, 셔터, ND 필터, 촬상소자 등의 종류에 대해서는 특별히 한정되지 않고, 공지의 것이 이용가능하다.
촬상부(103)에 의해 생성된 동영상용 촬상 영상(촬상 프레임)은, 영상 입력 I／F(105)를 통해 CPU／DSP(101)에 입력된다.
영상 입력 I／F(105)는, 촬상부(103)에 의해 촬상된 촬상 영상의 실체 데이터를, 촬상부(103)로부터 영상처리장치(10)의 본체로 입력시킬 때의 인터페이스이다. 동영상용 촬상 영상인 촬상 프레임이 이 영상 입력 I／F(105)를 통해 CPU／DSP(101)로 입력되게 된다.
SDRAM(107)은, 영상처리장치(10)에 마련되는 저장부의 일 예이다. SDRAM(107)은, CPU／DSP(101)에 의해 각종의 영상처리가 실시된 영상신호를, 영상 데이터로서 소정의 포맷으로 저장한다.
압축 처리 회로(109)는, CPU／DSP(101)에 의해 각종의 처리가 실시된 영상데이터나, SDRAM(107)에 저장되어 있는 영상데이터를, 소정의 압축데이터 형식으로 변환하는 처리 회로이다.
LCD 드라이버(111)는, 재생장치(113)로서 기능하는 표시장치인 LCD(액정 디스플레이)를 구동하기 위한 드라이버이다.
또, LCD(154)는, 촬상장치(10)에 탑재되는 표시장치의 일 예이다. 예를 들면, LCD 드라이버(111)는 SDRAM(107)이나 후술하는 기록장치(117)에 저장되어 있는 영상데이터를 표시화면에 표시하도록 재생장치(113)를 구동한다. 이로 인해, 시청자는 생성한 동영상 재생용 프레임을 그 자리에서 확인하는 것이 가능해진다. 또한, 본 실시형태에 있어서는 영상데이터를 표시하는 표시장치는 LCD에 한정되지 않고, 각종의 공지의 표시장치가 이용될 수 있다.
미디어 I／F(115)는, 기록장치(117)로서 기능하는 각종의 기록 미디어를 구동하기 위한 드라이버이다. 또, 기록장치(117)는, 외부 기록장치의 일 예이다. 미디어 I／F(115)는, 각종의 데이터를 기록장치(117)에 쓸 수 있다.
또, 미디어 I／F(115)는, 각종의 데이터를 기록장치(177)로부터 읽을 수 있다. 예를 들면, 미디어 I／F(115)는, 기록장치(117)에 영상 데이터를 쓰거나, 기록장치(117)로부터 영상 데이터를 읽어서 재생장치(113)에 표시시키거나 할 수 있다. 또한, 본 실시형태에 있어서는, 기록장치(117)의 종류는 특별히 한정되지 않고, 각종의 공지의 외부 저장장치가 이용될 수 있다.
이상, 도 2를 참조하면서, 본 실시형태에 따른 영상처리장치(10)의 전체적인 구성에 대해, 간단히 설명했다.
- 동영상 재생용 프레임의 생성처리에 대해 -
이어서, 도 3 내지 도 9를 참조하여 본 실시형태에 따른 CPU／DSP(101)의 프레임 생성부(139)에서 수행되는 동영상 재생용 프레임의 생성처리에 대해 상세히 설명한다. 도 3 내지 도 9는, 본 발명의 다양한 실시 예에 따른 동영상 재생용 프레임 생성처리를 설명하기 위한 설명도이다.
본 발명의 일 실시 예에 따른 프레임 생성부(139)는, 저장부의 일 예인 SDRAM(107)에 저장된 복수의 영상 프레임(촬상 프레임)으로부터 소정수의 영상 프레임을 획득하고, 획득한 소정수의 영상 프레임을 합성함으로써, 동영상 재생용 프레임을 순차적으로 생성한다. 이때, 프레임 생성부(139)는, 동일한 영상 프레임을 다른 동영상 재생용 프레임에 사용하는 것을 허용하여, 합성을 수행한다. 그 결과, 촬상 프레임과 동일한 프레임 레이트로, 동영상 재생용 프레임을 생성할 수 있게 된다.
예를 들면, 도 3에 도시한 바와 같이, 3장의 촬상 프레임을 이용하여 동영상 재생용 프레임을 생성하는 경우를 상정한다. 이때, 프레임 생성부(139)는, 촬상 프레임의 중복 이용을 허용하기 위해, 도 3에 도시한 바와 같이 사용하는 영상을 오버랩시키면서, 동영상 재생용 프레임을 순차적으로 생성한다. 도 3에서는, 2장의 촬상 프레임을 오버랩시키면서 중복 이용하고 있기 때문에, 촬상 프레임과 동일 프레임 레이트에서, 동영상 재생용 프레임을 생성하는 것이 가능해진다.
또한, 동영상 재생용 프레임을 생성하기 위해 이용하는 촬상 프레임의 장수는 특별히 한정되는 것이 아니라, 동영상 재생용 프레임을 구하는 영상품질 등에 따라 적절히 결정될 수 있다.
또, 프레임 생성부(139)는 노광량, 피사계 심도 및 포커스 위치의 적어도 어느의 영상특성을 변화시킨 영상 프레임을 이용하여, 동영상 재생용 프레임을 합성하는 것이 가능하다. 이로 인해, 프레임 생성부(139)는 노광량, 피사계 심도 및 포커스 위치의 적어도 하나의 영상특성을 변화시킨 동영상 재생용 프레임을 생성할 수 있게 된다. 이와 같은 영상특성을 변화시킨 영상 프레임(촬상 영상)은 임의의 촬상장치에 의해 별도 촬상된 것일 수 있으며, 도 2에 예시한 바와 같은 영상처리장치(10)에 마련된 촬상부(103)에 의해 복수회 촬상된 것일 수도 있다.
도 2에 예시한 바와 같이, 영상처리장치(10)에 대해, 촬상부(103)와, 각종의 영상특성 제어부가 마련되어 있는 경우, 프레임 생성부(139)는, 각 영상특성 제어부 및 촬상부(103)와 서로 연계하면서, 피사체를 복수회 촬상한다. 이때, 각각의 영상특성 제어부는, 동영상 재생용 프레임의 영상특성이 단조로 변화하도록(바람직하게는, 연속적으로 변화하도록) 촬상부(103)를 제어하여, 얻어지는 촬상 프레임의 영상특성을 변화시킨다. 이로 인해, 동영상 재생용 프레임에 있어서의 영상특성을, 재생시에 시청자가 위화감을 느끼지 않도록 변경하는 것이 가능해진다.
예를 들면, 영상특성 제어부는 노광시간, 게인 특성, 조리개값, ND 필터의 적어도 어느 하나를 변화시켜, 영상 프레임의 노광량을 제어할 수 있다. 이로 인해, 동영상 재생용 프레임의 노광량을 제어할 수 있게 된다.
또한, 영상특성 제어부는 조리개값을 변화시켜 영상 프레임의 피사계 심도를 제어하는 것도 가능하다. 이로 인해, 동영상 생성용 프레임의 피사계 심도를 제어할 수 있게 된다.
또한, 영상특성 제어부는 촬상부(103)에 마련된 포커스렌즈를 제어하여 촬상 프레임의 포커스 위치를 제어하는 것도 가능하다. 이로 인해, 동영상 재생용 프레임의 포커스 위치를 제어할 수 있게 된다.
이하에서는, 도 4 내지 도 7을 참조하면서, 사용자로부터의 기능 지정 또는 AE 기능에 의해, 노광량을 변화시킨 동영상 재생용 프레임을 생성하는 경우를 예로 들어 구체적으로 설명한다.
영상특성의 일종인 노광량을 변화시키면서 동영상 재생용 프레임을 생성하는 경우, 프레임 생성부(139)는 AE부(135)나 조리개값 제어부(121) 등과 서로 연계하면서 촬상부(103)에 의해 피사체의 촬상을 수행한다.
도 4에서는, 동영상 재생용 프레임의 밝기를 어둡게 해가고 싶은 경우, 즉 노광량을 감소시키고 싶은 경우의 프레임 생성 처리를 구체적으로 나타내고 있다.
도 4에 있어서, 촬상 프레임의 좌측 상부에 기재하고 있는 숫자가, 밝기를 나타내는 수치이며, 프레임 생성부(139)는 3장의 촬상 프레임으로부터 하나의 동영상 재생용 프레임을 생성한다.
이 경우, 프레임 생성부(139)는 생성하는 동영상 재생용 프레임의 밝기가 단조 감소해가도록 보다 바람직하게는 연속적으로 단조 감소해가도록 AE부(135)나 조리개값 제어부(121) 등과 연계하면서 피사체의 촬상을 제어한다.
예를 들면, 생성하는 동영상 생성용 프레임의 밝기가 생성에 이용되는 촬상 프레임의 밝기의 평균인 경우, 프레임 생성부(139)는 생성되는 동영상 재생용 프레임의 밝기를 추정하여 영상특성 제어부를 통해 촬상 프레임의 노광량을 제어한다.
도 4에 도시한 예에서는, 프레임 생성부(139)에 의한 최초의 합성처리에서 밝기 4, 밝기 5, 밝기 6의 3개의 촬상 프레임이 이용되고 그 밝기의 평균값은 5가 된다. 또, 2번째의 합성처리에서는 밝기 5, 밝기 6, 밝기 4의 3개의 촬상 프레임이 이용되고 그 밝기의 평균값은 5가 된다. 또한, 3번째의 합성처리에서는 밝기 6, 밝기 4, 밝기 5의 3개의 촬상 프레임이 이용되고 그 밝기의 평균값은 5가 된다. 따라서, 프레임 생성부(139)는 4번째의 합성처리에 있어서 생성되는 동영상 재생용 프레임의 밝기를 4로 하기 위해 합성에 이용하는 3번째의 촬상 프레임의 밝기가 3이 되도록 노광량의 제어를 수행한다.
이와 같은 처리를 수행함으로써, 프레임 생성부(139)는 도 4의 하단에 도시된 바와 같이 밝기를 나타내는 특성값이 단조롭게 그리고 연속적으로 변화하는 동영상 재생용 프레임을 생성할 수 있다.
도 5는 도 4와 반대로 동영상 재생용 프레임의 밝기를 밝게 해가고 싶은 경우, 즉 노광량을 증가시키고 싶은 경우의 프레임 생성처리를 구체적으로 나타내고 있다. 이 경우에 있어서도 도 4와 동일하게 하여 노광량의 제어를 수행함으로써 특성값이 단조롭게 그리고 연속적으로 변화하는 동영상 재생용 프레임을 생성할 수 있다.
또, 이와 같은 처리는 동영상 재생용 프레임의 생성에 이용되는 촬상 프레임의 장수가 3장 이외인 경우라도 동일하게 수행하는 것이 가능하다. 도 6 및 도 7에서는 2장의 촬상 프레임으로부터 동영상 재생용 프레임을 생성할 때에 밝기의 제어를 수행하는 경우를 도시한 것이지만, 도 4나 도 5에 도시한 방법과 동일하게 하여 특성값이 단조롭게 그리고 연속적으로 변화하는 동영상 재생용 프레임을 생성하는 것이 가능하다.
이상의 설명에서는 노광량을 제어하면서 동영상 재생용 프레임을 생성하는 경우에 대해 설명을 수행했으나, 피사계 심도나 포커스 위치를 제어하는 경우라도 노광량을 제어하는 경우와 마찬가지로 생성되는 동영상 재생용 프레임의 피사계 심도나 포커스 위치를 추정하면서 생성되는 동영상 재생용 프레임의 피사계 심도나 포커스 위치가 단조롭게 그리고 연속적으로 변화하도록 촬상 처리를 제어하면서 동영상 재생용 프레임을 생성하면 좋다.
또한, 영상 특성에 따라 영상 프레임에 대해 해당 영상 프레임의 중요도가 관련지어지는 경우 촬상부(103)는 CPU／DSP(101)에 의한 제어하에서 상기 중요도에 따라 영상 프레임의 촬상 빈도를 변화시켜도 좋다. 이로 인해 영상합성에 이용하는 영상 프레임의 개수를 삭감하는 것이 가능해진다.
합성하는 영상의 중요도가 다른 경우의 구체적인 예로서, 도 8에 도시한 바와 같이, HDR 합성에 있어서 중간 밝기의 영상을 기준 영상(중요도가 높은 영상)으로 하고 어두운 영상(중요도가 낮은 영상)과 밝은 영상(중요도가 낮은 영상)을 보조적으로 사용하는 경우를 들 수 있다. 이 경우, 프레임 생성부(139)는 영상특성 제어부 및 촬상부(103)와 연계하면서 중간의 밝기(중요도 '고'의 프레임)의 촬상 빈도를 늘리고 보조적인 영상(중요도 '저'의 프레임)을 복수회 사용함으로써, 통상보다 프레임 레이트의 저감을 억제할 수 있다. 일반적인 방법으로는 프레임 레이트가 1／3이 되는데 반해 본 방식에서는 1／2가 된다.
또, 프레임 생성부(139)는 영상 프레임 사이에서 영상정보가 소정의 임계값 이상으로 크게 변화한 경우 동영상 재생용 프레임의 생성을 중지할 수도 있다. 여기서, 영상정보가 변화한다는 것은 영상 그 자체가 변화하는 경우나 영상특성이 변화하는 경우를 포함한다.
프레임 사이에서 현저하게 영상이 변화하는 경우의 구체적인 예로서, 도 9에 도시한 바와 같이 패닝이 발생한 경우를 들 수 있다. 패닝이 발생하면 시간경과에 대해 영상이 크게 변하기 때문에 동영상 재생용 프레임의 생성이 어려워진다. 이 때문에, 프레임 생성부(139)는 상기 경우에는 동영상 재생용 프레임의 합성을 중지하고 통상의 촬상 제어를 수행한다. 이로 인해 시청자에 위화감이 있는 동영상 재생 프레임이 생성되는 것을 방지하는 것이 가능해진다.
이상, 본 실시 형태에 따른 영상처리장치(10)의 기능의 일 예를 나타냈다. 상기의 각 구성 요소는 범용적이 부재나 회로를 이용하여 구성될 수 있으며, 각 구성 요소의 기능에 특화한 하드웨어에 의해 구성될 수도 있다. 또한 각 구성 요소의 기능은 CPU 등이 전부 수행할 수도 있다.
또한, 상술한 본 실시형태에 따른 영상처리장치의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하여 퍼스널 컴퓨터 등에 실장할 수도 있다. 또한, 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터에서 독출 가능한 기록매체도 제공할 수 있다. 기록매체는, 예를 들면, 자기 디스크, 광디스크, 광자기 디스크, 플래시 메모리 등이다. 또, 상기의 컴퓨터 프로그램은 기록매체를 이용하지 않고 예를 들면 네트워크를 통해 브로드캐스트할 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10: 영상처리장치(촬상장치) 101: CPU／DSP
103: 촬상부 105: 영상입력 인터페이스
107: SDRAM(저장부) 109: 압축 처리 회로
111: LCD 드라이버 113: 재생장치
115: 미디어 인터페이스 117: 기록장치
121: 조리개값 제어부 123: 포커스 위치 제어부
125: 타이밍 발생부 127: 게인 제어부
131: 영상 처리부 133: AF부
135: AE부 137: AWB부
139: 프레임 생성부

Claims (12)

  1. 피사체를 복수회 찰상함으로써 연속한 복수의 영상 프레임을 생성하는 촬상부;
    상기 촬상부를 제어함으로써 영상특성을 제어하는 영상특성 제어부;
    상기 생성한 연속한 복수의 영상 프레임을 저장하는 저장부; 및
    상기 저장부에 저장된 상기 연속한 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 상기 획득한 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성부;를 포함하며,
    상기 프레임 생성부는, 상기 기설정된 개수의 영상 프레임 중 적어도 하나의 영상 프레임을 사용하여 적어도 두 개의 동영상 재생용 프레임을 생성하고,
    상기 프레임 생성부는, 상기 영상 프레임의 밝기가 상기 영상 프레임의 중요도와 관련있을 경우, 상기 중요도에 따라 상기 영상 프레임의 촬상 빈도를 변화시키는 것을 특징으로 하는 영상처리장치.
  2. 제1항에 있어서,
    상기 프레임 생성부는,
    노광량, 피사계 심도 및 포커 스위치 중 적어도 하나의 영상 특성을 변화시킨 상기 영상 프레임을 이용하여, 상기 동영상 재생용 프레임을 합성하는 것을 특징으로 하는 영상처리장치.
  3. 제2항에 있어서,
    상기 영상특성 제어부는, 상기 동영상 재생용 프레임의 상기 영상특성이 단조로 변화하도록, 상기 영상특성을 변화시키는 것을 특징으로 하는 영상처리장치.
  4. 제3항에 있어서,
    상기 영상특성 제어부는,
    상기 동영상 재생용 프레임의 상기 영상특성이 연속적으로 변화하도록, 상기 영상특성을 변화시키는 것을 특징으로 하는 영상처리장치.
  5. 제3항 또는 제4항에 있어서,
    상기 영상특성 제어부는,
    노광시간, 게인 특성, 조리개값 및 ND 필터 중 적어도 하나를 변화시켜 상기 영상 프레임의 노광량을 제어하는 것을 특징으로 하는 영상처리장치.
  6. 제3항 또는 제4항에 있어서,
    상기 영상특성 제어부는,
    조리개 값을 변화시켜 상기 영상 프레임의 피사계 심도를 제어하는 것을 특징으로 하는 영상처리장치.
  7. 제3항 또는 제4항에 있어서,
    상기 영상특성 제어부는,
    상기 촬상부에 마련된 포커스 렌즈를 제어하여 상기 영상 프레임의 포커스 위치를 제어하는 것을 특징으로 하는 영상처리장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 프레임 생성부는,
    상기 영상 프레임 사이에서 영상정보가 소정의 임계값 이상으로 크게 변화하는 경우, 상기 동영상 재생용 프레임의 생성을 중지하는 것을 특징으로 하는 영상처리장치.
  10. 제1항에 있어서,
    상기 동영상 재생용 프레임을 재생하는 재생부;를 더 포함하는 것을 특징으로 하는 영상처리장치.
  11. 피사체를 복수회 찰상함으로써 연속한 복수의 영상 프레임을 생성하는 촬상 단계;
    영상특성을 제어하는 영상특성 제어 단계;
    상기 생성한 연속한 복수의 영상 프레임을 저장하는 저장단계; 및
    상기 저장단계에서 저장된 상기 생성된 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 상기 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성단계;를 포함하고,
    상기 프레임 생성단계에서는, 상기 기설정된 개수의 영상 프레임 중 적어도 하나의 영상 프레임을 사용하여 적어도 두개의 동영상 재생용 프레임을 생성하고,
    상기 영상 프레임의 밝기가 상기 영상 프레임의 중요도와 관련있을 경우, 상기 중요도에 따라 상기 영상 프레임의 촬상 빈도를 변화시키는 것을 특징으로 하는 영상처리방법.
  12. 컴퓨터로 실행가능한 프로그램 코드를 저장하는 비일시적 판독 가능 매체에 있어서, 상기 프로그램 코드에 의해 실행되는 방법은,
    피사체를 복수회 찰상함으로써 연속한 복수의 영상 프레임을 생성하는 촬상 단계;
    영상특성을 제어하는 영상특성 제어 단계;
    상기 생성한 연속한 복수의 영상 프레임을 저장하는 저장단계; 및
    상기 저장단계에서 저장된 상기 생성된 복수의 영상 프레임으로부터 기설정된 개수의 영상 프레임을 획득하고, 획득한 상기 기설정된 개수의 영상 프레임을 합성함으로써 동영상 재생용 프레임을 순차적으로 생성하는 프레임 생성단계;를 포함하고,
    상기 프레임 생성단계에서는, 상기 기설정된 개수의 영상 프레임 중 적어도 하나의 영상 프레임을 사용하여 적어도 두개의 동영상 재생용 프레임을 생성하고,
    상기 영상 프레임의 밝기에 따라 상기 영상 프레임의 중요도가 관련이 있을 경우, 상기 중요도에 따라 상기 영상 프레임의 촬상 빈도를 변화시키는 것을 특징으로 하는 비일시적 판독 가능 매체.
KR1020130066171A 2012-12-04 2013-06-10 영상처리장치, 영상처리방법 및 프로그램 KR102089981B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/094,888 US9521355B2 (en) 2012-12-04 2013-12-03 Image processing apparatus, image processing method and program thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012265682A JP2014110618A (ja) 2012-12-04 2012-12-04 画像処理装置、画像処理方法及びプログラム
JPJP-P-2012-265682 2012-12-04

Publications (2)

Publication Number Publication Date
KR20140071865A KR20140071865A (ko) 2014-06-12
KR102089981B1 true KR102089981B1 (ko) 2020-04-14

Family

ID=51030986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066171A KR102089981B1 (ko) 2012-12-04 2013-06-10 영상처리장치, 영상처리방법 및 프로그램

Country Status (2)

Country Link
JP (1) JP2014110618A (ko)
KR (1) KR102089981B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2012010307A (ja) * 2010-05-26 2012-01-12 Olympus Imaging Corp 撮像装置および撮像方法
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2012095247A (ja) * 2010-10-29 2012-05-17 Pentax Ricoh Imaging Co Ltd デジタルカメラ、デジタルカメラの撮影方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777087B2 (ja) * 2005-03-03 2011-09-21 富士フイルム株式会社 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2012010307A (ja) * 2010-05-26 2012-01-12 Olympus Imaging Corp 撮像装置および撮像方法
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2012095247A (ja) * 2010-10-29 2012-05-17 Pentax Ricoh Imaging Co Ltd デジタルカメラ、デジタルカメラの撮影方法及びプログラム

Also Published As

Publication number Publication date
JP2014110618A (ja) 2014-06-12
KR20140071865A (ko) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6124538B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
KR101661216B1 (ko) 디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체
JP5123137B2 (ja) 撮像装置および撮像方法
US9241109B2 (en) Image capturing apparatus, control method, and recording medium for moving image generation
JP2018006827A (ja) 撮像装置、撮像プログラム、撮像方法
JP6323022B2 (ja) 画像処理装置
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
US7945155B2 (en) Apparatus for capturing images, method of controlling exposure in the apparatus, and computer readable recording medium storing program
JP4761048B2 (ja) 撮像装置及びそのプログラム
JP6118118B2 (ja) 撮像装置およびその制御方法
JP4934617B2 (ja) 撮像装置及び撮像方法
JP2013192121A (ja) 撮像装置及び撮像方法
JP5423201B2 (ja) 画像処理装置、画像処理プログラム
US11356603B2 (en) Image capturing apparatus and control method therefor
KR101960508B1 (ko) 디스플레이 장치 및 방법
KR102089981B1 (ko) 영상처리장치, 영상처리방법 및 프로그램
JP2014049882A (ja) 撮像装置
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP2017219697A (ja) 撮像装置及び撮像装置の制御方法
US9521355B2 (en) Image processing apparatus, image processing method and program thereof
KR101923185B1 (ko) 디스플레이 장치 및 방법
US20200267338A1 (en) Image capturing apparatus, image processing apparatus, control method, image processing method, and storage medium
JP6742862B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法、プログラム
JP5091734B2 (ja) 撮像装置および撮像方法
JP6056497B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant