KR20150015286A - 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법 - Google Patents

디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법 Download PDF

Info

Publication number
KR20150015286A
KR20150015286A KR1020130091167A KR20130091167A KR20150015286A KR 20150015286 A KR20150015286 A KR 20150015286A KR 1020130091167 A KR1020130091167 A KR 1020130091167A KR 20130091167 A KR20130091167 A KR 20130091167A KR 20150015286 A KR20150015286 A KR 20150015286A
Authority
KR
South Korea
Prior art keywords
images
image
focus
focus value
map
Prior art date
Application number
KR1020130091167A
Other languages
English (en)
Other versions
KR102068748B1 (ko
Inventor
김건영
박정용
박하중
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130091167A priority Critical patent/KR102068748B1/ko
Priority to US14/248,549 priority patent/US10237491B2/en
Priority to CN201480042939.2A priority patent/CN105453538B/zh
Priority to PCT/KR2014/007019 priority patent/WO2015016619A1/en
Priority to EP14831863.7A priority patent/EP3028445A4/en
Publication of KR20150015286A publication Critical patent/KR20150015286A/ko
Application granted granted Critical
Publication of KR102068748B1 publication Critical patent/KR102068748B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예의 일 측면에 따르면, 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 단계; 상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하는 단계; 및 상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 단계를 포함하는 디지털 촬영 장치 제어 방법이 제공된다.

Description

디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법 {Digital photography apparatus, method for controlling the same, and apparatus and method for reproducing image}
본 발명의 실시예들은 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 영상 재생 장치, 및 영상 재생 방법에 관한 것이다.
촬영 장치로 피사체를 촬영하면, 촬영 시 초점 거리가 정해지기 때문에, 촬영된 영상의 초점을 수정하는 것은 불가능하다. 따라서 원하는 피사체에 초점이 맞지 않더라도, 사용자는 후보정을 통해 해당 피사체에 초점이 맞는 사진을 얻을 수 없다. 또한 피사계에 촬영 장치로부터의 거리가 상이한 여러 피사체가 존재하는 경우, 모든 피사체들에 대해 초점이 맞는 촬영 영상을 얻는 것에 어려움이 있다.
본 발명의 실시예들은 촬영 후에도 사용자가 피사계 내의 임의의 위치에 영상의 초점을 맞추는 것이 가능하도록 하기 위한 것이다.
본 발명의 일 실시예의 일 측면에 따르면,
피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 단계;
상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하는 단계; 및
상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 단계를 포함하는 디지털 촬영 장치 제어 방법이 제공된다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 블록들 각각에 대한 초점값들을 크기 순서로 나열하여, 촬영 시퀀스를 생성하는 단계를 더 포함하고, 상기 촬영하는 단계는, 상기 촬영 시퀀스에 나타난 초점값들의 순서대로 상기 복수의 영상들을 연속 촬영할 수 있다.
상기 촬영 시퀀스를 생성하는 단계는, 상기 복수의 블록들 각각에 대한 초점값들의 개수가 최대 촬영 횟수를 초과하는 경우, 상기 초점값들을 그루핑하여 대표 값으로 대체하는 단계; 및 상기 복수의 블록들 각각에 대한 초점값들의 개수가 상기 최대 촬영 횟수 미만인 경우, 상기 초점값들 사이의 차이가 큰 구간 내에 초점값을 추가하는 단계를 포함할 수 있다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 영상들에 대한 대표 영상을 결정하는 단계; 및 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계를 더 포함하고, 상기 피사계의 초점값 정보는 상기 뎁스맵일 수 있다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계; 상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 뎁스맵에 나타난 상기 일 지점의 뎁스값에 대응되는 초점값을 갖는, 복수의 영상들 중 하나를 재생 영상으로 결정하는 단계; 및 상기 재생 영상을 재생하는 단계를 더 포함할 수 있다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 영상들에 대한 대표 영상을 결정하는 단계; 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계; 상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키는 단계; 및 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 단계를 더 포함하고, 상기 피사계의 초점값 정보는 상기 파일 인덱스 맵일 수 있다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계; 상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 파일 인덱스 맵을 이용하여, 상기 일 지점에 매칭되는, 복수의 영상들 중 하나를 재생 영상으로 결정하는 단계; 및 상기 재생 영상을 재생하는 단계를 더 포함할 수 있다.
상기 디지털 촬영 장치 제어 방법은, 상기 복수의 영상들을 촬영하는 도중에, 상기 디지털 촬영 장치의 움직임이 글로벌 모션 보정 가능 범위를 벗어나는 경우, 상기 복수의 영상들의 촬영을 중단하는 단계; 및 상기 복수의 영상들의 촬영이 완료된 후에, 상기 복수의 영상들에 대한 글로벌 모션을 보정하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예의 일 측면에 따르면, 영상 파일을 재생하는 영상 재생 방법에 있어서,
상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 방법은,
상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계;
상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 단계; 및
상기 재생 영상을 재생하는 단계를 포함하는, 영상 재생 방법이 제공된다.
상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀의 뎁스값을 나타내는 뎁스맵(depth map)일 수 있다.
상기 영상 재생 방법은, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계; 및 상기 피사계의 초점값 정보로서, 상기 뎁스맵을 저장하는 단계를 더 포함할 수 있다.
상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀에 대한 재생 영상을 나타내는 파일 인덱스 맵일 수 있다.
상기 영상 재생 방법은, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계; 상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키는 단계; 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 단계; 및 상기 피사계의 초점값 정보로서, 상기 파일 인덱스 맵을 저장하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 입사광을 광전 변환하여 영상을 촬영하는 촬영부; 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 포커스 맵 생성부; 상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하도록 상기 촬영부를 제어하는 촬영 제어부; 및 상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 파일 생성부를 포함하는 디지털 촬영 장치가 제공된다.
상기 디지털 촬영 장치는, 상기 복수의 블록들 각각에 대한 초점값들을 크기 순서로 나열하여, 촬영 시퀀스를 생성하는 촬영 시퀀스 생성부를 더 포함하고, 상기 촬영 제어부는, 상기 촬영 시퀀스에 나타난 초점값들의 순서대로 상기 복수의 영상들을 연속 촬영하도록 상기 촬영부를 제어할 수 있다.
상기 촬영 시퀀스 생성부는, 상기 복수의 블록들 각각에 대한 초점값들의 개수가 최대 촬영 횟수를 초과하는 경우, 상기 초점값들을 그루핑하여 대표 값으로 대체하고, 상기 복수의 블록들 각각에 대한 초점값들의 개수가 상기 최대 촬영 횟수 미만인 경우, 상기 초점값들 사이의 차이가 큰 구간 내에 초점값을 추가할 수 있다.
상기 디지털 촬영 장치는, 상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 뎁스맵에 나타난 상기 일 지점의 뎁스값에 대응되는 초점값을 갖는 복수의 영상들 중 하나를 재생 영상으로 결정하는 재생 영상 결정부; 및 상기 재생 영상을 재생하는 재생부를 더 포함할 수 있다.
상기 디지털 촬영 장치는, 상기 복수의 영상들에 대한 대표 영상을 결정하고, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부; 및 상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키고, 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 파일 인덱스 맵 생성부를 더 포함하고, 상기 피사계의 초점값 정보는 상기 파일 인덱스 맵일 수 있다.
상기 디지털 촬영 장치는, 상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 파일 인덱스 맵을 이용하여, 상기 일 지점에 매칭되는 복수의 영상들 중 하나를 재생 영상으로 결정하는 재생 영상 결정부; 및 상기 재생 영상을 재생하는 재생부를 더 포함할 수 있다.
상기 디지털 촬영 장치는, 상기 복수의 영상들을 촬영하는 도중에, 상기 디지털 촬영 장치의 움직임이 글로벌 모션 보정 가능 범위를 벗어나는 경우, 상기 복수의 영상들의 촬영을 중단하는 글로벌 모션 검출부; 및 상기 복수의 영상들의 촬영이 완료된 후에, 상기 복수의 영상들에 대한 글로벌 모션을 보정하는 글로벌 모션 보정부를 더 포함할 수 있다.
본 발명의 다른 실시예의 다른 측면에 따르면, 영상 파일을 재생하는 영상 재생 장치에 있어서,
상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 장치는,
상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 재생 영상 결정부; 및
상기 재생 영상을 재생하는 재생부를 포함하는, 영상 재생 장치가 제공된다.
상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀의 뎁스값을 나타내는 뎁스맵(depth map)일 수 있다.
상기 영상 재생 장치는, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부; 및 상기 피사계의 초점값 정보로서, 상기 뎁스맵을 저장하는 파일 갱신부를 더 포함할 수 있다.
상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀에 대한 재생 영상을 나타내는 파일 인덱스 맵일 수 있다.
상기 영상 재생 장치는, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부; 상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키고, 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 파일 인덱스 맵 생성부; 및 상기 피사계의 초점값 정보로서, 상기 파일 인덱스 맵을 저장하는 파일 갱신부를 더 포함할 수 있다.
본 발명의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 디지털 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디지털 촬영 장치 제어 방법은,
피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 단계;
상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하는 단계; 및
상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 단계를 포함하는 컴퓨터 판독가능 기록매체가 제공된다.
본 발명의 다른 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 영상 재생 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서,
상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 방법은,
상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계;
상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 단계; 및
상기 재생 영상을 재생하는 단계를 포함하는, 컴퓨터 판독가능 기록매체가 제공된다.
본 발명의 실시예들에 따르면, 촬영 후에도 사용자가 피사계 내의 임의의 위치에 영상의 초점을 맞추는 것이 가능해지는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치(100a)의 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 복수의 블록들로 분할된 피사계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 포커스 맵의 일례를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 디지털 촬영 장치(100b)의 구조를 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따라, 촬영 시퀀스를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 초점 렌즈의 이동을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치(100c)의 구조를 나타낸 도면이다.
도 10은 본 발명의 또 다른 실시예에 따라, 재생 영상을 결정하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치(100d)의 구조를 나타낸 도면이다.
도 13은 파일 인덱스 맵을 생성하는 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500a)의 구조를 나타낸 도면이다.
도 16은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500b)의 구조를 나타낸 도면이다.
도 18은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
도 19는 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500c)의 구조를 나타낸 도면이다.
도 20은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치(100a)의 구조를 나타낸 도면이다. 본 실시예에 따른 디지털 촬영 장치(100a)는 촬영부(110), 포커스 맵 생성부(120), 촬영 제어부(130), 파일 생성부(140a), 및 저장부(150)를 포함한다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈, 조리개, 및 촬상 소자를 포함한다. 렌즈는 초점렌즈, 줌 렌즈 등의 복수 매의 렌즈를 구비할 수 있다. 또한 각 렌즈는 스텝 모터 등에 의해 그 위치가 조절되어, 줌 배율 및 초점 거리 등을 조절할 수 있다. 조리개는 그 개폐 정도가 조절되어, 촬상 소자로 입사되는 광량을 조절하고, 촬영 영상의 심도를 조절할 수 있다.
렌즈 및 조리개를 투과한 광학신호는 촬상 소자의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다.
포커스 맵 생성부(120)는 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성한다. 이를 위해, 포커스 맵 생성부(120)는 촬영을 수행하기 전에, 상기 초점 렌즈를 소정의 스캔 범위 내에서 이동시켜, 복수의 블록들 각각에 대한 초점값을 검출한다.
도 2는 본 발명의 일 실시예에 따라 복수의 블록들로 분할된 피사계를 나타낸 도면이다.
도 2에 도시된 바와 같이, 피사계를 분할하여 복수의 블록들(B11, B12,... B75)을 정의할 수 있다. 복수의 블록들(B11, B12,...,B75)의 개수는 실시예에 따라 다양하게 정의될 수 있다. 또한, 복수의 블록들은 도 2에 도시된 바와 같이 모든 영역이 균일한 크기로 정의될 수 있다. 다른 예로서, 복수의 블록들(B11, B12,...,B75)은 그 크기가 서로 다를 수 있다. 예를 들면, 복수의 블록들(B11, B12,...,B75)은 피사계의 중앙에 가까울수록 작게 정의되고, 피사계의 가장자리에 가까울수록 크게 정의될 수 있다.
도 3은 본 발명의 일 실시예에 따른 포커스 맵의 일례를 나타낸 도면이다.
본 발명의 실시예들에 따른 포커스 맵은, 피사계의 복수의 블록들(B11, B12,...,B75) 각각에 대한 초점값을 나타낸다. 각 블록의 초점값들은, 해당 블록의 대표 초점값을 나타낸다. 따라서 실제로는 한 블록 내에 복수의 초점값이 존재하더라도, 각 블록은 하나의 대표 초점값을 가질 수 있다. 각 블록의 대표 초점값은 예를 들면, 해당 블록의 피크 초점값으로 정의될 수 있다.
초점 렌즈의 스캔 범위는 초점 렌즈가 이동 가능한 영역 전체로 정의될 수 있다. 초점 렌즈의 이동 가능한 영역은, 줌단에 따라 달라질 수 있다. 따라서 초점 렌즈의 스캔 범위는 렌즈에 대한 정보 및 줌단 정보를 참조하여 결정될 수 있다.
촬영 제어부(130)는 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하도록 촬영부(110)를 제어한다. 촬영 제어부(130)는 포커스 맵 생성부(120)로부터 포커스 맵을 제공받으면, 포커스 맵에 포함된 초점값들을 추출한다. 예를 들면, 도 3에 도시된 바와 같은 포커스 맵이 생성된 경우, 포커스 맵에 포함된 초점값들은 425, 482, 500, 519, 543, 566, 569, 및 581이다. 이와 같이 포커스 맵으로부터 추출된 초점값을 이용하여, 촬영 제어부(130)는 연속 촬영을 수행한다. 즉, 포커스 맵으로부터 추출된 초점값들에 대응하는 복수의 영상들이 연속 촬영된다. 본 발명의 실시예들은 포커스 맵을 이용하여 연속 촬영할 초점값들을 추출함으로써, 한정된 횟수로 연속 촬영을 수행하더라도, 피사계에 포함된 복수의 초점 거리들을 전반적으로 커버할 수 있는 효과가 있다.
다수의 초점 거리들에 대해 연속 촬영을 수행하면, 각 초점 거리에 대응하는 복수의 영상들을 얻을 수 있다. 그러나 이와 같은 경우, 연속 촬영 횟수가 증가하여 촬영 중 디지털 촬영 장치(100a)의 움직임이 의해, 복수의 촬영 영상들 사이에 글로벌 모션이 발생할 수 있다. 또한 연속 촬영되는 복수의 영상들의 개수가 늘어나, 큰 저장 공간이 요구될 수 있다. 본 발명의 실시예들은 포커스 맵을 이용하여 연속 촬영할 초점값들을 추출함으로써, 연속 촬영 횟수가 과도하게 증가되는 것을 방지하여, 촬영 중 발생할 수 있는 글로벌 모션의 크기 또는 가능성을 감소시키는 효과가 있다. 또한 피사계에 존재하는 초점 거리를 미리 추출하여 연속 촬영을 수행함으로써, 보다 효과적으로 필요한 초점 거리를 추출할 수 있다. 나아가 연속 촬영되는 복수의 영상들의 개수를 감소시켜, 저장 공간이 과도하게 요구되는 문제를 방지할 수 있다.
파일 생성부(140a)는 연속 촬영된 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보를 함께 저장한다. 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보는 하나의 파일로 저장될 수 있다.
복수의 영상들 각각의 초점값 정보는, 해당 영상이 어느 초점값에 대응되는지를 나타내는 정보이다. 예를 들면, 복수의 영상들 중 첫 번째 영상의 초점값 정보는, 첫 번째 영상이 초점값 425에 대응된다는 것을 나타내는 정보이다.
피사계의 초점값 정보는, 피사계의 소정 영역 또는 소정 픽셀이 어느 초점값에 대응되는지를 나타내는 정보이다. 여기서 피사계의 초점값 정보는 초점값 자체를 나타내거나, 초점값과 관련되는 정보를 나타낼 수 있다. 초점값과 관련되는 정보는 예를 들면, 영상의 뎁스(depth) 정보일 수 있다. 피사계의 초점값 정보는, 포커스 맵에 포함된 블록들에 대해 정의되거나, 각 픽셀들에 대해 정의되거나, 포커스 맵의 블록들보다 작은 블록들에 대해 정의되는 등 다양한 방식으로 정의될 수 있다. 또한 피사계의 초점값 정보는 예를 들면, 상기 포커스 맵일 수 있다. 물론 상기 피사계의 초점값 정보는 포커스 맵과는 다르게 별도로 생성되는 것도 가능하다.
저장부(150)는 파일 생성부(140a)에서 생성된 파일을 저장한다. 저장부(150)는 비휘발성 저장 매체로서, 예를 들면 하드디스크 드라이브, 플래시 메모리, SSD(solid state disk), 자기 기록 매체 등으로 구비될 수 있다.
도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
우선 초점 렌즈를 이동시켜, 포커스 맵을 생성한다(S402). 포커스 맵은 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값 정보를 포함할 수 있다.
다음으로, 상기 포커스 맵으로부터 추출된 초점값들에 각각 대응되는 복수의 영상들을 연속 촬영한다(S404).
다음으로, 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보를 함께 저장한다(S406). 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보는 하나의 파일로 저장될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 디지털 촬영 장치(100b)의 구조를 나타낸 도면이다. 본 실시예에 따른 디지털 촬영 장치(100b)는 촬영부(110), 포커스 맵 생성부(120), 촬영 시퀀스 생성부(510), 촬영 제어부(130), 파일 생성부(140b), 저장부(150), 글로벌 모션 검출부(520), 및 글로벌 모션 보정부(530)를 포함한다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈, 조리개, 및 촬상 소자를 포함한다.
포커스 맵 생성부(120)는 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성한다. 이를 위해, 포커스 맵 생성부(120)는 촬영을 수행하기 전에, 상기 초점 렌즈를 소정의 스캔 범위 내에서 이동시켜, 복수의 블록들 각각에 대한 초점값을 검출한다.
촬영 시퀀스 생성부(510)는 포커스 맵으로부터 연속 촬영을 수행할 초점값들을 추출하고, 연속 촬영을 수행할 초점값의 시퀀스를 생성한다.
도 6은 본 발명의 다른 실시예에 따라, 촬영 시퀀스를 생성하는 과정을 설명하기 위한 도면이다.
만약 도 3에 도시된 것과 같은 포커스 맵이 생성된 경우, 포커스 맵으로부터 425, 482, 500, 519, 543, 566, 569, 및 581의 초점값을 추출할 수 있다. 촬영 시퀀스 생성부(510)는 포커스 맵에 포함된 초점값들을 추출한 후, 초점값들을 내림차순 또는 오름차순으로 정렬한다. 초점값들을 내림차순으로 정렬할지 오름차순으로 정렬할지는, 연속 촬영을 할 때의 초점 렌즈의 이동 방향에 따라 결정된다.
본 발명의 또 다른 실시예에 따르면, 촬영 시퀀스 생성부(510)는 포커스 맵으로부터 추출된 초점값의 개수가 최대 촬영 횟수를 초과하는 경우, 추출된 초점값들 중 일부를 그루핑하고, 그루핑된 초점값들을 대표 값으로 대체하여, 촬영 시퀀스에 포함되는 초점값의 개수를 최대 촬영 횟수 이내로 조절할 수 있다. 예를 들면, 최대 촬영 횟수가 7개인 경우, 촬영 시퀀스 생성부(510)는 포커스 맵으로부터 추출된 초점값들 중, 가장 인접한 초점값들인 566과 569를 하나의 초점값으로 그루핑할 수 있다. 그루핑하여 대표 값으로 대체하는 방식은 예를 들면, 초점값 566과 569 중 더 많은 개수의 블록에서 검출된 초점값으로 두 초점값을 일치시키거나, 초점값 566과 569의 중간값으로 두 초점값을 일치시키는 등 다양한 방식이 있을 수 있다.
본 발명의 또 다른 실시예에 따르면, 촬영 시퀀스 생성부(510)는 포커스 맵으로부터 추출된 초점값의 개수가 최대 촬영 횟수보다 작은 경우, 촬영 시퀀스에 초점값을 추가할 수 있다. 일례로서, 촬영 시퀀스에서 초점값들 사이의 차이가 큰 구간에 초점값을 추가할 수 있다. 예를 들면, 도 6에 도시된 바와 같이 포커스 맵으로부터 초점값들이 추출된 경우, 초점값들 사이의 차이가 가장 큰 구간, 즉 초점값 425와 482 사이에 초점값이 추가될 수 있다. 추가되는 초점값은 예를 들면, 초점값 425와 482의 중간 값일 수 있다.
여기서 최대 촬영 횟수는 디지털 촬영 장치(100b)의 기종에 따라 달라질 수 있고, 또한 줌단에 따라 달라질 수 있다. 다른 예로서, 사용자가 최대 촬영 횟수를 설정하는 것도 가능하다.
촬영 제어부(130)는 촬영 시퀀스 생성부(510)에서 생성된 촬영 시퀀스를 이용하여 연속 촬영을 수행하도록, 촬영부(110)를 제어한다. 즉, 촬영부(110)가 촬영 시퀀스에 나타난 초점값들에 따라 초점 렌즈를 이동시켜, 순차적으로 연속 촬영을 수행하도록 촬영 제어부(130)가 제어할 수 있다.
도 7은 초점 렌즈의 이동을 나타낸 도면이다.
본 실시예에 따르면, 포커스 맵 생성부(120)의 제어에 의해, 초점 렌즈(710)가 일 방향으로 이동하면서 촬영 초점 스캔이 수행된다(S702). 다음으로 촬영 시퀀스 생성부(510)에서 촬영 시퀀스가 생성되고, 촬영 제어부(130)가 연속 촬영을 수행하도록 촬영부(110)를 제어하면, 촬영 시퀀스에 나타난 초점값의 순서에 따라 초점 렌즈(710)를 이동시켜, 복수의 영상을 연속 촬영한다(S704).
일 실시예에 따르면, 초점 렌즈 스캔(S702)이 초점값이 증가하는 방향으로 이루어지면, 촬영 시퀀스는 초점값을 내림차순으로 배열하여 결정된다. 반대로 초점 렌즈 스캔(S702)이 초점값이 감소하는 방향으로 이루어지면, 촬영 시퀀스는 초점값을 오름차순으로 배열하여 결정된다.
다른 예로서, 촬영 초점 스캔(S702)이 초점값이 증가하는 방향으로 이루어지면, 촬영 시퀀스도 오름차순으로 배열하여 결정되고, 반대로 촬영 초점 스캔(S702)이 초점값이 감소하는 방향으로 이루어지면, 촬영 시퀀스는 초점값을 내림차순으로 배열하여 결정될 수 있다.글로벌 모션 검출부(520)는 촬영부에(110)에서 촬영된 복수의 영상들 사이의 글로벌 모션을 검출하고, 검출된 글로벌 모션이 글로벌 모션 보정 가능 범위를 벗어나는 경우, 연속 촬영을 중단시킨다. 글로벌 모션은 촬영 도중 발생하는 디지털 촬영 장치(100b)의 이동, 또는 피사계의 이동을 의미한다. 본 발명의 실시예들은 동일 피사계에 대해 복수의 영상들을 얻기 때문에, 복수의 영상들을 연속 촬영하는 도중에 글로벌 모션이 발생하지 않는 것이 바람직하다. 그런데 검출된 글로벌 모션의 크기가 글로벌 모션 보정 가능 범위를 벗어나면, 글로벌 모션 검출부(520)는 연속 촬영을 중단하여 재촬영을 유도할 수 있다. 여기서 글로벌 모션 보정 가능 범위는, 글로벌 모션 보정부(530)에서 보정 가능한 글로벌 모션의 크기를 나타낸다. 예를 들면, 글로벌 모션 검출부(520)는 사용자에게 재촬영을 유도하는 메시지를 제공할 수 있다. 다른 예로서, 글로벌 모션의 크기가 글로벌 모션 보정 가능 범위를 벗어나면, 글로벌 모션 검출부(520)는 자동으로 연속 촬영을 다시 수행하도록 촬영 제어부(130)를 제어할 수 있다.
글로벌 모션 검출부(520)는 글로벌 모션을 검출하기 위해 예를 들면, 디지털 촬영 장치(100b)에 구비된 자이로 센서, 가속도 센서 등을 이용할 수 있다. 다른 예로서, 글로벌 모션 검출부(520)는 복수의 영상들 사이의 모션 성분 정보를 검출하여 글로벌 모션을 검출할 수 있다.
복수의 영상들 사이의 글로벌 모션이 글로벌 모션 보정 가능 범위 이내라면, 글로벌 모션 보정부(530)에서 복수의 영상들 사이의 글로벌 모션을 보정한다. 예를 들면, 글로벌 모션 보정부(530)는 복수의 영상들 사이의 글로벌 모션을 상쇄시키도록 Global Motion Alignment 알고리즘을 사용하여 상/하/좌/우 이동(Translation), 회전(Rotation)을 통해서 영상의 가장자리를 일치시키도록 복수의 영상들을 처리할 수 있다.
파일 생성부(140b)는 연속 촬영된 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보를 함께 저장한다. 본 실시예에 따르면, 상기 복수의 영상들은 글로벌 모션이 보정된 영상들일 수 있다. 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 피사계의 초점값 정보는 하나의 파일로 저장될 수 있다.
저장부(150)는 파일 생성부(140a)에서 생성된 파일을 저장한다. 저장부(150)는 비휘발성 저장 매체로서, 예를 들면 하드디스크 드라이브, 플래시 메모리, SSD(solid state disk), 자기 기록 매체 등으로 구비될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
우선 초점 렌즈를 초점 렌즈 이동 가능 범위 내에서 스캔하여(S802), 포커스 맵을 생성한다(S804). 포커스 맵은 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값 정보를 포함할 수 있다. 초점 렌즈 이동 가능 범위는 디지털 촬영 장치(100b)의 기종, 줌단 등에 따라 결정될 수 있다.
다음으로 포커스 맵으로부터 추출된 초점값들을 배열하여 촬영 시퀀스를 생성한다(S806). 초점값들을 오름차순으로 배열할지 내림차순으로 배열할지는 앞서 설명된 바와 같이 연속 촬영을 수행할 때의 초점 렌즈의 스캔 방향에 따른다. 즉, 실시예에 따라 초점 스캔 진행 순서대로 초점값들을 배열하여 촬영 시퀀스를 생성하거나, 초점 스캔 진행 순서와 반대로 초점값들을 배열하여 촬영 시퀀스를 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 포커스 맵으로부터 추출된 초점값의 개수가 최대 촬영 횟수를 초과하는 경우, 추출된 초점값들 중 일부를 그루핑하고, 그루핑된 초점값들을 대표 값으로 대체하여, 촬영 시퀀스에 포함되는 초점값의 개수가 최대 촬영 횟수 이내로 조절될 수 있다.
본 발명의 또 다른 실시예에 따르면, 포커스 맵으로부터 추출된 초점값의 개수가 최대 촬영 횟수보다 작은 경우, 촬영 시퀀스에 초점값이 추가될 수 있다. 이때, 촬영 시퀀스에서 초점값들 사이의 차이가 큰 구간에 초점값을 추가할 수 있다.
다음으로 상기 촬영 시퀀스에 따라 복수의 영상들이 연속 촬영된다(S808).
복수의 영상들을 촬영하는 도중에, 복수의 영상들 사이의 글로벌 모션이 글로벌 모션 보정 가능 범위를 벗어나면, 연속 촬영이 중단된다(S810). 연속 촬영이 중단되는 경우, 사용자에게 재촬영을 유도하는 메시지가 제공되거나, 자동으로 재촬영이 이루어질 수 있다. 재촬영 시에는 초점 렌즈를 스캔하는 과정(S802)부터 다시 수행되거나, 복수의 영상들을 촬영하는 과정(S808)부터 다시 수행될 수 있다.
복수의 영상들의 글로벌 모션이 글로벌 모션 보정 가능 범위 이내라면, 복수의 영상들 사이의 글로벌 모션이 보정된다(S812).
다음으로, 복수의 영상들, 복수의 영상들의 초점값 정보, 및 피사계의 초점값 정보가 하나의 파일로 함께 저장된다(S814).
도 9는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치(100c)의 구조를 나타낸 도면이다. 본 실시예에 따른 디지털 촬영 장치(100c)는 촬영부(110), 포커스 맵 생성부(120), 촬영 제어부(130), 뎁스맵 생성부(910a), 파일 생성부(140c), 저장부(150), 재생 영상 결정부(920a), 및 재생부(930)를 포함한다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈, 조리개, 및 촬상 소자를 포함한다.
포커스 맵 생성부(120)는 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성한다. 이를 위해, 포커스 맵 생성부(120)는 촬영을 수행하기 전에, 상기 초점 렌즈를 소정의 스캔 범위 내에서 이동시켜, 복수의 블록들 각각에 대한 초점값을 검출한다.
촬영 제어부(130)는 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하도록 촬영부(110)를 제어한다.
뎁스맵 생성부(910a)는 복수의 영상들에 대한 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다. 뎁스맵은 피사계의 초점 거리 정보를 포커스 맵에 비해 보다 세밀하게 나타내기 위한 것이다. 따라서 뎁스맵을 이용하여, 복수의 영상들을 재생할 때, 포커스 맵의 블록 단위보다 더 세밀한 단위로 각 지점에 초점이 맞는 영상을 사용자에게 제공할 수 있다.
복수의 영상들에 대한 대표 영상은 복수의 영상들 중 첫 번째 영상, 중간에 촬영된 영상, 또는 마지막 영상 등 다양한 방식으로 결정될 수 있다.
뎁스맵은 소정의 뎁스맵 생성 알고리즘을 통해 생성될 수 있다. 본 실시예에 따르면, 복수의 영상들은 복수의 초점거리에서 촬영된 영상들이기 때문에, 복수의 영상들을 이용하여 뎁스맵을 생성하는 것도 가능하다. 또한 포커스 맵 생성을 위해 초점 렌즈를 스캔할 때 획득한 초점 정보를 이용하여, 뎁스맵을 생성하는 것도 가능하다.
파일 생성부(140c)는 연속 촬영된 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 뎁스맵을 함께 저장한다. 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 뎁스맵은 하나의 파일로 저장될 수 있다.
저장부(150)는 파일 생성부(140c)에서 생성된 파일을 저장한다.
재생 영상 결정부(920a)는 본 발명의 실시예들에 따라 촬영되어 생성된 영상 파일을 재생하는 경우, 재생할 영상을 결정한다.
도 10은 본 발명의 또 다른 실시예에 따라, 재생 영상을 결정하는 과정을 설명하기 위한 도면이다. 도 10은 포커스 맵의 n행 m열의 블록에 해당하는 영상을 나타낸다.
도 10에 도시된 바와 같이, 포커스 맵의 한 블록 내에 에지가 존재하여, 복수의 초점거리가 존재할 수 있다. 본 실시예는 뎁스맵을 이용하여 포커스 맵보다 더 상세한 초점 거리 정보를 얻고, 영상 파일을 재생할 때, 더욱 세밀하게 사용자가 선택한 지점에 초점이 맞는 영상을 재생할 수 있도록 한다. 예를 들면, 도 10에 도시된 바와 같이, AREA 1은 초점값 425에 해당하는 초점 거리를 갖고, AREA 2는 초점값 502에 해당하는 초점 거리를 갖는 경우, 본 실시예에 따른 디지털 촬영 장치(100c)는 사용자가 AREA 1의 일 지점을 선택하면, 초점값 425에 해당하는 영상을 재생하고, 사용자가 AREA 2의 일 지점을 선택하면, 초점값 502에 해당하는 영상을 재생한다. 만약 도 3에 도시된 포커스 맵을 이용하여 복수의 영상들을 촬영한 경우, 초점값 502에 해당하는 영상은 존재하지 않으므로, 초점값 502와 가장 가까운 초점값 500을 갖는 영상을 재생 영상으로 결정하여 재생할 수 있다.
영상 파일이 재생되는 경우, 처음에는 상기 대표 영상이 재생될 수 있다. 상기 대표 영상이 재생된 상태에서, 사용자가 상기 대표 영상의 일 지점을 선택하면, 재생 영상 결정부(920a)는 상기 뎁스맵을 이용하여, 사용자가 선택한 지점에 대한 뎁스값을 구하고, 상기 뎁스값에 대응되는 초점값과 가장 가까운 초점값을 갖는 영상을 재생 영상으로 결정한다.
복수의 영상들 중 재생 영상으로 결정된 영상을 재생하는 중에도, 일 지점을 선택하는 사용자 입력을 입력 받을 수 있으며, 이러한 경우, 재생 영상 결정부(920a)는 뎁스맵을 이용하여 사용자가 선택한 지점에 대한 뎁스값을 구하고, 상기 뎁스값에 대응되는 초점값과 가장 가까운 초점값을 갖는 영상을 재생 영상으로 결정한다. 일 실시예에 따르면, 복수의 영상들은 모두 동일한 좌표값을 갖는 것으로 해석하여, 복수의 영상들 각각에 뎁스맵을 동일하게 매칭시킬 수 있다. 다른 실시예에 따르면, 복수의 영상들의 좌표 값이 대표 영상의 좌표 값과 어떻게 매칭되는지에 대한 정보가 영상 파일에 함께 저장되고, 상기 매칭 정보를 이용하여 복수의 영상들 각각을 상기 뎁스맵에 매칭시킬 수 있다.
재생부(930)는 재생 영상 결정부(920a)에서 결정된 재생 영상을 재생한다. 예를 들면, 재생부(930)는 디지털 촬영 장치(100c)에 구비된 표시부(미도시)에 재생 영상을 재생할 수 있다.
본 발명의 또 다른 실시예예 따르면, 본 발명의 실시예들에 따라 촬영되어 저장된 영상 파일을 재생하는 중에, 사용자가 상기 복수의 영상들 중 하나를 별개의 파일로 저장하기 위한 제어 신호를 입력한 경우, 파일 생성부(140c)는 사용자가 선택한 영상을 별개의 영상 파일로 생성하여 저장부(150)에 저장할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
우선 초점 렌즈를 이동시켜, 포커스 맵을 생성한다(S1102). 포커스 맵은 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값 정보를 포함할 수 있다.
다음으로, 상기 포커스 맵으로부터 추출된 초점값들에 각각 대응되는 복수의 영상들을 연속 촬영한다(S1104).
다음으로, 상기 복수의 영상들로부터 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다(S1106). 복수의 영상들에 대한 대표 영상은 복수의 영상들 중 첫 번째 영상, 중간에 촬영된 영상, 또는 마지막 영상 등 다양한 방식으로 결정될 수 있다.
다음으로, 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 뎁스맵을 함께 저장한다(S1108). 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 뎁스맵은 하나의 파일로 저장될 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치(100d)의 구조를 나타낸 도면이다. 본 실시예에 따른 디지털 촬영 장치(100d)는 촬영부(110), 포커스 맵 생성부(120), 촬영 제어부(130), 뎁스맵 생성부(910a), 파일 인덱스 맵 생성부(1210), 파일 생성부(140d), 저장부(150), 재생 영상 결정부(920b), 및 재생부(930)를 포함한다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈, 조리개, 및 촬상 소자를 포함한다.
포커스 맵 생성부(120)는 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성한다. 이를 위해, 포커스 맵 생성부(120)는 촬영을 수행하기 전에, 상기 초점 렌즈를 소정의 스캔 범위 내에서 이동시켜, 복수의 블록들 각각에 대한 초점값을 검출한다.
촬영 제어부(130)는 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하도록 촬영부(110)를 제어한다.
뎁스맵 생성부(910a)는 복수의 영상들에 대한 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다.
파일 인덱스 맵 생성부(1210)는 상기 뎁스맵을 이용하여, 대표 영상의 각 픽셀의 뎁스값과 복수의 영상들의 초점값을 매칭시켜, 대표 영상의 각 픽셀을 복수의 영상들 중 하나에 매칭시키고, 대표 영상의 각 픽셀에 매칭되는 영상 정보를 나타내는 파일 인덱스 맵을 생성한다. 즉, 파일 인덱스 맵은, 대표 영상의 각 픽셀이 복수의 영상들 중 어느 영상에 대응되는지를 나타낸다.
본 발명의 또 다른 실시예에 따르면, 파일 인덱스 맵 생성부(1210)에서 포커스 맵으로부터 파일 인덱스 맵을 생성하는 것도 가능하다. 이러한 경우, 뎁스맵 생성부(910a)는 생략될 수 있다.
도 13은 파일 인덱스 맵을 생성하는 과정을 설명하기 위한 도면이다. 도 13은 포커스 맵의 n행 m열의 블록에 해당하는 영상을 나타낸다.
도 13에 도시된 바와 같이, 포커스 맵의 한 블록 내에 에지가 존재하여, 복수의 초점거리가 존재할 수 있다. 본 실시예는 뎁스맵을 이용하여 포커스 맵보다 더 상세한 초점 거리 정보를 얻고, 상기 뎁스맵을 이용하여 대표 영상의 각 픽셀에 대응하는 영상에 대한 정보를 미리 저장한다. 이러한 구성에 의해, 영상 파일을 재생할 때, 더욱 세밀하게 사용자가 선택한 지점에 초점이 맞는 영상을 재생할 수 있도록 하고, 재생 영상을 결정하는 시간을 단축할 수 있다. 예를 들면, 도 13에 도시된 바와 같이, AREA 1은 초점값 425에 해당하는 초점 거리를 갖고, AREA 2는 초점값 502에 해당하는 초점 거리를 갖는 경우, 본 실시예에 따른 디지털 촬영 장치(100d)는 AREA 1에 대해서는, 복수의 영상들 중, 초점값 425에 해당하는 영상인 IMAGE 100을 재생 영상으로 결정하여 파일 인덱스 맵에 저장한다. 또한 파일 인덱스 맵 생성부(1210)는 AREA 2에 대해서는, 초점값 502에 해당하는 영상을 재생 영상으로 결정하여 파일 인덱스 맵을 저장한다. 만약 도 3에 도시된 포커스 맵을 이용하여 복수의 영상들을 촬영한 경우, 초점값 502에 해당하는 영상은 존재하지 않으므로, 파일 인덱스 맵 생성부(1210)는 초점값 502와 가장 가까운 초점값 500을 갖는 영상인 IMAGE 102을 재생 영상으로 결정하여 파일 인덱스 맵에 저장할 수 있다.
파일 생성부(140d)는 연속 촬영된 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 파일 인덱스 맵을 함께 저장한다. 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 파일 인덱스 맵은 하나의 파일로 저장될 수 있다.
저장부(150)는 파일 생성부(140d)에서 생성된 파일을 저장한다.
재생 영상 결정부(920b)는 본 발명의 실시예들에 따라 촬영되어 생성된 영상 파일을 재생하는 경우, 재생할 영상을 결정한다. 영상 파일을 재생할 때, 처음에는 대표 영상이 재생되고, 그 이후에는 사용자 선택에 따라 재생 영상이 결정될 수 있다. 본 실시예에 따른 재생 영상 결정부(920b)는 복수의 영상들 중 하나를 재생하는 중에, 사용자가 일 지점을 선택하는 경우, 해당 지점에 대응하는 픽셀에 해당하는 재생 영상을 파일 인덱스 맵으로부터 검색하여, 재생 영상을 결정한다.
재생부(930)는 재생 영상 결정부(920b)에서 결정된 재생 영상을 재생한다.
도 14는 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
우선 초점 렌즈를 이동시켜, 포커스 맵을 생성한다(S1402). 포커스 맵은 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값 정보를 포함할 수 있다.
다음으로, 상기 포커스 맵으로부터 추출된 초점값들에 각각 대응되는 복수의 영상들을 연속 촬영한다(S1404).
다음으로, 상기 복수의 영상들로부터 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다(S1406). 복수의 영상들에 대한 대표 영상은 복수의 영상들 중 첫 번째 영상, 중간에 촬영된 영상, 또는 마지막 영상 등 다양한 방식으로 결정될 수 있다.
다음으로, 뎁스맵을 이용하여, 대표 영상의 각 픽셀의 뎁스값과 복수의 영상들의 초점값을 매칭시켜, 대표 영상의 각 픽셀을 복수의 영상들 중 하나에 매칭시키고, 대표 영상의 각 픽셀에 매칭되는 영상 정보를 나타내는 파일 인덱스 맵을 생성한다(S1408).
다음으로, 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 파일 인덱스 맵을 함께 저장한다(S1410). 복수의 영상들, 복수의 영상들 각각의 초점값 정보, 및 파일 인덱스 맵은 하나의 파일로 저장될 수 있다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500a)의 구조를 나타낸 도면이다. 본 실시예에 따른 영상 재생 장치(1500a)는 저장부(150), 재생 영상 결정부(920c), 및 재생부(930)를 포함한다.
저장부(150)는 본 발명의 실시예들에 따라 생성된, 적어도 하나의 영상 파일을 저장한다. 상기 영상 파일은 앞서 설명한 바와 같이, 복수의 영상들, 복수의 영상들의 초점값 정보, 및 피사계의 초점값 정보를 포함할 수 있다. 상기 피사계의 초점값 정보는 예를 들면, 포커스 맵, 뎁스맵, 파일 인덱스 맵 중 하나일 수 있다. 저장부(150)는 비휘발성 저장 매체로서, 예를 들면 하드디스크 드라이브, 플래시 메모리, SSD(solid state disk), 자기 기록 매체 등으로 구비될 수 있다.
재생 영상 결정부(920c)는 본 발명의 실시예들에 따라 촬영되어 생성된 영상 파일을 재생하는 경우, 재생할 영상을 결정한다. 영상 파일을 재생할 때, 처음에는 대표 영상이 재생되고, 그 이후에는 사용자 선택에 따라 재생 영상이 결정될 수 있다. 본 실시예에 따른 재생 영상 결정부(920c)는 복수의 영상들 중 하나를 재생하는 중에, 사용자가 일 지점을 선택하는 경우, 해당 지점에 대응하는 피사계의 초점값 정보를 이용하여 재생 영상을 결정한다. 상기 피사계의 초점값 정보는 실시예에 따라 포커스 맵, 뎁스맵, 파일 인덱스 맵 중 하나일 수 있다.
도 16은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
사용자가 본 발명의 실시예들에 따라 생성된 영상 파일의 재생을 요청하는 경우, 상기 영상 파일의 대표 영상이 재생된다(S1602). 상기 영상 파일은 앞서 설명한 바와 같이, 복수의 영상들, 복수의 영상들의 초점값 정보, 및 피사계의 초점값 정보를 포함할 수 있다. 상기 피사계의 초점값 정보는 예를 들면, 포커스 맵, 뎁스맵, 파일 인덱스 맵 중 하나일 수 있다.
다음으로 사용자가 상기 대표 영상의 일 지점을 선택하면, 사용자가 선택한 지점의 초점값에 대응하는 초점값을 갖는 영상이 재생 영상으로 결정된다(S1604). 이때, 재생 영상을 결정하기 위해, 상기 피사계의 초점값 정보가 이용될 수 있다. 재생 영상이 결정되는 방식은 앞서 본 발명의 실시예들에 따른 디지털 촬영 장치(100c, 100d)에 대해 설명한 바와 같다. 또한 사용자의 선택에 의해 재생 영상으로 결정된 복수의 영상들 중 하나의 영상이 재생되고 있는 중에, 사용자가 재생 영상의 일 지점을 선택하면, 상기 피사계의 초점값 정보를 이용하여 재생 영상이 다시 결정된다.
재생 영상이 결정되면, 해당 영상이 재생된다(S1606).
도 17은 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500b)의 구조를 나타낸 도면이다. 본 실시예에 따른 영상 재생 장치(1500b)는 저장부(150), 뎁스맵 생성부(910b), 파일 갱신부(1710a), 재생 영상 결정부(920a), 및 재생부(930)를 포함한다.
저장부(150)는 본 발명의 실시예들에 따라 생성된, 적어도 하나의 영상 파일을 저장한다. 상기 영상 파일은 앞서 설명한 바와 같이, 복수의 영상들, 복수의 영상들의 초점값 정보, 및 피사계의 초점값 정보를 포함할 수 있다.
뎁스맵 생성부(910b)는 상기 영상 파일에 저장된 복수의 영상들에 대한 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다. 본 실시예에 따르면, 디지털 촬영 장치의 사양이 낮아서 뎁스맵을 생성할 수 없거나, 디지털 촬영 장치의 파일 생성 시간을 감소시키기 위해 뎁스맵을 생성하지 않는 등, 디지털 촬영 장치에서 뎁스맵을 생성하지 않은 경우에, 영상 재생 장치(1500b)에서 뎁스맵을 생성하여 영상 파일에 저장하는 것이 가능하다. 또한 영상 파일에 뎁스맵이 저장되어 있다 하더라도, 보다 정밀한 뎁스맵을 생성하기 위해 영상 재생 장치(1500b)에서 뎁스맵을 다시 생성하여 영상 파일에 저장하는 것도 가능하다. 따라서 본 실시예에 따르면, 영상 재생 장치(1500b)에 의해 사용자가 선택한 지점에 초점이 맞는 영상을 재생할 때, 보다 정확하게 재생 영상을 결정하는 것이 가능해진다.
파일 갱신부(1710a)는 뎁스맵 생성부(910b)에서 생성된 뎁스맵을 상기 영상 파일에 저장한다. 이때 상기 영상 파일에 저장된 피사계의 초점값 정보는 상기 뎁스맵으로 대체될 수 있다.
재생 영상 결정부(920a)는 본 발명의 실시예들에 따라 촬영되어 생성된 영상 파일을 재생하는 경우, 상기 뎁스맵을 이용하여 재생할 영상을 결정한다.
영상 파일이 재생되는 경우, 처음에는 상기 대표 영상이 재생될 수 있다. 상기 대표 영상이 재생된 상태에서, 사용자가 상기 대표 영상의 일 지점을 선택하면, 재생 영상 결정부(920a)는 상기 뎁스맵을 이용하여, 사용자가 선택한 지점에 대한 뎁스값을 구하고, 상기 뎁스값에 대응되는 초점값과 가장 가까운 초점값을 갖는 영상을 재생 영상으로 결정한다.
복수의 영상들 중 하나의 영상을 재생하는 중에도, 일 지점을 선택하는 사용자 입력을 입력 받을 수 있으며, 이러한 경우, 재생 영상 결정부(920a)는 뎁스맵을 이용하여 사용자가 선택한 지점에 대한 뎁스값을 구하고, 상기 뎁스값에 대응되는 초점값과 가장 가까운 초점값을 갖는 영상을 재생 영상으로 결정한다.
재생부(930)는 재생 영상 결정부(920a)에서 결정된 재생 영상을 재생한다.
도 18은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
사용자가 영상 파일의 재생을 선택하면, 해당 영상 파일의 대표 영상에 대한 뎁스맵이 생성된다(S1802). 뎁스맵이 생성되면, 상기 영상 파일의 피사계의 초점 정보가 상기 뎁스맵으로 교체되어, 영상 파일이 갱신된다(S1804).
다음으로 대표 영상이 재생된다(S1806). 대표 영상의 재생 중에, 대표 영상의 일 지점을 선택하는 사용자 입력이 입력되면, 사용자가 선택한 지점의 뎁스값을 뎁스맵에서 검색한다(S1808). 다음으로 검색된 뎁스값에 대응하는 초점값을 갖거나, 이와 가장 가까운 초점값을 갖는 영상을 재생 영상으로 결정한다(S1810). 재생 영상이 결정되면, 해당 영상이 재생된다(S1812).
재생 영상으로 결정된 영상을 재생하는 중에도, 일 지점을 선택하는 사용자 입력을 받을 수 있으며, 이러한 경우, 뎁스맵을 이용하여 해당 지점의 뎁스값과 가장 가까운 초점값을 갖는 영상이 재생 영상으로 결정될 수 있다.
도 19는 본 발명의 또 다른 실시예에 따른 영상 재생 장치(1500c)의 구조를 나타낸 도면이다. 본 실시예에 따른 영상 재생 장치(1500c)는 저장부(150), 뎁스맵 생성부(910b), 파일 인덱스 맵 생성부(1210), 파일 갱신부(1710b), 재생 영상 결정부(920b), 및 재생부(930)를 포함한다.
저장부(150)는 본 발명의 실시예들에 따라 생성된, 적어도 하나의 영상 파일을 저장한다. 상기 영상 파일은 앞서 설명한 바와 같이, 복수의 영상들, 복수의 영상들의 초점값 정보, 및 피사계의 초점값 정보를 포함할 수 있다.
뎁스맵 생성부(910b)는 상기 영상 파일에 저장된 복수의 영상들에 대한 대표 영상을 결정하고, 상기 대표 영상에 대한 뎁스맵을 생성한다.
파일 인덱스 맵 생성부(1210)는 상기 뎁스맵을 이용하여, 대표 영상의 각 픽셀의 뎁스값과 복수의 영상들의 초점값을 매칭시켜, 대표 영상의 각 픽셀을 복수의 영상들 중 하나에 매칭시키고, 대표 영상의 각 픽셀에 매칭되는 영상 정보를 나타내는 파일 인덱스 맵을 생성한다. 즉, 파일 인덱스 맵은, 대표 영상의 각 픽셀이 복수의 영상들 중 어느 영상에 대응되는지를 나타낸다.
본 실시예에 따르면, 디지털 촬영 장치의 파일 생성 시간을 감소시키기 위해 파일 인덱스 맵을 생성하지 않은 경우에, 영상 재생 장치(1500c)에서 파일 인덱스 맵을 생성하여 영상 파일에 저장하는 것이 가능하다. 또한 영상 파일에 뎁스맵이 저장되어 있다 하더라도, 보다 정밀한 뎁스맵을 생성하기 위해 영상 재생 장치(1500b)에서 뎁스맵을 다시 생성하고, 다시 생성된 뎁스맵을 이용하여 파일 인덱스 맵을 생성하여 영상 파일에 파일 인덱스 맵을 저장하는 것도 가능하다. 따라서 본 실시예에 따르면, 영상 재생 장치(1500c)에 의해 사용자가 선택한 지점에 초점이 맞는 영상을 재생할 때, 보다 빠르고 정확하게 재생 영상을 결정하는 것이 가능해진다.
파일 갱신부(1710b)는 파일 인덱스 맵 생성부(1210)에서 생성된 파일 인덱스 맵을 상기 영상 파일에 저장한다. 이때 상기 영상 파일에 저장된 피사계의 초점 정보는 상기 파일 인덱스 맵으로 대체될 수 있다.
재생 영상 결정부(920b)는 본 발명의 실시예들에 따라 촬영되어 생성된 영상 파일을 재생하는 경우, 파일 인덱스 맵을 이용하여 재생할 영상을 결정한다.
영상 파일이 재생되는 경우, 처음에는 상기 대표 영상이 재생될 수 있다. 상기 대표 영상이 재생된 상태에서, 사용자가 상기 대표 영상의 일 지점을 선택하면, 재생 영상 결정부(920b)는 상기 파일 인덱스 맵을 이용하여, 사용자가 선택한 지점에 대응하는 재생 영상을 검색하여, 재생 영상을 결정한다.
복수의 영상들 중 하나의 영상을 재생하는 중에도, 일 지점을 선택하는 사용자 입력을 입력 받을 수 있으며, 이러한 경우, 재생 영상 결정부(920b)는 파일 인덱스 맵을 이용하여 사용자가 선택한 지점에 대응하는 재생 영상을 검색하여, 재생 영상을 결정한다.
재생부(930)는 재생 영상 결정부(920b)에서 결정된 재생 영상을 재생한다.
도 20은 본 발명의 또 다른 실시예에 따른 영상 재생 방법을 나타낸 흐름도이다.
사용자가 영상 파일의 재생을 선택하면, 해당 영상 파일의 대표 영상에 대한 뎁스맵이 생성된다(S2002). 뎁스맵은 앞서 설명한 바와 같이, 복수의 초점거리에서 촬영된 복수의 영상들을 이용하여 생성될 수 있다. 또한 포커스 맵 생성을 위해 초점 렌즈를 스캔할 때 획득한 초점 정보를 이용하여, 뎁스맵을 생성하는 것도 가능하다. 만약 이미 영상 파일에 뎁스맵이 존재하는 경우, 뎁스맵을 생성하는 과정(S2002)은 생략될 수 있다.
뎁스맵이 생성되면, 상기 뎁스맵을 이용하여, 대표 영상의 각 픽셀에 대응하는 재생 영상을 나타내는 파일 인덱스 맵이 생성된다(S2004). 다음으로 파일 인덱스 맵이 상기 영상 파일에 저장된다(S2006). 이때 상기 영상 파일에 저장된 피사계의 초점값 정보가 파일 인덱스 맵으로 교체되어 저장되거나, 기존의 피사계의 초점값 정보와 파일 인덱스 맵이 함께 저장되도록 영상 파일이 갱신된다.
다음으로 대표 영상이 재생된다(S2008). 대표 영상의 재생 중에, 대표 영상의 일 지점을 선택하는 사용자 입력이 입력되면, 사용자가 선택한 지점에 대응하는 재생 영상을 파일 인덱스 맵에서 검색한다(S2010). 재생 영상이 결정되면, 해당 영상이 재생된다(S2012).
재생 영상으로 결정된 영상을 재생하는 중에도, 일 지점을 선택하는 사용자 입력을 받을 수 있으며, 이러한 경우, 파일 인덱스 맵을 이용하여 해당 지점에 해당하는 재생 영상을 검색하고, 재생 영상을 결정할 수 있다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 디지털 촬영 장치 제어 방법 또는 영상 재생 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (28)

  1. 피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 단계;
    상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하는 단계; 및
    상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 단계를 포함하는 디지털 촬영 장치 제어 방법.
  2. 제1항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 블록들 각각에 대한 초점값들을 크기 순서로 나열하여, 촬영 시퀀스를 생성하는 단계를 더 포함하고,
    상기 촬영하는 단계는, 상기 촬영 시퀀스에 나타난 초점값들의 순서대로 상기 복수의 영상들을 연속 촬영하는, 디지털 촬영 장치 제어 방법.
  3. 제2항에 있어서, 상기 촬영 시퀀스를 생성하는 단계는,
    상기 복수의 블록들 각각에 대한 초점값들의 개수가 최대 촬영 횟수를 초과하는 경우, 상기 초점값들을 그루핑하여 대표 값으로 대체하는 단계; 및
    상기 복수의 블록들 각각에 대한 초점값들의 개수가 상기 최대 촬영 횟수 미만인 경우, 상기 초점값들 사이의 차이가 큰 구간 내에 초점값을 추가하는 단계를 포함하는, 디지털 촬영 장치 제어 방법.
  4. 제1항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 영상들에 대한 대표 영상을 결정하는 단계; 및
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계를 더 포함하고,
    상기 피사계의 초점값 정보는 상기 뎁스맵인, 디지털 촬영 장치 제어 방법.
  5. 제4항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계;
    상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 뎁스맵에 나타난 상기 일 지점의 뎁스값에 대응되는 초점값을 갖는 복수의 영상들 중 하나를 재생 영상으로 결정하는 단계; 및
    상기 재생 영상을 재생하는 단계를 더 포함하는 디지털 촬영 장치 제어 방법.
  6. 제1항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 영상들에 대한 대표 영상을 결정하는 단계;
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계;
    상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키는 단계; 및
    상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 단계를 더 포함하고,
    상기 피사계의 초점값 정보는 상기 파일 인덱스 맵인, 디지털 촬영 장치 제어 방법.
  7. 제6항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계;
    상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 파일 인덱스 맵을 이용하여, 상기 일 지점에 매칭되는, 복수의 영상들 중 하나를 재생 영상으로 결정하는 단계; 및
    상기 재생 영상을 재생하는 단계를 더 포함하는 디지털 촬영 장치 제어 방법.
  8. 제1항에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    상기 복수의 영상들을 촬영하는 도중에, 상기 디지털 촬영 장치의 움직임이 글로벌 모션 보정 가능 범위를 벗어나는 경우, 상기 복수의 영상들의 촬영을 중단하는 단계; 및
    상기 복수의 영상들의 촬영이 완료된 후에, 상기 복수의 영상들에 대한 글로벌 모션을 보정하는 단계를 더 포함하는 디지털 촬영 장치 제어 방법.
  9. 영상 파일을 재생하는 영상 재생 방법에 있어서,
    상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 방법은,
    상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계;
    상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 단계; 및
    상기 재생 영상을 재생하는 단계를 포함하는, 영상 재생 방법.
  10. 제9항에 있어서,
    상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀의 뎁스값을 나타내는 뎁스맵(depth map)인, 영상 재생 방법.
  11. 제9항에 있어서, 상기 영상 재생 방법은,
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계; 및
    상기 피사계의 초점값 정보로서, 상기 뎁스맵을 저장하는 단계를 더 포함하는, 영상 재생 방법.
  12. 제9항에 있어서,
    상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀에 대한 재생 영상을 나타내는 파일 인덱스 맵인, 영상 재생 방법.
  13. 제9항에 있어서, 상기 영상 재생 방법은,
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 단계;
    상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키는 단계;
    상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 단계; 및
    상기 피사계의 초점값 정보로서, 상기 파일 인덱스 맵을 저장하는 단계를 더 포함하는 영상 재생 방법.
  14. 입사광을 광전 변환하여 영상을 촬영하는 촬영부;
    피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 포커스 맵 생성부;
    상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하도록 상기 촬영부를 제어하는 촬영 제어부; 및
    상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 파일 생성부를 포함하는 디지털 촬영 장치.
  15. 제14항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 블록들 각각에 대한 초점값들을 크기 순서로 나열하여, 촬영 시퀀스를 생성하는 촬영 시퀀스 생성부를 더 포함하고,
    상기 촬영 제어부는, 상기 촬영 시퀀스에 나타난 초점값들의 순서대로 상기 복수의 영상들을 연속 촬영하도록 상기 촬영부를 제어하는, 디지털 촬영 장치.
  16. 제15항에 있어서,
    상기 촬영 시퀀스 생성부는, 상기 복수의 블록들 각각에 대한 초점값들의 개수가 최대 촬영 횟수를 초과하는 경우, 상기 초점값들을 그루핑하여 대표 값으로 대체하고, 상기 복수의 블록들 각각에 대한 초점값들의 개수가 상기 최대 촬영 횟수 미만인 경우, 상기 초점값들 사이의 차이가 큰 구간 내에 초점값을 추가하는, 디지털 촬영 장치.
  17. 제14항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 영상들에 대한 대표 영상을 결정하고, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부를 더 포함하고,
    상기 피사계의 초점값 정보는 상기 뎁스맵인, 디지털 촬영 장치.
  18. 제17항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 뎁스맵에 나타난 상기 일 지점의 뎁스값에 대응되는 초점값을 갖는 복수의 영상들 중 하나를 재생 영상으로 결정하는 재생 영상 결정부; 및
    상기 재생 영상을 재생하는 재생부를 더 포함하는 디지털 촬영 장치.
  19. 제14항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 영상들에 대한 대표 영상을 결정하고, 상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부; 및
    상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키고, 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 파일 인덱스 맵 생성부를 더 포함하고,
    상기 피사계의 초점값 정보는 상기 파일 인덱스 맵인, 디지털 촬영 장치.
  20. 제19항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 파일 인덱스 맵을 이용하여, 상기 일 지점에 매칭되는 복수의 영상들 중 하나를 재생 영상으로 결정하는 재생 영상 결정부; 및
    상기 재생 영상을 재생하는 재생부를 더 포함하는 디지털 촬영 장치.
  21. 제14항에 있어서, 상기 디지털 촬영 장치는,
    상기 복수의 영상들을 촬영하는 도중에, 상기 디지털 촬영 장치의 움직임이 글로벌 모션 보정 가능 범위를 벗어나는 경우, 상기 복수의 영상들의 촬영을 중단하는 글로벌 모션 검출부; 및
    상기 복수의 영상들의 촬영이 완료된 후에, 상기 복수의 영상들에 대한 글로벌 모션을 보정하는 글로벌 모션 보정부를 더 포함하는 디지털 촬영 장치.
  22. 영상 파일을 재생하는 영상 재생 장치에 있어서,
    상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 장치는,
    상기 복수의 영상들 중 적어도 하나의 영상의 재생 중에, 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 재생 영상 결정부; 및
    상기 재생 영상을 재생하는 재생부를 포함하는, 영상 재생 장치.
  23. 제22항에 있어서,
    상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀의 뎁스값을 나타내는 뎁스맵(depth map)인, 영상 재생 장치.
  24. 제22항에 있어서, 상기 영상 재생 장치는,
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부; 및
    상기 피사계의 초점값 정보로서, 상기 뎁스맵을 저장하는 파일 갱신부를 더 포함하는, 영상 재생 장치.
  25. 제22항에 있어서,
    상기 피사계의 초점값 정보는, 상기 대표 영상의 각 픽셀에 대한 재생 영상을 나타내는 파일 인덱스 맵인, 영상 재생 장치.
  26. 제22항에 있어서, 상기 영상 재생 장치는,
    상기 복수의 영상들을 이용하여 상기 대표 영상에 대한 뎁스맵(depth map)을 생성하는 뎁스맵 생성부;
    상기 뎁스맵을 이용하여, 상기 대표 영상의 각 픽셀의 뎁스값과 상기 복수의 영상들의 초점값을 매칭시켜, 상기 대표 영상의 각 픽셀을 상기 복수의 영상들 중 하나에 매칭시키고, 상기 대표 영상의 각 픽셀에 매칭되는 재생 영상을 나타내는 파일 인덱스 맵을 생성하는 파일 인덱스 맵 생성부; 및
    상기 피사계의 초점값 정보로서, 상기 파일 인덱스 맵을 저장하는 파일 갱신부를 더 포함하는 영상 재생 장치.
  27. 프로세서에 의해 독출되어 수행되었을 때, 디지털 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디지털 촬영 장치 제어 방법은,
    피사계를 분할하여 정의된 복수의 블록들 각각에 대한 초점값을 나타내는 포커스 맵을 생성하는 단계;
    상기 포커스 맵에 포함된 초점값들 각각에 대응하는 복수의 영상들을 연속 촬영하는 단계; 및
    상기 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 함께 저장하는 단계를 포함하는 컴퓨터 판독가능 기록매체.
  28. 프로세서에 의해 독출되어 수행되었을 때, 영상 재생 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 영상 파일은, 서로 다른 초점값을 갖는 복수의 영상들, 상기 복수의 영상들 각각의 초점값 정보, 및 상기 피사계의 초점값 정보를 포함하고, 상기 영상 재생 방법은,
    상기 복수의 영상들 중 적어도 하나의 영상을 재생하는 단계; 및
    상기 적어도 하나의 영상의 재생 중에 일 지점을 선택하는 사용자 입력에 따라, 상기 복수의 영상들 각각의 초점값 정보 및 상기 피사계의 초점값 정보를 이용하여, 상기 복수의 영상들 중, 상기 일 지점의 초점값에 대응하는 초점값을 갖는 영상을 재생 영상으로 결정하는 단계;
    상기 재생 영상을 재생하는 단계를 포함하는, 컴퓨터 판독가능 기록매체.
KR1020130091167A 2013-07-31 2013-07-31 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법 KR102068748B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130091167A KR102068748B1 (ko) 2013-07-31 2013-07-31 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
US14/248,549 US10237491B2 (en) 2013-07-31 2014-04-09 Electronic apparatus, method of controlling the same, for capturing, storing, and reproducing multifocal images
CN201480042939.2A CN105453538B (zh) 2013-07-31 2014-07-31 电子装置及其控制方法,以及非瞬时性计算机可读记录介质
PCT/KR2014/007019 WO2015016619A1 (en) 2013-07-31 2014-07-31 Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
EP14831863.7A EP3028445A4 (en) 2013-07-31 2014-07-31 Electronic apparatus, method of controlling the same, and image reproducing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130091167A KR102068748B1 (ko) 2013-07-31 2013-07-31 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150015286A true KR20150015286A (ko) 2015-02-10
KR102068748B1 KR102068748B1 (ko) 2020-02-11

Family

ID=52427256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130091167A KR102068748B1 (ko) 2013-07-31 2013-07-31 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법

Country Status (5)

Country Link
US (1) US10237491B2 (ko)
EP (1) EP3028445A4 (ko)
KR (1) KR102068748B1 (ko)
CN (1) CN105453538B (ko)
WO (1) WO2015016619A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838594B2 (en) * 2016-03-02 2017-12-05 Qualcomm Incorporated Irregular-region based automatic image correction
WO2018004035A1 (ko) * 2016-06-30 2018-01-04 엘지전자 주식회사 카메라 모듈 및 그의 오토 포커스 방법
CN106101555B (zh) * 2016-07-29 2018-05-29 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
JP6808420B2 (ja) * 2016-09-27 2021-01-06 キヤノン株式会社 撮像素子および撮像装置
CN107124557A (zh) * 2017-05-31 2017-09-01 广东欧珀移动通信有限公司 对焦方法、装置、计算机可读存储介质和终端
US10609274B2 (en) * 2018-03-30 2020-03-31 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US10582111B2 (en) 2018-03-30 2020-03-03 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
CN109151302A (zh) * 2018-08-17 2019-01-04 北京随闻科技有限公司 一种穿戴设备的交互式智能对焦装置、对焦方法及其应用
CN109842760A (zh) * 2019-01-23 2019-06-04 罗超 一种模拟人眼视物的影像拍摄与回放方法
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
US11985420B2 (en) * 2019-03-27 2024-05-14 Sony Group Corporation Image processing device, image processing method, program, and imaging device
KR20210149542A (ko) * 2020-06-02 2021-12-09 삼성에스디에스 주식회사 이미지 촬영 및 판독 방법, 이를 위한 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20080231714A1 (en) * 2007-03-22 2008-09-25 Texas Instruments Incorporated System and method for capturing images
US20090196522A1 (en) * 2008-02-04 2009-08-06 Ricoh Company, Ltd. Apparatus, method and system for image processing
JP2010206552A (ja) * 2009-03-03 2010-09-16 Ricoh Co Ltd 撮像装置、再生表示装置、撮像記録方法および再生表示方法
US20120188394A1 (en) * 2011-01-21 2012-07-26 Samsung Electronics Co., Ltd. Image processing methods and apparatuses to enhance an out-of-focus effect
US20130044254A1 (en) * 2011-08-18 2013-02-21 Meir Tzur Image capture for later refocusing or focus-manipulation
JP2013088579A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置
US20140002606A1 (en) * 2012-06-29 2014-01-02 Broadcom Corporation Enhanced image processing with lens motion

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
KR20080090174A (ko) 2007-04-04 2008-10-08 삼성테크윈 주식회사 디지털 영상 처리장치의 제어방법 및 그 장치
KR101431535B1 (ko) 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
KR20090032294A (ko) 2007-09-27 2009-04-01 삼성테크윈 주식회사 효과적 포커싱을 위한 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
KR101612443B1 (ko) 2009-03-05 2016-04-26 삼성전자주식회사 디지털 영상 촬영 장치 및 그의 제어 방법
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN101853500A (zh) 2010-05-13 2010-10-06 西北工业大学 一种彩色多聚焦图像融合方法
US20120019703A1 (en) 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
KR101142701B1 (ko) 2010-10-18 2012-05-10 한양대학교 산학협력단 카메라 포커스 수치 계산에 기반한 관심 영역 추출 방법 및 장치
CN102082864B (zh) 2010-11-22 2013-10-02 成都品果科技有限公司 Camera360手机摄影平台及瞬间处理方法
CN102053339B (zh) 2010-11-23 2014-04-16 天津市亚安科技股份有限公司 自动聚焦方法
JP6080417B2 (ja) 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
US9959634B2 (en) * 2012-03-13 2018-05-01 Google Llc Method and system for identifying depth data associated with an object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20080231714A1 (en) * 2007-03-22 2008-09-25 Texas Instruments Incorporated System and method for capturing images
US20090196522A1 (en) * 2008-02-04 2009-08-06 Ricoh Company, Ltd. Apparatus, method and system for image processing
JP2010206552A (ja) * 2009-03-03 2010-09-16 Ricoh Co Ltd 撮像装置、再生表示装置、撮像記録方法および再生表示方法
US20120188394A1 (en) * 2011-01-21 2012-07-26 Samsung Electronics Co., Ltd. Image processing methods and apparatuses to enhance an out-of-focus effect
US20130044254A1 (en) * 2011-08-18 2013-02-21 Meir Tzur Image capture for later refocusing or focus-manipulation
JP2013088579A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置
US20140002606A1 (en) * 2012-06-29 2014-01-02 Broadcom Corporation Enhanced image processing with lens motion

Also Published As

Publication number Publication date
US10237491B2 (en) 2019-03-19
CN105453538B (zh) 2019-09-06
CN105453538A (zh) 2016-03-30
KR102068748B1 (ko) 2020-02-11
EP3028445A1 (en) 2016-06-08
EP3028445A4 (en) 2017-03-08
US20150035855A1 (en) 2015-02-05
WO2015016619A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
KR102068748B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
JP6546474B2 (ja) 撮像装置およびその制御方法
JP6271990B2 (ja) 画像処理装置、画像処理方法
US8823861B2 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
JP5531467B2 (ja) 撮像装置、および画像処理方法、並びにプログラム
KR20130020579A (ko) 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법
WO2018096816A1 (ja) 焦点調節装置、焦点調節装置の制御方法及び焦点調節プログラムを記憶した記録媒体
US10694093B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6323022B2 (ja) 画像処理装置
JP5886781B2 (ja) 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6228402B2 (ja) 画像再生装置、画像再生方法、プログラム、及び記憶媒体
JP2019133026A (ja) 撮像装置及びその焦点調節方法、並びにプログラム
JP6581333B2 (ja) 画像処理装置、撮像装置およびプログラム
US7899315B2 (en) Method of automatically adjusting the depth of field
JP6031670B2 (ja) 撮像装置
JP2011242652A (ja) 焦点検出装置およびその制御方法
JP6210836B2 (ja) 撮像装置、撮像制御装置、その制御方法およびプログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6074201B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2016138999A (ja) 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法
JP2015118338A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6106026B2 (ja) 画像処理装置、撮像装置、再生装置、制御方法、及びプログラム
JP2010282079A (ja) 撮像装置及びその制御方法
JP6433474B2 (ja) 撮像装置およびその制御方法
KR101270653B1 (ko) 디지털 광학장치의 자동초점 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant