KR102066938B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102066938B1
KR102066938B1 KR1020130098606A KR20130098606A KR102066938B1 KR 102066938 B1 KR102066938 B1 KR 102066938B1 KR 1020130098606 A KR1020130098606 A KR 1020130098606A KR 20130098606 A KR20130098606 A KR 20130098606A KR 102066938 B1 KR102066938 B1 KR 102066938B1
Authority
KR
South Korea
Prior art keywords
subject
focus lens
distance information
focused
subjects
Prior art date
Application number
KR1020130098606A
Other languages
English (en)
Other versions
KR20150021350A (ko
Inventor
최문규
김지홍
윤석준
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020130098606A priority Critical patent/KR102066938B1/ko
Priority to US14/908,315 priority patent/US9648224B2/en
Priority to PCT/KR2014/003287 priority patent/WO2015026041A1/ko
Publication of KR20150021350A publication Critical patent/KR20150021350A/ko
Application granted granted Critical
Publication of KR102066938B1 publication Critical patent/KR102066938B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명은 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보 및 크기정보를 산출하는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 방법은 포커스 렌즈를 무한대에서 근거리로 순차적으로 이동시키는 단계, 포커스 렌즈의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩 저장하는 단계, 및 중첩된 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 포커스 렌즈의 임의의 위치에서 포커싱된 피사체를 기준으로, 포커스 렌즈의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 산출하여 표시하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}
본 발명은 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보 및 크기정보를 산출하는 영상 처리 장치 및 방법에 관한 것이다.
대상물간의 거리를 측정하기 위한 다양한 장치들이 제시되고 있는데, 수 미터의 근거리를 측정하는 초음파 근거리 측정 장치, 수백 미터 또는 수 킬로미터의 장거리를 측정하는 적외선 장거리 측정 장치 등이 제시되고 있다. 상기 거리 측정 장치들은 별도의 장치물로 제작되고 있는데, 만약, 특정 장치물에 거리 측정 장치들을 부가시켜 제작될 경우, 장치물 전체의 부피가 증가하기 때문에 장치 설계 시에 공간적 제약을 받으며, 장치 소형화 추세에 역행하는 문제가 있다.
일본 공개 특허 공보 제2003-195148호
본 발명이 해결하고자 하는 기술적인 과제는 별도의 거리측정 알고리즘 없이 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보를 산출하여 디스플레이 하는 영상 처리 장치 및 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 다른 기술적인 과제는 별도의 크기측정 알고리즘 없이 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보를 산출하고, 산출한 거리정보에 따라 피사체의 크기정보를 산출하여 디스플레이 하는 영상 처리 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 처리 방법은 포커스 렌즈를 무한대에서 근거리로 순차적으로 이동시키는 단계; 상기 포커스 렌즈의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩 저장하는 단계; 및 중첩된 상기 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 상기 포커스 렌즈의 임의의 위치에서 포커싱된 피사체를 기준으로, 상기 포커스 렌즈의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 산출하여 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 포커스 렌즈의 각 이동위치에, 영상 처리 장치로부터 피사체까지의 실제 거리정보를 매핑한 데이터베이스를 구축하는 단계; 및 상기 합성 프레임 내에, 각 피사체가 포커싱될 때 상기 포커스 렌즈의 위치에 매핑된 상기 실제 거리정보를 상기 데이터베이스로부터 검색하여 표시하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 합성 프레임 내에서 피사체 각각의 크기를 산출하는 단계; 상기 포커싱된 피사체 각각에 매핑된 실제 거리정보를 획득하는 단계; 및 포커싱된 임의의 피사체에 매핑된 실제 거리정보를 기준으로, 포커싱된 다른 피사체들의 실제 거리정보 비율을 산출하는 단계; 및 상기 피사체 각각의 크기에 상기 비율을 적용하여 상기 피사체들의 실제 크기정보를 산출하여 산출하여 표시하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 처리 장치는 포커스 렌즈; 상기 포커스 렌즈를 무한대에서 근거리로 순차적으로 이동시키는 렌즈 구동부; 및 상기 포커스 렌즈의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩 저장하고, 중첩된 상기 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 상기 포커스 렌즈의 임의의 위치에서 포커싱된 피사체를 기준으로, 상기 포커스 렌즈의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 산출하여 표시하는 거리정보 산출부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 거리정보 산출부는, 상기 포커스 렌즈의 각 이동위치에, 상기 영상 처리 장치로부터 피사체까지의 실제 거리정보를 매핑한 데이터베이스를 구축하고, 상기 합성 프레임 내에 각 피사체가 포커싱될 때 상기 포커스 렌즈의 위치에 매핑된 상기 실제 거리정보를 상기 데이터베이스로부터 검색하여 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 합성 프레임 내에서 피사체 각각의 크기를 산출하고, 포커싱된 임의의 피사체에 매핑된 실제 거리정보를 기준으로, 포커싱된 다른 피사체들의 실제 거리정보 비율을 산출하며, 상기 피사체 각각의 크기에 상기 비율을 적용하여 상기 피사체들의 실제 크기정보를 산출하여 표시하는 크기정보 산출부;를 더 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 별도의 거리 측정 알고리즘 또는 크기 측정 알고리즘 없이 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보 및 크기정보를 산출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 피사체의 상대적인 거리정보 산출을 설명하는 도면이다.
도 3은 도 1 중 데이터베이스 구축을 설명하는 도면이다.
도 4는 도 1 중 피사체의 실제 거리정보 산출을 설명하는 도면이다.
도 5는 도 1 중 피사체의 실제 크기정보 산출을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
도 7은 본 발명의 다른 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
도 8은 본 발명의 또 다른 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다. 도 1을 참조하면, 영상 처리 장치(100)는 촬상부(100), 영상 신호 처리부(120), 저장부(130), 디지털 신호 처리부(200) 및 디스플레이부(300)를 포함한다.
피사체로부터의 광속은 촬상부(110)의 광학계인 줌 렌즈(111) 및 포커스 렌즈(113)를 투과하고, 조리개(115)의 개폐 정도에 따라 그 광량이 조정된 후, 촬상소자(117)의 수광면에 이르러 피사체의 상이 결상된다. 촬상소자(117)의 수광면에 결상되는 상은 광전 변환 처리에 의하여 전기적인 영상 신호로 변환된다. 촬상소자(117)로는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 조리개(115)는 통상 상태 또는 릴리스 버튼을 반쯤 눌러 형성된 첫 번째 릴리스 신호를 받고 행해지는 오토포커싱 알고리즘 실행시에는 개방 상태가 되고, 릴리스 버튼을 지그시 눌러 형성된 두 번째 릴리스 신호를 받아 노출 처리가 실행될 수 있다. 상기 줌 렌즈(111) 및 포커스 렌즈(113)는 각각 줌 렌즈 구동부(112) 포커스 렌즈 구동부(113)에 의해 그 위치 등이 제어된다. 조리개(115)는 조리개 구동부(114)에 의해 개방 정도 등이 제어된다. 촬상 소자(117)도 촬상 소자 제어부(118)에 의해 감도 등이 제어된다. 이들 줌 렌즈 구동부(112), 포커스 렌즈 구동부(114), 조리개 구동부(116), 및 촬상 소자 제어부(118)는 노출 정보, 초점 정보 등을 기준으로 디지털 신호 처리부(200)에서 연산된 결과에 따라 해당 구성부들을 제어한다.
영상 신호 처리부(120)는 촬상소자(117)로부터 입력되는 아날로그 영상신호를 디지털 영상신호로 변환하고, 변환된 디지털 영상신호에 대하여 각종의 화상 처리가 행해진다. 이러한 처리가 행해진 영상 신호는 저장부(130)에 저장되어 디지털 신호 처리부(200)의 제어 하에 디스플레이부(300)로 출력되거나, 외부로 전송될 수 있다. 영상 신호 처리부(120)는 사람의 시각에 맞게 영상 데이터를 변환하도록 오토 화이트 밸런스(Auto White Balance)나 오토익스포저(Auto Exposure), 감마 코렉션(Gamma Correction) 등의 신호 처리를 행하여 화질을 개선하고, 개선된 화질의 영상 신호를 출력하는 역할을 한다. 또한, 영상신호 처리부(130)에서 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 처리를 수행하게 된다.
저장부(130)는 전원의 공급 여부와 관계없이 상기 디지털 카메라(100)의 동작에 관한 프로그램이 저장되거나, 영상 데이터와 그 밖에 데이터들을 저장할 수 있다.
디지털 신호 처리부(200)는 저장부(130)에 저장된 운용 시스템 및 응용 프로그램에 따라 연산 처리하고, 상기 연산 결과를 임시 저장하며, 상기 연산 결과에 따라 해당 구성부를 제어하여 영상 처리 장치(100)가 동작하도록 한다. 특히 본 발명에서 디지털 신호 처리부(200)는 포커스 렌즈 구동부(114)를 제어하여 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키면서, 영상 내에 포함되는 피사체들의 상대적인 거리정보, 피사체들의 실제 거리정보 및 피사체들의 실제 크기정보를 산출하여 디스플레이부(300)에 표시한다. 이를 위해 디지털 신호 처리부(200)는 거리정보 산출부(210) 및 크기정보 산출부(220)를 포함할 수 있다.
먼저, 도 2를 참조하여 영상 내에 포함되는 피사체들의 실제 거리정보를 산출하는 거리정보 산출부(210)에 대해 설명하기로 한다. 도 2는 도 1 중 피사체의 상대적인 거리정보 산출을 설명하는 도면이다.
거리정보 산출부(210)는 포커스 렌즈 구동부(114)를 제어하여, 포커스 렌즈(113)의 초점 거리가 무한대에서 초점이 맞도록 설정한다. 여기서, 포커스 렌즈 구동부(114)는 포커스 렌즈(113)를 이동시키는 엑추에이터로써, 예를 들어 보이스 코일 모터(voice coil motor)일 수 있다. 포커스 렌즈(113)의 초점 거리가 무한대에서 초점이 맞도록 설정되면 도 2a와 같은 화면이 디스플레이부(300)에 표시된다.
거리정보 산출부(210)는 포커스 렌즈 구동부(114)를 제어하여, 포커스 렌즈(113)를 무한대에서 근거리에 초점이 맺히도록 이동시키면서, 피사체가 포커싱되는 곳에 대한 프레임들을 중첩시켜 저장한다. 도 2b 및 도 2c는 포커스 렌즈(113)를 근거리로 이동시키면서, 가장 먼 곳 및 중거리에서 포커싱된 피사체 프레임을 보이는 도면이다. 여기서, 프레임 저장 시에 포커싱된 피사체들을 선택하여 저장할 수 있다. 예를 들어, 도 2c와 같이 중거리에서 포커싱된 피사체가 둘 이상 존재하는 경우, 임의의 한 피사체를 선택하면, 해당 포커싱된 피사체 프레임만 저장될 수 있다.
거리정보 산출부(210)는 중첩된 영상 프레임들을 한 프레임으로 합성하여 디스플레이 함과 동시에, 포커스 렌즈(113)의 임의의 위치에서 포커싱된 피사체를 기준으로, 포커스 렌즈(113)의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 표시한다. 예를 들어, 도 2b에 도시된 바와 같이 포커스 렌즈(113)가 가장 먼 곳에서 포커싱된 피사체를 기준으로, 다른 피사체들의 포커싱된 위치를 가장 먼 곳, 중거리, 근거리 등으로 도 2d와 같이 표시할 수 있다. 도 2d의 경우, 모든 피사체에 대해 상대적인 거리정보를 포함하고 있음을 알 수 있다.
이어서, 도 3 및 도 4를 참조하여 영상 내에 포함되는 피사체들의 실제 거리정보를 산출하는 거리정보 산출부(210)에 대해 설명하기로 한다. 도 3은 도 1 중 데이터베이스 구축을 설명하는 도면이고, 도 4는 도 1 중 피사체의 실제 거리정보 산출을 설명하는 도면이다.
피사체의 실제 거리정보 산출을 위해, 먼저 데이터베이스를 구축하여 저장부(130)에 저장하는데, 여기서 데이터베이스라 함은, 포커스 렌즈(113)의 각 이동위치에, 영상 처리 장치(100)로부터 피사체까지의 실제 거리정보를 매핑한 것으로 실험을 통해서 구축할 수 있다. 도 3을 참조하면, 포커스 렌즈(113)는 포커스 렌즈 구동부(114)에 의해 각 스텝 별로 무한대에서 근거리까지 이동하는데, 포커싱이 이루어져 포커스 렌즈(113)가 위치 고정될 때의 스텝에 따른 피사체의 거리가 매핑된다. 예를 들어 포커스 렌즈 구동부(114)의 스텝이 0-255까지 인 경우, 각 스텝에 따른 피사체의 거리를 0.9m-104m까지 할당시켜 놓을 수 있다.
거리정보 산출부(210)는 포커스 렌즈 구동부(114)를 제어하여, 포커스 렌즈(113)를 무한대에서 근거리에 초점이 맺히도록 이동시키면서, 포커싱된 프레임들을 중첩시켜 저장한다. 이때 각 피사체가 포커싱될 때마다 포커스 렌즈 구동부(114)의 스텝에 매핑된 실제 거리정보를 알 수 있다.
거리정보 산출부(210)는 중첩된 영상 프레임들을 한 프레임으로 합성하여 디스플레이 함과 동시에, 포커싱된 피사체 각각에 매핑된 실제 거리정보를 데이터베이스로부터 검출하여 디스플레이부(300)에 표시한다. 도 4a에는 영상 처리 장치(100)에서 각각 다른 거리를 갖는 피사체들을 보이고 있고, 도 4b에는 합성 프레임 내에, 거리정보 산출부(210)가 생성한 피사체 각각의 실제 거리정보를 표시한 것을 보여주고 있다.
다른 실시 예로 피사체의 거리정보 산출을 위해, 포커스 렌즈(113), 포커스 렌즈 구동부(114), 조리개(115) 및 조리개 구동부(116)를 이용할 수 있다. 조리개(115)의 오픈 정도로 포커싱 되는 지점이 달라지므로, 이와 같은 조리개(115)의 오프 값을 이용하여 포커싱된 피사체의 거리정보를 저장하여 활용할 수 있다.
또한 피사체의 거리정보 산출을 위해, 포커스 렌즈(113), 포커스 렌즈 구동부(114) 및 셔터(미도시) 스피드를 이용할 수 있다. 셔터 스피드를 다르게 하면, 포커싱 되는 지점이 달라지므로 이와 같은 셔터 스피드 값을 이용하여 포커싱된 피사체의 거리 정보를 저장하여 활용할 수 있다.
더 나아가 피사체의 거리정보 산출을 위해 포커스 렌즈(113), 포커스 렌즈 구동부(114), 조리개(115), 조리개 구동부(116) 및 셔터 스피드를 이용할 수 있다.
다음에, 거리정보 산출부(210)의 실제 거리정보 및 도 5를 참조하여 영상 내에 포함되는 피사체들의 실제 크기정보를 산출하는 크기정보 산출부(220)에 대해 설명하기로 한다. 도 5는 도 1 중 피사체의 실제 크기정보 산출을 설명하는 도면이다.
도 5a는 영상 처리 장치(100)가 피사체 A 및 피사체 B를 촬영하는 상태를 보이고, 도 5b는 촬영된 피사체 A 및 피사체 B를 디스플레이부(300)에 표시한 상태를 보여준다. 일반적으로 피사체 검출은 디스플레이부(300) 상에 표시된 피사체의 절대적인 크기에만 의존하고 있다. 그러나, 실제로 가까이에 있는 피사체 A(예를 들어, 애완견)보다는 멀리에 있는 피사체 B(예를 들어, 사람)이 검출 대상으로 더 적합하다고 할 수 있다. 즉, 근거리의 피사체와 원거리의 피사체 사이의 실제적인 거리값에 의한 크기 보정이 필요하며, 이를 반영하여 피사체 검출을 해야 한다는 것이다.
도 5b에서와 같이, 피사체 A는 피사체 B 보다 절대적인 크기는 작으나, 근거리에 위치하고 있기 때문에 디스플레이부(300) 상에서는 피사체 A가 더 크게 인식 된다. 즉 디스플레이부(300) 상의 일정 크기를 기준으로 피사체 검출을 시행하는 경우, 피사체 A는 검출할 수 있지만 피사체 B는 검출하지 못하게 된다. 그러나 실제로 피사체 B가 피사체 A 보다 더 크다는 것을 감안한다면, 반드시 거리정보를 이용하여 유효한 정보를 얻어내야 할 것이다. 따라서 포커싱을 이용하여 얻은 피사체의 실제 거리정보를 이용하여 피사체 검출을 시행한다면 좀 더 유효한 데이터를 추출할 수 있을 것이다.
크기정보 산출부(220)는 피사체의 실제 거리정보를 이용하여 피사체의 실제 크기정보를 산출하여 디스플레이부(300)에 표시한다. 크기정보 산출부(220)는 도 5c와 같은 합성 프레임 내에서 피사체 각각의 크기를 산출한다. 예를 들어, 피사체 A의 화면상 크기는 1cm, 피사체 B의 화면상 크기는 2/3cm로 산출하였다고 가정한다.
크기정보 산출부(220)는 거리정보 산출부(210)로부터 피사체 A 및 피사체 B의 실제 거리정보를 획득한다. 예를 들어, 크기정보 산출부(220)가 거리정보 산출부(210)로부터 피사체 A의 실제 거리정보를 10m, 피사체 B의 실제 거리정보를 30m로 획득하였다고 가정한다. 피사체 A 및 피사체 B의 실제 거리정보가 획득되면, 피사체 A의 실제 거리정보를 기준으로 피사체 B의 실제 거리정보 비율을 산출할 수 있는데, 그 비율은 1: 3이 된다. 즉, 피사체 B의 실제 거리정보가 피사체 A의 실제 거리정보 보다 3배 더 먼 것을 알 수 있다.
이로부터 크기정보 산출부(220)는 피사체 B의 실제 크기는 피사체 A의 실제 크기 보다 3배 더 큼을 알 수 있으며, 이로부터 합성 프레임 내에서 피사체 A의 크기가 1cm인 경우 피사체 B의 실제 크기는 2cm가 되어, 결과적으로 피사체 B가 피사체 A보다 더 크다는 것을 알 수 있다. 따라서, 크기정보 산출부(220)는 디스플레이부(300)에 피사체 B가 피사체 A보다 더 크다는 것을 표시해줄 수 있다.
이와 같이 별도의 거리 측정 알고리즘 또는 크기 측정 알고리즘 없이 포커싱 기술을 이용하여 영상 프레임 내에서 피사체의 거리정보 및 크기정보를 산출할 수 있게 된다.
이하, 도 6내지 도 8을 참조하면 본 발명의 실시 예에 따른 영상 처리 방법을 설명하기로 한다. 본 발명의 실시 예에 따른 영상 처리 방법은 도 1에 도시된 바와 같이 영상 처리 장치(100) 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 기기 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(200) 내부에서 수행될 수 있다. 이하의 설명에서, 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 6은 영상 처리 방법 중의 피사체의 상대적인 거리정보 산출 방법의 동작을 보이는 흐름도 이다.
도 6을 참조하면, 디지털 신호 처리부(200)는 포커스 렌즈 구동부(114)를 제어하여 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키는 단계(S610)를 수행한다.
디지털 신호 처리부(200)는 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키면서, 포커스 렌즈(113)의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩하여 저장하는 단계(S620)를 수행한다. 여기서, 프레임 저장 시에 포커싱된 피사체들을 선택하여 저장할 수 있다. 예를 들어, 중거리에서 포커싱된 피사체가 둘 이상 존재하는 경우, 임의의 한 피사체를 선택하면, 해당 포커싱된 피사체 프레임만 저장될 수 있다.
이후, 디지털 신호 처리부(200)는 중첩된 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 포커스 렌즈(113)의 임의의 위치에서 포커싱된 피사체를 기준으로, 포커스 렌즈(113)의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 산출하여 표시하는 단계(S630)를 수행한다. 예를 들어, 포커스 렌즈(113)가 근거리에서 포커싱된 피사체를 기준으로, 다른 피사체들의 포커싱된 위치를 근거리, 중거리, 가장 먼 곳 등과 같이 표시할 수 있다. 따라서, 합성 프레임 내에서 포커싱된 모든 피사체의 거리정보를 표시할 수 있다.
도 7은 영상 처리 방법 중의 피사체의 실제 거리정보 산출 방법의 동작을 보이는 흐름도 이다.
도 7을 참조하면, 디지털 신호 처리부(200)는 포커스 렌즈(113)의 각 이동위치에, 영상 처리 장치(100)로부터 피사체까지의 실제 거리정보를 매핑한 데이터베이스를 구축하는 단계(S710)를 수행한다. 포커스 렌즈(113)는 포커스 렌즈 구동부(114)에 의해 각 스텝별로 무한대에서 근거리까지 이동하는데, 포커싱이 이루어져 포커스 렌즈(113)가 위치 고정될 때의 스텝에 따른 피사체의 거리가 매핑된다.
데이터베이스 구축이 완료되면, 디지털 신호 처리부(200)는 포커스 렌즈 구동부(114)를 제어하여 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키는 단계(S720)를 수행한다.
디지털 신호 처리부(200)는 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키면서, 포커스 렌즈(113)의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩하여 저장하는 단계(S730)를 수행한다.
이후, 디지털 신호 처리부(200)는 중첩된 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 각 피사체가 포커싱될 때 포커스 렌즈 구동부(114)의 스텝에 매핑된 실제 거리정보를 데이터베이스로부터 검출하여 표시하는 단계(S740)를 수행한다.
도 8은 영상 처리 방법 중의 피사체의 실제 크기정보 산출 방법의 동작을 보이는 흐름도 이다.
도 8을 참조하면, 디지털 신호 처리부(200)는 포커스 렌즈(113)의 각 이동위치에, 영상 처리 장치(100)로부터 피사체까지의 실제 거리정보를 매핑한 데이터베이스를 구축하는 단계(S810)를 수행한다.
데이터베이스 구축이 완료되면, 디지털 신호 처리부(200)는 포커스 렌즈 구동부(114)를 제어하여 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키는 단계(S820)를 수행한다.
디지털 신호 처리부(200)는 포커스 렌즈(113)를 무한대에서 근거리로 순차적으로 이동시키면서, 포커스 렌즈(113)의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩하여 저장하는 단계(S830)를 수행한다.
이후, 디지털 신호 처리부(200)는 중첩된 프레임들을 한 프레임으로 합성 디스플레이 함과 동시에, 합성 프레임 내에서 피사체 각각의 크기를 산출하는 단계(S840)를 수행한다.
합성 프레임 내에서 피사체 크기 산출이 완료되면, 디지털 신호 처리부(200)는 각 피사체가 포커싱될 때 포커스 렌즈 구동부(114)의 스텝에 매핑된 실제 거리정보를 데이터베이스로부터 검출하여 획득하는 단계(S850)를 수행한다.
피사체의 실제 거리정보 획득이 완료되면, 디지털 신호 처리부(200)는 포커싱된 임의의 피사체에 매핑된 실제 거리정보를 기준으로, 포커싱된 다른 피사체들의 실제 거리정보 비율을 산출하는 단계(S860)를 수행한다.
비율 산출이 완료되면, 디지털 신호 처리부(200)는 피사체 각각의 크기에 산출한 비율을 적용하여 피사체들의 실제 크기정보를 산출하여 표시하는 단계(S870)를 수행한다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 영상 처리 장치 110: 촬상부
113: 포커스 렌즈 114: 포커스 렌즈 구동부
120: 영상 신호 처리부 130: 저장부
200: 디지털 신호 처리부 210: 거리정보 산출부
220: 크기정보 산출부 300: 디스플레이부

Claims (6)

  1. 포커스 렌즈를 무한대에서 근거리로 순차적으로 이동시키는 단계;
    상기 포커스 렌즈의 각 이동위치에서 포커싱된 피사체를 포함하는 프레임들을 중첩 저장하는 단계; 및
    중첩된 상기 프레임들을 합성한 합성 프레임을 디스플레이 함과 동시에, 상기 포커스 렌즈의 임의의 위치에서 포커싱된 피사체를 기준으로, 상기 포커스 렌즈의 다른 위치에서 포커싱된 피사체들의 상대적인 거리정보를 산출하여 표시하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제 1항에 있어서,
    상기 포커스 렌즈의 각 이동위치에, 영상 처리 장치로부터 피사체까지의 실제 거리정보를 매핑한 데이터베이스를 구축하는 단계; 및
    상기 합성 프레임 내에, 각 피사체가 포커싱될 때 상기 포커스 렌즈의 위치에 매핑된 상기 실제 거리정보를 상기 데이터베이스로부터 검색하여 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 합성 프레임 내의 피사체들 각각의 크기를 산출하는 단계;
    상기 합성 프레임 내의 피사체들 중 임의의 피사체의 실제 거리정보를 기준으로, 다른 피사체들의 실제 거리정보 비율을 산출하는 단계; 및
    상기 피사체들 각각의 상기 합성 프레임 내에서의 크기에 상기 비율을 적용하여 상기 피사체들 각각의 실제 크기정보를 산출하여 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020130098606A 2013-08-20 2013-08-20 영상 처리 장치 및 방법 KR102066938B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130098606A KR102066938B1 (ko) 2013-08-20 2013-08-20 영상 처리 장치 및 방법
US14/908,315 US9648224B2 (en) 2013-08-20 2014-04-16 Apparatus and method of processing image
PCT/KR2014/003287 WO2015026041A1 (ko) 2013-08-20 2014-04-16 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130098606A KR102066938B1 (ko) 2013-08-20 2013-08-20 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150021350A KR20150021350A (ko) 2015-03-02
KR102066938B1 true KR102066938B1 (ko) 2020-01-16

Family

ID=52483793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098606A KR102066938B1 (ko) 2013-08-20 2013-08-20 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US9648224B2 (ko)
KR (1) KR102066938B1 (ko)
WO (1) WO2015026041A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295122A1 (en) 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
US9906181B2 (en) * 2015-04-23 2018-02-27 Samsung Electro-Mechanics Co., Ltd. Voice coil motor driver and camera module having the same
US9800773B2 (en) * 2015-06-25 2017-10-24 Motorola Mobility Llc Digital camera apparatus with dynamically customized focus reticle and automatic focus reticle positioning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181034A (ja) * 2003-12-18 2005-07-07 Casio Comput Co Ltd サイズ測定装置およびプログラム
JP2007208745A (ja) * 2006-02-02 2007-08-16 Victor Co Of Japan Ltd 監視装置及び監視方法
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2012156747A (ja) 2011-01-26 2012-08-16 Casio Comput Co Ltd 撮像装置、画像合成方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804529B2 (ja) 2001-12-26 2006-08-02 フジノン株式会社 被写体距離表示装置
US7974460B2 (en) * 2007-02-06 2011-07-05 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
JP4926833B2 (ja) * 2007-06-01 2012-05-09 パナソニック株式会社 カメラシステム
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
KR101396347B1 (ko) 2007-11-30 2014-05-19 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
JP2011053299A (ja) 2009-08-31 2011-03-17 Canon Inc レンズ装置
KR20110074045A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 피사체의 실제 크기를 가늠할 수 있는 그래픽을 디스플레이하는 촬영장치 및 방법
CN103229509B (zh) * 2010-02-19 2016-08-17 双光圈国际株式会社 处理多孔径像数据
KR20110104748A (ko) 2010-03-17 2011-09-23 삼성테크윈 주식회사 디지털 촬영장치 및 그 제어방법
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
KR101764433B1 (ko) 2011-08-12 2017-08-02 엘지이노텍 주식회사 카메라 모듈 및 그를 이용한 거리 측정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181034A (ja) * 2003-12-18 2005-07-07 Casio Comput Co Ltd サイズ測定装置およびプログラム
JP2007208745A (ja) * 2006-02-02 2007-08-16 Victor Co Of Japan Ltd 監視装置及び監視方法
JP2007329784A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2012156747A (ja) 2011-01-26 2012-08-16 Casio Comput Co Ltd 撮像装置、画像合成方法、及びプログラム

Also Published As

Publication number Publication date
US9648224B2 (en) 2017-05-09
KR20150021350A (ko) 2015-03-02
WO2015026041A1 (ko) 2015-02-26
US20160198082A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
US10009540B2 (en) Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data
JP5725975B2 (ja) 撮像装置及び撮像方法
CN107087099B (zh) 摄像装置、图像再现装置及其控制方法
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6159097B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5938281B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
JP6833498B2 (ja) 撮像装置、撮像方法およびコンピュータのプログラム
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
US9674420B2 (en) Lens apparatus and image capturing apparatus
JP2017129788A (ja) 焦点検出装置及び方法、及び撮像装置
KR102066938B1 (ko) 영상 처리 장치 및 방법
US20220270342A1 (en) Electronic apparatus and control method of the same
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
JP5526733B2 (ja) 画像合成装置、画像再生装置、および撮像装置
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP2018148383A (ja) 撮像装置および撮像ユニット
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP2017184007A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP2016046774A (ja) 撮像装置
JP6218615B2 (ja) 表示機器、表示方法、撮影装置及び撮影システム
JP7353749B2 (ja) 画像処理装置、撮像装置及び画像処理装置の制御方法
JP7113327B1 (ja) 撮像装置
JP5769534B2 (ja) 撮像装置、撮像方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right