KR101938381B1

KR101938381B1 - 촬상 장치 및 촬상 방법

Info

Publication number: KR101938381B1
Application number: KR1020120075155A
Authority: KR
Inventors: 김도한; 이창우; 정영훈
Original assignee: 삼성전자주식회사
Priority date: 2012-07-10
Filing date: 2012-07-10
Publication date: 2019-01-14
Also published as: US20140015966A1; KR20140007692A; US9215426B2

Abstract

촬상 장치 및 촬상 방법이 개시된다. 촬상 장치는 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 촬상부, 포착 조건 및 센싱된 이미지를 저장하는 저장부, 저장된 이미지 내에서 복수의 물체를 지정하고, 복수의 물체 각각의 움직임을 분석하여, 움직임이 포착 조건에 부합하게 되는 포착 순간을 예측하는 제어부 및 예측된 포착 순간에 촬상을 수행하도록 촬상부를 제어하는 셔터 제어부를 포함한다. 촬상 방법은 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 단계, 센싱된 이미지를 저장하는 단계, 저장된 이미지 내에서 복수의 물체를 지정하는 단계, 복수의 물체 각각의 움직임을 분석하여, 움직임이 포착 조건에 부합하게 되는 포착 순간을 예측하는 단계 및 예측된 포착 순간에 촬상을 수행하도록 입력되는 광을 제어하는 단계를 포함한다.

Description

촬상 장치 및 촬상 방법{IMAGING APPARATUS AND IMAGING METHOD}

본 발명은 촬상 장치 및 촬상 방법에 관한 것으로, 더욱 상세하게는 물체의 움직임 정보를 이용하여 순간적인 영상을 촬상하는 장치 및 방법에 관한 것이다.

영상 촬상 장치는 장치 내에서 생성한 규칙적인 신호를 기반으로 영상을 획득하고, 처리하는 방식을 채택하고 있다. 최근, 카메라, 캠코더 및 휴대 전화 등은 정지영상 촬영시, 센서로부터 초당 수 프레임(frame)의 영상을 입력받아 처리 및 저장하고 있으며, 동영상의 경우, 해상도에 따라 다르지만 일반적으로 초당 30 프레임 또는 60 프레임의 속도로 취득한 영상을 사용자에게 보여 주거나 영상을 녹화한다.

자연계에서 발생하는 모든 영상들은 시간적으로 연속하는 아날로그적인 성격을 지니고 있으며, 영상 촬상 장치는 연속적인 영상을 내부에서 생성된 기준 신호를 바탕으로 해당 시점의 영상을 이산 신호로 변환하여 신호처리 및 저장을 하게 된다. 따라서, 장치 내에서 발생한 규칙적인 신호 기반의 영상 획득 및 처리는 촬영자가 정확한 시점을 포착하기 어렵다. 예를 들어, 스포츠 장면 중 원하는 시점 촬영 또는 고속으로 움직이고 있는 물체의 적절한 촬영은 어려운 점이 많다.

이러한 문제점을 해결하기 위해, 다양한 방법이 제안되었다. 예를 들면, 카메라에 물체 감식용 장치(position sensor)를 장착하고, 일정 범위 내에 물체가 접근하면 동기 신호를 생성하여 시스템의 신호발생기로 전송하고 전송시스템 내에서 새로운 신호를 생성하는 방식이다. 그러나, 물체 감식용 장치는 이동하는 물체의 위치 정보만 획득하므로 상술한 방식의 카메라는 사용자가 원하는 상황에 대한 촬영 및 정확한 촬영 시점을 찾기 어려운 점이 있다. 따라서, 사용자에 대하여 보다 효과적으로 원하는 시점을 포착하여 촬영할 수 있는 기술에 대한 필요성이 대두되고 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 순간적인 시점을 포착하여 촬상할 수 있는 촬상 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 촬상 장치는 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 촬상부, 포착 조건 및 상기 센싱된 이미지를 저장하는 저장부, 상기 저장된 이미지 내에서 복수의 물체를 지정하고, 상기 복수의 물체 각각의 움직임을 분석하여, 상기 움직임이 상기 포착 조건에 부합하게 되는 포착 순간을 예측하는 제어부 및 예측된 상기 포착 순간에 촬상을 수행하도록 상기 촬상부를 제어하는 셔터 제어부를 포함한다.

또한, 촬상 장치는 상기 저장부에 저장된 이미지를 디스플레이하는 디스플레이부 및 상기 디스플레이된 이미지에 포함된 물체를 선택하기 위한 사용자 선택 신호를 입력받는 입력부를 더 포함할 수 있으며, 상기 제어부는 상기 사용자 선택 신호에 기초하여 상기 복수의 물체를 지정할 수 있다.

그리고, 촬상 장치의 상기 제어부는 상기 저장부에 저장된 이미지 내에 포함된 물체들 중에서 기 설정된 선택 기준에 부합되는 물체를 자동으로 지정할 수 있다. 또한, 촬상 장치의 상기 제어부는 상기 복수의 물체 각각의 움직임 궤적 또는 움직임 속도 중 적어도 하나를 산출하여 상기 포착 순간을 예측할 수 있다.

그리고, 촬상 장치의 상기 포착 조건은 상기 복수의 물체 간의 충돌이 이루어지는 시점에 포착을 수행하도록 설정된 조건이며, 상기 제어부는 상기 복수의 물체 각각의 움직임 궤적 및 움직임 속도를 산출하여, 상기 복수의 물체가 충돌할 것으로 예측되는 시점을 상기 포착 순간으로 결정할 수 있다.

본 발명의 목적을 달성하기 위한 다른 실시예에 따르면 촬상 장치의 상기 촬상부는 상기 이미지를 주기적으로 센싱하고, 상기 저장부는 상기 센싱된 이미지를 저장하며, 상기 제어부는 상기 저장부에 저장된 이미지들을 분석하여, 신규 물체의 존재 여부를 판단하며, 상기 신규 물체가 존재하면 상기 신규 물체의 움직임 및 기존 물체의 움직임에 기초하여 상기 포착 순간을 예측할 수 있다.

또한, 촬상 장치의 상기 제어부는 상기 기존 물체 및 상기 신규 물체 각각의 움직임 궤적 또는 움직임 속도 중 적어도 하나를 산출하여 상기 포착 순간을 예측할 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 촬상 방법은 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 단계, 상기 센싱된 이미지를 저장하는 단계, 상기 저장된 이미지 내에서 복수의 물체를 지정하는 단계, 상기 복수의 물체 각각의 움직임을 분석하여, 상기 움직임이 상기 포착 조건에 부합하게 되는 포착 순간을 예측하는 단계 및 예측된 상기 포착 순간에 촬상을 수행하도록 상기 입력되는 광을 제어하는 단계를 포함한다.

또한, 촬상 방법은 상기 저장된 이미지를 디스플레이하는 단계 및 상기 디스플레이된 이미지에 포함된 물체를 선택하기 위한 사용자 선택 신호를 입력받는 단계를 더 포함할 수 있으며, 상기 복수의 물체를 지정하는 단계는 상기 사용자 선택 신호에 기초하여 상기 복수의 물체를 지정할 수 있다.

그리고, 촬상 방법의 상기 복수의 물체를 지정하는 단계는 상기 저장부에 저장된 이미지 내에 포함된 물체들 중에서 기 설정된 선택 기준에 부합되는 물체를 자동으로 지정할 수 있다.

또한, 촬상 방법의 상기 물체 각각의 움직임은 움직임 궤적 또는 움직임 속도 중 적어도 하나를 포함할 수 있다. 또한, 촬상 방법의 상기 포착 조건은 상기 복수의 물체 간의 충돌이 이루어지는 시점에 포착을 수행하도록 설정된 조건이며, 상기 포착 순간을 예측하는 단계는 상기 복수의 물체 각각의 움직임 궤적 및 움직임 속도를 산출하여, 상기 복수의 물체가 충돌할 것으로 예측되는 시점을 상기 포착 순간으로 결정할 수 있다.

본 발명의 목적을 달성하기 위한 다른 실시예에 따르면 촬상 방법은 상기 이미지를 주기적으로 센싱하는 단계를 더 포함하며, 상기 포착 순간을 예측하는 단계는 상기 저장부에 저장된 이미지들을 분석하여, 신규 물체의 존재 여부를 판단하며, 상기 신규 물체가 존재하면 상기 신규 물체의 움직임 및 기존 물체의 움직임에 기초하여 상기 포착 순간을 예측할 수 있다.

그리고, 촬상 방법의 상기 신규 물체의 움직임 및 기존 물체의 움직임은 움직임 궤적 또는 움직임 속도 중 적어도 하나를 포함할 수 있다.

이상과 같이 본 발명의 다양한 실시예에 따르면, 순간적인 시점을 포착하여 촬상이 가능하다.

도 1은 본 발명의 일 실시예에 따른 촬상 장치의 블록도.
도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구체적인 블록도.
도 3은 본 발명의 일 실시예에 따른 물체를 선택하는 동작을 설명하기 위한 도면.
도 4는 본 발명의 다른 실시예에 따른 물체를 자동으로 지정하는 동작을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 물체의 움직임을 검출하는 방법을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 포착 순간을 예측하는 방법을 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 따른 형태 정보 변환을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 셔터 위상을 조절하여 촬상하는 방법을 설명하기 위한 도면.
도 9는 본 발명의 다른 실시예에 따른 예측된 포착 순간에 촬상하는 방법을 설명하기 위한 도면.
도 10은 본 발명의 일 실시예에 따른 촬상 방법의 흐름도.
도 11 내지 도 14는 본 발명의 다양한 실시예에 따른 촬상 영상의 예시도.
도 15는 본 발명의 다른 실시예에 따른 촬상 장치 제어부의 블록도.
도 16은 본 발명의 다른 실시예에 따른 포착 순간을 예측하는 방법을 설명하기 위한 도면.
도 17은 본 발명의 다른 실시예에 따른 촬상 방법의 흐름도.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시예에 따른 촬상 장치의 블록도이다. 도 1에 따르면, 촬상 장치(100)는 촬상부(110), 저장부(120), 제어부(130), 셔터 제어부(140)를 포함한다. 촬상부(110)는 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱한다.

저장부(120)는 순간 포착을 위한 기 설정된 포착 조건을 저장한다. 그리고, 저장부(120)는 제어부(130)에서 생성된 데이터를 임시로 저장하거나 센싱된 이미지를 임시로 저장한다. 또한, 저장부(120)는 제어부(130)에서 사용하는 프로그램이나 연산 파라미터 등을 저장할 수도 있다. 저장부(120)는, 예를 들어, 하드디스크 타입, 멀티미디어 카드, 플래시 메모리 타입, 마이크로 타입, SD 카드, XD 카드 등에서 적어도 하나의 타입의 저장매체일 수 있다. 또한, 도 1에서는 제어부(130)와 별도로 저장부(120)를 도시하였지만, 반드시 제어부(130)와 별도로 구성되는 것은 아니고, 제어부(130) 내부의 램(RAM), 롬(ROM) 등이 될 수도 있다.

제어부(130)는 촬상 장치(100)의 저장부(120) 등에 저장된 프로그램에 따라 각종 제어 및 처리를 실행한다. 또한, 저장부(120)에 저장된 이미지 내에서 복수의 물체를 지정하고, 상기 복수의 물체 각각의 움직임을 분석하여, 상기 움직임이 상기 포착 조건에 부합하게 되는 포착 순간을 예측한다. 셔터 제어부(140)는 컨트롤 파라미터를 생성하여 예측된 포착 순간에 촬상을 수행하도록 촬상부(110)를 제어한다.

도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구체적인 블록도이다. 촬상 장치는 디스플레이부(150), 입력부(160)를 더 포함할 수 있다. 촬상부(110)는 이미지 센서(111)를 포함한다. 이미지 센서(111)는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)로 이루어지고, 입사되는 빛의 양에 따라 전기적인 아날로그 신호를 생성한다. 생성된 아날로그 신호는 이미지 처리 블럭(136)에 공급되고, 이미지 처리 블럭(136)은 신호를 처리하여 이미지를 생성한다.

제어부(130)는 중앙 처리 장치(131), 영역 선택 블럭(132), 모션 산출 블럭(133), 물체 움직임 예측 블럭(134), 포착 시간 예측 블럭(135), 이미지 처리 블럭(136)을 포함한다.

중앙 처리 장치(131)는 롬(ROM)이나 램(RAM)을 포함할 수 있고, 촬상 장치(100)의 각 부를 제어한다. 예를 들면, 중앙 처리 장치(131)가 구동부에 제어 신호를 송출하면 구동부는 중앙 처리 장치(131)로부터 공급되는 제어 신호에 기초하여 촬상부(110)를 구동한다. 또한, 중앙 처리 장치(131)는 이미지 처리 블럭(136)이 소정의 처리를 실행하기 위한 제어 신호를 이미지 처리 블럭(136)에 대하여 송출한다. 그리고, 영역 선택 블럭(132)이 이미지 센서(111)의 관심 영역(112)을 선택하여 제어할 수 있도록 사용자로부터 데이터를 입력받거나 미리 지정된 시나리오를 선택적으로 입력받아 영역 선택 블럭(132)에 신호를 알려준다.

영역 선택 블럭(132)은 영상 내 움직임 벡터를 구할 관심 영역(112)에 대한 위치 정보를 계산하는 부분이다. 이미지 센서(111)상의 관심 영역(112)의 위치, 크기 등은 영역 선택 블럭(132)에 의해서 제어된다. 사용자 또는 지정된 시나리오에 따라 입력된 선택 신호를 기반으로 영역 선택 블럭(132)은 관심 영역(112)의 이미지를 저장부(120)에 저장한다. 저장되는 이미지는 사이즈, 프레임 레이트 등이 상이한 영상 정보이다.

모션 산출 블럭(133)은 영상내의 움직임 정보를 추출하는 블럭이다. 이미지 처리 블럭(136)으로부터 모션 산출 블럭(133)으로 입력되는 각각의 영상 데이터는 시간적 관점에서 서로 다르게 촬상된 영상 데이터이다. 물체 움직임 예측 블럭(134)은 이전 움직임 벡터 블록에서 구한 각 결과 값을 이용하여 다음 프레임 해당 블록이 어느 방향으로 얼마나 움직일 것인지 계산 및 예측하는 블럭이다. 포착 시간 예측 블럭(135)은 물체 움직임 예측 블럭(134)에서 구한 예측 값들과 셔터 제어부(140)의 현재 셔터 정보를 이용하여 셔터 위상(Shutter Phase)을 계산한다. 그리고, 계산 결과를 촬상부(110)에 다시 전달하여 원하는 촬상이 가능하도록 한다.

이미지 처리 블럭(136)은 촬상부(110), 영역 선택 모듈(132)로부터 입력된 이미지 신호를 처리하고, 물체의 움직임 정보를 추출하기 위한 모션 산출 블럭(133)으로 영상 데이터를 전송한다. 촬상부(110)로부터 입력된 아날로그 신호는 노이즈 제거 등의 처리를 거쳐 디지털 신호로 변환된다. 변환된 디지털 신호는 저장부(120)에 저장되거나, 디스플레이부(150)에 표시된다. 디스플레이부(150)에 표시되는 화상은 렌즈를 통한 스루(through) 화상 또는 저장부(120)에 저장된 화상일 수도 있다.

제어부(130)의 각 블럭은 하드웨어적으로 모듈화하여 구현될 수도 있고, 소프트웨어적으로 블럭화하여 구현될 수도 있다.

디스플레이부(150)는 촬상 장치(100)의 저장부(120)에 저장된 이미지, 외부 저장 장치에 저장되어 있는 이미지, 외부 입력 인터페이스를 통하여 입력되는 이미지 등을 표시할 수 있다. 또한, 메뉴 화면을 표시할 수 있으며, 이미지의 휘도 레벨의 분포를 나타내는 히스토그램을 표시할 수 있다. 또한, 이미지 뿐만 아니라 동영상이나 라이브 뷰(live view)를 표시할 수 있다. 디스플레이부(150)는 제어부(130)에 의해 제어된다. 디스플레이부(150)는 LCD, OLED, 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이부(150)는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

입력부(160)는 사용자로부터 순간 포착을 위한 물체의 선택을 입력받는다. 입력부(160)는 디스플레이부(150) 상에 구현되는 터치 패널, 각종 버튼, 사용자 음성 발화를 인식할 수 있는 음성 입력 장치 등과 같은 외부 입력 수단으로부터 각종 입력 신호를 입력받는 I/O(Input/Output Interface) 등과 같이 다양한 형태로 구현될 수 있다. 입력부(160)가 터치 패널을 포함하는 경우, 사용자는 디스플레이부(150)의 소정의 위치를 누름으로써 촬상 장치(100)의 각종 기능을 실행시킬 수 있다. 이 경우, 디스플레이부(150)는 사용자의 접촉과 접촉한 위치를 검출하는 검출부를 포함한다. 검출부에서 검출된 위치 정보는 제어부(130)의 중앙 처리 장치(131)에 공급된다.

도 3은 본 발명의 일 실시예에 따른 물체를 선택하는 동작을 설명하기 위한 도면이다. 터치 패널을 포함하는 디스플레이부(150) 상에서 사용자(10)는 촬상을 원하는 다수개의 물체(151, 152)를 선택할 수 있다. 사용자(10)에 의한 선택 신호는 중앙 처리 장치(131)를 거쳐 영역 선택 블럭(132)이 이미지 센서(111)의 관심 영역(112)을 선택하여 제어할 수 있도록 영역 선택 블럭(132)에 전달된다.

도 4는 본 발명의 다른 실시예에 따른 물체를 자동으로 지정하는 동작을 설명하기 위한 도면이다. 촬상을 위한 물체는 기 저장된 조건에 따라 자동으로 지정될 수 있다. 사용자가 메뉴를 선택하면 디스플레이부(150)는 메뉴 창을 표시한다. 표시된 메뉴 창은 특수 촬영 항목을 표시할 수 있고, 하위 항목으로 순간 포착 모드(21)가 있다. 사용자가 순간 포착 모드(21)을 선택하면 세부 항목(22)으로 육상, 구기 종목, 동물 등의 항목을 표시할 수 있다. 사용자가 하나의 항목을 선택하면 촬상 장치(100)는 미리 저장된 움직임의 검출 방식에 대한 시나리오를 로딩한다. 도 4에 표시되는 메뉴 구성은 하나의 실시예일 뿐이며, 다양한 방법으로 표시 가능하다.

또한, 촬상 장치(100)가 자동으로 물체를 지정하는 다른 실시예는 기 등록된 영상 장면 정보와 일치되는 상황시 미리 선택된 물체들을 촬상하려는 물체로 지정할 수 있다. 이 외에도 사용자가 순간 포착 모드(21)만 선택하면 이미지 컨텐츠 내부에서 가장 빠른 움직임으로 운동하는 물체들을 검출하여 촬상할 물체로 자동 지정할 수 있으며, 움직임의 운동 특성을 미리 등록하여 동일 패턴으로 움직임이 발생시 해당 물체를 촬상하려는 물체로 검출할 수 있다. 또 다른 실시예로서 영역 선택 블럭(132)의 영역 선택은 움직임의 속도를 이용하여 선택할 수도 있고, 움직임의 경로 정보를 이용하여 선택될 수도 있다. 이때 영역 선택은 복수 개로 선택되거나 사용자 선택 모드와 자동 모드가 동시에 적용되어 선택될 수 있으며, 현재 선택된 영역의 형태 정보가 변동시 이를 반영하는 것도 가능하다.

도 5는 본 발명의 일 실시예에 따른 물체의 움직임을 검출하는 방법을 설명하기 위한 도면이다. 모션 산출 블럭(133)은 영역 선택 블럭(132)에서 선택한 영역들에 대해 이전 프레임 대비 움직임 벡터를 계산한다. 현재 프레임(210)에서 사용자 및 영역 선택 블럭(132)이 영역(202)을 선택한다. 모션 산출 블럭(133)은 선택 영역(202)을 이전 프레임(200)에 투영시키고, 투영된 영역(201)이 이전 프레임 내에서 어떻게 얼마나 움직였는지 경로(203)를 파악하여 움직임을 산출한다.

움직임의 산출은 다양한 방법으로 가능하다. 영역 기반 움직임 벡터 및 특징점 기반 매칭 방법을 사용할 수도 있다. 해당 결과는 이전 프레임(200)의 동일 영역에 대비하여 이미지 내에서 이동한 픽셀(pixel) 갯수로 얻을 수 있고, 시간당 움직인 거리, 즉 속도 값으로 얻을 수 있다.

도 6은 본 발명의 일 실시예에 따른 포착 순간을 예측하는 방법을 설명하기 위한 도면이다. 현재 프레임(300)에는 제1 물체(31)와 제2 물체(41)가 존재한다. 물체 움직임 예측 블럭(134)은 두 물체의 이전 프레임의 위치(30, 40)와 현재 프레임의 위치(31, 41)를 이용하여 속도 및 가속도를 계산한다. 그리고, 상술한 결과 값으로부터 두 물체의 미래 프레임의 위치(32, 42)를 예측한다. 도 4의 화살표는 두 물체의 이동 경로를 나타낸다.

이전 제1 물체(30)의 X 방향 위치 값을 OBx11, 이전 제2 물체(40)의 X 방향 위치 값을 OBx21이라고 할 때, 두 물체의 X방향에 대한 거리는 Dx1=|OBx11-OBx21| 로 구할 수 있다.

이와 동일한 방법으로

Dx2=|OBx12-OBx22| (현재 두 물체의 거리)

Dx3=|OBx13-OBx23| (다음 두 물체의 거리)

와 같이 예측을 할 수 있다.

이때 OBx13과 OBx23은 아직 발생하지 않은 미래의 값이기 때문에 예측을 해야 한다. 모든 움직임은 가속도 관계를 가지고 있으며 이를 바탕으로 OBx13과 OBx23의 값을 구한다. 다수의 물체가 어느 순간 중첩이 되거나 접촉을 한다면 두 물체 사이의 거리는 0으로 수렴하게 된다. 따라서, 두 물체의 운동 관계는 Dx1~Dxn까지의 움직임 패턴을 분석하면 규명할 수 있다.

포착 시간 예측 모듈(135)는 상술한 Dx1~Dxn 값에 대해 시간을 계산하고, 셔터 제어부(140)로부터 현재 셔터 정보를 입력받아 포착 시간을 예측하여 예측 값을 기반으로 셔터 제어부(140)에게 셔터 위상(Shutter Phase) 정보를 알려준다. 포착 시간의 예측은 경우에 따라 물체 각각의 움직임 궤적 또는 움직임 속도 중 어느 하나를 이용할 수도 있고, 모두를 이용하여 예측할 수도 있다.

도 7은 본 발명의 일 실시예에 따른 형태 정보 변환을 설명하기 위한 도면이다. 물체는 시간에 따라 움직인다(400). 3차원의 움직임이 2차원으로 투영되면 영역의 크기 변화가 발생한다. 따라서, 모션 산출 블럭(133)에서 움직임 벡터 계산시 정확한 값을 추출하기 위해서는 시간에 따른 영역 정보(401, 402, 403)가 실시간 갱신되어야 한다. 모션 산출 블럭(133)은 전달된 영역 정보를 이용하여 움직임을 예측하고, 물체 움직임 예측 블럭(134)은 각 영역에 대해 움직임에 따른 가속도를 계산한다. 또한 포착 시간 예측 블럭(135)은 입력받은 각 영역의 거리 정보들을 이용하여 셔터 제어부(140)에게 어느 시점에 셔터 정보를 변경할지에 대한 컨트롤 값을 전달한다.

제어부(130)는 원하는 입력 위치 및 입력 영상의 크기를 다양하게 얻기 위한 판독 컨트롤러(Readout Controller)를 포함할 수 있다. 판독 컨트롤러는 모션 산출 블럭(133)에 의해 변화된 관심 영역의 위치 및 크기를 참조하여 이미지 센서(111)로부터 해당 데이터를 입력받을 수 있게 동작한다. 셔터 제어부(140)로부터 받은 제어 정보를 이용하여 원하는 이벤트가 종료되었거나 더 진행할 필요가 없을 경우 절차를 종료한다. 그렇지 않은 경우 모션 산출 모듈(133)로 이동하여 종료시까지 무한 반복한다.

도 8은 본 발명의 일 실시예에 따른 셔터 위상을 조절하여 촬상하는 방법을 설명하기 위한 도면이다. 셔터 정보가 변하기 전 셔터 주기(50)와 본 발명의 일 실시예에 따른 셔터 위상을 변경한 셔터 주기(60)를 비교한다. 먼저, 일반적인 셔터 주기(50)를 가지고 있는 경우 사용자가 원하는 순간의 이미지(51)와 그 순간의 셔터 동작 시점(52)이 일치하지 않아 원하는 순간의 이미지(51)를 촬상할 수 없다. 예를 들어, 운동 경기의 한 장면 또는 고속으로 움직이는 물체 등을 포착하려고 할 때 상술한 경우가 발생한다.

다음은 본 발명의 일 실시예에 따른 셔터 위상을 변경한 셔터 주기(60)에 대해 설명한다. 두 물체를 선택하여 촬상을 하는 경우 제어부(130)의 각 블럭은 두 물체의 움직임을 산출하고 앞으로의 움직임을 예측하여 포착 시간의 예측 값을 결정한다. 이러한 과정은 사용자가 원하는 순간의 이미지(61) 촬상 전에 진행된다. 두 물체의 만나는 시간과 현재 셔터 정보에 근거하여 셔터 위상 지연(Shutter Phase Delay)(63)을 판단한 경우 셔터 제어부(140)는 셔터 위상 지연을 명령한다. 따라서, 지연된 셔터 동작 시점(62)에 동작하는 셔터에 의해 사용자는 원하는 순간의 이미지(61)를 얻을 수 있다. 만일 제어부(130)에서 셔터 위상 지연이 필요없다고 판단한다면 촬상 장치(100)는 현재의 셔터 정보에 근거하여 촬상할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 예측된 포착 순간에 촬상하는 방법을 설명하기 위한 도면이다. 상술한 일 실시예는 연사 촬상을 하는 경우를 예로 들었으나, 연사 촬상을 하지 않는 경우에도 가능하다. 사용자가 순간 포착 모드를 선택하면 상술한 바와 같이 제어부(130)의 각 블럭은 두 물체의 움직임으로부터 포착 순간을 예측하여 예측 값에 따라 셔터 제어부(140)가 셔터를 동작시킴으로써 사용자는 원하는 순간의 이미지(71)를 얻을 수 있다.

사용자가 희망하는 순간에 촬상 장치(100)의 셔터를 동작시키는 방법은 다양하게 구현할 수 있다. 첫째는, 촬상 장치(100)가 순간 포착 모드에 진입하고, 두 물체가 선택되면 자동으로 인식하여 촬상하는 방법, 둘째는, 순간 포착 모드에 진입하고, 두 물체가 선택된 후 사용자가 셔터를 1회 누르면 포착 순간에 촬상하는 방법, 셋째는, 순간 포착 모드에 진입하고, 두 물체가 선택된 후 사용자가 셔터를 누르고 있는 동안 포착 순간이 오면 촬상하는 방법 등이 있을 수 있다.

본 발명은 Still 영상을 촬영시 움직이는 물체들이 만나는 순간을 정확하게 캡쳐할 수 있도록 영상 내의 물체들의 움직임을 분석하여 셔터 정보를 변경할 수 있도록 조정을 한다. 최근 출시가 되고 있는 고연사를 지원하는 하이엔드급 카메라들도 초당 10장 내외로 촬영을 하여 고속 움직임을 검출할 수 있기는 하지만 스포츠 장면과 같이 더 빠른 속도로 진행되는 움직임들에는 한계가 있다. 본 발명은 동적 움직임 분석을 통하여 현재의 셔터 정보를 변경하게 되고 최종적으로 정확한 셔터 시점을 결정할 수 있다.

도 10은 본 발명의 일 실시예에 따른 촬상 방법의 흐름도이다. 먼저, 촬상부는 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱한다(S1100). 저장부는 센싱된 이미지를 저장한다(S1110). 센싱된 이미지는 포착 순간을 예측하기 위해 사용되는 것으로 이전 프레임 이미지와 현재 프레임 이미지 두 프레임만 임시 저장된다. 제어부는 복수의 물체 각각의 움직임을 분석하고(S1130), 움직임이 포착 조건에 부합되는 포착 순간을 예측한다(S1140). 셔터 제어부는 예측된 포착 순간에 촬상이 수행되도록 셔터를 제어한다(S1150).

도 11 내지 도 14는 본 발명의 다양한 실시예에 따른 촬상 영상의 예시도이다.

도 11은 제 일 실시예로서 야구 경기 장면의 촬상 영상을 설명하는 도면이다. 이미지 센서(111)는 야구공과 야구배트를 센싱한다. 사용자 또는 자동 설정에 의해 야구공과 야구배트가 포착하려는 대상 물체로 지정된다. 투수가 공을 던지면 공은 일정 속도와 궤적을 그리면서 타자에게 향하고 타자가 야구배트를 휘두르면 제어부(130)는 공과 야구배트의 움직임에 근거하여 포착 시간을 예측한다. 예측된 포착 시간에 셔터 제어부(140)는 셔터 위상을 지연시키거나 셔터를 동작시키고 이에 따라 촬상부(110)는 타자가 공을 맞히는 순간의 이미지를 촬상할 수 있다.

도 12는 제 이 실시예로서 골프클럽으로 골프공을 치는 장면의 촬상 영상을 설명하는 도면이다. 이미지 센서(111)는 골프클럽과 골프공을 센싱하고 영역 선택 블럭(132)에 골프클럽과 골프공을 대상 물체로 지정된다. 골프클럽을 휘두르면 제어부(130)는 골프클럽의 움직임에 근거하여 포착 시간을 예측한다. 골프공은 정지하고 있지만, 제어부(130)에서 상대적인 위치, 속도를 이용하여 포착 시간을 예측하는 구체적인 방법은 도 11에서 진행되는 과정과 동일하다. 예측된 포착 시간에 셔터 제어부(140)는 셔터 위상을 지연시키거나 셔터를 동작시키고 이에 따라 촬상부(110)는 골프클럽이 공을 맞히는 순간의 이미지를 촬상할 수 있다.

도 13은 제 삼 실시예로서 육상 선수가 허들을 넘는 장면의 촬상 영상을 설명하는 도면이다. 허들을 넘는 경우는 두 물체가 충돌하거나 중첩되는 경우는 아니다. 그러나, 두 물체가 충돌하거나 중첩되는 경우가 아니라 하더라도 각각의 물체의 특정 지점 또는 특정 영역이 일정한 위치에 있는 순간을 사용자가 포착 순간으로 설정할 수 있고, 또는 촬상 장치의 설정 영역에 기 설정시켜 놓을 수도 있다. 예를 들어, 도 13에 있어서 허들의 상단 끝 부분과 육상 선수의 바지 끝이 일직선 상에 놓이는 순간을 포착 순간으로 설정하고 그 순간의 예측 값을 이용하면, 육상 선수가 허들을 넘는 순간의 이미지를 촬상할 수 있다.

도 14는 제 사 실시예로서 곤충이 꽃에 내려앉는 장면의 촬상 영상을 설명하는 도면이다. 곤충의 움직임은 정형적인 예측 가능한 움직임은 아니다. 하지만, 꽃에 내려앉기 직전의 순간은 일정한 정형적인 움직임으로 근사화시킬 수 있고, 상술한 포착 시간의 예측은 이러한 영역에서 이루어지므로 비정형적인 움직임을 가지는 대상이라도 포착 시간의 예측은 가능하다.

도 15는 본 발명의 다른 실시예에 따른 촬상 장치 제어부의 블록도이다. 상술한 실시예들은 한 화면에 처음부터 복수의 물체가 존재하는 경우를 설명하였다. 그러나, 한 화면에 물체가 하나만 존재하는 경우에도 포착 시간을 예측하여 촬상이 가능하다. 상술한 실시예에 따른 촬상 장치(100)의 제어부(130)는 물체 감지 블럭(137)을 더 포함한다.

물체 감지 블럭(137)은 화면 내에 새로운 대상 물체의 존재와 위치를 알려주는 블럭이다. 하나의 실시예로서 새로운 대상 물체는 미리 지정된 특정 물체일 수 있다. 예를 들어, 야구공이나 야구배트의 존재 유무, 특정 인물이나 특이점의 존재 유무 등이다. 사용자가 필요한 시나리오를 로드하면 물체 감지 블럭(137)은 화면 내에 시나리오에 필요한 물체가 모두 존재하는지 검색한다. 모든 물체가 존재하면, 제어부(130)는 상술한 실시예에 따라 동작한다. 화면 내에 필요한 물체가 모두 존재하지 않으면 물체 감지 블럭(137)은 화면 내에 필요한 물체가 모두 존재하는지 계속 검색한다.

도 15의 다른 블럭은 도 2에서 설명한 바와 같다. 제어부(130)의 각 블럭은 하드웨어적으로 모듈화하여 구현될 수도 있고, 소프트웨어적으로 블럭화하여 구현될 수도 있다.

도 16은 본 발명의 다른 실시예에 따른 포착 순간을 예측하는 방법을 설명하기 위한 도면이다. 초기 화면(90)에는 하나의 물체(92)만이 존재한다. 물체 감지 블럭(137)은 화면 내에 필요한 물체가 모두 존재하는지 계속 검색하여 새로운 대상 물체가 존재하면 제어부(130)는 복수의 물체(93, 94)에 대한 포착 시간을 예측하여 촬상을 수행한다.

새로운 대상 물체는 경우에 따라 사용자에 의해 지정될 수 있고, 또는 기 지정없이 제어부(130)가 화면 내에 새로 등장하는 이동 물체를 자동으로 대상 물체로 지정할 수도 있다. 예를 들어, 축구 경기의 프리킥 장면에서 축구공만이 화면에 있는 경우 물체 감지 블럭(137)은 화면에 새로 등장하는 킥커를 새로운 대상 물체로 인지하여 포착 시간을 예측하고 촬상할 수 있다.

도 17은 본 발명의 다른 실시예에 따른 촬상 방법의 흐름도이다. 다른 실시예에 따른 촬상 방법은 먼저, 촬상부는 렌즈를 통해 입력되는 광을 수집하여 이미지 센싱을 한다(S1200). 센싱된 이미지는 저장부에 저장된다(S1210). 저장된 이미지 내에서 하나의 물체가 지정되면(S1220) 제어부는 이미지를 주기적으로 센싱하도록 하여(S1230) 신규 물체 존재 여부를 판단한다(S1240). 신규 물체가 존재하지 않으면 상술한 과정을 반복한다(S1250). 신규 물체가 존재하면, 신규 물체의 움직임 및 기존 물체의 움직임에 기초하여 포착 시간을 예측한다(S1260). 셔터 제어부는 예측된 포착 순간에 촬상이 수행되도록 셔터를 제어한다(S1270).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

상술한 촬상 장치는 정지형 카메라, 동영상 카메라, 캠코더 또는 촬상 기능을 구비한 휴대폰, 태블릿, PDA 등의 모든 단말 장치가 될 수 있다.

한편, 상술한 다양한 실시 예들에 따른 방법들은 소프트웨어로 생성되어 디스플레이 장치 또는 시스템에 탑재될 수 있다.

구체적으로는, 본 발명의 일 실시 예에 따르면, 렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 단계, 센싱된 이미지를 저장하는 단계, 저장된 이미지 내에서 복수의 물체를 지정하는 단계, 복수의 물체 각각의 움직임을 분석하여, 움직임이 포착 조건에 부합하게 되는 포착 순간을 예측하는 단계 및 예측된 포착 순간에 촬상을 수행하도록 입력되는 광을 제어하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 촬상 장치 110 : 촬상부
120 : 저장부 130 : 제어부
140 : 셔터 제어부 150 : 디스플레이부
160 : 입력부
111 : 이미지 센서 112 : 선택 영역
131 : 중앙 처리 장치 132 : 영역 선택 블럭
133 : 모션 산출 블럭 134 : 물체 움직임 예측 블럭
135 : 포착 시간 예측 블럭 136 : 이미지 처리 블럭
137 : 물체 감지 블럭

Claims

렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 촬상부;
상기 센싱된 이미지를 저장하는 저장부;
상기 저장된 이미지 내에서 복수의 물체를 지정하고, 상기 복수의 물체 각각의 크기 변화, 움직임 궤적 및 움직임 속도를 산출하여, 상기 복수의 물체가 충돌할 것으로 예측되는 시점을 포착 순간으로 예측하는 제어부; 및
예측된 상기 포착 순간에 촬상을 수행하도록 상기 촬상부를 제어하는 셔터 제어부;를 포함하는 촬상 장치.
제1항에 있어서,
상기 저장부에 저장된 이미지를 디스플레이하는 디스플레이부; 및
상기 디스플레이된 이미지에 포함된 물체를 선택하기 위한 사용자 선택 신호를 입력받는 입력부;를 더 포함하며,
상기 제어부는 상기 사용자 선택 신호에 기초하여 상기 복수의 물체를 지정하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 제어부는,
상기 저장부에 저장된 이미지 내에 포함된 물체들 중에서 기 설정된 선택 기준에 부합되는 물체를 자동으로 지정하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 제어부는,
상기 복수의 물체 각각의 움직임 궤적 또는 움직임 속도 중 적어도 하나를 산출하여 상기 포착 순간을 예측하는 것을 특징으로 하는 촬상 장치.
삭제
제1항에 있어서,
상기 촬상부는 상기 이미지를 주기적으로 센싱하고,
상기 저장부는 상기 센싱된 이미지를 저장하며,
상기 제어부는,
상기 저장부에 저장된 이미지들을 분석하여, 신규 물체의 존재 여부를 판단하며, 상기 신규 물체가 존재하면 상기 신규 물체의 움직임 및 기존 물체의 움직임에 기초하여 상기 포착 순간을 예측하는 것을 특징으로 하는 촬상 장치.
제6항에 있어서,
상기 제어부는,
상기 기존 물체 및 상기 신규 물체 각각의 움직임 궤적 또는 움직임 속도 중 적어도 하나를 산출하여 상기 포착 순간을 예측하는 것을 특징으로 하는 촬상 장치.
렌즈를 통해 입력되는 광을 수집하여 이미지를 센싱하는 단계;
상기 센싱된 이미지를 저장하는 단계;
상기 저장된 이미지 내에서 복수의 물체를 지정하는 단계;
상기 복수의 물체 각각의 크기 변화, 움직임 궤적 및 움직임 속도를 산출하여, 상기 복수의 물체가 충돌할 것으로 예측되는 시점을 포착 순간으로 예측하는 단계; 및
예측된 상기 포착 순간에 촬상을 수행하도록 상기 입력되는 광을 제어하는 단계;를 포함하는 촬상 방법.
제8항에 있어서,
상기 저장된 이미지를 디스플레이하는 단계; 및
상기 디스플레이된 이미지에 포함된 물체를 선택하기 위한 사용자 선택 신호를 입력받는 단계;를 더 포함하며,
상기 복수의 물체를 지정하는 단계는 상기 사용자 선택 신호에 기초하여 상기 복수의 물체를 지정하는 것을 특징으로 하는 촬상 방법.
제8항에 있어서,
상기 복수의 물체를 지정하는 단계는,
상기 저장된 이미지 내에 포함된 물체들 중에서 기 설정된 선택 기준에 부합되는 물체를 자동으로 지정하는 것을 특징으로 하는 촬상 방법.
제8항에 있어서,
상기 물체 각각의 움직임은,
움직임 궤적 또는 움직임 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 촬상 방법.
삭제
제8항에 있어서,
상기 이미지를 주기적으로 센싱하는 단계;를 더 포함하며,
상기 포착 순간을 예측하는 단계는,
상기 저장된 이미지들을 분석하여, 신규 물체의 존재 여부를 판단하며, 상기 신규 물체가 존재하면 상기 신규 물체의 움직임 및 기존 물체의 움직임에 기초하여 상기 포착 순간을 예측하는 것을 특징으로 하는 촬상 방법.
제13항에 있어서,
상기 신규 물체의 움직임 및 기존 물체의 움직임은,
움직임 궤적 또는 움직임 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 촬상 방법.