KR101822655B1

KR101822655B1 - 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템

Info

Publication number: KR101822655B1
Application number: KR1020110060396A
Authority: KR
Inventors: 황지나; 김표재; 손재식; 나진희; 윤영권
Original assignee: 삼성전자주식회사
Priority date: 2011-06-21
Filing date: 2011-06-21
Publication date: 2018-01-29
Also published as: US20120327269A1; US9071749B2; KR20120140571A; EP2538660A2; CN102843513B; CN102843513A; EP2538660A3

Abstract

본 발명의 따른 카메라를 이용한 물체 인식 방법은, 미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와; 상기 프리뷰 영상의 특징점들을 검출하는 단계와; 상기 특징점들의 수를 미리 설정된 임계 값과 비교하는 단계와; 상기 특징점들의 수가 상기 임계 값 미만인 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와; 상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함한다.

Description

카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템{OBJECT RECOGNITION METHOD USING CAMERA AND CAMERA SYSTEM FOR THE SAME}

본 발명은 카메라를 이용하여 촬영된 영상에서 피사체(또는 물체)를 인식하거나 그 움직임을 추적하기 위한 장치 및 방법에 관한 것으로서, 특히 물체 인식의 정확도를 개선하기 위한 장치 및 방법에 관한 것이다.

본 발명은 카메라를 이용하여 물체를 인식하고 추적하는데 특화된 카메라 설정 파라미터와 그 제어 기법에 관한 것이다. 영상을 이용하여 물체를 인식하고 추적하기 위해서는 물체의 특징점(에지, 코너 등)을 추출하여 원 영상 데이터베이스(database: DB)에서 추출한 특징점과 비교하는 방법을 주로 사용한다.

이때, 입력 영상이 어둡거나, 카메라가 흔들리거나 추적할 물체의 영상 내 크기가 작아져서 에지(edge) 정보, 물체 에지 점(corner point), 텍스쳐(Textrue)의 양(즉, 특징점 정보)가 부족해지면 물체의 특징점 추출에 실패할 수 있다.

기존 카메라 시스템의 프리뷰 영상은 화질 개선에 초점이 맞추어져 있어서, 이러한 프리뷰 영상을 분석하여 어떤 의미가 있는 정보를 검출하기에는 부적절하다는 문제점이 있다. 예를 들면, 조도가 일정하면 입력 영상의 특성과 상관없이 동일한 값으로 ISO가 결정되기 때문에 텍스쳐가 부족한 영상이 들어오면 텍스쳐가 많은 영상이 들어올 때에 비해 특징 인식, 추적, 정합 성능이 크게 감소하게 된다.

본 발명에서는 카메라의 설정 파라미터를 이용하여 입력 영상으로부터 물체 인식 및 추적 성능을 향상시키는 방법을 제안한다. 그리고 제안한 설정 파라미터 및 제어 기법으로 인식 및 추적에 최적이 되는 설정을 제공하여 물체의 특징 정보를 충분히 확보함으로써 물체 인식 및 추적 성능을 높이고자 한다.

본 발명의 제1 측면에 따른 카메라를 이용한 물체 인식 방법은, 미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와; 상기 프리뷰 영상의 특징 정보를 검출하는 단계와; 상기 특징 정보를 미리 설정된 임계 조건과 비교하는 단계와; 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와; 상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함한다.

본 발명의 제2 측면에 따른 카메라 시스템은, 미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 생성하는 촬상부와; 상기 카메라 설정 파라미터를 변경하는 촬상 제어부와; 상기 생성된 프리뷰 영상을 표시하는 표시부와; 상기 생성된 프리뷰 영상에 대하여 물체 인식을 수행하고, 상기 프리뷰 영상의 특징 정보를 검출하는 영상 인식 처리부와; 상기 특징 정보를 미리 설정된 임계 조건과 비교하며, 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하도록 상기 촬상 제어부를 제어하는 카메라 설정 파라미터 제어부를 포함한다.

본 발명에 따르면, 카메라의 설정 파라미터를 이용하여 입력 영상으로부터 물체 인식 및 추적 성능을 향상시키는 방법이 제공된다.

도 1은 본 발명의 바람직한 실시 예에 따른 카메라 시스템의 구성을 나타내는 도면,
도 2는 카메라 설정 파라미터 제어부의 구성을 나타내는 도면,
도 3은 본 발명의 바람직한 실시 예에 따른 ISO 제어 프로세스를 설명하기 위한 흐름도,
도 4는 ISO 변경에 따른 물체 인식 결과를 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시 예에 따른 AF 제어 프로세스를 설명하기 위한 흐름도,
도 6은 본 발명의 바람직한 실시 예에 따른 노출 제어 프로세스를 설명하기 위한 흐름도,
도 7은 노출 시간 변경에 따른 물체 인식 결과를 설명하기 위한 도면,
도 8은 본 발명의 바람직한 실시 예에 따른 줌 제어 프로세스를 설명하기 위한 흐름도,
도 9는 줌 변경에 따른 물체 인식 결과를 설명하기 위한 도면,
도 10은 본 발명의 바람직한 실시 예에 따른 비닝/서브샘플링 제어 프로세스를 설명하기 위한 흐름도,
도 11은 본 발명의 바람직한 실시 예에 따른 에지 개선/노이즈 감소 제어 프로세스를 설명하기 위한 흐름도,
도 12는 에지 개선/노이즈 감소 제어 프로세스에서 이용되는 테이블을 개략적으로 나타내는 그래프.

이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 본 발명에서 특징 정보라고 함은, 영상 내에서 물체를 인식하기 위해 추출 가능한 정보, 즉 물체를 식별할 수 있는 특징에 관한 정보를 말하고, 이러한 특징 정보는 특징점들의 수, 특징점들의 강도, 텍스쳐의 양 등을 의미하고, 상기 특징점은 에지, 코너 등을 의미한다.

도 1은 본 발명의 바람직한 실시 예에 따른 카메라 시스템의 구성을 나타내는 도면이다.

상기 카메라 시스템(100)은 통상적인 디지털 카메라, 카메라(또는 카메라 모듈)을 구비한 이동 단말 등일 수 있다. 상기 카메라 시스템(100)은 촬상부(110), 영상 인식 처리부(120), 메모리(130), 표시부(140), 카메라 설정 파라미터 제어부(150), 입력부(160) 및 촬상 제어부(170)를 포함한다.

상기 촬상부(110)는 피사체의 광학 영상을 형성하고, 상기 형성된 광학 영상을 디지털 영상 데이터(즉, 원 영상 데이터(image raw data))로 검출한다. 이를 위해, 도시되지는 않았으나, 상기 촬상부(110)는 적어도 하나의 렌즈를 구비하여 피사체의 광학 영상을 형성하는 렌즈계와, 상기 렌즈계에 의해 형성된 광학 영상을 디지털 영상 데이터로 검출하는 CCD(charge-coupled device) 영상 센서, CMOS(complementary metal-oxide semiconductor) 영상 센서 등과 같은 영상 센서를 포함할 수 있다. 상기 촬상부(110)는 촬상 제어부(170)의 제어 신호에 따라서 ISO, 포커스, 노출 시간 등을 조절한다. 또한, 상기 촬상부(110)는 통상의 영상신호처리부(image signal processor: ISP)를 포함하고, 상기 촬상부(110)는 미리 설정된 프리뷰 설정 파라미터(해상도, 노이즈 필터링, 에지 개선 등)에 따라 상기 원 영상 데이터로부터 프리뷰 영상 데이터를 생성하여 출력한다. 원 영상 데이터는 상기 이미지 센서가 지원하는 풀 해상도를 가지면서 후처리(필터링 등)를 거치지 않은 영상 데이터를 말하고, 프리뷰 영상 데이터는 상기 원 영상 데이터보다 낮은 해상도를 갖는 후처리된 영상 데이터를 말한다. 또한, 원 영상 데이터 및 프리뷰 영상 데이터는 각각 연속적인 영상 프레임들로 이루어진다.

상기 영상 인식 처리부(120)는 상기 촬상부(110)로부터 수신한 상기 프리뷰 영상 데이터로부터 물체(즉, 피사체)를 인식하거나 그 움직임을 추정 또는 추적한다. 또한, 상기 영상 인식 처리부(120)는 상기 프리뷰 이미지에 대한 물체 인식 결과를 상기 카메라 설정 파라미터 제어부(150)로 출력한다.

상기 표시부(140)는 상기 영상 인식 처리부(120)로부터 수신한 프리뷰 영상 데이터를 사용자에게 표시한다. 상기 표시부(140)는, 상기 영상 인식 처리부(120)를 거치지 않고, 상기 촬상부(110)로부터 직접 프리뷰 영상 데이터를 수신하여 표시할 수도 있다. 이러한 표시부(140)로는 액정표시장치(liquid crystal display: LCD), 터치 스크린(touch screen) 등을 사용할 수 있다.

상기 입력부(160)는 조작 버튼들을 포함하는 키 패드, 터치 패널 등일 수 있으며, 사용자 입력 정보를 상기 카메라 설정 파라미터 제어부(150)로 출력한다.

상기 촬상 제어부(170)는 상기 카메라 설정 파라미터 제어부(150)로부터 입력된 제어 신호에 따라서 상기 촬상부의 ISO, 포커스, 노출 시간 등을 조절한다. 또한, 상기 촬상 제어부(170)는 상기 촬상부(110)의 카메라 설정 파라미터를 상기 카메라 설정 파라미터 제어부(150)로 출력할 수 있다.

상기 메모리(130)는 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 상기 카메라 시스템을 구동하는데 필요한 배경 영상들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들 등을 저장할 수 있다. 또한, 상기 메모리(130)는 사용자의 얼굴 등과 같은 기준 영상 데이터와, 기준 영상 데이터의 특징 정보 등을 저장할 수 있다. 상기 메모리(130)는 상기 촬상부(110), 촬상 제어부(170) 및 카메라 설정 파라미터 제어부(150)에 의해서도 공유될 수도 있고, 이들 중의 적어도 하나는 별도의 메모리를 구비할 수 있다.

도 2는 상기 카메라 설정 파라미터 제어부(150)의 구성을 나타내는 도면이다. 상기 카메라 설정 파라미터 제어부(150)는 ISO 제어 판단부(151), AF(auto focus) 제어 판단부(152), 노출 제어 판단부(153), 줌 제어 판단부(154), 비닝/서브샘플링(binning/subsampling) 제어 판단부(156), 에지 개선/노이즈 감소(edge enhance/noise reduction) 제어 판단부(157) 및 카메라 설정 파라미터 결정부(158)를 포함한다.

상기 카메라 설정 파라미터 제어부(150)는 상기 촬상 제어부(170)로부터의 현재의 카메라 설정 파라미터와, 상기 촬상부(110)로부터의 프리뷰 영상 데이터와, 상기 영상 인식 처리부(120)로부터의 영상 인식 결과와, 상기 입력부(160)로부터의 사용자 입력 정보의 각각, 이들 중의 적어도 하나, 또는 이들의 조합을 수신한다. 상기 카메라 설정 파라미터 제어부(150)는 상기 촬상부(110)의 ISO, AF, 노출, 줌, 비닝/서브샘플링 및 에지 개선/노이즈 감소의 각각, 이들 중의 적어도 하나, 또는 이들의 조합을 실행한다.

상기 카메라 설정 파라미터 결정부(158)는 이러한 카메라 설정 파라미터들 중의 적어도 하나를 선택하고, 선택된 카메라 설정 파라미터를 변경한다. 예를 들어, 상기 카메라 설정 파라미터 결정부(158)는 상기 영상 인식 처리부(120)에 의한 영상 인식 결과가 불만족인 경우, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하는 경우, 또는 인식결과로부터 파악되는 특징점의 수, 강도 등이 기설정된 임계값 이하인 경우에, 미리 설정된 카메라 설정 파라미터들의 선택 순서, 또는 상기 인식결과에 근거하여 변경할 적어도 하나의 카메라 설정 파라미터를 선택한다. 또한, 상기 카메라 설정 파라미터 결정부(158)는 변경된 카메라 설정 파라미터를 상기 촬상 제어부(170)로 출력하고, 상기 촬상 제어부(170)는 상기 변경된 카메라 설정 파라미터에 따라 상기 촬상부(110)의 설정을 변경한다.

도 3은 본 발명의 바람직한 실시 예에 따른 ISO 제어 프로세스를 설명하기 위한 흐름도이고, 도 4는 ISO 변경에 따른 물체 인식 결과를 설명하기 위한 도면이다.

상기 ISO 제어 프로세스는 저조도 상황에서 프리뷰 영상 내 물체가 인식되는 성능을 분석하여 원하는 기준에 도달할 때까지 영상 센서의 이득(Gain)을 증가시켜 인식 알고리즘의 성능을 높인다.

상기 ISO 제어 프로세스는 물체 인식 성능 판단 단계(S110)와, ISO 조정 값 결정 단계(S120)와, 촬상 제어 단계(S130)를 포함한다.

상기 물체 인식 성능 판단 단계(S130)에서, 상기 ISO 제어 판단부(151)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 ISO 제어 판단부(151)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다. 이때, 상기 매칭되는 특징점의 수는 인식된 특징점들 중에서 기준 영상 데이터의 미리 저장된 특징점들과 일치하는 특징점들의 수를 말한다. 또한, 에지 강도는 에지의 명암 상태, 즉 에지의 수평 방향 밝기 차이, 수직 방향 밝기 차이 또는 이들의 평균을 말한다. 본 예와 다르게, 상기 ISO 제어 판단부(151)는 상기 영상 인식 처리부(120)로부터 인식의 만족 여부에 대한 정보를 직접 수신할 수도 있다.

상기 인식 결과가 만족이면 상기 ISO 제어 프로세스를 종료하고, 상기 인식 결과가 불만족이면 S120 단계를 수행한다.

상기 ISO 조정 값 결정 단계(S120)에서, 상기 ISO 제어 판단부(151)는 상기 인식 결과에 근거하여 ISO 조정 값(즉, 영상 센서의 이득)을 결정한다.

도 4의 (a)는 ISO가 500인 경우에 매칭되는 특징점의 수(=54)와 특징점의 수(=231)를 나타내고, 도 4의 (b)는 ISO 값이 800인 경우에 매칭되는 특징점의 수(=62)와 특징점의 수(=369)를 나타낸다. 이때, 상기 메모리(130)에 저장된 기준 영상 데이터가 갖는 특징점의 수는 1151개이다.

예를 들어, 상기 ISO 제어 판단부(151)는 카메라 설정 파라미터들 중의 하나인 ISO 값을 800으로 결정할 수 있다.

이러한 결정을 위해, 상기 ISO 제어 판단부(151)는 상기 인식 결과로부터 파악되는 특징점의 수, 에지 강도 및 매칭되는 특징점의 수 중의 적어도 하나를 해당 임계 값과 비교하고, 필요한 ISO 값을 산출할 수도 있다.

상기 촬상 제어 단계(S130)에서, 상기 ISO 제어 판단부(151)는 결정된 ISO 조정 값을 상기 카메라 설정 파라미터 결정부(158)에 전송하고, 상기 카메라 설정 파라미터 결정부(158)는 수신한 상기 ISO 조정 값을 상기 촬상 제어부(170)로 전송한다.

본 예에서는, 상기 촬상 제어 단계(S130) 이후에 상기 ISO 제어 프로세스를 종료하는 것으로 예시하고 있으나,

상기 S110~S130 단계는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족일 때까지 반복될 수도 있다. 이러한 경우에, 각 반복 단계마다 ISO 조정 값은 현재의 ISO 값에서 일정한 양만큼 증가될 수도 있다.

상기 ISO 제어 프로세스는 저조도인 경우, 즉 프리뷰 영상 데이터의 전체적인 밝기가 어두운 경우에 효과적으로 적용될 수 있으므로, 상기 카메라 설정 파라미터 결정부(158)는 프리뷰 영상 데이터의 전체적인 밝기가 기설정된 밝기보다 낮은 경우에, 상기 ISO 제어 프로세스를 우선적으로 수행할 수 있다.

도 5는 본 발명의 바람직한 실시 예에 따른 AF 제어 프로세스를 설명하기 위한 흐름도이다.

기존 카메라에서 오토 포커스(Auto Focus)를 위하여 영상 내 물체의 콘트라스트(contrast)를 계산하고 이를 이용하여 초점을 잡는다. 본 AF 제어 프로세스에서는 영상 기반 인식 서비스를 위해 AF 또는 연속(Continuous) AF를 작동 시, 기존의 콘트라스트 정보와 함께 물체의 움직임(Motion Vector) 방향 정보를 이용하여 포커스 수행 여부를 결정하는 방법을 제안한다.

상기 AF 제어 프로세스는 물체 인식 성능 판단 단계(S210)와, 움직임 벡터 계산 단계(S220)와, 물체 방향 판단 단계(S230)와, 촬상 제어 단계(S240)를 포함한다.

상기 물체 인식 성능 판단 단계(S210)에서, 상기 AF 제어 판단부(152)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 AF 제어 판단부(152)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다. 본 예와 다르게, 상기 AF 제어 판단부(152)는 상기 영상 인식 처리부(120)로부터 인식의 만족 여부에 대한 정보를 직접 수신할 수도 있다.

상기 인식 결과가 만족이면 상기 AF 제어 프로세스를 종료하고, 상기 인식 결과가 불만족이면, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하면, S220 단계를 수행한다.

상기 움직임 벡터 계산 단계(S220)에서, 상기 AF 제어 판단부(152)는 현재 영상 프레임과 이전 영상 프레임을 비교하고, 이전 영상 프레임의 물체가 현재 영상 프레임에서 어떻게 움직였는지를 판단한다. 이러한 움직임의 정도는 움직임 벡터로 표현된다. 이러한 움직임 추정 방법은 공지된 것이므로, 그 상세한 설명은 생략한다.

상기 물체 방향 판단 단계(S230)에서, 상기 AF 제어 판단부(152)는 계산된 물체의 이동 방향이 횡방향인지, 아니면 종방향인지를 판단한다. 즉, 상기 물체가 이전 영상 프레임의 초점 평면 상에서 상하좌우로 움직였는지, 아니면 이전 영상 프레임의 초점 평면의 앞 또는 뒤로 움직였는지를 판단한다. 다시 말해서, 현재 영상 프레임의 물체의 크기가 이전 영상 프레임의 것과 동일한 경우에 상기 물체는 횡방향으로 이동한 것이고, 현재 영상 프레임의 물체의 크기가 이전 영상 프레임의 것보다 크거나 작아진 경우에 상기 물체는 종방향으로 이동한 것이다.

상기 물체가 횡방향으로 이동한 경우에 상기 AF 제어 프로세스를 종료하고, 상기 물체가 종방향으로 이동한 경우에 S240 단계를 수행한다.

상기 촬상 제어 단계(S240)에서, 상기 AF 제어 판단부(152)는 오토포커스의 수행을 결정하고, 오토포커스 수행 명령을 상기 카메라 설정 파라미터 결정부(158)에 전송하고, 상기 카메라 설정 파라미터 결정부(158)는 수신한 상기 오토포커스 수행 명령을 상기 촬상 제어부(170)로 전송한다. 이러한 오토포커스 수행 명령의 전송은, 오토포커스 기능의 활성화/비활성화를 나타내는 오토포커스 온/오프 플래그(flag)를 온으로 설정하는 것에 대응될 수 있다.

본 예에서는, 상기 촬상 제어 단계(S240) 이후에 상기 AF 제어 프로세스를 종료하는 것으로 예시하고 있으나,

상기 S210~S240 단계는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족일 때까지 반복될 수도 있다.

도 6은 본 발명의 바람직한 실시 예에 따른 노출 제어 프로세스를 설명하기 위한 흐름도이고, 도 7은 노출 시간 변경에 따른 물체 인식 결과를 설명하기 위한 도면이다.

상기 노출 제어 프로세스는 프리뷰 영상 내 물체의 특징점에서 구해진 움직임 정보(Motion Vector)를 이용하여, 물체의 움직임이 클 경우 노출시간을 감소시켜 블러(Blur)가 최소화 되도록 한다. 이때, 밝기에 제한을 두어 영상이 너무 어두워지지 않도록 한다.

상기 노출 제어 프로세스는 물체 인식 성능 판단 단계(S310)와, 움직임 벡터 계산 단계(S320)와, 움직임 판단 단계(S330)와, 밝기 판단 단계(S340)와, 노출 시간 감소량 결정 단계(S350)와, 촬상 제어 단계(S360)를 포함한다.

상기 물체 인식 성능 판단 단계(S310)에서, 상기 노출 제어 판단부(153)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 노출 제어 판단부(153)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다. 본 예와 다르게, 상기 노출 제어 판단부(153)는 상기 영상 인식 처리부(120)로부터 인식의 만족 여부에 대한 정보를 직접 수신할 수도 있다.

상기 인식 결과가 만족이면 상기 노출 제어 프로세스를 종료하고, 상기 인식 결과가 불만족이면, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하면, S320 단계를 수행한다.

상기 움직임 벡터 계산 단계(S320)에서, 상기 노출 제어 판단부(153)는 현재 영상 프레임과 이전 영상 프레임을 비교하고, 이전 영상 프레임의 물체가 현재 영상 프레임에서 움직였는지를 판단한다. 이러한 움직임의 정도는 움직임 벡터로 표현된다. 이러한 움직임 추정 방법은 공지된 것이므로, 그 상세한 설명은 생략한다.

상기 움직임 판단 단계(S330)에서, 상기 노출 제어 판단부(153)는 물체가 움직였는지의 여부를 판단한다. 즉, 상기 노출 제어 판단부(153)는 계산된 움직임 벡터의 크기가 미리 설정된 임계값과 비교하고, 그 이상인 경우에 물체가 움직인 것으로 판단하고, 그 미만인 경우에 물체가 움직이지 않은 것으로 판단한다. 또는, 상기 노출 제어 판단부(153)는 (움직임 벡터의 크기/프리뷰 영상 프레임의 크기)를 미리 설정된 임계값과 비교할 수도 있다.

상기 물체가 움직인 경우에 상기 노출 제어 프로세스를 종료하고, 그렇지 않은 경우에 S340 단계를 수행한다.

상기 밝기 판단 단계(S340)에서, 상기 노출 제어 판단부(153)는 현재 영상 프레임의 밝기를 미리 설정된 임계값과 비교하고, 그 이상인 경우에 현재 영상 프레임이 밝은 것으로 판단하고, 그 미만인 경우에 현재 영상 프레임이 어두운 것으로 판단한다.

현재 영상 프레임이 어두운 경우에 상기 노출 제어 프로세스를 종료하고, 그렇지 않은 경우에 S350 단계를 수행한다.

상기 노출 시간 감소량 결정 단계(S350)에서, 상기 노출 제어 판단부(153)는 현재 영상 프레임에서의 물체의 움직임 여부(또는 움직임 벡터의 크기)와 현재 영상 프레임의 밝기에 근거하여 노출 시간 감소량(즉, 프레임 레이트(초당 프레임 수))을 결정한다.

도 7의 (a)는 프레임 레이트가 30fps인 경우에 매칭되는 특징점의 수(=8)를 나타내고, 도 7의 (b)는 프레임 레이트가 60fps인 경우에 매칭되는 특징점의 수(=115)를 나타낸다. 이때, 상기 메모리(130)에 저장된 기준 영상 데이터가 갖는 특징점의 수는 1388개이다.

예를 들어, 상기 노출 제어 판단부(153)는 카메라 설정 파라미터들 중의 하나인 프레임 레이트를 60fps 로 결정할 수 있다.

이러한 결정을 위해, 상기 노출 제어 판단부(153)는 상기 인식 결과로부터 파악되는 특징점의 수, 에지 강도 및 매칭되는 특징점의 수 중의 적어도 하나를 해당 임계 값과 비교하고, 필요한 프레임 레이트를 산출할 수도 있다.

상기 촬상 제어 단계(S360)에서, 상기 노출 제어 판단부(153)는 결정된 프레임 레이트를 상기 카메라 설정 파라미터 결정부(158)에 전송하고, 상기 카메라 설정 파라미터 결정부(158)는 수신한 상기 프레임 레이트를 상기 촬상 제어부(170)로 전송한다.

본 예에서는, 상기 촬상 제어 단계(S360) 이후에 상기 노출 제어 프로세스를 종료하는 것으로 예시하고 있으나,

상기 S310~S320 단계는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족일 때까지 반복될 수도 있다. 이러한 경우에, 각 반복 단계마다 프레임 레이트는 현재의 프레임 레이트에서 일정한 양만큼 증가될 수도 있다.

도 8은 본 발명의 바람직한 실시 예에 따른 줌 제어 프로세스를 설명하기 위한 흐름도이고, 도 9는 줌 변경에 따른 물체 인식 결과를 설명하기 위한 도면이다.

이해를 돕기 위해, 먼저 도 9에 대해 설명하자면 아래와 같다.

도 9의 (a)를 보면, 사용자는 640*480 해상도의 프리뷰 영상 프레임 내에 표시된 물체, 즉 영화 포스터를 관심 영역(region of interest, ROI)으로 선택한다.

도 9의 (b)를 보면, 640*480보다 큰 풀 해상도의 원 영상 프레임에서 상기 관심 영역을 자동으로 크로핑한다.

도 9의 (c)를 보면, 상기 크로핑된 관심 영역을 확대 표시(줌 인)하고, 확대 표시된 관심 영역에 대해 물체 인식을 수행한다.

상기 줌 제어 프로세스는 풀 해상도의 원 영상 프레임에서 관심 영역을 얻기 때문에, 프리뷰 영상 프레임에서 보여지는 물체가 작은 경우에도 인식이 가능하도록 한다.

상기 줌 제어 프로세스는 사용자 입력 확인 단계(S410)와, 크롭 상태 확인 단계(S420)와, 사용자 입력 상태 설정 단계(S430)와, 크롭 및 입력 상태 확인 단계(S440)와, 제1 크롭 및 입력 상태 설정 단계(S450)와, 줌 설정 단계(S460)와, 물체 인식 성능 판단 단계(S470)와, 크롭 상태 설정 단계(S480)와, 불만족 횟수 증가 단계(S490)와, 불만족 횟수 비교 단계(S500)와, 제2 크롭 및 입력 상태 설정 단계(S510)와, 줌 기본 설정 단계(S520)를 포함한다.

본 예와 다르게, 상기 사용자 입력 확인 단계(S410) 이전에 상기 물체 인식 성능 판단 단계가 추가될 수 있고, 상기 줌 제어 프로세스는 인식 결과가 실패인 경우에 자동으로 수행될 수도 있다. 이러한 자동 실행에 있어서, 상기 줌 제어 판단부(154)는 상기 줌 제어 프로세스의 실행과 관련된 안내(관심 영역 선택 안내 메시지의 표시, 복수의 관심 영역들 중의 선택 대기 표시 등)를 수행할 수 있다.

상기 사용자 입력 확인 단계(S410)에서, 상기 줌 제어 판단부(154)는 상기 입력부(160)를 통해 상기 줌 제어 프로세스의 실행과 관련된 사용자 입력이 있는지를 판단한다.

사용자 입력이 있는 경우에 S420 단계를 수행하고, 사용자 입력이 없는 경우에 S440 단계를 수행한다.

상기 크롭 상태 확인 단계(S420)에서, 상기 줌 제어 판단부(154)는 크롭 상태가 1에 해당하는지를 판단한다. 도 8의 좌상단에 표로 정리되어 있는 바와 같이, 크롭 상태는, 초기 상태 또는 줌 설정 시작 상태에서 0으로 설정되고, 줌 설정 중인 상태에서 1로 설정되고, 줌 상태 또는 줌 취소 시작 상태에서 2로 설정된다. 입력 상태는 줌 설정 시작 상태 또는 줌 취소 시작 상태에서 1로 설정되고, 위 나머지 상태에서 0으로 설정된다.

크롭 상태가 1에 해당하는 경우에 S440 단계를 수행하고, 크롭 상태가 1에 해당하지 않는 경우에 S430 단계를 수행한다.

상기 사용자 입력 상태 설정 단계(S430)에서, 상기 줌 제어 판단부(154)는 입력 상태를 1로 설정한다.

상기 크롭 및 입력 상태 확인 단계(S440)에서, 상기 줌 제어 판단부(154)는 크롭 상태 및 입력 상태가 어떠한 값들을 갖는지를 판단한다.

크롭 상태 및 입력 상태가 (0, 1)에 해당하는 경우에 S450 단계를 수행하고, 크롭 상태 및 입력 상태가 (1, 0)에 해당하는 경우에 S470 단계를 수행하고, 크롭 상태 및 입력 상태가 (2, 1)에 해당하는 경우에 S510 단계를 수행한다.

상기 제1 크롭 및 입력 상태 설정 단계(S450)에서, 상기 줌 제어 판단부(154)는 크롭 상태 및 입력 상태를 (1, 0)으로 설정한다.

상기 줌 설정 단계(S460)에서, 상기 줌 제어 판단부(154)는 프리뷰 영상 프레임에서 풀 영상 프레임(즉, 원 영상 프레임)으로 변화할 때 관심 영역의 좌표 및 크기를 계산한다. 예를 들어, 관심 영역의 좌표는 터치스크린 상의 사용자 입력에 의해 얻어질 수 있고, 상기 관심 영역의 변화된 크기는 (풀 해상도/프리뷰 해상도*(ROI 크기 + 마진))에 의해 계산될 수 있다.

상기 줌 제어 판단부(154)는 상기 계산된 관심 영역의 좌표 및 크기를 상기 촬상 제어부로 전송한다.

상기 물체 인식 성능 판단 단계(S470)에서, 상기 줌 제어 판단부(154)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 줌 제어 판단부(154)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다.

상기 인식 결과가 만족이면 S480 단계를 수행하고, 상기 인식 결과가 불만족이면, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하면, S490 단계를 수행한다.

상기 크롭 상태 설정 단계(S480)에서, 상기 줌 제어 판단부(154)는 크롭 상태를 2로 설정한다.

상기 불만족 횟수 증가 단계(S490)에서, 상기 줌 제어 판단부(154)는 상기 줌 제어 프로세스 동안의 인식 불만족 횟수를 누적 저장한다.

상기 불만족 횟수 비교 단계(S500)에서, 상기 줌 제어 판단부(154)는 상기 누적된 인식 불만족 횟수를 미리 설정된 임계 값과 비교한다.

상기 누적된 인식 불만족 횟수를 미리 설정된 임계 값보다 크면 S510 단계를 수행한다.

상기 제2 크롭 및 입력 상태 설정 단계(S510)에서, 상기 줌 제어 판단부(154)는 크롭 상태 및 입력 상태를 (0, 0)으로 설정한다.

상기 줌 기본 설정 단계(S520)에서, 상기 줌 제어 판단부(154)는 풀 영상 프레임이 프리뷰 영상 프레임으로 복귀하도록 상기 촬상 제어부(170)를 설정한다.

상기 줌 제어 판단부(154)는 상기 계산된 관심 영역의 좌표 및 크기를 상기 촬상 제어부(170)로 전송한다.

본 예에서는, 상기 누적된 불만족 횟수가 미리 설정된 임계 값 이하인 경우에 상기 줌 제어 프로세스를 종료하는 것으로 예시하고 있으나, 이와 다르게, 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족이거나 상기 누적된 인식 불만족 횟수를 미리 설정된 임계 값보다 클 때까지, S410 단계로 리턴할 수도 있다.

도 10은 본 발명의 바람직한 실시 예에 따른 비닝/서브샘플링 제어 프로세스를 설명하기 위한 흐름도이다.

상기 비닝/서브 샘플링 제어 프로세스는 풀 영상을 프리뷰 영상으로 크기 변경(Resize)할 때, 비닝(binning) 및 서브 샘플링(Subsample) 설정 값을 다르게 함으로써 에지 정보를 강화하여 인식 성능을 높인다.

상기 비닝/서브 샘플링 제어 프로세스는 물체 인식 성능 판단 단계(S160)와, 비닝/서브 샘플링 방법 결정 단계(S620)와, 촬상 제어 단계(S630)를 포함한다.

상기 물체 인식 성능 판단 단계(S610)에서, 상기 비닝/서브 샘플링 제어 판단부(156)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 비닝/서브 샘플링 제어 판단부(156)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다. 본 예와 다르게, 상기 비닝/서브 샘플링 제어 판단부(156)는 상기 영상 인식 처리부(120)로부터 인식의 만족 여부에 대한 정보를 직접 수신할 수도 있다.

상기 인식 결과가 만족이면 상기 비닝/서브 샘플링 제어 프로세스를 종료하고, 상기 인식 결과가 불만족이면, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하면, S620 단계를 수행한다.

상기 비닝/서브 샘플링 방법 결정 단계(S620)에서, 상기 비닝/서브 샘플링 제어 판단부(156)는 아래와 같은 서브 단계들을 수행한다.

1. 평균 비닝(Average binning), 써밍 비닝(Summing binning), 스키핑(Skipping) 등과 같은 기법을 통해 밝기를 확보하여 에지가 더욱 잘 추출될 수 있도록 원 영상을 크기 변경한다.

2. 상기 크기 변경된 영상을 실제 프리뷰의 크기로 스케일 다운(Scale Down)할 때 인식 성능 결과에 따라 에지 정보가 더욱 잘 추출 될 수 있도록 근접 이웃(Nearest neighbor), M/N 방법, 고등 차수(bicubic), 양선형(bilinear) 등의 방법 중에 선택하여 적용한다.

3. 선택될 비닝 및 서브 샘플링 방법은 미리 학습에 의해 최적의 방법을 결정하도록 한다.

상기 비닝/서브 샘플링 제어 판단부(156)는 상기 인식 결과에 근거하여 비닝 및 서브 샘플링 방법을 결정할 수 있다.

이러한 결정을 위해, 상기 비닝/서브 샘플링 제어 판단부(156)는 상기 학습 결과를 반영한 테이블을 참조할 수 있고, 상기 테이블에서 상기 인식 결과로부터 파악되는 특징점의 수, 에지 강도 및 매칭되는 특징점의 수 중의 적어도 하나와 대응되는 비닝 및 서브 샘플링 방법을 도출할 수 있다. 상기 테이블은 상기 메모리(130)에 저장되어 있을 수 있다.

상기 촬상 제어 단계(S630)에서, 상기 비닝/서브 샘플링 제어 판단부(156)는 선택된 비닝 및 서브 샘플링 방법을 상기 카메라 설정 파라미터 결정부(158)에 전송하고, 상기 카메라 설정 파라미터 결정부(158)는 수신한 상기 비닝 및 서브 샘플링 방법을 상기 촬상 제어부(170)로 전송한다.

본 예에서는, 상기 촬상 제어 단계(S630) 이후에 상기 비닝 및 서브 샘플링 제어 프로세스를 종료하는 것으로 예시하고 있으나,

상기 S610~S630 단계는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족일 때까지 반복될 수도 있다. 이러한 경우에, 각 반복 단계마다 미리 설정된 우선 순위 또는 무작위의 서로 다른 비닝 및 서브 샘플링 방법이 선택될 수도 있다.

도 11은 본 발명의 바람직한 실시 예에 따른 에지 개선/노이즈 감소 제어 프로세스를 설명하기 위한 흐름도이다.

상기 에지 개선/노이즈 감소 제어 프로세스는 프리뷰 영상 내 물체가 인식되는 성능을 분석하여 원하는 기준에 도달할 때까지 에지 개선/노이즈 감소 조정값을 증가시켜 인식 알고리즘의 성능을 높인다.

상기 에지 개선/노이즈 감소 제어 프로세스는 물체 인식 성능 판단 단계(S710)와, 에지 개선/노이즈 감소 조정 값 결정 단계(S720)와, 촬상 제어 단계(S730)를 포함한다.

상기 물체 인식 성능 판단 단계(S710)에서, 상기 에지 개선/노이즈 감소 제어 판단부(157)는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과의 성능, 즉 상기 인식 결과가 만족인지 불만족인지의 여부를 판단한다. 상기 에지 개선/노이즈 감소 제어 판단부(157)는 상기 인식 결과로부터 파악되는 특징 정보(특징점의 수, 에지 강도, 매칭되는 특징점의 수 등)에 근거하여, 상기 인식 결과의 성능을 결정한다. 본 예와 다르게, 상기 에지 개선/노이즈 감소 제어 판단부(157)는 상기 영상 인식 처리부(120)로부터 인식의 만족 여부에 대한 정보를 직접 수신할 수도 있다.

상기 인식 결과가 만족이면 상기 에지 개선/노이즈 감소 제어 프로세스를 종료하고, 상기 인식 결과가 불만족이면, 즉 상기 영상 인식 결과에 포함된 특징 정보가 미리 설정된 임계 조건(개수, 강도, 양 등으로 정의됨)을 만족하지 못하면, S720 단계를 수행한다.

상기 에지 개선/노이즈 감소 조정 값 결정 단계(S720)에서, 상기 에지 개선/노이즈 감소 제어 판단부(157)는 상기 인식 결과에 근거하여 상기 에지 개선/노이즈 감소 조정 값을 결정할 수 있다.

이러한 결정을 위해, 상기 에지 개선/노이즈 감소 제어 판단부(157)는 학습 결과를 반영한 테이블을 참조할 수 있고, 상기 테이블에서 상기 인식 결과로부터 파악되는 특징점의 수, 에지 강도 및 매칭되는 특징점의 수 중의 적어도 하나와 대응되는 에지 개선/노이즈 감소 조정 값을 도출할 수 있다.

도 12는 상기 에지 개선/노이즈 감소 제어 프로세스에서 이용되는 테이블을 개략적으로 나타내는 그래프이다. 상기 인식 결과로부터 파악되는 특징점의 수, 에지 강도 및 매칭되는 특징점의 수 중의 적어도 하나는 여러 조건들로 분류되고(조건 A~E), 이러한 조건에 대응되는 에지 개선/노이즈 감소 조정 값의 범위가 존재한다.

상기 촬상 제어 단계(S730)에서, 상기 에지 개선/노이즈 감소 제어 판단부(157)는 결정된 에지 개선/노이즈 감소 조정 값을 상기 카메라 설정 파라미터 결정부(158)에 전송하고, 상기 카메라 설정 파라미터 결정부(158)는 수신한 상기 에지 개선/노이즈 감소 조정 값을 상기 촬상 제어부(170)로 전송한다.

본 예에서는, 상기 촬상 제어 단계(S730) 이후에 상기 에지 개선/노이즈 감소 제어 프로세스를 종료하는 것으로 예시하고 있으나,

상기 S710~S730 단계는 상기 영상 인식 처리부(120)로부터 수신한 인식 결과가 만족일 때까지 반복될 수도 있다. 이러한 경우에, 각 반복 단계마다 에지 개선/노이즈 감소 조정 값은 현재의 에지 개선/노이즈 감소 조정 값에서 일정한 양만큼 증가될 수도 있다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 호스트 장치 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

110: 촬상부, 120: 영상 인식 처리부, 130: 메모리, 140: 표시부, 150: 카메라 설정 파라미터 제어부, 160: 입력부, 170: 촬상 제어부

Claims

카메라를 이용한 물체 인식 방법에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와;
상기 프리뷰 영상의 특징 정보를 검출하는 단계와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하는 단계와;
상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와;
상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함하고,
상기 특징 정보는 특징점들의 수, 에지 강도 및 텍스쳐의 양 중의 적어도 하나를 포함하고,
상기 특징점들의 수는 상기 프리뷰 영상의 검출된 특징점들 중에서 미리 저장된 기준 영상의 특징점들과 일치하는 특징점들의 수인 것을 특징으로 하는 카메라를 이용한 물체 인식 방법.
삭제
삭제
제1항에 있어서, 상기 카메라 설정 파라미터를 변경하는 단계는,
상기 물체 인식 결과에 근거하여 ISO 조정 값을 결정하는 단계와;
상기 ISO 조정 값에 따라 상기 카메라에 구비된 영상 센서의 이득을 조절하는 단계를 포함함을 특징으로 하는 카메라를 이용한 물체 인식 방법.
카메라를 이용한 물체 인식 방법에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와;
상기 프리뷰 영상의 특징 정보를 검출하는 단계와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하는 단계와;
상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와;
상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함하고,
상기 카메라 설정 파라미터를 변경하는 단계는,
영상 프레임에서 물체의 움직임 벡터를 계산하는 단계와;
상기 물체의 이동 방향을 판단하는 단계와;
상기 물체의 이동 방향이 종방향인 경우에 오토 포커스를 수행하는 단계를 포함함을 특징으로 하는 카메라를 이용한 물체 인식 방법.
카메라를 이용한 물체 인식 방법에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와;
상기 프리뷰 영상의 특징 정보를 검출하는 단계와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하는 단계와;
상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와;
상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함하고,
상기 카메라 설정 파라미터를 변경하는 단계는,
영상 프레임에서 물체의 움직임 벡터를 계산하는 단계와;
상기 물체의 움직임이 있는 경우에, 영상 프레임의 밝기를 판단하는 단계와;
상기 영상 프레임의 밝기가 미리 설정된 임계 값 이상인 경우에, 프레임 레이트를 조절하는 단계를 포함함을 특징으로 하는 카메라를 이용한 물체 인식 방법.
카메라를 이용한 물체 인식 방법에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 디스플레이에 표시하는 단계와;
상기 프리뷰 영상의 특징 정보를 검출하는 단계와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하는 단계와;
상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하는 단계와;
상기 변경된 카메라 설정 파라미터에 근거하여 생성된 프리뷰 영상에 대하여 물체 인식을 수행하는 단계를 포함하고,
상기 카메라 설정 파라미터를 변경하는 단계는,
프리뷰 영상 프레임에서 관심 영역을 선택하는 단계와;
원 영상 프레임에서 상기 관심 영역을 크로핑하는 단계를 포함하고,
상기 크로핑된 관심 영역에 대해 물체 인식을 수행함을 특징으로 하는 카메라를 이용한 물체 인식 방법.
카메라 시스템에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 생성하는 촬상부와;
상기 카메라 설정 파라미터를 변경하는 촬상 제어부와;
상기 생성된 프리뷰 영상을 표시하는 표시부와;
상기 생성된 프리뷰 영상에 대하여 물체 인식을 수행하고, 상기 프리뷰 영상의 특징 정보를 검출하는 영상 인식 처리부와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하며, 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하도록 상기 촬상 제어부를 제어하는 카메라 설정 파라미터 제어부를 포함하고,
상기 특징 정보는 특징점들의 수, 에지 강도 및 텍스쳐의 양 중의 적어도 하나를 포함하고,
상기 특징점들의 수는 상기 프리뷰 영상의 검출된 특징점들 중에서 미리 저장된 기준 영상의 특징점들과 일치하는 특징점들의 수인 것을 특징으로 하는 카메라 시스템.
삭제
삭제
제8항에 있어서, 상기 카메라 설정 파라미터 제어부는,
상기 물체 인식 결과에 근거하여 ISO 조정 값을 결정하는 ISO 제어 판단부를 포함하고,
상기 촬상 제어부는 상기 ISO 조정 값에 따라 상기 카메라에 구비된 영상 센서의 이득을 조절함을 특징으로 하는 카메라 시스템.
카메라 시스템에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 생성하는 촬상부와;
상기 카메라 설정 파라미터를 변경하는 촬상 제어부와;
상기 생성된 프리뷰 영상을 표시하는 표시부와;
상기 생성된 프리뷰 영상에 대하여 물체 인식을 수행하고, 상기 프리뷰 영상의 특징 정보를 검출하는 영상 인식 처리부와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하며, 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하도록 상기 촬상 제어부를 제어하는 카메라 설정 파라미터 제어부를 포함하고,
상기 카메라 설정 파라미터 제어부는,
영상 프레임에서 물체의 움직임 벡터를 계산하고, 상기 물체의 이동 방향을 판단하고, 상기 물체의 이동 방향이 종방향인 경우에 오토 포커스를 활성화하는 오토 포커스 제어 판단부를 포함함을 특징으로 하는 카메라 시스템.
카메라 시스템에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 생성하는 촬상부와;
상기 카메라 설정 파라미터를 변경하는 촬상 제어부와;
상기 생성된 프리뷰 영상을 표시하는 표시부와;
상기 생성된 프리뷰 영상에 대하여 물체 인식을 수행하고, 상기 프리뷰 영상의 특징 정보를 검출하는 영상 인식 처리부와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하며, 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하도록 상기 촬상 제어부를 제어하는 카메라 설정 파라미터 제어부를 포함하고,
상기 카메라 설정 파라미터 제어부는,
영상 프레임에서 물체의 움직임 벡터를 계산하고, 상기 물체의 움직임이 있는 경우에, 영상 프레임의 밝기를 판단하고, 상기 영상 프레임의 밝기가 미리 설정된 임계 값 이상인 경우에, 프레임 레이트의 조정 값을 결정하는 노출 제어 판단부를 포함함을 특징으로 하는 카메라 시스템.
카메라 시스템에 있어서,
미리 설정된 카메라 설정 파라미터에 근거하여, 프리뷰 영상을 생성하는 촬상부와;
상기 카메라 설정 파라미터를 변경하는 촬상 제어부와;
상기 생성된 프리뷰 영상을 표시하는 표시부와;
상기 생성된 프리뷰 영상에 대하여 물체 인식을 수행하고, 상기 프리뷰 영상의 특징 정보를 검출하는 영상 인식 처리부와;
상기 특징 정보를 미리 설정된 임계 조건과 비교하며, 상기 특징 정보가 상기 임계 조건을 만족하지 못하는 경우에, 상기 카메라 설정 파라미터를 변경하도록 상기 촬상 제어부를 제어하는 카메라 설정 파라미터 제어부를 포함하고,
상기 카메라 설정 파라미터 제어부는,
프리뷰 영상 프레임에서 관심 영역을 선택하고, 원 영상 프레임에서 상기 관심 영역을 크로핑하는 줌 제어 판단부를 포함하고,
상기 영상 인식 처리부는 상기 크로핑된 관심 영역에 대해 물체 인식을 수행함을 특징으로 하는 카메라 시스템.
제1항, 제4항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.