KR20100123617A

KR20100123617A - 화상처리장치 및 그 제어 방법

Info

Publication number: KR20100123617A
Application number: KR1020100043766A
Authority: KR
Inventors: 테츠야 하다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2009-05-15
Filing date: 2010-05-11
Publication date: 2010-11-24
Also published as: JP2010268323A; US8319883B2; KR101347644B1; US20100289937A1; JP5361528B2; US8654243B2; US20130100319A1

Abstract

화상처리장치는, 촬영 화상을 표시하는 표시부와, 촬영 화면내에서의 주 피사체 영역을 검출하는 피사체 영역 검출부와, 상기 주 피사체 영역이 합초 상태인지의 여부를 판정하는 판정부와, 상기 표시부에 합초 상태의 주 피사체 영역을 합초 상태가 아닐 경우보다도 크게 확대 표시시키는 확대부와, 상기 주 피사체 영역의 주 피사체가 상기 촬영 화면내를 움직이는가 아닌가를 검출하는 피사체 움직임 검출부와, 상기 주 피사체가 움직이고 있는 것을 상기 피사체 움직임 검출부가 검출하는 경우, 상기 확대부에 의한 확대 표시를 제한하는 확대 제어부를 구비한다.

Description

화상처리장치 및 그 제어 방법{IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}

본 발명은, 표시부로하여금 주 피사체를 확대 표시 가능하게 하는 화상처리장치 및 그 화상처리장치의 제어 방법에 관한 것이다.

유저가 화상을 촬영하는(photographing) 디지탈 카메라의 포커스를 맞출 때, 디지탈 카메라에 구비되어 있는 촬영 화면에서는 그 크기가 충분하지 않기 때문에 디지털 카메라 정확하게 포커스가 맞고 있는 것인가 아닌가의 확인이 곤란했다. 그 때문에, 촬영후에 화상을 확대 표시하거나 인쇄했을 때에, 그 화상이 정확하게 포커스가 맞지 않고 있는 상태일 수도 있다.

그래서, 최근에는, 정확하게 포커스를 맞춰서 촬영을 행하도록, 포커스 위치를 확대 표시하여, 유저가 용이하고 정확하게 포커스를 맞출 수 있는 기술이 제안되어 있다.

일본국 공개특허공보 특개 2003-179798호에는, 유저가 셔터 버튼을 반누른 상태일 때, 미리 유저에 의해 설정된 포커스 에어리어 중심 주변의 영역을 확대 표시하는 기술이 개시되어 있다. 한층 더, 확대 표시 에어리어에 화상을 표시하는 촬영 대상 피사체의 전체 피사체중의 위치와, 그때 표시된 화상의 해상도를, 유저가 카메라를 조작하여 자유롭게 변경할 수 있다.

또한, 동체 추적 기능을 갖춘 디지탈 카메라에 있어서는, 카메라가 피사체에 포커스를 맞춘 후에 포커스 영역 프레임을 표시하고, 피사체가 움직이고 있을 때도 그 피사체의 움직임에 맞춰서 포커스 영역 프레임을 추적시켜서 표시하는 기능을 갖는 것도 있다.

그렇지만, 일본국 공개특허공보 특개 2003-179798호와 같이 포커스 위치를 확대하기 위해서는, 유저가 촬영 화면상의 포커스 위치를 촬영전에 미리 설정해서 놓아야 했다.

또한, 피사체가 움직이고 있는 불안정한 조건하에서 확대 표시를 행하면, 촬영 화면의 구도를 알기 어려워져버리거나, 그 촬영 화면의 구석에 피사체가 위치되는 경우, 모든 합초 영역(포커스 영역)을 확대 표시할 수 없게 되거나 한다고 하는 문제가 있기도 하다.

본 발명의 일 국면에 따른 화상처리장치는, 촬영 화상을 표시하는 표시부와, 촬영 화면내에서의 피사체 영역을 검출하는 피사체 영역 검출부와, 주 피사체 영역이 합초 상태인지의 여부를 판정하는 합초 판정부와, 상기 표시부에 합초 상태의 주 피사체 영역을 합초 상태가 아닐 경우보다도 보다 크게 확대 표시시키는 확대 부와, 상기 피사체 영역의 피사체가 상기 촬영 화면내를 움직이고 있는 것인가 아닌가를 검출하는 움직임 검출부와, 상기 피사체가 움직이고 있는 경우, 상기 확대부에 의한 확대 표시를 제한하는 제어부를 구비한다.

본 발명의 또 다른 특징들 및 국면들을 첨부된 도면들을 참조하여 아래에 상세히 설명된 예시적 실시예들로부터 명백해질 것이다.

본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 예시적인 실시예들, 특징들 및 국면들을 나타내고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 제 1 예시적 실시예에 따른 디지탈 카메라의 외관도다.
도 2는 제 1 예시적 실시예에 따른 디지탈 카메라의 구성을 나타내는 블럭도다.
도 3은 제 1 예시적 실시예에 따른 주요 동작을 나타내는 흐름도다.
도 4는 제 1 예시적 실시예에 따른 표시 예를 나타낸다.
도 5는 제 2 예시적 실시예에 따른 주요 동작을 나타내는 흐름도다.
도 6은 제 2 예시적 실시예에 따른 표시 예를 나타낸다.

일 실시예의 구성요소들은, 하드웨어, 펌웨어, 소프트웨어 또는 그것의 임의의 조합으로 구현되어도 된다. 일반적으로 하드웨어란, 전자, 전자기, 광학, 전기광학, 기계적, 전기기계적 부품 등등의 물리구조를 갖는 구성요소를 말한다. 하드웨어 구현은, 아날로그나 디지털 회로, 디바이스, 프로세서, 주문형 반도체(ASIC), 프로그램 가능형 논리소자(PLD), 현장 프로그래머블 게이트 어레이(FPGA), 또는 임의의 전자소자를 포함하기도 한다. 일반적으로 소프트웨어란, 논리구조, 방법, 과정, 프로그램, 루틴, 프로세스, 알고리즘, 식, 기능, 표현법 등등을 말한다. 일반적으로 펌웨어란, 하드웨어 구조(예를 들면, 플래쉬 메모리)로 구현되거나 구체화된, 논리구조, 방법, 과정, 프로그램, 루틴, 프로세스, 알고리즘, 식, 기능, 표현법 등등을 말한다. 펌웨어의 예로는, 마이크로코드, 기록 가능형 제어 스토어, 및 마이크로프로그래밍된 구조가 있기도 하다. 소프트웨어 또는 펌웨어로 구현되는 경우, 일 실시예의 구성요소는, 필요한 업무를 수행하기 위한 코드 세그먼트이어도 된다. 그 소프트웨어/펌웨어는, 일 실시예에 기재된 동작을 실시하기 위해 실제의 코드나, 상기 동작을 에뮬레이트 또는 시뮬레이트하는 코드를 포함하여도 된다. 프로그램 또는 코드 세그먼트는, 프로세서 또는 머신 액세스 가능 매체에 기억되어도 된다. "프로세서 판독 가능 또는 액세스 가능한 매체" 또는 "머신 판독 가능 또는 액세스 가능 매체"로는, 정보를 기억하거나 전송하는 어떠한 매체이어도 된다. 기억할 수 있는 프로세서 판독 가능 또는 머신 액세스 가능 매체의 예들로는, 기억매체, 전자회로, 반도체 메모리 소자, 판독전용 메모리(ROM), 플래쉬 메모리, 소거 가능형 프로그램 가능형 ROM(EPROM), 플로피 디스켓, 콤팩트 디스크(CD) ROM, 광 기억매체, 자기 기억매체, 메모리 스틱, 메모리카드, 하드디스크, 등이 있다. 머신 액세스 가능 매체는, 제조의 물품으로 구체화되어도 된다. 머신 액세스 가능 매체는, 머신이 액세스하는 경우, 그 머신이 상술한 동작이나작용을 행하게 하는 정보나 데이터를 포함하여도 된다. 그 머신 엑세스 가능 매체는, 프로그램 코드, 명령어 또는, 그 내부에 삽입된 명령어들도 포함하기도 한다. 프로그램 코드는, 머신 판독 가능 코드, 명령어 또는 상기 동작이나 작용을 행하는 명령어들을 포함하기도 한다. 여기서 "정보" 또는 "데이터"란, 머신 판독을 가능하도록 부호화된 임의의 종류의 정보를 말한다. 그 때문에, 그 정보나 데이터는, 프로그램, 코드, 데이터, 파일 등을 포함하기도 한다.

이하, 도면들을 참조하여 본 발명의 각종 예시적 실시예들, 특징들 및 국면들을 상세히 설명하겠다.

도 1은 본 발명의 제 1 예시적 실시예에 따른 촬상장치의 일례로서의 디지탈 카메라의 외관도다.

도 1에 있어서, 화상표시부(28)는, 화상이나 각종 정보를 표시한다. 모드 다이알(60)은 각종 모드를 바꾸고, 셔터 버튼(61)은 촬영 준비 동작과 촬영 동작을 지시한다. 조작부(70)는, 유저로부터의 각종 조작을 접수하는 각종 스위치, 버튼 및 터치패널로 이루어진다. 디지탈 카메라(100)는 촬상장치의 역할을 하고, 커넥터(112)는 접속 케이블을 거쳐 디지탈 카메라(100)에 접속된다.

또한, 도 1은 메모리 카드나 하드디스크 등의 기록 매체(200)를 나타낸다. 기록 매체(200)는, 기록 매체 슬롯(201)에 삽입될 수 있고, 상기 삽입된 기록 매체(200)는, 디지탈 카메라(100)와 통신할 수 있다. 뚜껑(203)은 기록 매체 슬롯(201)을 덮는다.

도 2는 본 발명의 제 1 예시적 실시예에 따른 디지탈 카메라(100)의 구성을 나타내는 블록도이다. 도 1과 같은 부분은 동일한 참조번호를 부착하고 있다.

도 2는 디지탈 카메라(100)를 나타낸다. 디지탈 카메라(100)는 촬영 렌즈(10), 조리개 기능을 갖는 셔터(12), 이미지 센서(14), 및 아날로그/디지탈(A/D)변환기(16)를 구비한다. 타이밍 발생 회로(18)는, 이미지 센서(14), A/D변환기(16) 및 디지탈/아날로그(D/A)변환기(26)에 클록 신호나 제어신호를 공급하고, 후술의 메모리 제어회로(22) 및 시스템 제어회로(50)에 의해 제어된다.

화상처리회로(20)는, A/D변환기(16)로부터의 데이터 또는 메모리 제어회로(22)로부터의 데이터에 대하여 소정의 화소보간처리와 색 변환처리를 행한다. 화상처리회로(20)는, 촬영한 화상 데이터를 사용해서 소정의 연산 처리를 행한다. 그 취득한 연산 결과에 의거하여, 시스템 제어회로(50)는, 오토 포커스(ＡＦ)처리, 자동노출(ＡＥ)처리, 및 프리(pre)플래쉬 발광처리를 행한다.

메모리 제어회로(22)는, A/D변환기(16), 타이밍 발생 회로(18), 화상처리회로(20), 화상표시 메모리(24), D/A변환기(26), 메모리(30) 및 압축/신장 회로(32)를 제어한다. A/D변환기(16)로부터의 데이터는 화상처리회로(20) 및 메모리 제어회로(22)를 거쳐서 화상 표시 메모리(24)에 기록되거나, 또는 A/D변환기(16)로부터의 데이터는 직접 메모리 제어회로(22)를 거쳐 메모리 제어회로(22)에 기록된다. 마찬가지로, 그 데이터는, 후술의 메모리(30)에 기록된다.

외부출력 커넥터(27)는, D/A변환기(26)의 출력을 외부 모니터에 출력한다. 외부출력 커넥터(27)에 커넥터가 꽂아져 있는 경우에는, 외부출력 접속 검지부(108)에 의해 시스템 제어회로(50)는 외부출력 상태를 알 수 있다.

화상표시부(28)는, 화상표시 메모리(24)에 기록된 표시용의 화상 데이터를, D/A변환기(26)를 통해 표시하는 박막트랜지스터 액정 디스플레이(ＴＦＴＬＣＤ)를 구비한다. 화상표시부(28)를 사용해서 그 촬영한 화상 데이터를 순차로 표시하여, 전자 파인더(파인더) 기능을 실현한다.

화상표시부(28)는, 시스템 제어회로(50)의 지시에 따라 자유롭게 표시를 온(ＯＮ)/오프(ＯＦＦ)할 수 있어, 표시가 오프되었을 경우에는 디지탈 카메라(100)의 전력소비를 대폭 저감할 수 있다. 또한, 화상표시부(28)는, 회전가능한 힌지부에 의해 디지탈 카메라(100) 본체와 결합되어, 방향과 각도를 자유롭게 설정해서, 유저가 전자 파인더 기능, 재생 표시 기능 및 각종 표시 기능을 사용할 수 있다.

더욱이, 화상표시부(28)의 표시 부분은, 디지탈 카메라(100)를 향해서 집어넣어질 수 있다(닫혀질 수 있다). 이 경우에는, 화상표시부 개/폐 검지부(106)에 의해 닫힌 상태를 검지하고, 상기 화상표시부(28)의 표시 동작을 정지시킨다.

메모리(30)는, 정지화상 또는 동화상을 격납한다. 이 메모리(30)는, 시스템 제어회로(50)의 작업 영역으로서도 사용하는 것이 가능하다. 한층 더, 메모리(30)는, 기록 매체(200, 210)의 기록 버퍼로서도 사용될 수 있다.

압축/신장 회로(32)는, 적응 이산 코사인 변환(ＡＤＣＴ)에 의해 화상 데이터를 압축/신장한다. 압축/신장 회로(32)는, 메모리(30)에 격납된 화상 데이터를 판독해서 압축/신장 처리를 행하고, 그 처리된 데이터를 메모리(30)에 기록한다.

노광 제어부(40)는 조리개 기능을 갖는 셔터(12)를 제어한다. 포커스 제어부(42)는 촬영 렌즈(10)의 포커싱을 제어하고, 줌 제어부(44)는 촬영 렌즈(10)의 주밍(zooming)을 제어하고, 배리어 제어부(46)는 배리어(barrier)인 보호부재(102)의 동작을 제어한다. 플래쉬(48)는 오토 포커스(ＡＦ)보조광의 투광기능 및 플래쉬 광량을 제어하는 기능도 갖는다.

시스템 제어회로(50)는 디지탈 카메라(100) 전체를 제어하고 불휘발성 메모리(56)에 기억된 프로그램을 실행하여, 후술하는 처리를 실현한다. 메모리(52)는, 시스템 제어회로(50)의 동작용의 정수, 변수, 불휘발성 메모리(56)로부터 판독한 프로그램을 전개한다.

표시부(54)는, 시스템 제어회로(50)에서의 프로그램의 실행에 따라, 문자, 화상 및 음성을 사용해서 동작 상태나 메시지를 표시하는 액정표시장치와 스피커로 이루어진다.

상기 표시부(54)는, 한곳 또는 다수의 장소에 설치되고, 그 표시부(54)는 디지탈 카메라(100)의 조작부 부근에 쉽게 보일 수 있다. 상기 표시부(54)는, 예를 들면 액정 디스플레이(ＬＣＤ), 발광다이오드(ＬＥＤ) 및 발음 소자의 조합으로 구성되어 있다. 또한, 상기 표시부(54)는, 그 일부의 기능이 광학 파인더(104) 안에 설치되어 있다.

불휘발성메모리(56)는 전기적으로 데이터를 기억 및 소거할 수 있다. 예를 들면 전기적으로 소거가능한 프로그램 가능형 ROM(ＥＥＰＲＯＭ)을 사용한다. 이 불휘발성메모리(56)에는, 시스템 제어회로(50)의 동작용의 정수 및 프로그램이 기억된다. 본 예시적 실시예에 기재된 프로그램은, 후술의 예시적 실시예에 있어서의 각종 흐름도를 실행한다. 타이머(58)는, 기록 매체 200이나 210의 데이터 기억 속도와, 취득하는 데이터의 데이터 레이트를 측정하는데 사용된다.

모드 다이얼(60), 스위치(ＳＷ1)(62), 스위치(ＳＷ2)(64) 및 조작부(70)는, 시스템 제어회로(50)에 각종의 동작 지시를 입력하기 위한 조작부다. 조작부(70)는, 스위치나 다이얼, 터치패널, 시선검지에 의한 포인팅 및 음성인식 장치의 하나 또는 다수의 조합으로 구성된다.

상기 조작부(70)의 일부는 도 1에 보이고 있다. 그 조작부(70)로서 예를 들면 버튼을 사용하는 경우, 버튼을 눌러서 메뉴 화면으로 표시를 바꾸고, 십자 키를 사용해서 커서를 이동하고, 합초 영역 확대 표시 모드 선택 화면으로 그 표시를 이동한다. 또한 버튼을 누르는 것으로 결정해서 합초 영역 확대 표시 모드로 들어간다.

전원(86)은, 여러 가지의 일차전지, 이차전지, 또는 ＡＣ(교류)어댑터로 이루어진 전원이다. 그 전원은, 커넥터(82,84)를 거쳐 전원(86)으로부터 제어부(80)에 공급된다.

디지털 카메라(100)는, 디지탈 카메라(100)를 커넥터(92,96)를 거쳐 메모리 카드와 하드디스크 등의 기록 매체와 접속시키는 인터페이스(90 및 94)를 구비한다. 기록 매체 착/탈 검지부(98)는, 커넥터(92 또는 96)에 기록 매체(200 또는 210)가 장착되어 있는 것인가 아닌가를 검지한다.

보호부재(102)는, 디지탈 카메라(100)의 촬영 렌즈(10)를 포함하는 촬영부를 덮는 것에 의해, 촬영부를 먼지와 손상으로부터 방지하는 배리어다. 광학 파인더(104)에 의해, 유저는 화상표시부(28)에 의한 전자 뷰(view) 파인더 기능을 사용하지 않고서 광학 파인더(104)만을 사용해서 촬영을 행하는 것이 가능하다.

화상표시부 개/폐 검지부(106)는, 화상표시부(28)가 화상표시부(28)의 표시 부분을 디지탈 카메라(100)에 대향되면서 닫혀지는 것인가 아닌가를 검지한다.

외부출력 접속 검지부(108)는, 상기 외부출력 커넥터(27)에 외부 모니터가 접속되어 있는 것인가 아닌가를 검지한다. 그 외부 모니터가 상기 커넥터(27)에 접속되어 있다고 결정되면, 화상표시부(28) 대신에 외부 모니터를 표시장치로서 사용하는 것이 가능하다.

통신부(110)는, 권고된 표준 232C(ＲＳ232C), 범용 직렬 버스(ＵＳＢ), 전기·전자 기술자 협회(ＩＥＥＥ)1394, P1284, 소형 컴퓨터 시스템 인터페이스(ＳＣＳＩ), 모뎀, 근거리 통신망(ＬＡＮ) 및 무선통신 등의 각종 통신기능을 구비한다. 커넥터 또는 무선통신용 안테나(112)는 통신부(110)를 거쳐 디지탈 카메라(100)를 다른 기기와 접속시킨다.

얼굴검출부(114)는, 화상처리회로(20)로 처리된 화상 데이터와 화상표시 메모리(24)에 보존되어 있는 화상 데이터를 해석하고, 화상 데이터내의 가능한 얼굴을 포함하는 영역을 검출한다. 그 가능한 얼굴을 포함하는 영역을 검출하는 경우, 가능한 인간의 얼굴의 정확도, 입력 화상 데이터중의 위치, 및 그 사이즈를 출력한다. 또한, 검출한 얼굴의 각각의 특징점의 특징량을 출력할 수 있다.

화상비교부(116)는, 화상표시 메모리(24)와 상기 메모리(30)에 기억된 2개의 화상에 대하여 색정보를 기초로 화상의 패턴매칭을 행하여, 화상간의 차이를 검출한다. 스피커(118)는, 음성 데이터 재생부다. 시스템 제어회로(50)로부터 출력되는 디지탈 음성 데이터를 스피커(118)로 재생하기 위해서 D/A변환하는 디지털/아날로그(Ｄ/A)변환기(120).

주 피사체를 추적하는데, 얼굴검출부(114)와 화상비교부(116)를 사용한다. 얼굴검출부(114)에서 검출된 얼굴의 화상에 있어서의 좌표와 면적을 화상비교부(116)에 입력한다. 소정시간 경과 후에, 화상표시 메모리(24)에 보존된 화상 데이터내에, 입력된 얼굴정보를 사용하여 탐색을 행하고, 얼굴의 움직임량을 취득하여, 얼굴을 추적한다.

기록매체(200,210)는, 예를 들면, 메모리 카드나 하드디스크가 있다. 이 기록 매체(200,210)는, 반도체메모리나 자기디스크로 각각 구성된 기록부(202,212), 디지탈 카메라(100)와 기록부(202,212) 사이의 인터페이스(204,214), 디지탈 카메라(100)와 기록 매체(200,210)를 접속시키는 커넥터(206,216)를 구비하고 있다.

상기 조작부(70)를 조작하여 "합초 영역 확대 표시 모드"로 바꾸고, 또 설정에 따라서 후술의 도 4의 합초 영역의 확대 표시를 행하는 모드로 바꾼다. "합초 영역 확대 표시 모드"란, 스위치ＳＷ1이 ＯＮ하고 있는 동안에, ＡＦ를 행하고, 화상표시부(28)에 합초(정확하게 포커싱된) 영역을 확대해서 표시하는 모드를 말한다.

도 3의 흐름도를 참조하여, 본 발명의 제 1 예시적 실시예에 따른 주요 동작에 관하여 설명한다. 우선, 이 처리에서, 얼굴을 주 피사체라고 했을 때에, 주 피사체의 크기, 주 피사체나 카메라가 움직이고 있는 것인가 아닌가, 주 피사체가 합초하고 있는 것인가 아닌가를 판정한다. 그리고, 그 판정 결과에 따라 화상표시부(28)에서의 주 피사체의 합초 영역의 확대 표시를 자동으로 전환한다.

주 피사체의 합초 영역의 확대 표시에 있어서의 각 처리는, 시스템 제어회로(50)가 불휘발성메모리(56)에 격납된 프로그램을 메모리(52)에 전개해서, 그 프로그램을 실행 함에 의해 실현된다. 또한, 주 피사체나 카메라가 움직이고 있는 경우에는, 합초 영역의 확대 표시는 행하지 않는다.

또한, 합초 영역의 확대 표시의 전환은, 합초 영역을 확대 표시하는 경우와, 합초 영역을 확대 표시하지 않고 합초 프레임을 표시하는 경우와, 그 피사체가 합초하지 않고 있으므로 피사체 프레임을 표시하는 경우를 포함한다.

도 3을 참조하면, 시스템 제어회로(50)는, 단계S101에서, 얼굴검출부(114)를 사용해서 얼굴검출을 행하고, 촬영 화면내에서 주 피사체가 되는 얼굴을 결정한다. 주 피사체가 되는 얼굴은 얼굴의 크기나 정확도에 의해 결정되거나, 유저가 조작부(70)를 사용해서 임의로 결정해도 된다.

단계S102에서는, 시스템 제어회로(50)는, 스위치ＳＷ1이 ＯＮ되는 것을 대기한다. 그 스위치ＳＷ1이 ＯＮ되면, 주 피사체의 합초 영역의 확대 표시 처리를 시작하기 위해서 단계S103으로 진행된다.

단계S103에서는, 시스템 제어회로(50)는, 상기 단계S101에서 검출된 주 피사체가 되는 촬영 화면내의 얼굴의 위치와 크기를 포함하는 화상정보를 기억한다. 단계S104에서는, 전술의 단계S101와 같은 상기 얼굴검출 동작을 행한다.

단계S105에서는, 상기 단계S103에서 기억된 주 피사체가 되는 얼굴 화상의 정보와, 상기 단계S104에서 검출된 상기 화상의 얼굴정보를, 화상비교부(116)가 비교한다. 단계S106에서는, 2개의 얼굴이 동일한 얼굴인가 아닌가(또는 기억된 얼굴이 존재하는 것인가 아닌가)를 판정한다. 2개의 얼굴이 동일하다고 판정한 경우에는(단계S106에서 YES), 단계S107로 진행된다. 그 2개의 얼굴이 동일한 얼굴이 아니라고 판정한 경우(또는 얼굴이 없는 경우)(단계S106에서 NO), 단계S115로 진행된다.

상기 단계S103에서 기억된 주 피사체가 되는 얼굴의 화상의 정보와 상기 단계S104에서 검출된 화상의 얼굴정보간의 비교 결과로서, 얼굴이 동일하기 때문에 단계S107로 진행된다. 단계S107에서, 시스템 제어회로(50)는, 상기 단계S104에서 검출된 얼굴에 대하여 ＡＦ를 행한다.

단계S108에서는, 상기 단계S107에서 행한 ＡＦ에 의해 주 피사체에 대하여 합초되어 있는 것인가 아닌가를 판정한다. 그 주 피사체가 합초되어있다고 판정한 경우에는(단계S108에서 YES), 단계S109로 진행된다. 그 주 피사체가 합초되어 있지 않는다고 판정한 경우에는(단계S108에서 NO), 단계S118로 진행된다.

그 주 피사체가 합초하고 있다면, 단계S109로 진행된다. 단계S109에서는, 시스템 제어회로(50)는, 상기 단계S107에서 ＡＦ를 행했을 때의 합초 상태의 주 피사체 영역인 합초 영역의 면적이 그 주 피사체를 확대 표시를 하는 것인가 아닌가의 경계치인 소정의 면적값보다 큰 것인가 아닌가를 판정한다. 그 합초 영역의 면적이 보다 작으면(단계S109에서 YES), 단계S110으로 진행된다. 그 합초 영역의 면적이 보다 크면(단계S109에서 NO), 단계S117로 진행된다.

합초 영역의 면적이 보다 작으면, 단계S110으로 진행된다. 단계S110에서는, 시스템 제어회로(50)는, 상기 단계S103에서 기억된 주 피사체의 얼굴이 움직이고 있는 것인가 아닌가를 판정한다. 얼굴의 움직임은, 상기 단계S103에서 기억된 촬영 화면내의 얼굴의 위치와, 상기 단계S104에서 출력된 얼굴의 위치를 비교하여 검출된다. 그 얼굴이 움직이지 않고 있다고 판정되면(단계S110에서 NO), 단계S111로 진행된다. 얼굴이 움직이고 있다고 판정되면(단계S110에서 YES), 단계S117로 진행된다.

얼굴과 카메라가 움직이지 않고 있으면, 단계S111로 진행된다. 단계S111에서는, 시스템 제어회로(50)는, 상기 단계S107에서 얻어진 합초 영역을, 도 4a에 나타낸 것과 같은 프레임 표시와 함께 확대해서 표시한다. 이 때, 확대 표시된 합초 영역의 중심은, 확대전의 합초 영역의 중심과 같은 촬영 화면상의 좌표가 되도록 표시를 행한다.

단계S112에서는, 시스템 제어회로(50)는, 상기 단계S102에서 ＯＮ이 되어 있었던 스위치ＳＷ1이 계속 ＯＮ인지의 여부를 판정한다. 그 스위치ＳＷ1이 계속 ＯＮ이라고 판정된 경우에는(단계S112에서 YES), 단계S113으로 진행된다.

상기 스위치ＳＷ1이 ＯＦＦ라고 판정된 경우에는(단계S112에서 NO), 단계S104로 되돌아간다. 상기 스위치ＳＷ1은, 스위치ＳＷ1이 계속 ＯＮ인 경우 단계S103에서 기억된 얼굴정보를 사용해서 상술한 마찬가지의 처리를 행한다. 단계S113에서는, 시스템 제어회로(50)는, 스위치ＳＷ2가 ＯＮ되기를 대기한다. 그 스위치ＳＷ2가 ＯＮ되면, 단계S114로 진행되고, 촬영 처리를 행한다.

상기 단계S103에서 기억된 주 피사체가 되는 얼굴 화상의 정보와 상기 단계S104에서 검출된 얼굴 화상의 정보간의 비교의 결과로서, 동일한 얼굴이 아니므로(단계S106에서 NO), 단계S115로 진행된다. 단계S115에서는, 시스템 제어회로(50)는, 촬영 화면 중앙의 한점에서 ＡＦ를 행한다. 단계S116에서는, 상기 단계S115에서 행한 ＡＦ에 의해 피사체가 합초되어 있는 것인가 아닌가를 판정한다.

그 피사체가 합초되어 있다고 판정한 경우에는(단계S116에서 YES), 단계S117로 진행되어, 합초 영역에 대하여 도 4b와 같이 합초 프레임인 프레임을 붙여서, 표시한다. 상기 단계S109에서 합초 영역의 면적이 상기 소정의 면적값보다도 크다고 판정했을 경우와(단계S109에서 ＮＯ), 상기 단계S110에서 얼굴 또는 카메라 중 어느 한쪽이 움직이고 있다고 판정했을 경우(단계S110에서 YES), 단계S117로 진행되고, 합초 영역에 대하여, 도 4b와 같이 합초 프레임을 붙여서 합초 프레임을 갖는 합초 영역을 표시한다.

한편, 상기 단계S108이나 단계S116에서 피사체가 합초되어 있지 않다고 판정한 경우에는(단계S108 또는 단계S116에서 NO), 단계S118로 진행되고, 주 피사체에 대하여, 도 4c와 같이 피사체 프레임인 프레임을 붙여서 표시한다. 이 단계S118에서 표시된 프레임은, 상기 단계S117에서 표시된 프레임과는 표시 형태가 다르다.

상기 제 1 예시적 실시예에 의하면, 주 피사체 및 카메라가 정지하고 있고, 또 주 피사체가 합초되어 있는 경우(단계S108의 ＹES, 단계S108의 ＮＯ)에, 단계Ｓ111에서는, 주 피사체가 합초되어 있는 합초 영역을, 도 4a에 나타나 있는 바와 같이 확대 표시한다. 따라서, 유저는, 미리 포커스 위치를 설정하지 않고 용이하게 상기 피사체가 포커스가 맞고 있는가 아닌가를 쉽게 확인할 수 있다.

한편, 주 피사체 혹은 카메라가 움직이고 있는 경우(단계S110의 ＹＥＳ)나 주 피사체가 합초하지 않고 있는 경우(단계S108의 ＮO), 그 피사체를 확대 표시하지 않고, 단계S117에서는 도 4b에 나타나 있는 바와 같이 합초 프레임을 표시하거나, 단계S118에서는 도 4c와 같이 피사체 프레임을 표시한다. 따라서, 피사체 이동, 손진동, 혹은 포커스가 맞지 않는 것에 의한 촬영의 실패를 미연에 막을 수 있다.

본 발명의 제 2 예시적 실시예에 따른 주 동작에 대해서, 도 5의 흐름도를 사용하여 설명한다. 또한, 카메라의 구성은 도 1 및 도 2의 것과 같다.

본 제 2 예시적 실시예에서는, 얼굴을 주 피사체라고 했을 때에, 주 피사체의 합초 영역의 위치, 크기, 복수의 피사체의 합초 영역이 중첩되어 있는 것인가 아닌가를 판정한다. 그 판정 결과에 의해 화상표시부(28)에서의 주 피사체의 합초 영역의 확대 표시 위치를 자동적으로 변경하는 처리를 행한다.

주 피사체의 합초 영역의 확대 표시에 있어서의 각 처리는, 시스템 제어회로(50)가 불휘발성메모리(56)에 격납된 프로그램을 메모리(52)에 전개해서 실행 함에 의해 실현된다.

도 5에 있어서, 단계S201, 단계S202, 단계S203, 단계S204, 단계S205, 단계S206, 단계S207 및 단계S208의 동작이, 도 3의 단계S101, 단계S102, 단계S103, 단계S104, 단계S105, 단계S106, 단계S107 및 단계S108의 동작과 같으므로, 그 설명은 생략한다.

단계S209에서는, 시스템 제어회로(50)는, 상기 단계S207에서 자동으로 포커싱된 합초 영역이 촬영 화면의 구석에 있는 것인가 아닌가를 판정한다. 전술의 도 3의 단계S111과 같이, 합초 영역을 확대 표시할 때의 표시된 영역이 촬영 화면 프레임을 비어져 나오지 않는 경우에, 합초 영역이 촬영 화면의 구석에 없다고 판정한다. 합초 영역이 화면의 구석에 없다고 판정한 경우에는(단계S209에서 NO), 단계S210으로 진행된다. 그 합초 영역이 상기 화면의 구석에 있다고 판정한 경우에는(단계S209에서 YES), 단계S219로 진행된다.

합초 영역이 화면의 구석에 없는 경우(단계S209에서 NO), 단계S210으로 진행된다. 단계S210에서는, 시스템 제어회로(50)는, 상기 단계S207에서 자동 포커싱된 합초 영역이 다른 합초 영역과 중첩되어 있는 것인가 아닌가를 판정한다. 다른 합초 영역이란, 상기 단계S204에서 검출되고, 주 피사체가 되는 얼굴과 동일한 피사체 심도내에 있는 얼굴 중, 주 피사체가 되는 얼굴이외의 얼굴이 포함되는 합초 영역을 말한다.

그 주 피사체가 다른 합초 영역과 중첩되지 않는다고 판정한 경우에는(단계S210에서 NO), 단계S211로 진행된다. 그 주 피사체가 다른 합초 영역과 중첩되고 있다고 판정한 경우에는(단계S210에서 YES), 단계S219로 진행된다.

단계S211, 단계S212, 단계S213, 단계S214, 단계S215, 단계S216, 단계S217 및 단계S218의 동작이, 도 3의 단계S111, 단계S112, 단계S113, 단계S114, 단계S115, 단계S116, 단계S117 및 단계S118의 동작과 같으므로, 그 설명은 생략한다. 또한, 단계S219에서 행해진 동작이 전술의 도 3의 단계S117에서 행해진 동작과 같으므로, 그 설명은 생략한다.

단계S220에서는, 상기 단계S207에서 자동 포커싱된 주 피사체의 얼굴이 포함되는 합초 영역만을, 도 6a와 같이 촬영 화면내의 구석에서 확대해서 표시한다.

본 제 2 예시적 실시예에 의하면, 촬영 직전의 구도와, 포커스가 맞고 있는 것인가 아닌가의 확인을 동시에 행하는 것이 가능해진다.

상기 제 1 예시적 실시예에서는, 도 3의 단계S110에 있어서, 상기 단계S103에서 기억된 얼굴, 및 카메라 자신이 움직이고 있는 것인가 아닌가를 판정했다. 그러나, 이러한 판정은, 얼굴 혹은 카메라가 조금이라도 움직였을 경우에도 합초 영역의 표시형식이 변화될 수 있어, 유저 인터페이스를 보기 흉하게 한다.

이러한 경우를 막기 위해서, 상기 단계S110에 있어서의 판정을, 상기 단계S103에서 기억된 얼굴, 및 카메라 자신이 소정량보다 많은 이동을 하지 않은 경우 정지 판정으로 해도 된다. 그 얼굴 및 카메라가 소정량보다 많은 이동을 하지 않은 경우에는, 단계S111로 진행된다. 그 얼굴 및 카메라가 소정량보다 많은 이동을 한 경우에는, 단계S117로 진행된다.

또한, 상기 제 2 예시적 실시예에서는, 도 5의 단계S210에서 주 피사체인 얼굴의 합초 영역이 다른 합초 영역과 중첩되어 있는 경우, 단계S219에서는 합초 프레임을 표시한다. 단계S220에서는, 합초 영역을 화면 구석에서 확대해서 표시(도 6a 참조)한다. 그러나, 상기 단계S219 및 단계S220의 처리를 다른 합초 영역에도 적용하여, 도 6b와 같이 표시해도 된다. 이러한 구성에 따라, 복수의 합초 영역을 동시에 확인할 수 있다.

이상에서 설명한 바와 같이, 상기 제 1 및 제 2 예시적 실시예에 의하면, 주 피사체의 합초 영역을 확대해서 표시 함에 의해, 주 피사체에 포커스가 맞고 있는지를 용이하게 확인시킬 수 있다. 또한, 주 피사체의 움직임, 촬영 화면내의 크기나 위치에 따라 표시 형태를 변경 함에 의해, 피사체의 상황을 용이하게 확인시킬 수 있다.

합초 영역의 확대 표시의 표시 형태의 변경 예로서, 합초 프레임의 표시와 촬영 화면내 구석에 상기 피사체의 확대 표시를 행하는 예를 서술했다. 그 밖의 표시 형태의 변경 예로서, 표시 프레임의 형상, 색, 굵기 및 선 종류를 변경하여도 되고, 또 표시 프레임을 점멸시켜도 된다. 그렇지만, 이러한 표시 형태 변경 예들에 의해, 피사체의 색과 형상에 따라 판단하기 쉽거나 판단하기 어려울 수 있다.

또한, 피사체의 얼굴을 검출하는 예들로 서술했지만, 특정한 색이나 피사체를 검출할 수 있으면, 얼굴이외의 동물, 식물 및 탈것을 포함하는 피사체에 대해서도 본 발명을 적용할 수 있다. 또한, 합초 영역 확대 표시의 대상은, 상기 제 1 및 제 2 예시적 실시예와 같이 하나의 피사체가 아니고, 복수의 피사체에 대해서도 본 발명을 적용할 수 있다.

또한, 본 예시적 실시예에서는, 피사체 또는 카메라의 움직임을 검출하는 경우에는, 합초 영역의 확대 표시를 금지하였다. 그러나, 합초 영역의 확대 표시를 금지할 필요는 없고, 확대 표시를 제한하여도 된다. 즉, 그 피사체 또는 카메라의 움직임을 검출했을 경우, 움직임을 검출하지 않은 경우보다도 작게 상기 합초 영역을 확대 표시시켜도 좋다.

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다. 이러한 경우에, 상기 시스템이나 장치, 및 그 프로그램이 격납된 기록매체는, 본 발명의 범위 내에 있는 것으로서 포함된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함되는 2009년 5월 15일에 출원된 일본특허출원번호 2009-119319의 우선권을 청구한다.

Claims

촬영 화상을 표시하는 표시부;
촬영 화면내에서의 피사체 영역을 검출하는 피사체 영역 검출부;
주 피사체 영역이 합초 상태인지의 여부를 판정하는 합초 판정부;
상기 표시부에 합초 상태의 주 피사체영역을 합초 상태가 아닐 경우보다도 크게 확대 표시시키는 확대부;
상기 피사체 영역의 피사체가 상기 촬영 화면내를 움직이고 있는 것인가 아닌가를 검출하는 움직임 검출부; 및
상기 피사체가 움직이고 있는 경우, 상기 확대부에 의한 확대 표시를 제한하는 제어부를 구비한, 화상처리장치.
제 1 항에 있어서,
상기 피사체 영역이 비합초 상태인 경우, 상기 제어부는, 상기 확대부에 의한 확대 표시를 금지시키는, 화상처리장치.
제 1 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 크기를 판정하는 크기 판정부를 더 구비하고,
상기 피사체 영역의 크기가 소정의 크기보다도 큰 경우, 상기 제어부는, 상기 확대부에 의한 확대 표시를 금지시키는, 화상처리장치.
제 1 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 위치를 판정하는 위치 판정부를 더 구비하고,
상기 피사체 영역의 위치가 상기 촬영 화면의 구석에 있는 경우, 상기 제어부는, 상기 확대부가 상기 피사체 영역과는 다른 위치에서 확대 표시를 가능하게 하는, 화상처리장치.
제 1 항에 있어서,
상기 촬영 화면내에서의 상기 주 피사체 영역의 위치를 판정하는 위치 판정부를 더 구비하고,
상기 피사체 영역의 위치가 다른 피사체 영역의 위치와 중첩되는 경우, 상기 제어부는, 상기 피사체 영역 및 상기 다른 피사체 영역이외의 각기 따로 따로의 위치에서 상기 피사체 영역 및 상기 다른 피사체 영역을 확대 표시하는, 화상처리장치.
제 1 항에 있어서,
상기 움직임 검출부는, 상기 피사체가 소정의 움직임량보다 작게 움직이는 경우에, 그 피사체가 움직이지 않고 있다고 검출하는, 화상처리장치.
제 1 항에 있어서,
상기 확대부에 의해 확대 표시된 상기 피사체는, 상기 피사체 영역의 위치에서 중첩되는, 화상처리장치.
촬영 화면내에서의 피사체 영역을 검출하는 단계;
상기 피사체 영역이 합초 상태인지의 여부를 판정하는 단계;
표시부에 합초 상태의 상기 피사체 영역을 합초 상태가 아닌 경우보다 크게 확대 표시시키는 단계;
상기 피사체 영역의 피사체가 상기 촬영 화면내에서 움직이고 있는 것인가 아닌가를 검출하는 단계; 및
상기 피사체가 움직이고 있는 것을 검출했을 때에, 상기 표시부에서의 확대 표시를 제한하는 단계를 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 피사체 영역이 비합초 상태인 경우, 상기 확대부에 의한 확대 표시를 금지시키는 단계를 더 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 크기를 판정하는 단계; 및
상기 피사체 영역의 크기가 소정의 크기보다도 큰 경우, 상기 확대부에 의한 확대 표시를 금지시키는 단계를 더 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 위치를 판정하는 단계; 및
상기 피사체 영역의 위치가 상기 촬영 화면의 구석에 있는 경우, 상기 확대부가 상기 피사체 영역과는 다른 위치에서 확대 표시를 가능하게 하는 단계를 더 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 촬영 화면내에서의 상기 주 피사체 영역의 위치를 판정하는 단계; 및
상기 피사체 영역의 위치가 다른 피사체 영역의 위치와 중첩되는 경우, 상기 피사체 영역 및 상기 다른 피사체 영역이외의 각기 따로 따로의 위치에서 상기 피사체 영역 및 상기 다른 피사체 영역을 확대 표시하는 단계를 더 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 피사체가 소정의 움직임량보다 작게 움직이는 경우에, 그 피사체가 움직이지 않고 있는 것을 검출하는 단계를 더 포함하는, 화상처리장치의 제어 방법.
제 8 항에 있어서,
상기 확대 표시된 상기 피사체는, 상기 피사체 영역의 위치에서 중첩되는, 화상처리장치의 제어 방법.
촬영 화면내에서의 피사체 영역을 검출하는 단계;
상기 피사체 영역이 합초 상태인지의 여부를 판정하는 단계;
표시부에 합초 상태의 상기 피사체 영역을 합초 상태가 아닌 경우보다 크게 확대 표시시키는 단계;
상기 피사체 영역의 피사체가 상기 촬영 화면내에서 움직이고 있는 것인가 아닌가를 검출하는 단계; 및
상기 피사체가 움직이고 있는 것을 검출했을 때에, 상기 표시부에서의 확대 표시를 제한하는 단계를 포함하는 화상처리장치의 제어 방법을, 컴퓨터에게 실행시키는 명령어들의 컴퓨터 실행 가능한 프로그램을 격납한 컴퓨터 판독 가능한 기록매체.
제 15 항에 있어서,
상기 피사체 영역이 비합초 상태인 경우, 상기 확대부에 의한 확대 표시를 금지시키는 단계를 더 포함하는, 컴퓨터 판독 가능한 기록매체.
제 15 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 크기를 판정하는 단계; 및
상기 피사체 영역의 크기가 소정의 크기보다도 큰 경우, 상기 확대부에 의한 확대 표시를 금지시키는 단계를 더 포함하는, 컴퓨터 판독 가능한 기록매체.
제 15 항에 있어서,
상기 촬영 화면내에서의 상기 피사체 영역의 위치를 판정하는 단계; 및
상기 피사체 영역의 위치가 상기 촬영 화면의 구석에 있는 경우, 상기 확대부가 상기 피사체 영역과는 다른 위치에서 확대 표시를 가능하게 하는 단계를 더 포함하는, 컴퓨터 판독 가능한 기록매체.
제 15 항에 있어서,
상기 촬영 화면내에서의 상기 주 피사체 영역의 위치를 판정하는 단계; 및
상기 피사체 영역의 위치가 다른 피사체 영역의 위치와 중첩되는 경우, 상기 피사체 영역 및 상기 다른 피사체 영역이외의 각기 따로 따로의 위치에서 상기 피사체 영역 및 상기 다른 피사체 영역을 확대 표시하는 단계를 더 포함하는, 컴퓨터 판독 가능한 기록매체.
제 15 항에 있어서,
상기 피사체가 소정의 움직임량보다 작게 움직이는 경우에, 그 피사체가 움직이지 않고 있는 것을 검출하는 단계를 더 포함하는, 컴퓨터 판독 가능한 기록매체.