KR20150077058A - 촬영 장치 및 이의 제어 방법 - Google Patents

Abstract

개시된 실시 예는 촬영 장치 및 이의 제어 방법에 관한 것으로, 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에서, 메인 프로세서에서, 이미지 프로세서에 전송하는 부팅 개시 명령에 소요되는 프로세스 시간을 단축함으로써, 전체 촬영 시작시간을 줄일 수 있다.

Description

촬영 장치 및 이의 제어 방법{Photographing apparatus and method}

본 발명은 촬영 장치 및 이의 제어 방법에 관한 것이다.

최근 모바일 오퍼레이팅 시스템(Operating System, 이하 OS라 한다)을 탑재한 모바일 기기가 많이 출시되고 있다. 이러한 모바일 OS는 많은 기능을 제공하고 있는데, 카메라도 그 중 하나이다. 모바일 OS를 탑재한 기기는 카메라 촬영을 위해서 이미지 센서로 들어오는 피사체의 이미지 데이터를 애플리케이션 프로세서에 제공하기 위한 이미지 프로세서를 포함한다.

모바일 OS 기반의 촬영 장치는 셔터나 줌, 포커스 등 촬영 파라미터의 조작 값을 변경하거나 촬영을 하기 위해 셔터를 눌렀을 때, 애플리케이션 프로세서에서 변경된 내용을 확인하여 이미지 프로세서에 변경된 내용에 따라 명령을 전달하여 카메라를 조작한다.

개시된 실시 예들은 메인 프로세서 및 이미지 프로세서를 포함하는 촬영 장치에서 시작 속도를 개선할 수 있는 촬영 장치 및 이의 제어 방법을 제공한다.

일 실시 예에 따른 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치의 제어 방법은 상기 메인 프로세서에서, 카메라 애플리케이션을 구동하는 단계; 상기 카메라 서비스 관리부에서, 상기 카메라 애플리케이션으로부터의 상기 이미지 프로세서에 대한 부팅 요청 신호에 따라 이미지 프로세서 드라이버의 오픈 쓰레드(open thread)를 생성하는 단계; 상기 이미지 프로세서 드라이버에서, 상기 생성된 오픈 쓰레드에 따라 파워 온 신호를 상기 이미지 프로세서에 전송하는 단계를 포함한다.

상기 파워 온 신호에 따라 상기 이미지 프로세서에서 부팅을 시작하는 단계를 더 포함할 수 있다.

상기 카메라 서비스 관리부에서, 상기 카메라 애플리케이션으로부터 카메라 서비스 바인드 요청 신호를 수신하는 단계; 상기 이미지 프로세서로부터의 부팅 완료 신호를 수신한 후, 상기 오픈 쓰레드에 따라 생성된 드라이버 정보를 수신하는 단계; 상기 수신된 드라이버 정보를 이용하여 카메라 객체를 생성하는 단계; 및 상기 카메라 애플리케이션에 카메라 서비스 바인드 완료 신호를 전송하는 단계를 포함할 수 있다.

상기 카메라 애플리케이션에서, 상기 카메라 서비스 바인드 완료 신호에 따라 카메라 서비스를 바인딩하는 단계를 포함할 수 있다.

상기 이미지 프로세서 드라이버에서, 상기 생성된 오픈 쓰레드에 따라 상기 이미지 프로세서 드라이버의 오픈 요청을 처리하는 단계; 상기 이미지 프로세서로부터 상기 메인 프로세서로의 인터럽트를 수신하는 단계; 및 상기 이미지 프로세서 드라이버의 드라이버 정보를 상기 카메라 서비스 관리부에 전송할 수 있다.

상기 이미지 프로세서에서, 상기 수신된 파워 온 신호에 따라 펌웨어를 로딩하는 단계; 및 상기 펌웨어의 로딩에 따른 부팅 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 단계를 포함할 수 있다.

상기 이미지 프로세서에서, 상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 광학식 손떨림 보정 모듈을 초기화하는 단계; 및 상기 초기화를 수행한 후 초기화 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 단계를 포함할 수 있다.

상기 파워 온 신호에 따른 상기 이미지 프로세서의 부팅 완료 후, 상기 메인 프로세서에서, 상기 촬영 장치의 촬영 파라미터의 설정 요청 신호를 상기 이미지 프로세서에 전송하는 단계; 및 상기 이미지 프로세서에서, 상기 설정 요청 신호에 따라 촬영 모듈을 구동시키는 단계를 포함할 수 있다.

상기 메인 프로세서에서, 상기 촬영 장치의 라이브 뷰 요청 신호를 상기 이미지 프로세서에 전송하는 단계; 상기 이미지 프로세서에서, 상기 라이브 뷰 요청 신호에 따라 상기 촬영 모듈의 구동 완료 후 자동 노출 안정화 모듈을 구동시키는 단계; 및 상기 촬영 장치의 라이브 뷰 시작 완료 신호를 상기 메인 프로세서에 전송하는 단계를 포함할 수 있다.

상기 메인 프로세서는, 애플리케이션 프로세서일 수 있다.

다른 실시 예에 따른 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에 있어서, 상기 메인 프로세서는, 카메라 애플리케이션을 구동시키는 카메라 애플리케이션 구동부; 상기 카메라 애플리케이션 구동부로부터의 상기 이미지 프로세서에 대한 부팅 요청 신호에 따라 오픈 쓰레드(open thread)를 생성하는 카메라 서비스 관리부; 및 상기 생성된 오픈 쓰레드에 따라 파워 온 신호를 상기 이미지 프로세서에 전송하는 이미지 프로세서 드라이버를 포함한다.

상기 이미지 프로세서는, 상기 이미지 프로세서 드라이버로부터의 파워 온 신호에 따라 부팅을 시작할 수 있다.

상기 카메라 서비스 관리부는, 상기 카메라 애플리케이션으로부터 카메라 서비스 바인드 요청 신호를 수신하고, 상기 이미지 프로세서 드라이버로부터 상기 이미지 프로세서의 부팅 완료 신호를 수신 후, 상기 오픈 쓰레드에 따라 생성된 드라이버 정보를 수신하고, 상기 수신된 드라이버 정보를 이용하여 카메라 객체를 생성하고, 상기 카메라 애플리케이션에 카메라 서비스 바인드 완료 신호를 전송할 수 있다.

상기 카메라 애플리케이션 구동부는, 상기 카메라 서비스 바인드 완료 신호에 따라 카메라 서비스를 바인딩할 수 있다.

상기 이미지 프로세서 드라이버는, 상기 생성된 오픈 쓰레드에 따라 상기 이미지 프로세서 드라이버의 오픈 요청을 처리하고, 상기 이미지 프로세서로부터 상기 메인 프로세서로의 인터럽트를 수신하고, 상기 이미지 프로세서 드라이버의 드라이버 정보를 상기 카메라 서비스 관리부에 전송할 수 있다.

상기 이미지 프로세서는, 상기 수신된 파워 온 신호에 따라 펌웨어를 로딩하고, 상기 펌웨어의 로딩에 따른 부팅 완료 신호를 상기 이미지 프로세서 드라이버에 전송할 수 있다.

상기 이미지 프로세서는, 상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 광학식 손떨림 보정 모듈을 초기화하고, 상기 초기화를 수행한 후 초기화 완료 신호를 상기 이미지 프로세서 드라이버에 전송할 수 있다.

상기 메인 프로세서는, 상기 파워 온 신호에 따른 상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 촬영 파라미터의 설정 요청 신호를 상기 이미지 프로세서에 전송하고, 상기 이미지 프로세서는, 상기 설정 요청 신호에 따라 촬영 모듈을 구동시킬 수 있다.

상기 메인 프로세서는, 상기 촬영 장치의 라이브 뷰 요청 신호를 상기 이미지 프로세서에 전송하고, 상기 이미지 프로세서는, 상기 라이브 뷰 요청 신호에 따라 상기 촬영 모듈의 구동 완료 후 자동 노출 안정화 모듈을 구동시키고, 상기 촬영 장치의 라이브 뷰 시작 완료 신호를 상기 메인 프로세서에 전송할 수 있다.

도 1은 일 실시 예에 따른 촬영 장치(100)의 외관을 도시한 도면이다.
도 2는 도 1에 도시된 촬영 장치(100)의 개략도이다.
도 3은 도 2에 도시된 메인 프로세서(203)의 개략도이다.
도 4a 및 4b는 다른 실시 예에 따른 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.
도 5 및 6은 또 다른 실시 예에 따른 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시 예에 따른 촬영 장치(100)의 외관을 도시한 도면이다.

도 1을 참조하면, 본 실시 예에서의 촬영 장치(100)는 촬영 기능뿐만 아니라 다양한 애플리케이션들을 수행할 수 있는 기기이다. 촬영 장치(100)는 카메라 구동을 위한 이미지 프로세서 유닛(101)과 다양한 애플리케이션 구동을 메인 프로세서(201)로 구성된다. 여기서, 메인 프로세서는 애플리케이션 프로세서(Application Processor, 이하 AP라 한다)일 수 있다.

이미지 프로세서 유닛(101)은 포커스 링(104), 줌 링(103)으로 구성된 경통(107)과 센서(105), 이미지 프로세서(102)로 구성된다. 메인 프로세서 유닛(201)은 메인 프로세서(203)와 표시부(202), 셔터 버튼(106)으로 구성된다. 도시된 구성은 설명의 편의상 개략적으로 설명된 것으로 이러한 구성에 한정되지 않으며, 다양한 변형이 가능함은 물론이다.

도 2는 도 1에 도시된 촬영 장치(100)의 개략도이다.

도 2를 참조하면, 촬영 장치(100)는 이미지 프로세서 블록(101)과 메인 프로세서 블록(201)으로 구분될 수 있으며, 조작부(120)는 메인 프로세서 블록(201)의 메인 프로세서(203)에 연결된다.

메인 프로세서 블록(201)은 메인 프로세서(203)와 표시부(202) 및 저장부(210)를 포함한다.

메인 프로세서(203)는 촬영 장치(100)의 전반적인 동작을 제어하여, 촬영 장치(100)의 촬영 애플리케이션을 구동하여 촬영 준비, 재생 준비, 촬영 이미지 표시, 저장 등을 제어한다. 또한, 메인 프로세서(203)는 이미지 프로세서(102)로부터 전송된 촬영 이미지를 압축하여 저장부(210)에 저장하거나, 이미지 프로세서(102)로부터 압축된 촬영 이미지를 전송받아, 저장부(210)에 저장할 수 있다.

촬영 모듈(110)은 도면에 도시되지는 않았지만, 렌즈부, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 촬상 소자 제어부, 아날로그 신호 처리부 등을 포함할 수 있다. 렌즈부는 광학 신호를 집광한다. 렌즈부는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 줌 렌즈 및 피사체 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다. 조리개는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다. 렌즈 구동부 및 조리개 구동부는 이미지 프로세서(102)로부터 제어 신호에 따라 각각 렌즈 및 조리개를 구동한다. 렌즈 구동부는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부는 조리개의 개폐 정도를 조절하고, 특히 f 넘버 또는 조리개 값을 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다.

렌즈부를 투과한 광학 신호는 촬상 소자의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 사용할 수 있다. 이와 같은 촬상소자는 촬상소자 제어부에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자를 제어할 수 있다. 촬상 소자의 노광 시간은 셔터로 조절된다. 셔터는 가리개를 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다. 아날로그 신호 처리부는 촬상 소자로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

조작부(120)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 부분이다. 조작부(120)는 정해진 시간 동안 촬상 소자를 빛에 노출하여 사진을 촬영하는 셔터 릴리스 신호를 입력하는 셔터 버튼(도 1에 도시된 106), 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼이거나, 도 1에 도시된 것과 같은 줌 링(103)과, 사용자가 수동으로 포커스를 맞출 수 있도록 하는 포커스 링(104), 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다.

촬영 장치(100)는 이를 구동하는 운영 시스템, 응용 시스템 등의 프로그램, 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 저장부(210)에 저장한다. 메인 프로세서(203)는 저장된 촬영 동작에 필요한 프로그램들을 실행시킨다.

촬영 장치(100)는 이의 동작 상태 또는 촬영한 이미지 정보를 표시하는 표시부(210)를 포함한다. 표시부(210)는 시각적인 정보 및 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(210)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 표시부(210)는 메인 프로세서(203)로부터 출력된 영상 데이터를 표시한다.

이미지 프로세서(102)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. 이미지 프로세서(102)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 여기서, 이미지 프로세서(102)에서 촬영된 이미지 데이터를 압축하는 것으로 설명하였지만, 메인 프로세서(203)도 촬영된 이미지 데이터를 전송받아 압축할 수 있음은 물론이다. 압축한 데이터는 저장부(210)에 저장된다. 또한, 이미지 프로세서(102)에서는 기능적으로 불선명 처리, 색채 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.

또한, 이미지 프로세서(102)는 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부, 조리개 구동부 및 촬상 소자 제어부에 제공하고, 셔터, 플래시 등 촬영 모듈(110)에 구비된 구성 요소들의 동작을 전체적으로 제어할 수 있다.

도 1 및 2를 참조하여, 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에서 촬영 동작을 설명한다.

일 실시 예에서, 셔터(106)는 셔터 릴리스 신호를 메인 프로세서(203)에 전달하면, 메인 프로세서(203)는 셔터 릴리스 신호를 이미지 프로세서(102)에 전달하고, 이미지 프로세서(102)는 셔터 릴리스 신호에 따라 촬영이 이루어지고 촬영된 피사체의 영상 정보(이미지 데이터 또는 압축된 이미지 데이터)를 메인 프로세서(203)에 전달한다. 메인 프로세서(203)는 이미지 프로세서(102)로부터 전달된 피사체의 영상정보를 파일로 저장부(210) 또는 메모리 카드(미도시)에 저장한다.

도 3은 도 2에 도시된 메인 프로세서(203)의 개략도이다.

메인 프로세서(203)는 애플리케이션 프로세서일 수 있으며, 모바일 기기에 탑재되는 오퍼레이팅 시스템(이하 OS라 한다)을 탑재할 수 있다.

예를 들면, OS는 애플리케이션 계층, 애플리케이션 프레임 워크 계층, 커널 계층을 포함할 수 있다. 애플리케이션 계층에는 모바일 기기의 다양한 기능들, 예를 들면 홈 화면, 전화 걸기, 웹 브라우저, 갤러리, 카메라 등을 포함하는 기본 애플리케이션과, 유저 애플리케이션이 위치할 수 있다. 애플리케이션 프레임 워크 계층에서는 미들웨어 및 주요 응용프로그램 계층으로, 특정 SDK(Software Develop Kit) 또는 Java 프로그래밍 언어를 사용하여 해당 OS에서 필요한 API(Application Programing Interface)를 제공하거나, OS와 응용프로그램의 통신 언어 형식을 정의할 수 있다. 커널 계층은 해당 OS의 보안, 메모리 관리, 프로세스 관리, 네트워크 스택, 드라이버 모델과 같은 하드웨어와 소프트웨어 간의 추상계층으로 동작한다.

다시 도 3을 참조하면, 메인 프로세서(203)는 카메라 애플리케이션 구동부(301), 카메라 서비스 관리부(302) 및 이미지 프로세서 드라이버(303)를 포함할 수 있다. 메인 프로세서(203) 또는 메인 프로세서(203)와 도 2에 도시된 이미지 프로세서(102)를 포함하는 구성은 청구범위에 사용된 촬영 장치와 동일한 의미로 이해되어야 하며, 도 3에 도시된 구성은 예시적인 것으로 이해되어야 한다. 전술한 OS의 계층 구조와 관련하여, 카메라 애플리케이션 구동부(301)는 애플리케이션 계층에 속하고, 카메라 서비스 관리부(302)는 애플리케이션 프레임 워크 계층에 속하고, 이미지 프로세서 드라이버(303)는 커널 계층에 속할 수 있다.

카메라 애플리케이션 구동부(301)는 촬영 장치(100)의 카메라 애플리케이션을 구동시킨다. 카메라 애플리케이션 구동부(301)는 촬영 장치(100)의 조작부(120)를 통해 사용자의 카메라 애플리케이션의 시작 의도, 예를 들면 카메라 앱 선택, 또는 터치를 입력받으면, 카메라 애플리케이션을 구동시킨다.

카메라 서비스 관리부(302)는 카메라 애플리케이션 구동부(301)로부터의 이미지 프로세서에 대한 부팅 요청 신호에 따라 오픈 쓰레드(open thread)를 생성한다. 카메라 서비스 관리부(302)는 메인 프로세서(203)가 시작 또는 부팅이 완료되면, 카메라 서비스를 시작하고, 카메라 애플리케이션 구동부(301)에서 구동된 카메라 애플리케이션으로부터 카메라 서비스 바인드 요청을 수신하면, 이미지 프로세서 드라이버의 오픈 요청을 수행하여, 카메라 객체를 생성한다.

이미지 프로세서 드라이버(303)는 카메라 서비스 관리부(302)에서 생성된 오픈 쓰레드에 따라 파워 온 신호를 이미지 프로세서(102)에 전송한다. 이미지 프로세서 드라이버(303)는 이미지 프로세서(102)와 통신하는 역할을 수행하며, 메인 프로세서(203)의 제어 명령을 실제 수행하고, 제어 명령에 따른 이미지 프로세서(102)의 응답을 실제 수신하는 역할을 한다.

실시 예에서, 이미지 프로세서(102)는 메인 프로세서(203)로부터의 파워 온 시호를 통해 이미지 프로세서(120)를 부팅시키며, 메인 프로세서(203)는 카메라 애플리케이션을 구동하여, 카메라 서비스를 바인드 한다. 여기서, 메인 프로세서(203)는 카메라 애플리케이션 시작 직후 이미지 프로세서 드라이버(303)를 오픈하기 위한 부팅 명령, 즉 파워 온 신호를 카메라 서비스 관리부(302)에 전달하고, 카메라 서비스 관리부(302)는 부팅 명령을 받아 카메라 드라이버 오픈하기 위한 오픈 쓰레드(Open Thread)를 생성한다. 이미지 프로세서 드라이버(303)에서 생성된 오픈 쓰레드는 이미지 프로세서(102)의 전원을 켜서, 이미지 프로세서(102)를 부팅시킨다. 그리고 카메라 서비스 관리부(302)는 카메라 바인드 요청 시 이미지 프로세서 드라이버(303)를 통해 오픈 쓰레드로부터 드라이버의 정보를 전달받아, 카메라 객체를 생성하고 바인드 완료 신호를 카메라 애플리케이션 구동부(301)에 전달한다. 따라서, 카메라를 시작하기 위해 카메라 서비스를 바인드하며, 바인드 시 이미지 프로세서의 부팅이 시작되고 이 부팅이 완료되기까지 기다려야 했던 문제점과, 이로 인해 카메라의 시작시간이 길어진다는 문제점을 해결할 수 있다. 즉, 카메라 서비스 바인드 시 이미지 프로세서 드라이버를 오픈한 후 이미지 프로세서를 부팅시키는 것과 비교하여, 카메라 애플리케이션 시작시 부팅 명령을 이용하여 미리 이미지 프로세서 드라이버를 오픈하고 이미지 프로세서를 부팅시켜 카메라 서비스 바인드 시간을 단축하고, 카메라 시작시간을 단축할 수 있다.

도 4a 및 4b는 다른 실시 예에 따른 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.

도 4a를 참조하면, 메인 프로세서에서 사용자 조작, 예를 들면 터치에 의해 촬영 재개 또는 시작 요청이 있으며, 메인 프로세서는 다음과 같은 과정을 통해 촬영 시작을 준비한다.

먼저, 카메라 재개 및 오픈을 수행하기 위해, 이미지 프로세서에 파워 온 신호를 전송하고, 이미지 프로세서에서 펌웨어 로딩을 수행하여 이미지 프로세서의 부팅을 완료하고, 광학식 손떨림 보정을 초기화시킨다. 이 과정에서, 560ms의 시간이 소요된다.

메인 프로세서는 파라미터 설정 동작을 수행하면서, 이미지 프로세서에 파라미터 요청을 전송한다. 이 과정에서 360ms가 소요된다. 이어, 프리뷰 시작 동작을 수행하면서, 이미지 프로세서에 프리뷰 시작 요청을 전송하고, 프리뷰를 대기한다. 이미지 프로세서에서 렌즈 개방과 AE 안정화를 수행한 후 프리뷰 시작 완료 신호를 메인 프로세서에 전송한다.

도 4a에 도시된 전체 과정을 수행하는데 소용되는 시간, 즉 촬영 시작시간은 1720ms가 소요된다. 종래기술에 따라, 카메라를 시작하기 위해 카메라 서비스를 바인하며, 바인드 요청 신호를 수신한 후, 바인드 요청을 처리하면서 이미지 프로세서에 파워 온 신호를 전송하여 이미지 프로세서의 부팅이 시작되고 이 부팅이 완료되기까지 기다려야 했다. 이로 인해 카메라의 시작시간이 길었다.

도 4b는 일 실시 예에 따라, 메인 프로세서의 카메라 애플리케이션 시작 직후 이미지 프로세서 드라이버를 오픈하기 위한 이미지 프로세서 부팅 명령을 카메라 서비스에 전달하고, 카메라 서비스는 부팅 명령을 받아 이미지 프로세서 드라이버를 오픈하기 위한 오픈 쓰레드를 생성한다.

도 4b에 도시된 것처럼, 메인 프로세서에서 메인 프로세서에서 사용자 조작, 예를 들면 터치에 의해 촬영 재개 또는 시작 요청이 있는 경우, 카메라 서비스의 바인 요청 처리를 기다리지 않고, 카메라 서비스에 이미지 프로세서 드라이버의 오픈 쓰레드를 생성한다. 생성된 오픈 쓰레드에 따라 이미지 프로세서의 파워 온 신호 전송, 렌즈 초기화 요청이 수행된다. 따라서, 실시 예에 따른 오픈 쓰레드에 따라 카메라 서비스 바인드 처리를 기다리지 않고, 미리 이미지 프로세서 드라이버를 오픈시켜, 이미지 프로세서를 부팅 완료시킴으로써, 메인 프로세서에서의 카메라 재개 및 오픈 요청 과정에 소요되는 시간을 120ms 단축함으로써, 전체 촬영 시작시간을 1600ms로 줄일 수 있다. 도 4a 및 4b에 도시된 카메라 재개 및 오픈 과정을 도 5 및 6을 참조하여 상세히 설명한다.

도 5 및 6은 또 다른 실시 예에 따른 촬영 장치의 제어 방법을 종래기술과 비교하여 설명하기 위한 흐름도들이다.

도 5는 도 4a에 대응되는 카메라 애플리케이션 시작 후 카메라 서비스 바인드 시 이미지 프로세서를 부팅시키고, 이미지 프로세서의 부팅 완료 후 카메라 서비스 바인드 과정을 완료하는 흐름 도이다.

도 5를 참조하면, 메인 프로세서가 시작되며, 단계 500에서, 카메라 애플리케이션이 구동되면서, 단계 510에서, 카메라 서비스가 시작된다.

단계 502에서, 카메라 애플리케이션은 카메라 애플리케이션을 구동하는 데 필요한 리소스를 로드하고, 단계 504에서, 카메라 서비스를 바인드하기 위한 과정을 수행하면서, 다음 계층인 카메라 서비스 관리 계층에 바인드 요청 신호를 전송한다.

한편, 카메라 서비스 관리 계층에서는 카메라 애플리케이션 계층으로부터 바인드 요청을 수신하고, 단계 512에서, 카메라 서비스 바인드 요청을 처리한다. 단계 514에서, 이미지 프로세서 드라이버에 오픈 요청을 처리하면서, 이미지 프로세서 드라이버에서 이미지 프로세서에 파워 온 신호를 전송한다.

이미지 프로세서에서는 메인 프로세서로부터 파워 온 신호에 따라 이미지 프로세서 부팅 과정이 수행된다. 단계 520에서, 이미지 프로세서의 OS에 의해 이미지 프로세서 펌웨어를 로딩하고, 단계 522에서, 광학식 손떨림 보정 모듈을 초기화한다. 그리고 이미지 프로세서 드라이버에 인터럽트를 전송한다. 도시되지는 않았지만, 펌웨어 로딩 후 부팅 완료 신호 또는 인터럽트를 전송할 수도 있으며, 광학식 손떨림 보정 모듈의 초기화는 생략될 수 있다.

단계 514에서, 카메라 서비스는 카메라 드라이버 오픈 요청 처리를 수행하면서, 이미지 프로세서로부터 인터럽트를 수신하고, 단계 516에서, 카메라 객체를 생성한다. 카메라 서비스에서 카메라 객체를 생성한 후에, 바인드 완료 신호를 카메라 애플리케이션에 전달한다.

도 5를 참조하여 설명한 종래기술에서는, 카메라 애플리케이션에서 카메라 서비스에 바인드 요청을 하고, 카메라 서비스에서 바인드 요청 처리를 수행하면서, 이미지 프로세서 드라이버 오픈 요청에 따라 이미지 프로세서에 파워 온 신호를 전송하여, 이미지 프로세서에서 부팅이 시작된다. 이 과정에서 소요되는 시간이 도 4a에 도시된 것처럼, 560ms이다.

도 6은 도 4b에 대응되는 카메라 애플리케이션 시작과 동시에 이미지 프로세서 부팅 명령(Fast ISP boot)을 요청하여, 카메라 서비스에서 카메라 서비스 바인드 요청 처리 전에 이미지 프로세서 드라이버의 오픈 쓰레드를 생성하는 과정을 수행하는 것을 설명하는 흐름 도이다.

도 6을 참조하면, 메인 프로세서가 시작되며, 단계 600에서, 카메라 애플리케이션이 구동되면서, 단계 610에서, 카메라 서비스가 시작된다. 도 5에 도시된 것과 달리, 카메라 애플리케이션이 구동되며, 카메라 서비스 관리 계층에 바로 이미지 프로세서 부팅 명령을 전송하면, 단계 612에서, 이미지 프로세서 드라이버의 오픈 쓰레드를 생성한다.

단계 612에서, 생성된 이미지 프로세서 드라이버의 오픈 쓰레드를 이미지 프로세서 드라이버에 전달하고, 단계 614에서, 이미지 프로세서 드라이버에서, 전달받은 오픈 쓰레드를 시작하고, 단계 616에서, 이미지 프로세서 드라이버의 오픈 쓰레드를 처리하면서, 이미지 프로세서에 파워 온 신호를 전송한다. 이미지 프로세서에서는 단계 620 및 622에서 부팅 과정을 수행하고, 부팅이 완료된 경우, 인터럽트를 이미지 프로세서 드라이버에 전송한다.

한편, 카메라 애플리케이션에서는 단계 602에서, 카메라 애플리케이션은 카메라 애플리케이션을 구동하는 데 필요한 리소스를 로드하고, 단계 604에서, 카메라 서비스를 바인드하기 위한 과정을 수행하면서, 다음 계층인 카메라 서비스 관리 계층에 바인드 요청 신호를 전송한다.

한편, 카메라 서비스 관리 계층에서는 카메라 애플리케이션 계층으로부터 바인드 요청을 수신하고, 단계 614에서, 카메라 서비스 바인드 요청을 처리한다.

이미지 프로세서 드라이버에서 오픈 쓰레드를 처리하면서, 수신된 인터럽트에 따라 드라이버 정보를 카메라 서비스에 전달한다. 단계 616에서, 카메라 서비스에서 수신된 드라이버 정보를 이용하여 카메라 객체를 생성하고, 카메라 서비스에서 카메라 객체를 생성한 후에, 바인드 완료 신호를 카메라 애플리케이션에 전달한다.

도 6을 참조하여 설명한 실시 예에서, 도 4b에 도시된 카메라 재개 및 오픈까지의 시간을 440ms로 단축함으로써, 전체 촬영 시작시간을 줄일 수 있다.

실시 예에서, 카메라 애플리케이션을 시작한 직 후, 바인드 요청 처리 전에, 이미지 프로세서 부팅 명령을 전송하고, 카메라 서비스 관리 계층에서, 이미지 프로세서의 오픈 쓰레드를 생성하여, 미리 이미지 프로세서 드라이버를 오픈시켜, 이미지 프로세서를 부팅시킴으로써, 메인 프로세서에서의 카메라 재개 및 오픈 시간을 단축할 수 있다.

개시된 실시 예는 촬영 장치 및 이의 제어 방법에 관한 것으로, 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에서, 메인 프로세서에서, 이미지 프로세서에 전송하는 부팅 개시 명령에 소요되는 프로세스 시간을 단축함으로써, 전체 촬영 시작시간을 줄일 수 있다.

본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100: 촬영 장치
101: 이미지 프로세서 유닛
102: 이미지 프로세서
201: 메인 프로세서 유닛
203: 메인 프로세서

Claims (20)

1. 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치의 제어 방법에 있어서,
   상기 메인 프로세서에서, 카메라 애플리케이션을 구동시키는 단계;
   상기 카메라 서비스 관리부에서, 상기 카메라 애플리케이션으로부터의 상기 이미지 프로세서에 대한 부팅 요청 신호에 따라 이미지 프로세서 드라이버의 오픈 쓰레드(open thread)를 생성하는 단계; 및
   상기 이미지 프로세서 드라이버에서, 상기 생성된 오픈 쓰레드에 따라 파워 온 신호를 상기 이미지 프로세서에 전송하는 단계를 포함하는 촬영 장치의 제어 방법.
2. 제 1 항에 있어서,
   상기 파워 온 신호에 따라 상기 이미지 프로세서에서 부팅을 시작하는 단계를 더 포함하는 촬영 장치의 제어 방법.
3. 제 1 항에 있어서,
   상기 카메라 서비스 관리부에서, 상기 카메라 애플리케이션으로부터 카메라 서비스 바인드 요청 신호를 수신하는 단계;
   상기 이미지 프로세서로부터의 부팅 완료 신호를 수신한 후, 상기 오픈 쓰레드에 따라 생성된 드라이버 정보를 수신하는 단계;
   상기 수신된 드라이버 정보를 이용하여 카메라 객체를 생성하는 단계; 및
   상기 카메라 애플리케이션에 카메라 서비스 바인드 완료 신호를 전송하는 단계를 포함하는 촬영 장치의 제어 방법.
4. 제 3 항에 있어서,
   상기 카메라 애플리케이션에서,
   상기 카메라 서비스 바인드 완료 신호에 따라 카메라 서비스를 바인딩하는 단계를 포함하는 촬영 장치의 제어 방법.
5. 제 1 항에 있어서,
   상기 이미지 프로세서 드라이버에서,
   상기 생성된 오프 쓰레드에 따라 상기 이미지 프로세서 드라이버의 오픈 요청을 처리하는 단계;
   상기 이미지 프로세서로부터 상기 메인 프로세서로의 인터럽트를 수신하는 단계; 및
   상기 이미지 프로세서 드라이버의 드라이버 정보를 상기 카메라 서비스 관리부에 전송하는 촬영 장치의 제어 방법.
6. 제 1 항에 있어서,
   상기 이미지 프로세서에서,
   상기 수신된 파워 온 신호에 따라 펌웨어를 로딩하는 단계; 및
   상기 펌웨어의 로딩에 따른 부팅 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 단계를 포함하는 촬영 장치의 제어 방법.
7. 제 6 항에 있어서,
   상기 이미지 프로세서에서,
   상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 광학식 손떨림 보정 모듈을 초기화하는 단계; 및
   상기 초기화를 수행한 후 초기화 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 단계를 포함하는 촬영 장치의 제어 방법.
8. 제 1 항에 있어서,
   상기 파워 온 신호에 따른 상기 이미지 프로세서의 부팅 완료 후, 상기 메인 프로세서에서, 상기 촬영 장치의 촬영 파라미터의 설정 요청 신호를 상기 이미지 프로세서에 전송하는 단계; 및
   상기 이미지 프로세서에서, 상기 설정 요청 신호에 따라 촬영 모듈을 구동시키는 단계를 포함하는 촬영 장치의 제어 방법.
9. 제 8 항에 있어서,
   상기 메인 프로세서에서, 상기 촬영 장치의 라이브 뷰 요청 신호를 상기 이미지 프로세서에 전송하는 단계;
   상기 이미지 프로세서에서, 상기 라이브 뷰 요청 신호에 따라 상기 촬영 모듈의 구동 완료 후 자동 노출 안정화 모듈을 구동시키는 단계; 및
   상기 촬영 장치의 라이브 뷰 시작 완료 신호를 상기 메인 프로세서에 전송하는 단계를 포함하는 촬영 장치의 제어 방법.
10. 제 1 항에 있어서,
    상기 메인 프로세서는,
    애플리케이션 프로세서인 촬영 장치의 제어 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
12. 메인 프로세서와 이미지 프로세서를 포함하는 촬영 장치에 있어서,
    상기 메인 프로세서는,
    카메라 애플리케이션을 구동시키는 카메라 애플리케이션 구동부;
    상기 카메라 애플리케이션 구동부로부터의 상기 이미지 프로세서에 대한 부팅 요청 신호에 따라 오픈 쓰레드(open thread)를 생성하는 카메라 서비스 관리부; 및
    상기 생성된 오픈 쓰레드에 따라 파워 온 신호를 상기 이미지 프로세서에 전송하는 이미지 프로세서 드라이버를 포함하는 촬영 장치.
13. 제 12 항에 있어서,
    상기 이미지 프로세서는,
    상기 이미지 프로세서 드라이버로부터의 파워 온 신호에 따라 부팅이 시작되는 촬영 장치.
14. 제 12 항에 있어서,
    상기 카메라 서비스 관리부는,
    상기 카메라 애플리케이션으로부터 카메라 서비스 바인드 요청 신호를 수신하고, 상기 이미지 프로세서 드라이버로부터 상기 이미지 프로세서의 부팅 완료 신호를 수신 후, 상기 오픈 쓰레드에 따라 생성된 드라이버 정보를 수신하고, 상기 수신된 드라이버 정보를 이용하여 카메라 객체를 생성하고, 상기 카메라 애플리케이션에 카메라 서비스 바인드 완료 신호를 전송하는 촬영 장치.
15. 제 14 항에 있어서,
    상기 카메라 애플리케이션 구동부는,
    상기 카메라 서비스 바인드 완료 신호에 따라 카메라 서비스를 바인딩하는 촬영 장치.
16. 제 12 항에 있어서,
    상기 이미지 프로세서 드라이버는,
    상기 생성된 오픈 쓰레드에 따라 상기 이미지 프로세서 드라이버의 오픈 요청을 처리하고, 상기 이미지 프로세서로부터 상기 메인 프로세서로의 인터럽트를 수신하고, 상기 이미지 프로세서 드라이버의 드라이버 정보를 상기 카메라 서비스 관리부에 전송하는 촬영 장치.
17. 제 12 항에 있어서,
    상기 이미지 프로세서는,
    상기 수신된 파워 온 신호에 따라 펌웨어를 로딩하고, 상기 펌웨어의 로딩에 따른 부팅 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 촬영 장치.
18. 제 17 항에 있어서,
    상기 이미지 프로세서는,
    상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 광학식 손떨림 보정 모듈을 초기화하고, 상기 초기화를 수행한 후 초기화 완료 신호를 상기 이미지 프로세서 드라이버에 전송하는 촬영 장치.
19. 제 12 항에 있어서,
    상기 메인 프로세서는,
    상기 파워 온 신호에 따른 상기 이미지 프로세서의 부팅 완료 후, 상기 촬영 장치의 촬영 파라미터의 설정 요청 신호를 상기 이미지 프로세서에 전송하고,
    상기 이미지 프로세서는, 상기 설정 요청 신호에 따라 촬영 모듈을 구동시키는 촬영 장치.
20. 제 19 항에 있어서,
    상기 메인 프로세서는, 상기 촬영 장치의 라이브 뷰 요청 신호를 상기 이미지 프로세서에 전송하고,
    상기 이미지 프로세서는, 상기 라이브 뷰 요청 신호에 따라 상기 촬영 모듈의 구동 완료 후 자동 노출 안정화 모듈을 구동시키고, 상기 촬영 장치의 라이브 뷰 시작 완료 신호를 상기 메인 프로세서에 전송하는 촬영 장치.

Images