KR20160135826A

KR20160135826A - 화상처리장치, 그 화상처리장치의 제어 방법, 촬상 장치 및 그 촬상장치의 제어 방법, 및, 기록 매체

Info

Publication number: KR20160135826A
Application number: KR1020167029548A
Authority: KR
Inventors: 요시오 아와타니
Original assignee: 캐논 가부시끼가이샤
Priority date: 2014-03-28
Filing date: 2015-03-26
Publication date: 2016-11-28
Also published as: EP3123709A1; US10091415B2; JP2015195582A; WO2015147339A1; EP3123709A4; US20170134648A1; CN106134179A

Abstract

촬상부에 의해 촬영된 촬영 화상의 RAW데이터를 취득하는 취득부; 상기 취득한 RAW데이터에, 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및 상기 처리부를 제어하는 제어부를 구비하는 화상처리장치로서, 상기 처리부가 상기 촬상부가 촬상시에 실시간으로 상기 RAW데이터에 상기 복수의 다른 화상처리 단계를 단계적으로 행할 때, 상기 제어부는, 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하기 위해 상기 촬영 화상에 관한 동작상황에 따라서 상기 처리부를 제어하고, 제한된 단계까지의 처리가 행해진 상기 RAW데이터를 출력하기 위해 상기 처리부를 제어하고, 상기 제한된 단계를 나타내는 정보를 생성하는, 화상처리장치.

Description

화상처리장치, 그 화상처리장치의 제어 방법, 촬상 장치 및 그 촬상장치의 제어 방법, 및, 기록 매체{IMAGE PROCESSING APPARATUS, METHOD FOR CONTROLLING IMAGE PROCESSING APPARATUS, IMAGE PICKUP APPARATUS, METHOD FOR CONTROLLING IMAGE PICKUP APPARATUS, AND RECORDING MEDIUM}

본 발명은, 화상처리장치, 그 화상처리장치의 제어 방법, 촬상 장치 및 그 촬상 장치의 제어 방법, 및, 기록 매체에 관한 것이다.

종래의 촬상 장치에서는, 촬상 센서에 의해 촬상된 생(raw) 화상정보(RAW화상, RAW데이터)를 디베이어 처리(디모자이크 처리)해서 휘도와 색차로 이루어진 신호로 변환하고, 각 신호에 대해서 노이즈 제거, 광학적 왜곡보정, 및 화상의 최적화 등의 소위 현상 처리를 행한다. 그리고, 현상 처리된 휘도신호 및 색차신호를 압축 부호화하고, 기록 매체에 기록하는 것이 일반적이다.

한편, RAW데이터를 기록할 수 있는 촬상 장치도 존재한다. RAW 데이터는, 기록에 필요한 데이터량이 방대함에도 불구하고, 오리지널 화상에 대한 보정과 열화를 최소화하고, 촬영후에 편집할 수 있는 이점을 갖고, 사용 경험자에 의해 좋아해서 사용된다.

상기 RAW화상을 기록하는 촬상 장치의 구성은, 특허문헌1에 개시되어 있다. 특허문헌1에는, RAW화상과 함께 현상 파라미터를 기록해두고, 재생시에, 해당 현상 파라미터를 사용해서 RAW화상의 현상 및 재생을 행하는 구성이 기재되어 있다.

일본 특허공개2011-244423호 공보

본 발명의 일 측면에 따른, 촬상부에 의해 촬영된 촬영 화상의 RAW데이터를 취득하는 취득부; 상기 취득한 RAW데이터에, 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및 상기 처리부를 제어하는 제어부를 구비하는 화상처리장치로서, 상기 처리부가 상기 촬상부가 촬상시에 실시간으로 상기 RAW데이터에 상기 복수의 다른 화상처리 단계를 단계적으로 행할 때, 상기 제어부는, 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하기 위해 상기 촬영 화상에 관한 동작상황에 따라서 상기 처리부를 제어하고, 제한된 단계까지의 처리가 행해진 상기 RAW데이터를 출력하기 위해 상기 처리부를 제어하고, 상기 제한된 단계를 나타내는 정보를 생성하는, 화상처리장치.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.

도 1은 본 발명의 제1 실시예에 따른 촬상 장치의 구성 예를 나타내는 블록도다.
도 2a 및 2b는 본 발명의 제1 실시예에 따른 촬상 장치의 일부의 상세한 블록도다.
도 3은 본 발명의 제1 실시예에 따른 촬상 장치의 상태천이를 나타내는 도면이다.
도 4는 본 발명의 제1 실시예에 따른 촬상 장치가 기록하는 RAW파일의 구성 예를 나타내는 도면이다.
도 5는 본 발명의 제2 실시예에 따른 촬상 장치의 구성 예를 나타내는 블록도다.
도 6은 본 발명의 제2 실시예에 따른 촬상 장치가 기록하는 RAW파일의 구성 예를 나타내는 도면이다.
도 7은 촬상 소자의 화소배열의 예를 개략적으로 나타내는 도면이다.

최근의 촬상 장치는, 촬상 센서가 진화하고, 화상 1장당의 화소수가 대폭 증가되고 있다. 또한, 1초당 연속적으로 촬영할 수 있는 화상의 매수도, 증가하는 경향에 있다. 이 때문에, 디베이어 처리, 노이즈 제거, 광학왜곡보정 등, RAW화상에 대한 현상 처리를 구성하는 각각의 처리단계의 처리량이 상승적으로 증대하고, 촬영과 병행된 실시간의 현상 처리를 행하기 위해서는, 방대한 회로와 소비 전력이 소비된다. 현상 처리에 의한 회로의 점유나 소비 전력상의 제한등으로 인해, 높은 촬영 퍼포먼스를 실행할 수 없는 경우들도 있다.

한편, 특허문헌1과 같이, RAW화상을 현상하지 않고 기록하는 구성에 의해, 촬영시의 처리량은 경감되고, 그 결과로, 촬영과 병행하여 실시된 현상 처리에 의해 촬영 퍼포먼스가 손상되지 않고, 카메라로서의 촬영성능은 향상하는 것이 기대된다. 단, RAW화상은 현상되지 않고 있는 상태에서 기록되기 때문에, 촬영후에는, 일부의 RAW현상 처리가 필요하다. 그러나, 상술한 것 처럼, 화상 사이즈와 화상 데이터의 증가와 아울러, 촬영후의 RAW현상 처리에 걸리는 시간이 증대해서 화상 표시전에 긴 시간이 필요하면, 유저에게 스트레스를 주어버려, 촬상 장치의 편리성을 손상한다.

이하, 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다.

도 1은, 본 발명의 제1 실시예에 따른 촬상 장치의 구성 예를 나타내는 블록도다. 도 1에 나타낸 촬상 장치(100)는, 피사체를 촬상해서 얻어진 화상 데이터를 기록 매체에 기록할 뿐만 아니라, 화상 데이터를 기록 매체로부터 재생하여, 현상 처리를 해서 표시하는 기능과, 화상 데이터를 외부의 장치나 서버(클라우드)등에 대하여 송수신하는 기능을 가진다. 따라서, 이것들의 기능에 착안했을 경우, 본 실시예에 따른 촬상 장치는, 화상처리장치, 기록 장치, 재생장치, 기록 재생장치, 통신장치 등으로서 표현될 수 있다.

도 1에 있어서, 제어부(161)는, 중앙처리장치(CPU)와, 해당 CPU가 실행하는 제어 프로그램을 기억하는 메모리를 구비하고, 촬상 장치(100)의 각 부의 처리 동작을 제어한다. 조작부(162)는, 유저가 촬상 장치(100)에 대하여 지시를 주기 위해서 사용하는 키, 버튼 또는 터치패널 등의 입력 디바이스를 구비한다. 제어부(161)는, 조작부(162)로부터의 조작신호를 검출하고, (도시되지 않은) 메모리에 기억된 제어 프로그램을 실행하고, 조작 신호에 대응한 동작이 실행되도록 촬상 장치의 각 부를 제어한다. 표시부(123)는, 촬상 장치(100)에 있어서, 촬영 혹은 재생된 화상이나, 메뉴 화면, 각 종 정보 등을 표시하기 위한 액정 디스플레이(LCD)등을 구비한다.

조작부(162)에 의해 촬영동작의 시작이 지시되면, 촬상 대상이 되는 피사체의 광학상이, 촬영광학부(101)에 의해 촬상 센서부(102) 위에 결상된다. 촬영시의 촬영광학부(101) 및 촬상 센서부(102)의 동작은, 평가값 산출부(105)에 의해 취득되는 조리개, 포커스 및 카메라 흔들림 등의 평가 값 산출 결과나, 인식부(131)에 의해 추출된 피사체 정보에 근거하여, 카메라 제어부(104)에 의해 제어된다.

촬상 센서부(102)는, 화소마다 배치되는 적색, 녹색 및 청색(RGB)의 컬러 필터들을 투과한 광빔을 전기신호로 변환한다. 도 7은, 촬상 센서부(102)의 촬상면에 배치된 컬러 필터들의 일례를 나타내는 도면이며, 촬상 장치(100)가 다루는 화상의 화소배열을 나타내고 있다. 도 7에 나타낸 바와 같이, 적색(R)703, 녹색(G)701, 청색(B)702가 화소마다 모자이크 패턴으로 배치되어 2행 2열의 4화소들마다 적색1화소, 청색1화소, 및 녹색2화소를 1세트로 해서 규칙적으로 배치한 구조를 형성한다. 이러한 화소들의 배치는, 일반적으로 "베이어" 배열이라고 불린다.

촬상 센서부(102)에 의해 광학상을 광전 변환해서 얻어진 전기신호는, 센서 신호 처리부 (취득부)(103)에 의해 화소값의 수복 처리가 실행된다. 수복 처리는, 촬상 센서부(102)의 결락 화소나 신뢰성이 낮은 화소의 화소값에 대하여, 주변화소값을 사용해서 수복 대상의 화소의 값을 보간하고(화소의 결함에 의한 결함 화소값의 보정처리), 촬상 센서부(102)의 출력의 블랙 레벨을 보상하기 위해서, 소정의 오프셋 값을 감산하는 처리를 포함한다. 본 실시예에서는, 촬상 센서부(102)로부터 출력되고 나서 센서 신호처리부(103)로부터 출력될 때까지의 전기신호(데이터)를, 생(미현상된) 데이터를 의미하는 "RAW데이터(RAW화상)"이라고 한다. 센서 신호처리부(103)가 행하는 각 종 보정처리는, 후단에 설치된 현상부(110)에서 행해지는 현상 처리 전에 행해지는 공지의 처리이어도 된다. 그 외에는, 그것들의 일부만이, 센서 신호처리부(103)에 의해 행해져도 된다.

RAW데이터는, 현상부(110)에서 현상 처리된다. 현상부(110)는, 복수의 다른 현상 처리부를 가지고, 제1의 현상부로서의 간이 현상부(111)와, 제2의 현상부로서의 고화질 현상부(112)로 이루어진다. 현상부(110)는, 간이 현상부(111)와 고화질 현상부(112)의 출력간에 선택하는 스위치부(121)를 더 구비한다. 간이 현상부(111)와 고화질 현상부(112) 양쪽은, RAW데이터에 대하여 디베이어 처리(디모자이크 처리)를 실행하고, 그 RAW데이터를 휘도와 색차로 이루어진 신호로 변환하고, 각 신호에 포함된 노이즈의 제거, 광학 왜곡 보정을 하여, 화상을 최적화하는 등의 소위 현상 처리를 행한다.

특히, 고화질 현상부(112)는, 간이 현상부(111)보다도, 화소수가 큰 화상을 취급할 수 있고, 그 처리 단계들을 고정밀도로 행한다. 그 고정밀도에 의해, 간이 현상부(111)에 의해 얻어진 것보다도 높은 화질의 현상 화상을 얻을 수 있지만, 한편, 처리부하가 커진다. 따라서, 본 실시예의 고화질 현상부(112)는, 촬영과 병행된 실시간의 현상에 대해 구체적으로 설계되지 않고, 촬영 후에 시간을 들여서 분산 처리를 행할 수 있게 구성된다. 이렇게, 고화질 현상을 촬영시가 아니고, 시간을 들여서 나중에 행하는 것은, 회로 규모와 소비 전력의 증대(피크)를 낮은 레벨로 억제할 수 있다. 또한, 고화질 현상부(112)는, 센서 신호처리부(103)로부터 취득한 RAW데이터에, 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부다.

한편, 간이 현상부(111)는, 고화질 현상부(112)보다도 화질이 낮지만, 촬영중에 고속으로 현상 처리를 행할 수 있도록, 고화질 현상보다도 현상에 관련되는 처리량이 적어지도록 구성되어 있다. 이렇게, 간이 현상부(111)는 작은 처리부하를 가지므로, 화상촬영의 동작과 병행된 실시간 현상에 사용된다. 스위치부(121)는, 조작부(162)를 통해 유저가 지시한 조작 또는 현재의 동작 모드에 따른 제어에 따라, 제어부(161)에 의해 전환된다.

예를 들면, 간이 현상부(111)는, 현상후의 화상 사이즈를 200만 화소이하로 제한하거나, 노이즈 제거나 광학 왜곡 보정등의 비교적 시간이 걸리는 신호처리를, 한정적인 처리 단계들로 제한하거나 혹은 생략하거나 함으로써, 현상 처리의 고속화와 간이화를 실현한다. 간이 현상부(111)가, 화상 사이즈를 축소한 뒤에 처리를 행하거나, 현상 처리의 기능을 일부 제한하거나 함으로써, 촬상 장치(100)는, 예를 들면 200만 화소와 매초 60프레임의 퍼포먼스의 촬영을, 작은 회로 규모와 적은 소비 전력으로 실현할 수 있다.

또한, 본 실시예에서는, 현상부(110)내에 간이 현상부(111)와 고화질 현상부(112)가 독립적으로 존재하는 구성을 기재하고 있지만, 하나의 현상부가 동작 모드를 전환하여, 간이 현상과 고화질 현상의 처리 단계들을 배타적으로 행하는 구성도 본 발명에 의해 포함된다.

현상부(110)에 의해 현상 처리된 화상 데이터는, 표시 처리부(122)에 의해 소정의 표시 처리가 이루어지고 나서, 표시부(123)상에서 표시된다. 또한, 현상 처리된 화상 데이터는, 영상출력 단자(124)를 거쳐 외부적으로 접속된 표시기기에 출력되어도 좋다. 영상출력 단자(124)는, 예를 들면, 고선명 멀티미디어 인터페이스(HDMI: 등록상표)나 직렬 디지털 인터페이스(SDI)와 같은 범용 인터페이스를 포함한다.

현상부(110)에 의해 현상 처리된 화상 데이터는, 평가값 산출부(105)에도 공급된다. 평가값 산출부(105)는, 센서 신호처리부(103)로부터 출력된 RAW데이터 또는 현상부(110)로부터 출력된 화상 데이터에 근거해서 포커스 상태와 노출 상태 등의 평가 값을 산출한다.

현상부(110)에 의해 현상 처리된 화상 데이터는, 인식부(131)에도 공급된다. 인식부(131)는, 화상 데이터중의 피사체 정보를 검출 및 인식하는 기능을 가진다. 예를 들면, 인식부(131)는, 화상 데이터에 의해 나타낸 화상내에 있어서의 얼굴을 검출하고, 얼굴을 검출한 경우에 얼굴의 위치를 나타내는 정보를 출력하고, 한층 더 얼굴 등의 특징정보에 근거해서 특정한 인물의 인증을 행한다.

현상부(110)에 의해 현상 처리된 화상 데이터는, 정지 화상 압축부(141) 및 동화상 압축부(142)에도 공급된다. 화상 데이터를 정지 화상으로서 압축할 경우는, 정지 화상 압축부(141)를 사용한다. 화상 데이터를 동화상으로서 압축할 경우는, 동화상 압축부(142)를 사용한다. 정지 화상 압축부(141) 및 동화상 압축부(142) 각각은, 대상 화상 데이터를 고능률 부호화(압축 부호화)하여 정보량이 압축된 화상 데이터를 생성하고, 그 화상 데이터를 화상 파일(정지 화상 파일 또는 동화상 파일)로 변환한다. 정지 화상 압축에는 동화상 전문가 그룹(JPEG)등을 사용하여도 되고, 동화상 압축에는 동화상 압축 규격(MPEG)-2, H.264, H.265 등을 사용할 수 있다.

본 실시예에서는, 센서 신호처리부(103)로부터 출력된 화상 데이터를 "RAW데이터"라고 칭하고, 현상부(110)가 출력하는 화상 데이터를 "현상 화상"이라고 칭하며, 고화질 현상부(112)의 내부에 있어서의, 현상 처리가 도중에 종료되는 상태에서의 중간 화상 데이터를 이하 "iRAW데이터"라고 칭한다. 이 용어는, 도중에 현상 처리된 RAW데이터를 의미하고, "중간 RAW데이터"에 대해 약기한 것이다.

고화질 현상부(112)의 상세구성은 도 2a 및 도 2b에 나타낸다. 도 2a 및 도 2b에 있어서, 도 1과 같은 부분은 같은 참조부호를 의미한다. 고화질 현상부(112)는, 센서 신호처리부(103)로부터의 촬영 화상의 RAW데이터를 입력으로서 수신하고, 고화질 현상을 구성하는 복수의 다른 화상처리 단계가 단계적으로 행해진 화상 데이터를 스위치부(121)에 출력한다. 복수의 처리 단계는, 주변 광량 보정부(220), 왜곡보정부(221), 디모자이킹 처리부(222), 화이트 밸런스 보정부(223), 노출 보정부(224), 윤곽보정부(225), 및 노이즈 보정부(226)등의 화상처리부들에 의해 실행되는 각종 처리 단계를 포함한다. 상기 iRAW데이터는, 각 화상처리부의 출력인 화상 데이터를 말한다.

각 화상처리부가 출력하는 iRAW데이터는, 후단의 그 다음의 화상처리부에 입력되어도 되거나, 제어부(161)의 제어하에 버퍼(115)에 기록되어도 된다. 마찬가지로, 각각의 화상처리부의 입력은, 그 전단의 화상처리부가 출력하는 iRAW데이터 또는, 제어부(161)의 제어하에 상기 버퍼(115)로부터 판독된 화상 데이터를 수신하여도 된다. 달리 말하면, 제어부(161)는, 취득한 RAW데이터에 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부로서의 고화질 현상부(112)를 제어한다. 이것은, 본 실시예의 특징의 하나이며, 촬상 장치의 동작 모드, 소비 전력, 화상 사이즈, 조작부에 의한 유저의 지시등의 다양한 상태에 따라, 고화질 현상부(112)는, 그 내부에 있는 iRAW데이터를, 버퍼(115)와 교환할 수 있다.

이때, 고화질 현상부(112)에 입력된 데이터는 RAW데이터 자신이지만, 그 데이터가 한번 고화질 현상부(112)에 입력된 후의 내부신호로서 취급될 경우에, 그 데이터는 편의상 iRAW데이터로서 취급된다.

RAW압축부(113)는, 버퍼(115)에 기억된 iRAW데이터를, 웨이브릿 변환이나 차분 부호화 등의 기술을 사용해서 고능률 부호화하여 압축된 상태의 iRAW파일로 변환하여, 버퍼(기록 매체)(115)에 기억한다. 그 iRAW 파일은, 버퍼(115)에 남겨 두어서 다시 판독될 수 있지만, 버퍼(115)에 기억된 후, 다른 기록매체에 이동하여 기록하도록(그리고 버퍼(115)로부터 삭제하도록) 되어도 좋다.

iRAW파일과, 후술하는 정지 화상 파일 및 동화상 파일은, 기록 재생부(151)에 의해, 기록 매체(152)에 기록된다. 기록 매체(152)는, 내장식 대용량 메모리나 하드 디스크, 또는, 착탈식 메모리 카드 등이다.

또한, 기록 재생부(151)는, 기록 매체(152)로부터 정지 화상 파일, 동화상 파일 및 iRAW파일을 판독할 수 있다.

기록 재생부(151)에 의해 판독된 iRAW파일은, RAW신장부(114)에 의해 신장되어 iRAW 데이터를 복원하고, 버퍼(115)에 기억된다. 기록 재생부(151)는, 통신부(153)를 통하여, 외부의 스토리지나 서버에, 각종 파일을 기록 및 판독할 수 있다. 통신부(153)는 통신단자(154)를 사용하여서, 무선통신이나 유선통신에 의해 인터넷이나 외부기기에 액세스 가능한 구성을 가진다.

조작부(162)를 거쳐 유저가 재생 동작을 시작하면, 기록 재생부(151)는, 기록 매체(152)로부터, 또는, 통신부(153)를 통하여, 원하는 파일을 취득하여 재생한다. 재생 대상의 파일이 iRAW파일이면, 기록 재생부(151)는, 취득된 iRAW파일을 RAW신장부(114)에 보낸다.

재생 대상의 파일이 정지 화상 파일이면, 기록 재생부(151)는, 취득된 정지 화상 파일을 정지 화상 신장부(143)에 공급한다. 재생 대상의 파일이 동화상 파일이면, 기록 재생부(151)는, 취득된 동화상 파일을 동화상 신장부(144)에 공급한다.

정지 화상 신장부(143)는, 입력된 정지 화상 파일을 복호해서 신장하고, 또는 그 파일이 이미 신장된 경우는 아무 것도 하지 않고, 그 파일을 정지 화상의 재생 화상으로서 표시 처리부(122)에 공급한다. 동화상 신장부(144)는, 입력된 동화상 파일을 복호해서 신장하고, 또 그 파일이 이미 신장된 경우는 아무 것도 하지 않고, 그 파일을 동화상의 재생 화상으로서 표시 처리부(122)에 공급한다.

다음에, 본 실시예에 따른 촬상 장치(100)의 동작 모드에 대해서, 도면을 참조하여 상세하게 설명한다. 도 3은, 촬상 장치(100)에 있어서의, 각 동작 모드의 천이를 나타내는 상태 천이도다. 이러한 모드의 천이는, 조작부(162)로부터의 유저 조작 지시나, 제어부(161)의 판단에 응답하여 실행되고, 조작에 따라서 일 경우에 수동으로 천이하고 다른 경우에는 자동으로 천이한다. 도 3과 같이, 촬상 장치(100)는, 아이들 상태(300)를 경유해서 4개의 모드, 정지 화상 촬영 모드(301), 정지 화상 재생 모드(302), 동화상 촬영 모드(303), 및 동화상 재생 모드(304)중 하나의 모드로 적절하게 전환해서 동작한다.

도 2a 및 도 2b를 참조하여, 고화질 현상부(112)를 상세하게 설명한다. 도 2a 및 도 2b에 있어서, 주변 광량 보정부(220)는, 촬영 광학부(101)에 있어서, 화상이 렌즈의 중심을 향해 밝아지고 주변을 향해 어두워지는 경향을 보정한다. 왜곡보정부(221)는, 촬영광학부(101)에 있어서의 렌즈의 특성으로 인해 생성된 통형 왜곡 등의 왜곡 수차를 보정한다.

디모자이킹 처리부(222)는, 도 7에 도시된 것 같은 베이어 배열의 화상에 관해 각 화소가 R, G, B의 신호를 가지도록 화상처리를 행한다. 디모자이킹 처리부(222)에 의해 처리가 되기 전에 각 화소는 하나의 색 정보만 갖지만, 디모자이킹 후의 각 화소는, R, G 및 B 색의 정보를 가지므로, 일반적으로 데이터량은 증가한다. 예를 들면, 데이터량은 3배 증가한다. 화이트 밸런스 보정부(223)는, R, G, B의 밸런스를 조정하여 다양한 색온도를 갖는 광원들에 대하여, 백색을 정확하게 보정한다. 노출 보정부(224)는, 각 화소에 대하여 게인 연산이나 오프셋 중첩을 행하여 화상 전체의 밝기를 제어한다.

윤곽보정부(225)는, 화상에 대하여 공간 로우패스 필터(LPF)나 하이패스 필터(HPF)를 실행하여, 피사체의 윤곽을 강조하거나 흐리게 한다. 노이즈 보정부(226)는, 화상에 대하여 LPF를 실행하여서, 화상전체나 특정 에어리어의 노이즈를 억제하거나, 복수매의 화상에 대하여 중첩 합성을 행하는 것으로, 화상의 노이즈를 억제한다. 또한, 본 실시예에 있어서, 도 2a 및 도 2b에 나타낸 각 기능부의 순번은, 이 예에 한정되는 것이 아니다. 또한, 고화질 현상부(112)에 의해 실행된 화상처리의 종류들은, 이 예에 한정되는 것이 아니다. 예를 들면, 여기에 나타낸 것들 외에, 고화질 현상부(112)는, RGB화상을 휘도와 색차신호로 변환하는 색공간 변환처리를 행하는 기능, 감마 처리를 행하는 기능, 하이 다이내믹 레인지(HDR) 확장 기능, 화상의 분할 위치를 변경하여서 행해진 흔들림 보정을 위한 전자방진기능 등을 가져도 좋다.

버퍼 인터페이스(I/F)부(227)는, 버퍼(115)와 각 기능부(220∼226) 사이에서 기록 및 재생되는 화상의 데이터를 교환한다. 고화질 현상부(112)내의 각 기능부의 입출력은 버퍼I/F부(227)내의 각 스위치에 접속되어 있다. 버퍼I/F부(227)내의 각 스위치는, 고화질 현상부(112)내에서 처리된 RAW데이터를, 다음 처리 단계를 위한 기능부 및 버퍼(115) 중 적어도 한쪽에 공급하기 위한 스위치다. 제어부(161)는, 각 기능부의 입력이, 전단의 기능부가 출력하는 iRAW데이터 또는, 버퍼(115)에 기억된 iRAW데이터를, 버퍼I/F부(227)를 거쳐 수신하는지에 관해 이것들의 스위치를 제어한다.

도 2a 및 도 2b에 있어서, 버퍼I/F부(227)는, 각 기능부(220∼226)가, 버퍼(115)를 통하여 기록 매체(152)등에 화상을 기록 혹은 재생하기 위한 I/F다.

또한, 도 2a 및 도 2b에는 도시되지 않고 있지만, 기능부들(220∼226)은 각각의 신호처리연산을 행할 때 일시적인 메모리 공간으로서도 버퍼(115)를 사용하고, 이를 위해, 버퍼I/F부(227)의 제어에 관계없이, 버퍼(115)와 데이터를 교환 가능하다.

예를 들면, 촬상 장치(100)가 촬영 모드의 경우, 제어부(161)에 의해 버퍼I/F부(227)의 스위치들은 도 2a에 나타낸 상태로 제어되고, 센서 신호처리부(103)로부터 출력된 RAW데이터는, 고화질 현상부(112)에 있어서, 주변 광량보정 및 왜곡 보정까지 처리된다. 이렇게 처리된 iRAW데이터는, 버퍼(115)에 한번 격납되고 나서, 기록 매체(152)에 기록된다. 본 예와 같이, 촬영시, 고화질 현상부(112)에 있어서 어느 단계의 현상 처리까지 실행하고 나서 iRAW데이터를 버퍼(115)에 기록할지는, 제어부(161)에 의해 제어된다.

게다가, 이 예에서는, 고화질 현상부(112)의 처리는, 왜곡보정부(221)에 의한 왜곡보정처리에서 종료되기 때문에, 디모자이킹 처리부(222)로부터 노이즈 보정부(226)까지의 각 기능부는 동작시킬 필요가 없다. 기능부들(222∼226)에 대하여는, 이 기능부들에 관한 전원을 끄거나, 내부 동작 클록을 정지시켜 적극적으로 소비 전력을 억제해도 된다.

한편, 촬상 장치(100)가 재생 모드의 경우는, 버퍼I/F부(227)내의 스위치들은 도 2b에 나타낸 상태로 제어되고, 기록 매체(152)로부터 판독한 iRAW데이터는, 버퍼I/F부(227)에 의해, 고화질 현상부(112)의 디모자이킹 처리부(222)에 입력되어, 그 이후의 현상 처리 단계들을 수신하도록 제어된다.

한편, 종래의 고화질 현상의 처리에서는, 재생시 RAW현상 시간을 단축하기 위해서, 촬영시에 가능한 많이, 후단의 현상 처리(노출 보정처리, 윤곽보정처리, 노이즈 보정처리 등)를 행하는 것이 일반적이다. 그러나, 본 실시예에 있어서는, 상술한 것처럼, 촬상 장치(촬상부와 화상처리부를 구비한다)의 촬영 모드, 촬영 조건 설정(줌, 포커스, 노출, ISO감도 등), 소비 전력, 처리부하등의 동작상황, 화상 사이즈, S/N비등의 RAW데이터에 관한 정보, 및 조작부로부터의 유저의 지시 등에 따라, 현상 처리의 단계적 실행을 적응적으로 제어해서 촬영동작에 있어서의 RAW데이터 처리를 최적화 한다.

촬상 장치(100)가 동화상 촬영 모드인 경우나, 정지 화상 촬영 모드인 경우도, 연속적인 촬영시 또는 기록 화상의 화소수가 소정의 기준보다 클 경우, 전술과 같이 디모자이킹 처리부(222)에 의해 화상 데이터량이 대폭 증가한다. 이 때문에, 현상을 위한 화상처리를 촬영과 병행되어서 실시간 처리로 행하면, 그 처리시간이 소정시간보다 길어져, 촬영 퍼포먼스를 저하시킬 수도 있다. 이러한 경우를 피하기 위해서, 본 실시예에서는, 고화질 현상부(112)는, 버퍼I/F부(227)에 구비된 스위치들의 접속을 적응적으로 제어하고, 어느 단계까지의 처리를 행할지를 제어하고 있다. 예를 들면, 도 2a 및 도 2b에 나타내는 바와 같이 각 스위치의 접속을 제어하여 고화질 현상부(112)의 처리량을 왜곡보정부(221)의 처리까지의 화상처리를 실행할 때까지 제한하여, 왜곡보정 후에 iRAW데이터가 버퍼(115)에 건네진다(고화질 현상부(112)로부터 출력된다). 이 결과, 실시간 동작에 있어서의 고화질 현상부(112)의 처리시간을 억제하여, 촬영 퍼포먼스를 유지할 수 있다.

상술한 예는, 촬영 모드에 있어서, 동화상 촬영 모드이었을 경우나, 정지 화상 촬영 모드에서도, 연속 촬영시나, 기록 화상의 화소수가 클 경우등, 취급하는 화상 데이터가 큰 것을 미리 판단할 수 있을 경우에 있어서, 고화질 현상부(112)의 제어를, 특정한 현상 처리 단계에 한정하는 경우에 대해서 설명하였다.

한편, 촬영중의 화상 데이터를 상기 특정한 현상 처리 단계에 한정하는 방법에 한정하지 않고, 고화질 현상부(112)에 있어서의 데이터 처리의 잔량에 따라서 적응적으로 처리를 변경해도 좋다. 이 적응적 제어 구성(방법)에 대해서 예들로 설명한다.

고화질 현상부(112)에 있어서의 처리단계의 적응적 제어의 제1 예는, 센서 신호 처리부(103)로부터 출력된 RAW데이터량에 대하여, 고화질 현상부(112)의 데이터 처리속도가 늦어지고 버퍼(115)가 오버플로우 해버릴 수도 있는 경우의 제어다.

상술한 것처럼, 각 기능부(220∼226)는, 각각의 신호처리연산을 행할 때 일시적 메모리 공간으로서도 버퍼(115)를 이용한다.

또한, 각 기능부(220∼226)의 실제의 신호처리의 상세는, 각 화상의 상태에 따라 적응적으로 변경하여도 된다.

예를 들면, 노이즈 보정부(226)는, 화상의 신호 대 잡음(S/N)의 상태를 판단하여, 화상의 S/N이 낮을 경우(광량이 작은 장면에서 촬영하기 때문에 노이즈가 큰 경우 등)에는 노이즈 감소를 위해 신호처리량을 증가시키고, 한편 화상의 S/N이 높을 경우에는, 그 신호처리량을 감소시킨다.

상술한 것처럼, 화상의 상태에 따라서, 각 기능부의 데이터 처리량이 동적으로 변화할 경우, 데이터 처리량이 변화했기 때문에, 버퍼(115)가 오버플로우 할 것 같은 것인가 아닌가를, 예를 들면 제어부(161)가 판단하고, 버퍼(115)가 오버플로우 할 것 같을 경우는, 부하가 무거운 현상 처리를 행하기 전의 단계의 iRAW데이터를, 버퍼(115)를 통해서, 기록 매체(152), 혹은, 통신부(153)를 통하여 외부의 스토리지나 서버에 기록하도록 제어하고, 부하가 무거운 현상 처리를 행하지 않는 것으로, 버퍼(115)에 데이터의 축적을 피하도록 제어한다. 그 후, 화상(전기신호, 데이터)의 상태에 따라, 버퍼(115)에서 오버플로우에 대하여 여유가 생겼을 경우에는, 부하가 무거운 단계들까지 현상 처리를 행한 iRAW데이터를 버퍼(115)에 기록하도록 제어한다. 이렇게, 제어부(161)는, 어느 단계까지의 처리를 행할지를, RAW데이터의 데이터량과, 화상에 따른 처리속도에 기인하는 버퍼(115)의 예측 오버플로우에 근거하여 적응적으로 제어한다.

또한, 상기한 바와 같이, 적응적으로 현상 처리의 단계를 변화시킬 경우, 예를 들면, 정지 화상의 경우는 촬영한 화상마다, 동화상의 경우는 하나의 스트림내의 프레임마다 현상 처리의 단계들을 제어한다. 따라서, 본 실시예에 따른 촬상 장치(100)가 재생 모드시에, 이 iRAW데이터에 대하여 나머지의 현상 처리를 행할 경우, 프레임마다, 어느 단계까지 현상 처리가 끝나고 있는 것인지를 판정할 필요가 있다. 이것을 고려하여, 본 실시예에 따른 RAW데이터 또는 iRAW데이터의 파일은 다음과 같이 구성된다.

도 4는, RAW파일의 구성 예를 나타내는 도면이다. 도 4에 나타낸 RAW파일(400)은 헤더부(401), 메타데이터부(402) 및 압축 데이터부(403)로 이루어진다. 헤더부(401)는, 이 파일이 RAW파일의 형식인 것을 나타내는 식별 코드 등을 포함한다. 압축 데이터부(403)는, 고능률 부호화된 iRAW데이터의 압축 데이터를 포함한다.

메타데이터부(402)는, iRAW파일의 파일명의 정보(404)를 포함하고, 또한, 고화질 현상부(112)에 의해 현상 처리된 단계를 나타내는 현상 스테이터스 정보(405)를 포함한다. 메타데이터부(402)는, 평가값 산출부(105)와 인식부(131)에서 각각 검지된 평가 값과 피사체정보, 및, 촬영 광학부(101)와 촬상 센서부(102)로부터의 촬영시의 정보(예를 들면, 렌즈 종별 식별정보와 센서 종별 식별정보 등)를 포함하는 촬영 메타데이터(406)를 더 포함한다. 또한, 도시되지 않고 있지만, 메타데이터부(402)는, 촬영시에 간이 현상부(111)에서 생성된 화상, RAW파일이 기록되어 있는 기록 매체의 식별 코드, RAW파일이 기록된 폴더의 패스(path) 정보 등도 더 포함해도 좋다.

상기한 바와 같이, 상기 파일은 메타데이터로서 현상 스테이터스 정보를 가짐으로써, iRAW데이터가 어느 단계까지 현상 처리된 것인가 판별할 수 있게 하고 있다. 이것은, 하기의 제2 내지 제6의 예에도 마찬가지다. 또한, 상술한 본 실시예에 따른 각종 파일의 구조들은 예들일 뿐이고, 카메라 파일 시스템에 대한 설계 규칙(DCF)이나 교환 이미지 파일 형식(EXIF) 등의 표준 규격에 준한 구성이 사용되어도 좋다.

다음에, 고화질 현상부(112)에 있어서의 처리 단계들의 적응적 제어의 제2 예를 설명한다. 큰 화상 데이터를 현상 처리할 경우, 소비 전력이 증대하여, 촬영시간을 감소시킨다. 따라서, 제어부(161)는, 촬상 장치(100)에 내장 혹은 외장으로 추가되어 전력을 공급하는 전지의 잔량을 모니터링 하고, 그 잔량에 따라 고화질 현상부(112)의 현상 처리의 단계들을 바꾸도록 제어한다. 이렇게 구성함으로써, 촬상 장치(100)의 소비 전력을 제어하여, 필요에 따라서 촬영의 가능시간(촬영 가능시간)을 연장시킬 수 있다. 본 촬상 장치(100)가 AC콘센트 등에 접속되고, 연속적으로 급전 가능한 상황에 있을 경우는, 될 수 있는 한 많은 현상 처리의 단계들을 행하도록 제어해도 좋다.

이어서, 고화질 현상부(112)에 있어서의 처리단계들의 적응적 제어의 제3 예를 설명한다. 본 실시예에 따른 촬상 장치(100)는, 촬영시에 iRAW데이터를 기록하기 때문에, 재생시에는 나머지의 현상 처리가 실행될 필요가 있다. 일부의 유저는, 재생시에 행해지는 현상 처리의 상세에 대해 촬상 장치에 모두를 맡기는 것, 소위 "오토 모드"에서의 사용방법을 선호하기도 하지만, 촬상 장치는, 미리 몇 개의 설정 모드를 준비하고, 이로부터 유저가 그 밖의 경우에 선택한다. 예를 들면, 그 설정 모드는, 사람의 얼굴을 인식하고 촬영 대상의 화이트 밸런스와 노출을 최적화 하는 모드, 촬영 대상이 풍경일 경우, 풍경마다 색의 채도를 자동으로 조정하는 모드 등을 포함한다. 또한, 특히 카메라 사용 경험자가 되면, 유저가 혼자서, 상세하게 현상 조건을 설정할 경우도 많다. 특히, 화이트 밸런스 등은 미세하게 조정하여, 원하는 화상을 현상하는 경우도 많다. 따라서, 제어부(161)는, 유저에 의해 설정된 상기 설정 모드와, 유저가 상세하게 설정한 현상 처리용의 처리 파라미터를 학습하여, 거기에 맞추어, 고화질 현상부(112)의 처리단계들을 변경하게 제어를 행하도록 구성된다. 예를 들면, 유저가 화이트 밸런스를 빈번하게 조정하면, 촬영시에 있어서의 고화질 현상부(112)의 현상 처리는, iRAW 데이터를 기록하기 위해 화이트 밸런스 보정부(223) 직전에 정지된다.

다음에, 고화질 현상부(112)에 있어서의 처리단계의 적응적 제어의 제4 예를 설명한다. 통신부(153) 및 통신단자(154)를 통해서 통신에 의해 외부 디바이스와 화상 데이터를 교환할 경우, 외부 디바이스와의 통신상황에 따라, 화상 데이터를 교환 가능한 데이터 전송 속도가 변화할 경우가 상정된다. 데이터 전송 속도가 느릴 때에 큰 데이터를 송신하지 않는 것이 바람직하다. 고화질 현상부(112)로부터 출력된 iRAW데이터의 데이터 사이즈는, 각 기능부(220∼226)에 의해 변경되기 때문에, 통신상황에 따라 고화질 현상부(112)의 현상 처리의 단계들은 변경되어도 좋다.

다음에, 고화질 현상부(112)에 있어서의 처리 단계들의 적응적 제어의 제5 예를 설명한다. 고화질 현상부(112)의 현상 처리의 단계들이, 각 화상의 상태에 따라 판단하는 경우를 서술했지만, 예를 들면, 유저의 조작에 의해 렌즈의 조리개를 변경했을 경우나, 렌즈의 줌 배율을 변경했을 경우에, 왜곡보정부(221), 노출 보정부(224)등의 처리부하가 과도적으로 변화하기도 한다. 이러한 경우에 고화질 현상부(112)의 현상 처리의 단계들을 변화시키는 것도, 본 발명에서 고려된다.

또한, 상기에서 "유저의 조작에 의해"의 구를 사용했지만, 유저의 조작에 한정되지 않고, 오토 조작 모드 등에서 카메라에 의한 자발적인 조작 상태를 판단하여, 고화질 현상부(112)의 현상 처리의 단계들을 변화시키는 것은, 본 발명에서 고려된다.

다음에, 고화질 현상부(112)에 있어서의 처리 단계들의 적응적 제어의 제6 예를 설명한다.

예를 들면, 도 2a 및 도 2b에 나타낸 각 기능부의 순번은, 이 예에 한정되는 것이 아니고, 각 기능부는 화상 데이터가 증가하기 쉬운 순번으로 구축되어도 좋다.

이것은, 전술한 것처럼 분명히 화상 데이터가 증가할 경우나, 화상 데이터가 증가한다고 예상될 경우, 고화질 현상부(112)의 현상 처리의 단계들을 변화시키고, 고화질 현상부(112)의 처리부하가 증가되지 않도록, iRAW데이터를 기록 매체(152)에 기록하는데, 보다 유효한 수단이기 때문이다.

또한, 고화질 현상부(112)에 있어서의 각 기능부의 실현 방법은, 전용 회로에 의한 하드 처리이어도 좋거나, 프로세서 등에 의한 소프트웨어 처리이어도 좋다.

일반적으로, 소프트웨어 처리는, 하드웨어 처리보다 연산 속도에서 느리다. 이 때문에, 본 발명에서와 같이, 화상(전기신호, RAW데이터)의 상태나, 카메라의 조작 상황에 따라, 고화질 현상부(112)의 현상 처리의 단계들을 변화시킬 경우, 하드웨어 처리까지 현상 처리를 행한 상태는 iRAW데이터로서 취급되어도 좋다.

상술한 제어 예들은, 고화질 현상부(112)에 있어서의 처리 단계들의 적응적 제어로서 독립적으로 사용될 뿐만 아니라, 처리 단계들을 고정하는 제어도 포함시키는 것으로 적절하게 조합되어도 되고, 처리 단계들(iRAW데이터의 출력 타이밍)을 결정하도록 우선화되어도 좋다. 상기 6개의 제어 예들은 예시이며, 촬상 장치(100)의 구성이나, 촬영 대상의 특성에 따라 그 밖의 제어 구성요소가 이용되어도 좋다는 것을 알아야 한다. 또한, 그것들의 제어 구성요소 각각은, 미리 제어부(116)가 실행하는 제어 프로그램으로서 인스톨되어도 좋거나, 제어 구성요소가 추가 또는 변경되어도 되도록 나중에 갱신 프로그램으로서 인스톨 되어도 좋다.

이상 설명한 본 실시예에 의하면, 촬영시에 RAW데이터를 기록한 촬상 장치에 있어서, 중간RAW데이터(iRAW데이터)를 기록함으로써, 촬영후의 RAW현상 처리를 고속화 할 수 있는, 화상처리장치 및 화상처리방법을 제공할 수 있다.

본 실시예에 의하면, 종래 기술보아 편의성을 향상시키는 상기 RAW 데이터를 기록 및 재생하는 구성을 갖는 촬상 장치를 제공한다.

다음에, 본 발명의 제2 실시예를 도 5를 참조하여 설명한다. 도 5는, 본 실시예에 따른 촬상 장치(500)의 구성 예를 나타내는 블록도다. 도 5에 있어서, 도 1에 나타낸 제1 실시예에 따른 촬상 장치(100)와 동일한 기능부들은 동일 참조부호로 나타내고, 그 설명을 생략한다.

제1 실시예에 따른 촬상 장치(100)와의 차이는, 버퍼(115)와, RAW신장부(114) 및 RAW압축부(113) 각각과의 사이에, 차분 연산부(570)가 삽입되어 있는 것이다. 차분 연산부(570)는, 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터와, 해당 제한된 단계보다 앞의 단계들 중 어느 하나의 단계의 처리가 행해진 RAW데이터간의 차분 데이터를 생성하는 차분부다.

제1 실시예일 경우, 어떤 단계까지의 처리가 종료한 iRAW데이터는, 그 처리 이전의 상태로는 복원될 수 없었다. 예를 들면, 도 2a 및 도 2b에 있어서의 노이즈 보정부(226)에 의한 현상 처리가 종료한 iRAW데이터에 대하여, 재생시에 화이트 밸런스의 재조정을 유저가 희망했을 경우, 상술한 iRAW데이터를 화이트 밸런스 보정부(223)에 입력하는 것만으로는, 불충분할 경우가 있다. 이것은, 현상 처리의 연산 과정으로 손실 데이터가 생성되어, 데이터가 불가역이 될 경우가 있기 때문이다. 따라서, 이러한 경우, iRAW데이터를, 센서 신호처리부(103)로부터 출력된 RAW데이터의 상태로 복원하고, 고화질 현상부(112)에 의해, 처음부터 현상 처리를 실행하는 것이 바람직하다. 그러나, 상술한 동작을 이루기 위해서, iRAW데이터를 사용하여, 센서 신호처리부(103)의 출력 단계에서의 RAW데이터를 복원할 수 있도록 보장하는 것이 필요하다.

이하, 이 RAW데이터의 복원을 위한 구성을 설명한다. 도 5에 있어서, 센서 신호처리부(103)가 출력한 RAW데이터는, 버퍼(115)에 기록된다. 또한, 고화질 현상부(112)가 출력한 iRAW데이터도 버퍼(115)에 기록된다. 차분 연산부(570)는, 버퍼(115)의 RAW데이터와 iRAW데이터에 대하여, 예를 들면, 화소 단위로 차분 연산을 행한다. 본 실시예에서는, 이 차분 데이터를, "dRAW데이터"라고 칭한다. 또한, 차분 연산부(570)는, 어느 단계까지 iRAW데이터가 dRAW데이터를 사용해서 복원할 수 있는 것인지를 나타내는 정보를 생성한다.

iRAW데이터와 dRAW데이터는 각각, RAW압축부(113)에 의해, 웨이브릿 변환과 차분 부호화등의 기술을 사용해서 고능률 부호화되어서 압축된 상태의 파일로 변환되고, 기록 재생부(151)에 의해, 기록 매체(152)에 기록된다. 혹은, iRAW데이터와 dRAW데이터는, 통신부(153)를 거쳐 외부의 스토리지나 서버에 기록된다.

도 6은, 본 실시예에 있어서, 기록 매체(152), 혹은 통신부(153)를 거쳐 외부의 스토리지나 서버에 기록되는 RAW파일의 구조의 일례를 나타낸다. 도 6을 참조하여, 본 실시예에 따른 RAW파일의 구조에 대해서 설명한다.

도 6에 나타낸 RAW파일(600)은, 헤더부(601), 메타데이터부(602), 및 압축 데이터부(603)로 이루어진다. 헤더부(601)는, 이 파일이 RAW파일의 형식인 것을 나타내는 식별 코드 등을 구비한다. 압축 데이터부(603)는, 고능률 부호화된 iRAW데이터(610)와 dRAW데이터(611)를 포함한다. 이렇게 iRAW데이터와 dRAW데이터를 한 쌍으로서 기록함으로써, iRAW데이터와 dRAW데이터의 대응관계가 유지된다.

메타데이터부(602)는, iRAW파일의 파일명의 정보(604)를 포함한다. 또한, 메타데이터부(602)는, 고화질 현상부(112)에 의해 현상 처리가 실행된 셋업을 나타내는 스테이터스 정보(605)를 포함한다. 메타데이터부(602)는, dRAW데이터를 사용하여서 어느 단계까지 iRAW데이터를 복원할 수 있는 것인지를 나타내는 정보를 더 포함한다. 또한, 메타데이터부(602)는, 평가값 산출부(105)와 인식부(131) 각각에 의해 검지된 평가 값과 피사체 정보 및, 촬영광학부(101)와 촬상 센서부(102)로부터의 촬영시의 정보(예를 들면, 렌즈 종별 식별정보, 센서 종별 식별정보)를 포함하는 촬영 메타데이터(606)를 포함한다. 추가로, 도시되지 않고 있지만, 메타데이터부(602)는, 촬영시에 간이 현상부(111)에서 생성된 화상이나, RAW파일이 기록되어 있는 기록 매체의 식별 코드나, RAW파일이 기록되어 있는 폴더의 패스 정보 등을 더 포함하여도 좋다.

그렇지만, 상기 설명에서, dRAW데이터는 RAW데이터와 iRAW데이터와의 차이이었지만, dRAW 데이터가, 다른 버전의 iRAW데이터간의 차이이어도 좋다. 예를 들면, 노이즈 보정부(226)까지의 처리가 행해진 iRAW데이터에 대하여, 화이트 밸런스의 조정을 다시 행하는 경우에, 차분 데이터에 의해 복원되는 데이터는, RAW데이터가 아니고, 디모자이킹 처리부(222)까지의 처리가 행해진 iRAW데이터쪽이어도 된다. 이것은, 주변 광량보정부(220)로부터 디모자이킹 처리부(222)까지의 처리를 실행할 필요가 없으므로, 실행된 현상 처리량이 감소되기 때문이다. 이 경우, dRAW데이터는, 노이즈 보정부(226)가 출력한 iRAW데이터와, 디모자이킹 처리부(222)가 출력한 iRAW데이터간의 차분 데이터인 것이 바람직하다. 이렇게, 고화질 현상부(112)에서 실행된 각 처리단계, 혹은 소정의 처리단계에서의 dRAW데이터를 기록해도 좋다.

상술한 각 실시예는 본 발명을 실시하는 일례일 뿐이고, 상술한 실시예들에 의거하여 본 발명의 기술범위가 한정적으로 해석되어서는 안 된다. 다시 말해, 본 발명은 그 기술사상, 또는 그 주요한 특징으로부터 일탈하지 않고, 여러 가지의 형태로 실시될 수 있다.

<그 밖의 실시예>

또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2014년 3월 28일에 출원된 일본국 특허출원번호 2014-069276과 2015년 3월 25일에 출원된 일본국 특허출원번호 2015-062650의 이점을 청구한다.

Claims

촬상부에 촬영되는 RAW데이터를 취득하는 취득부;
상기 취득한 RAW데이터에 대해 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부를 구비하고,
상기 제어부는, 상기 RAW데이터, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 상기 촬상부를 구비하는 장치의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 화상처리장치.
제 1 항에 있어서,
상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터와 상기 제한된 단계보다 앞의 단계들 중 어느 하나의 단계의 처리가 행해진 RAW데이터간의 차분 데이터를 생성하는 차분부를 더 구비하고,
상기 차분부는, 상기 차분 데이터의 생성에 관한 상기 제한된 단계보다 앞의 단계의 정보를 생성하고,
상기 제한된 단계보다 앞의 단계들 중 어느 하나의 단계는, 상기 처리부가 상기 복수의 다른 화상처리 단계의 실행을 시작하는 단계를 포함하는, 화상처리장치.
제 2 항에 있어서,
상기 제어부에 의해 제한된 단계까지의 화상처리가 행해진 RAW데이터와 상기 제한된 단계보다 앞의 단계들 중 어느 하나의 단계의 화상처리가 행해진 RAW데이터를 기억하는 버퍼부를 더 구비하고,
상기 차분부는, 상기 버퍼부에 기억된 RAW데이터로부터 상기 차분 데이터를 생성하는, 화상처리장치.
제 3 항에 있어서,
상기 처리부는, 상기 처리부에서 처리된 RAW데이터를, 다음 단계의 처리 또는 상기 버퍼부 중 적어도 한쪽에 공급하기 위한 스위치를 구비하고,
상기 제어부는, 상기 동작상황에 따라, 상기 스위치의 전환을 제어하는, 화상처리장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제어부는, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 촬상부를 구비하는 상기 장치의 동작상황으로서, 촬영 모드, 촬영 가능시간, 및 촬영조건설정을 포함하는 동작상황들 중 적어도 어느 하나에 따라서 상기 복수의 다른 화상처리 단계의 단계적 실행을 적응적으로 제한하는, 화상처리장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제어부는, 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황으로서, 상기 RAW데이터를 처리하는 상기 처리부의 처리 파라미터에 따라, 상기 복수의 다른 화상처리 단계의 단계적 실행을 적응적으로 제한하는, 화상처리장치.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 제어부는, 상기 취득부가 취득한 상기 RAW데이터의 데이터량과 S/N비 중 어느 하나에 따라서 상기 복수의 다른 화상처리 단계의 단계적 실행을 적응적으로 제한하는, 화상처리장치.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 제어부는, 상기 화상처리장치에 전력을 공급하는 전지의 잔량에 따라서, 상기 복수의 다른 화상처리 단계의 단계적 실행을 적응적으로 제한하는, 화상처리장치.
제 7 항에 있어서,
상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터와 상기 제한된 단계보다 앞의 단계들 중 어느 하나의 단계의 처리가 행해진 RAW데이터를 기억하는 버퍼부와,
상기 버퍼부에 기억된, 상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터를 기록 매체에 기록하는 기록부를 더 구비하고,
상기 기록부는, 적어도 상기 제어부에 의해 제한된 단계까지의 화상처리가 행해진 RAW데이터 및 상기 제한된 단계를 나타내는 정보를 포함하는 화상 파일을 생성하고, 상기 생성한 화상 파일을 상기 기록 매체에 기록하는, 화상처리장치.
제 9 항에 있어서,
상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터와 상기 제한된 단계보다 앞의 단계들 중 어느 하나의 단계의 처리가 행해진 RAW데이터간의 차분 데이터를 생성하는 차분부를 더 구비하고,
상기 화상 파일은, 상기 제어부에 의해 제한된 단계까지의 화상처리의 처리 파라미터, 상기 차분부가 생성한 차분 데이터 및 상기 차분 데이터의 생성에 관한 상기 제한된 단계보다 앞의 단계를 나타내는 정보를 더 포함하는, 화상처리장치.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 처리부에 의해 단계적으로 실행된 상기 복수의 다른 화상처리 단계는, 디모자이킹 처리 또는 화이트 밸런스 보정처리 중 적어도 하나를 포함하는, 화상처리장치.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 처리부에 의해 단계적으로 실행된 상기 복수의 다른 화상처리 단계는, 주변 광량 보정처리, 왜곡보정 처리, 밝기 보정처리, 또는 노이즈 보정처리 중 적어도 하나의 처리를 포함하는, 화상처리장치.
제 10 항에 있어서,
상기 기록부에 의해 상기 기록 매체에 기록된 상기 화상 파일을 재생하는 재생부를 더 구비하고,
상기 처리부는, 상기 재생된 화상 파일에 기억된 상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터에 대하여, 상기 재생된 화상 파일에 기억되어 있는, 상기 제한된 단계를 나타내는 정보 및 상기 제어부에 의해 제한된 단계까지의 처리의 처리 파라미터들에 근거하여, 상기 제어부에 의해 제한된 단계보다 뒤의 단계들의 처리를 행하는, 화상처리장치
제 13 항에 있어서,
상기 재생부는, 상기 재생된 화상 파일에 기억된 상기 제어부에 의해 제한된 단계까지의 처리가 행해진 RAW데이터와 상기 차분 데이터에 근거하여, 상기 차분 데이터를 생성할 때 사용된 상기 제한된 단계보다 앞의 단계의 처리가 행해진 RAW데이터를 복원하고,
상기 처리부는, 상기 복원된 RAW데이터에 대하여, 상기 차분 데이터의 생성에 관한 상기 제한된 단계보다 앞의 단계를 나타내는 정보에 따라서, 상기 복수의 다른 화상처리 중 어느 하나를 행하는, 화상처리장치.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 RAW데이터는, 상기 촬상부에 의해 출력되어, 상기 촬상부의 화소의 결함에 의한 결함 화소값의 보정처리와, 블랙 레벨의 보정처리 중 적어도 어느 하나의 처리가 행해진 전기신호인, 화상처리장치.
촬상부에 의해 촬영된 RAW데이터에 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는 제어부를 구비하는 화상처리장치의 제어 방법으로서,
상기 RAW데이터를 취득하는 스텝;
상기 처리부가, 상기 RAW데이터에 상기 복수의 다른 화상처리 단계의 적어도 일부를 단계적으로 행하는 스텝; 및
상기 제어부가, 상기 처리부에서 행한 상기 화상처리 단계의 단계적 실행을 제한하는 단계를 나타내는 정보를 생성하는 스텝을 포함하고,
상기 복수의 다른 화상처리 단계의 적어도 일부를 행하는 스텝에 있어서, 상기 제어부는, 상기 RAW데이터, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 촬상부의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 화상처리장치의 제어 방법.
촬상부에 의해 촬영되는 RAW데이터의 처리가 가능한 화상처리장치를 제어하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 프로그램은, 컴퓨터를,
상기 RAW데이터를 취득하는 취득부;
상기 취득한 RAW데이터에 대해 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부로서 기능시키고,
상기 제어부는, 상기 RAW데이터, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 기록 매체.
피사체의 광학상을 촬상하고, 전기신호를 출력하는 촬상부;
상기 촬상부로부터 출력된 상기 전기신호에, 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부를 구비하고,
상기 제어부는, 상기 전기신호, 상기 전기신호에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 전기신호를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 촬상 장치.
촬상부에 의해 촬영되는 RAW데이터를 취득하는 취득부;
상기 취득한 RAW데이터에, 디모자이킹 처리, 화이트 밸런스 보정처리, 주변 광량 보정처리, 왜곡 보정처리, 밝기 보정처리, 색공간 변환처리 및 노이즈 보정처리 중 적어도 하나의 처리를 포함하는 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부를 구비하고,
상기 제어부는, 상기 RAW데이터, 상기 RAW 데이터에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 화상처리장치.
피사체의 광학상을 촬상하고, 전기신호를 출력하는 촬상부;
상기 촬상부로부터 출력된 전기신호에, 디모자이킹 처리, 화이트 밸런스 보정처리, 주변 광량 보정처리, 왜곡 보정처리, 밝기 보정처리, 색공간 변환처리 및 노이즈 보정처리 중 적어도 하나의 처리를 포함하는 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부를 구비하고,
상기 제어부는, 상기 전기신호, 상기 전기신호에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 전기신호를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 촬상 장치.
피사체의 광학상을 촬상하고, 전기신호를 출력하는 촬상부;
상기 촬상부로부터 출력된 전기신호에, 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부를 구비하고,
상기 제어부는, 상기 전기신호에 관한 동작상황에 따라, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 촬상 장치.
촬상부에 의해 촬영된 RAW데이터에 복수의 다른 화상처리 단계를 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는 제어부를 구비하는, 화상처리장치의 제어 방법으로서,
촬영 화상의 상기 RAW데이터를 취득하는 스텝;
상기 처리부가, 상기 RAW데이터에, 디모자이킹 처리, 화이트 밸런스 보정처리, 주변 광량 보정처리, 왜곡 보정처리, 밝기 보정처리, 색공간 변환처리 및 노이즈 보정처리 중 적어도 하나의 처리를 포함하는 복수의 다른 화상처리 단계의 적어도 일부를 행하는 스텝; 및
상기 제어부가, 상기 처리부에서 행한 상기 화상처리 단계의 단계적 실행을 제한하는 단계를 나타내는 정보를 생성하는 스텝을 포함하고,
상기 복수의 다른 화상처리 단계의 적어도 일부를 행하는 스텝에 있어서, 상기 제어부는, 상기 RAW데이터, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 화상처리장치의 제어 방법.
촬상부에 의해 촬영되는 RAW데이터의 처리가 가능한 화상처리장치를 제어하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 프로그램은, 컴퓨터를,
상기 RAW데이터를 취득하는 취득부;
상기 취득한 RAW데이터에, 디모자이킹 처리, 화이트 밸런스 보정처리, 주변 광량 보정처리, 왜곡 보정처리, 밝기 보정처리, 색공간 변환처리 및 노이즈 보정처리 중 적어도 하나의 처리를 포함하는 복수의 다른 화상처리 단계를 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부로서 기능시키고,
상기 제어부는, 상기 RAW데이터, 상기 RAW데이터에 대응하는 광학상을 촬상할 때의 상기 촬상부의 동작상황, 및 상기 RAW데이터를 처리할 때의 상기 처리부의 동작상황 중 적어도 어느 하나에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 기록 매체.
피사체의 광학상을 촬상하고, 전기신호를 출력하는 촬상부;
상기 촬상부로부터 출력된 전기신호에 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는 제어부를 구비하는 촬상 장치의 제어 방법으로서,
상기 처리부가, 상기 복수의 다른 화상처리 단계의 적어도 일부를 단계적으로 행하는 스텝; 및
상기 제어부가, 상기 처리부에서 행하는 상기 화상처리 단계의 단계적 실행을 제한하는 단계를 나타내는 정보를 생성하는 스텝을 포함하고,
상기 복수의 다른 화상처리 단계의 적어도 일부를 행하는 스텝에 있어서, 상기 제어부는, 상기전기신호에 관한 동작상황에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 촬상 장치의 제어 방법.
피사체의 광학상을 촬상하고, 전기신호를 출력하는 촬상부;
상기 촬상부로부터 출력된 전기신호에 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는 제어부를 구비하는 화상처리장치를 제어하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
상기 프로그램은, 컴퓨터를,
상기 전기신호에 복수의 다른 화상처리 단계를 단계적으로 행하는 처리부; 및
상기 처리부를 제어하고, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하고, 본 제어부에 의해 제한된 제한된 단계를 나타내는 정보를 생성하는 제어부로서 기능시키고,
상기 제어부는, 상기 전기신호에 관한 동작상황에 따라서, 상기 처리부가 행하는 상기 복수의 다른 화상처리 단계의 단계적 실행을 제한하는, 기록 매체.