KR20230107126A - 화상처리장치, 화상처리방법 및 기억매체 - Google Patents

Abstract

렌즈 유닛을 통해 피사체를 포함하는 화상을 취득하는 화상취득부; 상기 피사체까지의 거리를 나타내는 거리정보를 취득하는 거리정보 취득부; 상기 거리정보에 관한 보조 데이터를 생성하는 보조 데이터 생성부; 상기 화상, 상기 거리정보 및 상기 보조 데이터가 중첩된 데이터 스트림을 생성하는 데이터 스트림 생성부; 및 상기 데이터 스트림을 외부에 출력하는 출력부를 구비하는, 화상처리장치.

Description

화상처리장치, 화상처리방법 및 기억매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}

본 발명은, 화상처리장치, 화상처리방법 및 기억매체에 관한 것이다.

최근에, 영화나 텔레비전에 일반적으로 사용하고 있는 화상합성 기술로서, 화상의 특정한 색의 부분을 투명하게 해, 그 투명한 특정한 색의 부분에 다른 화상을 합성하는 크로마키 합성이라고 하는 방법이 있다. 크로마키 합성용의 화상을 촬영할 때는, 그린백이나 블루백이라고 한 특정 색의 배경을 준비할 필요가 있다. 그 배경에 색 얼룩이 일어나지 않도록 주름을 펴고 조명을 조정하는 작업도 필요해진다.

그린백으로부터의 반사광이 피사체에 보여지면, 배경분리가 능숙하게 할 수 없게 되는 경우가 있다. 따라서, 촬영후의 후처리로 반사광의 반사의 제거 등의 작업을 행하는 것도 필요하다.

한편, 최근 사용된 화상합성 기술로서, 피사체까지의 거리에 관한 거리정보에 근거한 피사체와 배경과의 분리를 행하고, 그 피사체를 다른 화상과 합성하는 방법들이 있다. 이 방법들을 사용하면, 그린백 등의 배경을 준비할 필요가 없어지고, 전술한 크로마키 합성을 위한 번잡한 작업도 불필요해진다.

피사체까지의 거리에 관한 거리정보를 생성하기 위한 방법으로서는, 예를 들면, 화상촬영용의 촬상 장치와는 달리, 거리 센서를 구비한 장치를 사용해서 피사체까지의 거리를 측정하는 방법들이 있다. 이 경우, 각 장치간에 화각이나 해상도가 상이하므로, 후처리로 화상합성을 행하기 위해서, 촬영전에 캘리브레이션 작업을 행하는 것이 필요하다.

한편, 일본 특허공개 2021-48560호에는, 촬상면 위상차 방식의 측거기능을 가진 촬상 소자를 사용하는 것으로, 촬상 장치로부터 피사체까지의 거리를 나타내는 거리정보를 생성하는 기술이 개시되어 있다. 이 기술을 사용하면, 1개의 촬상 소자로 화상촬영과 거리정보의 생성을 동시에 행할 수 있다. 이 때문에, 상술한 캘리브레이션 작업은 불필요해진다.

그렇지만, 일본 특허공개 2021-48560호에서는, 후처리로 화상합성 등을 행하기 위해서, 거리정보를 어떻게 출력해야 할지에 대해서는 고려되지 않고 있다.

종래기술에 있어서 이러한 상황을 감안하여, 화상합성 등에 이용가능한 거리정보 등을 외부에 출력하는 데 알맞은 화상처리장치를 제공할 필요가 있다.

상기 과제를 해결하기 위해서, 본 개시내용의 일 측면에 따른 화상처리장치는, 렌즈 유닛을 통해 피사체를 포함하는 화상을 취득하는 화상취득부; 및, 상기 피사체까지의 거리를 나타내는 거리정보를 취득하는 거리정보 취득부; 상기 거리정보에 관한 보조 데이터를 생성하는 보조 데이터 생성부; 상기 화상, 상기 거리정보 및 상기 보조 데이터가 중첩된 데이터 스트림을 생성하는 데이터 스트림 생성부; 및 상기 데이터 스트림을 외부에 출력하는 출력부로서, 기능하는 적어도 하나의 프로세서를 구비한다.

본 개시내용의 추가의 특징들은, 첨부도면을 참조하여 이하의 실시 형태들의 설명으로부터 명백해질 것이다.

도1은, 제1 실시 형태에 따른 화상처리장치를 도시한 블록도다.
도2a는, 촬상 소자의 수광면에 배치된 칼라 필터 예를 도시하고, 도2b는, 도2의 칼라 필터의 배열에 대응시켜서, 각 화소에 광전변환부(포토다이오드)를 2개 배치한 일례를 도시한 도면이다.
도3은 제1 실시 형태에 따른 거리정보의 생성 처리를 도시한 흐름도다.
도4는 노이즈가 존재하지 않는 이상적인 상태에 있어서, 한 쌍의 화상신호행 사이의 상관이 높은 경우의 식(1)의 연산 결과를 도시한 도면이다.
도5는 노이즈가 존재하는 미소 블록에 식(1)을 적용했을 경우의 연산 결과를 도시한 도면이다.
도6은 제1 실시 형태에 따른 ＳＤＩ 구조를 도시한 도면이다.
도7은 제1 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다.
도8은 제1 실시 형태에 따른 블랭킹 영역에 중첩된 안실러리 데이터(ancillary data)의 패킷 구조를 도시한 도면이다.
도9는 제1 실시 형태에 따른 스트림 생성 처리를 도시한 흐름도다.
도10은 제2 실시 형태에 따른, 디스플레이상에서 거리정보를 시인하기 쉽도록 상기 거리정보를 출력하는 처리 예를 도시한 흐름도다.
도11은 제2 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다.
도12는 제2 실시 형태에 따른 거리정보의 표시 예를 도시한 도면이다.
도13은 제2 실시 형태에 따른 거리정보의 다른 표시 예를 도시한 도면이다.
도14는 제3 실시 형태에 따른 ＳＤＩ구조를 도시한 도면이다.
도15는 제3 실시 형태에 따른 스트림 생성 처리를 도시한 흐름도다.
도16은 제3 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다.
도17은 제4 실시 형태에 따른 거리정보의 출력 모드 선택 처리의 예를 도시한 흐름도다.
도18은 제5 실시 형태에 따른 거리정보의 출력 모드 선택 처리를 도시한 흐름도다.
도19는 제5 실시 형태에 따른 고정밀도 거리정보 출력 모드에서의 상기 거리정보의 중첩 예를 도시한 도면이다.
도20은 제5 실시 형태에 따른 그레이스케일 출력 모드에서의 상기 거리정보의 중첩 예를 도시한 도면이다.
도21은 제5 실시 형태에 따른 상기 거리정보의 표시 예를 도시한 도면이다.
도22는 제5 실시 형태에 따른 히트맵 출력 모드에서의 상기 거리정보의 중첩 예를 도시한 도면이다.

이하, 본 개시내용의 바람직한 모드들에 대해서 첨부도면들을 참조하여 실시 형태들을 사용하여 설명한다. 각 도면에서, 동일한 참조부호는 동일한 부재 또는 요소에 적용되고, 중복된 설명은 생략 또는 간략화될 것이다.

실시 형태들에 있어서는, 화상처리장치로서 디지탈 카메라가 적용된 예에 대해서 설명한다. 그러나, 화상처리장치는 네트워크 카메라, 카메라 첨부 스마트 폰, 카메라 첨부 타블렛 컴퓨터, 차재 카메라, 드론 카메라, 로보트에 탑재된 카메라 등의 촬상 기능을 가지는 전자기기 등을 구비한다. 상기 실시 형태들에 있어서의 화상은, 정지 화상뿐만 아니라, 동화상 등의 영상이어도 좋다.

제1 실시 형태

도1은, 제1 실시 형태에 따른 화상처리장치를 도시한 블록도다. 도1에 있어서, 화상처리장치(100)는, 화상을 입력, 출력 및 기록 가능한 장치이며, 예를 들면 디지탈 카메라로서 구성되어 있다.

도1에 있어서, 내부 버스(101)에는, 컴퓨터로서의 ＣＰＵ(102), ＲＯＭ(103), ＲＡＭ(104), 화상처리부(105), 렌즈 유닛(106), 촬상부(107), 네트워크 모듈(108) 및 화상출력부(109)가 접속되어 있다.

내부 버스(101)에는, 기록 매체 인터페이스(I/F)(110), 물체검출부(115) 등이 접속되어 있다. 내부 버스(101)에 접속되는 각 블록은, 내부 버스(101)를 통해서 서로 데이터를 송수신하도록 구성되어 있다.

도1에 도시되는 블록의 일부는, 화상처리장치에 구비된 컴퓨터로서의 ＣＰＵ에, 기억 매체로서의 ＲＯＭ등의 메모리에 기억된 컴퓨터 프로그램을 실행시키는 것에 의해 실현되어 있다. 그러나, 그 블록들의 일부 또는 전부를 하드웨어로 실현하여도 좋다.

이 하드웨어로서는, 전용 회로(ＡＳＩＣ), 프로세서(리콘피규러블 프로세서 또는 ＤＳＰ) 등을 사용할 수 있다. 도1에 도시되는 각 블록은, 같은 케이싱에 내장되지 않고 있어도 좋거나, 서로 신호선을 통해 접속된 그밖의 장치에 의해 구성되어도 좋다.

렌즈 유닛(106)은, 줌렌즈, 포커스 렌즈를 포함하는 렌즈 군이나 조리개 기구 및 구동 모터로 이루어지는 유닛이다. 렌즈 유닛(106)을 통과한 광학상은, 촬상부(107)의 수광면에 형성된다. 촬상부(107)는 피사체를 포함하는 화상을 취득하는 화상취득부로서 기능하고, ＣＣＤ이미지 센서나 ＣＭＯＳ이미지 센서등의 촬상 소자를 구비한다.

촬상 소자의 수광면에 형성된 광학상은 촬상 신호로 변환되어, 더욱 디지털 신호로 변환되어서 출력된다. 본 실시 형태에 따른 촬상 소자는 상면 위상차 검출 기능을 가지는 센서이며, 그 상세에 대해서는 후술한다.

상기 컴퓨터로서의 ＣＰＵ(102)는, ＲＯＭ(103)에 격납된 컴퓨터 프로그램에 따라, ＲＡＭ(104)을 워크 메모리로서 사용하여, 화상처리장치(100)의 각 부를 제어한다.

ＲＯＭ(103)에 격납된 컴퓨터 프로그램에 따라, 도3, 도9, 도10, 도15, 도17 및 도18의 흐름도의 처리를 실행한다. ＲＯＭ(103)은, 불휘발성의 반도체 메모리이며, ＣＰＵ(102)를 동작시키기 위한 컴퓨터 프로그램이나 각종 조정 파라미터 등이 기록되어 있다.

ＲＡＭ(104)은, 휘발성의 반도체 메모리이며, 프레임 메모리(111)보다 저속 또는 저용량의 메모리가 사용된다. 프레임 메모리(111)는, 화상신호를 일시적으로 격납하여, 필요할 때에 판독하는 것이 가능한 반도체 메모리다.

화상신호는 방대한 데이터량이기 때문에, 고대역폭 및 대용량의 메모리가 요구된다. 여기에서는, 듀얼 데이터 레이트4 동기적 동적 ＲＡＭ(ＤＤＲ4-ＳＤＲＡＭ)등을 사용한다. 이 프레임 메모리(111)를 사용함으로써, 예를 들면, 시간적으로 다른 화상을 합성하거나, 어떤 영역만을 자르는 등의 처리를 행하는 것이 가능해진다.

화상처리부(105)는, ＣＰＵ(102)의 제어하에 촬상부(107)로부터의 데이터, 또는 프레임 메모리(111)나 기록 매체(112)에 격납된 화상 데이터에 대하여 각종 화상 처리를 행한다. 화상처리부(105)가 행한 화상처리에는, 화상 데이터의 화소보간, 부호화 처리, 압축 처리, 디코드 처리, 확대/축소 처리(리사이징), 노이즈 저감 처리 및 색 변환처리가 포함된다.

화상처리부(105)는, 촬상부(107)의 화소의 특성의 변동의 보정, 결함화소의 보정, 화이트 밸런스의 보정, 휘도의 보정, 또는 렌즈의 특성으로 인해 발생하는 왜곡이나 주변 광량 저하의 보정 등의 보정처리를 행한다.

화상처리부(105)는, 거리 맵을 생성한다. 그 거리 맵의 상세에 대해서는 후술한다. 화상처리부(105)는, 특정한 화상 처리를 행하는 전용의 회로 블록으로 구성되어도 좋다. 화상처리의 종별에 따라서, 화상처리부(105)를 사용하지 않고 ＣＰＵ(102)가 프로그램에 따라서 상기 화상 처리를 행하는 것도 가능하다.

화상처리부(105)에 있어서의 화상처리 결과에 근거하여, ＣＰＵ(102)는 렌즈 유닛(106)을 제어하여, 광학적 화상의 확대나 초점거리 또는 광량을 조정하는 조리개 등의 조정을 행한다. 상기 렌즈 군의 일부를, 광축에 직교하는 평면상에서 이동시킴으로써, 카메라 흔들림 보정을 행해도 좋다.

참조번호 113은, 상기 장치 외부와의 인터페이스로서, 유저의 조작을 접수하는 조작부를 나타낸다. 조작부(113)는, 메카니컬 버튼이나 스위치등의 소자로 구성되고, 전원 스위치 및 모드 전환 스위치를 구비한다.

참조번호 114는, 화상을 표시하는 표시부다. 예를 들면, 화상처리부(105)로 처리된 화상, 설정메뉴 또는 화상처리장치(100)의 동작 상황을 확인할 수 있다. 표시부(114)로서는, 액정 디스플레이(ＬＣＤ)나 유기 일렉트로루미네슨스(ＥＬ) 디스플레이 등의, 소형으로 저소비 전력의 디바이스를 사용한다.

더욱이, 저항막 방식이나 정전용량방식의 박막소자등을 조작부(113)의 일부로서 사용해도 좋은 터치패널 구조.

ＣＰＵ(102)는, 화상처리장치(100)의 설정 상태등을 유저에게 알리기 위한 문자열이나, 화상처리장치(100)를 설정하기 위한 메뉴를 생성하고, 화상처리부(105)로 처리된 화상에 중첩하여, 표시부(114)에 표시시킨다. 문자정보의 이외에도, 히스토그램, 벡터 스코프, 파형 모니터, 제브라, 피킹 또는 폴스 칼라(false color) 등의 촬영 어시스트 표시도 중첩하여도 된다.

참조번호 109는 화상출력부를 나타낸다. 인터페이스로서, 직렬 디지탈 인터페이스(ＳＤＩ), 고선명 멀티미디어 인터페이스(ＨＤＭＩ: 등록상표) 등이 사용된다. 혹은, ＤｉｓｐｌａｙＰｏｒｔ(등록상표)등의 인터페이스를 사용해도 좋다. 화상출력부(109)를 통해 외부의 표시장치(디스플레이)에 실시간 화상을 표시하여도 좋다.

또한, 화상뿐만 아니라 컨트롤 신호를 전송가능한 네트워크 모듈(108)도 구비하고 있다. 네트워크 모듈(108)은, 화상신호나 음성신호를 입출력하는 데 사용된 인터페이스다. 네트워크 모듈(108)은, 인터넷등을 통해 외부장치와 통신하고, 파일이나 커맨드등의 각종 데이터의 송수신을 행할 수도 있다. 네트워크 모듈(108)은 무선이어도 좋고 유선이어도 좋다.

화상처리장치(100)는, 화상을 외부에 출력할 뿐만 아니라, 본체내에 기록하는 기능을 가지고 있다. 기록 매체(112)는, 화상 데이터나 여러 가지의 설정 데이터를 기록할 수 있고, 하드 디스크 드라이브(ＨＤＤ)나 고체상태 드라이브(ＳＳＤ) 등의 대용량 기억 소자이며, 기록 매체I/F(110)에 장착될 수 있다.

물체검출부(115)는, 물체를 검출하기 위한 블록이다. 예를 들면, 뉴럴 네트워크를 사용한 딥 러닝으로 대표되는 인공지능을 사용하여 물체검출을 행한다. 딥 러닝에 의해 물체검출을 할 경우, ＣＰＵ(102)는, ＲＯＭ(103)에 격납된 처리를 위한 프로그램이나, ＳＳＤ나 ＹＯＬＯ등의 네트워크 구조나, 가중치 파라미터 등을 물체검출부(115)에 송신한다.

"ＳＳＤ"는 "Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ"의 약어이며, "ＹＯＬＯ"는 Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ"의 약어다. 물체검출부(115)는, ＣＰＵ(102)로부터 얻어진 각종 파라미터에 근거하여, 화상신호로부터 물체를 검출하기 위한 처리를 행하고, 처리 결과를 ＲＡＭ(104)에 로딩한다.

도2a는, 촬상 소자의 수광면에 배치된 칼라 필터 예를 도시한 도면이다. 도2a에서는, 적색(R), 청색(B), 녹색(Ｇｂ, Ｇｒ)의 베이어(Bayer) 배열이 도시되어 있다. 촬상 소자는 복수의 화소가 2차원으로 배열되어 있다. 각 화소의 전방면에는 도2a와 같이, R, B, Ｇｂ, Ｇｒ 중 하나의 칼라 필터가 배치되어 있다.

도2a에서는, 2행분의 칼라 필터 배열만이 도시되어 있지만, 이 칼라 필터 배열이 수직 주사방향으로 2행씩 되풀이해 배치된다.

상기 촬상 소자의 각 화소의 전방면에 배치된 칼라 필터의 전방면에는 마이크로 렌즈가 배치된다. 각 화소는, 수평 주사방향으로 행으로 배치된 2개의 광전변환부(포토다이오드A, 포토다이오드B)를 구비한다.

도2b는, 도2a의 칼라 필터의 배열에 대응시켜서, 각 화소에 광전변환부(포토다이오드)를 2개 배치한 예를 도시한 도면이다. 도2b에 있어서는, 각 화소는 포토다이오드A와 포토다이오드B의 쌍으로 구성되고, 한 쌍인 2개의 포토다이오드에 대하여 같은 색의 칼라 필터가 배치되어 있다.

포토다이오드A 및 B는 마이크로 렌즈를 통하여, 광학계의 다른 사출동공으로부터의 광속을 각기 수광한다.

본 실시 형태에 따른 촬상 소자에 있어서는, 행방향으로 늘어선 화소의 복수의 포토다이오드A로부터 A상신호를 취득할 수 있다. 마찬가지로, 행방향으로 늘어선 화소의 복수의 포토다이오드B로부터 B상신호를 취득할 수 있다. 이 A상신호와 B상신호는 위상차 검출용의 신호로서 처리된다.

다시 말해, ＣＰＵ(102)나 화상처리부(105)는 A상신호와 B상신호의 상관 연산을 행하고, A상신호와 B상신호의 위상차를 검출하고, 그 위상차에 근거해 피사체 거리를 산출한다. 다시 말해, ＣＰＵ(102)나 화상처리부(105)는, 피사체까지의 거리를 나타내는 거리정보를 취득하기 위한 거리정보 취득부로서 기능하고 있다.

각 화소의 2개의 포토다이오드A, B의 신호를 가산함으로써, 화상용의 신호(A상신호+B상신호)도 취득할 수 있다. 이 가산한 화상용의 신호는, 도2a에 도시된 베이어 배열에 따라 칼라의 화상신호로서 화상처리부(105)로 처리된다.

촬상부(107)에 있어서는, 화소마다 위상차 검출용 신호(A상신호, B상신호)를 출력하는 것도 가능하지만, 근접하는 복수 화소의 Ａ상신호를 가산 평균함과 아울러, 근접하는 복수 화소의 Ｂ상신호를 가산 평균한 값을 출력하는 것도 가능하다. 가산 평균한 값을 출력함으로써, 촬상부(107)로부터 신호를 판독하는 시간의 단축이나, 내부 버스(101)의 대역폭 삭감을 할 수 있다.

이러한 촬상 소자에 구비된 촬상부(107)로부터의 출력 신호를 사용하여 ＣＰＵ(102)나 화상처리부(105)가 2개의 상신호의 상관 연산을 행하고, 2개의 상신호의 위상차에 근거해 디포커스량이나 시차정보, 각종 신뢰도등의 정보를 산출한다.

수광면에서의 디포커스량은, A상신호와 B상신호간의 편차(위상차)에 근거해 산출된다. 디포커스량은 정부의 값을 가진다. 그 디포커스량이 정의 값인지 부의 값인지에 따라, 전방 초점 또는 후방 초점을 알 수 있다.

디포커스량의 절대값에 따라, 합초의 정도를 알 수 있다. 디포커스량이 0이면 합초다. 다시 말해, ＣＰＵ(102)는, 디포커스량의 정부에 근거하여 전방 초점 또는 후방 초점을 나타내는 정보를 산출하고, 디포커스량의 절대값에 근거하여 합초의 정도(초점 편차량)인 합초 정도 정보를 산출한다.

전방 초점인가 후방 초점을 나타내는 정보는, 디포커스량이 미리결정된 값을 초과할 경우에 출력하고, 디포커스량의 절대값이 미리결정된 값이내일 경우에는, 합초라고 하는 정보를 출력한다.

ＣＰＵ(102)는, 디포커스량에 따라서 렌즈 유닛(106)을 제어하여 포커스 조정을 행한다.

ＣＰＵ(102)는, 상기 위상차 정보와 렌즈 유닛(106)의 렌즈 정보로부터 삼각측량의 원리를 사용해서 피사체까지의 거리를 산출한다.

도2a 및 2b에서는, 1개의 마이크로 렌즈에 대하여 광전변환부로서의 포토다이오드를 2개 배치한 화소를 어레이형으로 배치한 예에 대해서 설명했다. 그러나, 각 화소는, 마이크로 렌즈마다 광전변환부로서의 포토다이오드를 3개이상 배치한 구성으로 하여도 좋다. 모든 화소가 상기와 같은 구성을 갖지 않아도 좋다. 예를 들면, 2차원형으로 배치된 화상검출용의 복수의 화소내에, 거리검출용의 화소를 이산적으로 배치해도 좋다.

이 경우, 거리검출용의 화소는 상기와 같이 2개의 포토다이오드를 구비하는 구조를 가져도 좋거나, 거리검출용의 각 화소가 포토다이오드A 및 B만을 구비하는 구조를 가져도 좋다.

포토다이오드A와 포토다이오드B의 한쪽만을 구비할 경우에는, 포토다이오드A 및 B는 렌즈 유닛의 상이한 동공영역(사출동공)의 상이 입사하도록 배치된다. 혹은, 한쪽의 광속을 차광한다.

이렇게, 본 실시 형태에 따른 촬상부(107)는 A상신호와 B상신호등의 위상차 검출가능한 2개의 상신호가 얻어지는 구성을 가져도 좋고, 본 실시 형태는 상기 화소구조에 한정되지 않는다. 촬상부(107)는 시차를 가지는 2개의 촬상 소자로 이루어지는 소위 스테레오 카메라이여도 좋다.

다음에, 도3∼도5를 참조하여 상기 거리정보의 생성 처리를 설명한다. 도3은, 제1 실시 형태에 따른 거리정보의 생성 처리를 도시하는 흐름도다.

컴퓨터로서의 ＣＰＵ(102)는, 기억 매체로서의 ＲＯＭ(103)등에 기억된 컴퓨터 프로그램을 실행하여 도3의 흐름도의 각 스텝의 동작을 행한다.

도3의 흐름도에 있어서, 우선, 스텝S300에서, 촬상부(107)로부터, 촬상용의 (Ａ상신호 및 B상신호)와 위상차 검출용의 Ａ상신호의 2개의 신호를 각기 판독하여 취득한다.

그 다음에 스텝S301에서, 화상처리부(105)는, (A상신호 및 B상신호)와 A상신호의 차이를 구하는 것으로 위상차 검출용의 Ｂ상신호를 산출한다.

상기한 스텝S300과 스텝S301에서는 (A상신호+B상신호)와 A상신호를 판독하고 그 A상신호를 연산함으로써, B신호를 산출하는 예를 설명했다. 그러나, A상신호와 B상신호를 각기 촬상부(107)로부터 판독해도 좋다.

스테레오 카메라와 같은 이미지 센서를 2개 구비하고 있는 경우에 있어서는, 그 이미지 센서로부터 출력된 화상신호를, A상신호 및 B상신호로서 처리되도록 설정하여도 좋다.

스텝S302에서는, 위상차 검출용의 Ａ상신호와 위상차 검출용의 Ｂ상신호의 각기에 대해서 광학적 셰이딩의 보정을 행한다.

스텝S303에서는, 위상차 검출용의 Ａ상신호와 위상차 검출용의 Ｂ상신호의 각기에 필터 처리를 행한다. 예를 들면, ＦＩＲ로 구성된 하이패스 필터로 저역을 커트한다. 각 신호는, 필터 계수를 변경하는 밴드패스 필터나 로우패스 필터를 통과해도 좋다.

그 다음에, 스텝S304에서는, 스텝S303에서 필터 처리를 행한 위상차 검출용의 Ａ상신호와 위상차 검출용의 Ｂ상신호에 대하여 미소 블록으로 분할해 상관 연산을 행한다. 미소 블록의 사이즈 또는 형상에 관한 제한은 없고, 근접하는 블록 사이에 영역이 중첩되어도 좋다.

이하, 한 쌍의 화상인 Ａ상신호와 B상신호의 상관 연산에 대해서 설명한다. 주목 화소위치에 있어서의 Ａ상신호의 신호 행을 E(1)∼E(m)으로서 표기하고, 주목 화소위치에 있어서의 Ｂ상신호의 신호 행을 F(1)∼F(m)으로서 표기한다.

A상신호의 신호 행 E(1)∼E(m)로부터 B상신호의 신호 행 F(1)∼F(m)을 상대적으로 어긋나게 하면서, 식(1)을 사용하여 2개의 신호 행간의 어긋남량k에 있어서의 상관량C(k)이 연산된다.

식(1)에 있어서, Σ연산은 n에 대해서 총합을 산출하는 연산을 의미한다. Σ연산에 있어서, n과 n+k 사이의 범위는, 1 내지 m 사이의 범위에 한정된다. 어긋남량k는 정수값이며, 한 쌍의 데이터의 검출 피치를 단위로서 사용하여 상대적 시프트량이다.

도4는, 노이즈가 존재하지 않는 이상적인 상태에 있어서, 한 쌍의 화상신호 행간의 상관이 높은 경우의 식(1)의 연산 결과를 도시한 도면이다.

도4에 도시한 바와 같이, 한 쌍의 화상신호 행간의 상관이 높은 어긋남량(여기서 k=ｋｊ=0)에 있어서, 차분인 상관량C(k)는 최소가 된다. 이하, 이상적 상관량C(k)가 최소가 될 때의 ｋ를, ｋｊ로서 표기한다. 식(2) 내지 (4)에 표현된 3점 내삽 처리에 의해, 연속적인 상관량에 대한 최소값C(x)를 주는 시프트량x가 산출된다. 시프트량x는 실제의 수치이며, 단위를 ｐｉｘｅｌ로 한다.

식(4)에서, ＳＬＯＰ는, 최소 또는 최대 상관량과, 또는 인접한 상관량에 있어서의 변화의 기울기를 나타낸다. 도4에 있어서, 구체 예로서 이하를 설정한다.

C(ｋｊ)=C(0)=1000

C(ｋｊ-1)=C(-1)=1700

C(ｋｊ+1)=C(1)=1830

본 예에서는, ｋｊ=0이다. 식(2) 내지 (4)로부터 다음이 얻어진다.

ＳＬＯＰ=830

x=-0.078ｐｉｘｅｌ

한편, 합초 상태의 경우, A상의 신호 행과 B상의 신호 행에 대한 시프트량은 0.00이 이상값이다.

한편, 도5는, 노이즈가 존재하는 미소 블록에 식(1)을 적용했을 경우의 연산 결과를 도시한 도면이다.

도5에 도시한 바와 같이, 랜덤으로 분포된 노이즈의 영향에 의해, A상의 신호 행과 B상의 신호 행간의 상관이 저하한다. 상관량C(k)의 최소값은, 도4에 도시된 최소값보다 크다. 상관량의 곡선은 전체적으로 평탄한 형상(최대값과 최소값과의 차분 절대값이 작은 형상)이 된다.

도5에 있어서, 구체 예로서 이하를 설정한다.

C(ｋｊ)=C(0)=1300

C(ｋｊ-1)=C(-1)=1480

C(ｋｊ+1)=C(1)=1800

본 예에서는, ｋｊ=0이다. 식(2) 내지 식(4)로부터 다음이 얻어진다.

ＳＬＯＰ=500

x=-0.32ｐｉｘｅｌ

다시 말해, 도4에 도시된 바와 같이, 노이즈가 존재하지 않는 상태에서의 연산 결과와 비교하여, 시프트량x가 이상값으로부터 벗어나 있다.

한 쌍의 화상신호계열간의 상관이 낮을 경우, 상관량C(k)의 변화량이 증가하고, 상관량의 곡선은 전체적으로 평탄한 형상이 된다. 이 때문에, ＳＬＯＰ의 값이 증가한다. 피사체상이 저콘트라스트일 경우에도, 상관량의 곡선은 평탄한 형상으로 형성된다.

이 성질에 근거하여, 산출된 시프트량x의 신뢰도를 ＳＬＯＰ의 값으로 판단할 수 있다. 다시 말해, ＳＬＯＰ의 값이 큰 경우에는, 한 쌍의 화상신호계열간의 상관이 높다고 판단할 수 있다. ＳＬＯＰ의 값이 작은 경우에는, 한 쌍의 화상신호계열간에 유의미한 상관이 얻어지지 않는다고 판단할 수 있다.

본 실시 형태에서는, 상관 연산에 식(1)을 사용했기 때문에, 한 쌍의 화상신호계열간의 상관이 가장 높은 어긋남량에 있어서 상관량C(k)는 최소 또는 최대가 된다. 그러나, 한 쌍의 화상신호계열간의 상관이 가장 높은 어긋남량에 있어서 상관량C(k)를 최대화 또는 최소화하는 상관 연산법을 사용해도 좋다.

다음에, 스텝S305에서는 신뢰도를 산출한다. 상술한 바와 같이, 스텝S304에서 산출한 ＳＬＯＰ의 값을 신뢰도로서 정의한다.

다음에, 스텝S306에서는 보간처리를 행한다. 스텝S304에서 상관 연산을 행할 수 있었다. 그렇지만, 스텝S305에서 산출한 신뢰도가 낮기 때문에, 시프트량으로서 그 신뢰도를 채용할 수 없는 경우가 있다.

이 경우에는, 주위의 화소로 산출된 시프트량으로부터 보간을 행한다. 그 보간방법으로서는, 메디안 필터를 적용해도 좋거나, 시프트량의 데이터를 축소한 후에 다시 확대하는 연산을 행해도 좋다. 촬상용의 (Ａ상신호+B상신호)로부터 색 데이터를 추출하고, 그 색 데이터를 사용하여 시프트량을 보간해도 좋다.

다음에, 스텝S307에서는, 스텝S304에서 산출된 시프트량x를 참조하여 디포커스량을 계산한다. 구체적으로는, 디포커스량(ＤＥＦ로서 표기됨)을 하기 식(5)로 구할 수 있다.

식(5)에 있어서, P는 검출 피치(화소배치 피치)와 한 쌍의 시차화상에 있어서의 좌우 2개의 시점의 투영 중심과의 사이의 거리에 따라 결정된 변환 계수이며, 단위는 ｍin/ｐｉｘｅｌ이다.

그 다음에, 스텝S308에서는, 스텝S307에서 산출한 디포커스량으로부터 거리를 산출한다. 피사체까지의 거리를 Ｄａ, 초점위치를 Ｄｂ, 초점거리를 F라고 했을 때에, 근사적으로 이하의 식(6)이 성립된다.

이에 따라, 피사체까지의 거리Ｄａ는 식(7)로 표현된다.

따라서, ＤＥＦ=0일 때의 Ｄｂ를 Ｄｂ0로 하면, 식(7)은 이하의 식(8)이 된다.

따라서, 피사체까지의 절대거리를 구할 수 있다.

한편, 상대 거리가 Ｄａ-Ｄａ'이 되므로, 식(7)과 식(8)로부터 이하의 식(9)를 구할 수 있다.

이상과 같이, 도3의 흐름도에 따라 상관 연산을 행하면, 위상차 검출용의 Ａ상신호와 위상차 검출용의 Ｂ상신호로부터 상기 거리 데이터, 상기 시프트량 및 상기 디포커스량 등의 거리정보를 산출할 수 있다. 다시 말해, 복수의 광전변환부의 출력간의 위상차에 근거하여 상기 거리정보를 취득가능하다. 본 실시 형태에 따른 거리정보는, 거리 데이터 자체이여도 좋거나, 상기 시프트량이나 상기 디포커스량이여도 좋다. 이 거리정보는 그것들을 포함한다.

본 실시 형태에서는, 상기한 바와 같이 해서 산출한 거리정보와, 그 거리정보에 관한 보조 데이터 등을 중첩하여 데이터 스트림을 생성하고, 출력부로서의 화상출력부(109)를 통해 외부에 그 데이터 스트림을 출력한다. 이에 따라, 고정밀도의 컴퓨터 그래픽(CG) 화상의 합성 등을 외부 장치에 의해 효율적이고 정밀하게 행할 수 있다. 그 보조 데이터의 상세에 대해서는 후술한다.

이하, 상기 거리정보와 이 거리정보에 관한 보조 데이터를, ＳＤＩ의 전송 규격에 따라서 외부에 출력하기 위한 방법의 예에 대해서 설명한다. ＳＤＩ의 전송 규격에는 금지 코드가 존재하므로, 금지 코드가 생기지 않도록 상기 거리정보의 일부를 변환하여 중첩한다.

우선, 도6을 참조하여, 프레임 레이트가 29.97ｆｐｓ, 수평해상도가 1920, 수직해상도가 1080인 경우의 ＨＤ-ＳＤＩ의 데이터 스트림의 구조에 대해서 설명한다. ＨＤ-ＳＤＩ의 데이터 스트림은 ＳＭＰＴＥ ＳＴ292-1에서 규정되어 있다.

도6은, 제1 실시 형태에 따른 ＳＤＩ 구조를 도시하는 도면이다. 도시된 것처럼, 1라인분의 데이터 스트림은, 1워드가 10비트인 2개의 데이터 스트림으로 분할된다. 1프레임에서는, 이 데이터 스트림이 1125 라인을 가진다. Y(휘도)스트림 및 C(색)스트림은, 1워드가 10비트를 가지는 2200워드로 구성된다.

데이터에 있어서, 1920번째 워드로부터 화상신호의 분리 위치를 인식하기 위한 식별자 액티브 비디오 끝(ＥＡＶ)이 중첩되고, 라인 번호(ＬＮ) 및 전송 오류 체크용의 데이터인 순환중복 체크 코드(ＣＲＣＣ)가 계속하여 중첩된다.

안실러리 데이터(보조 데이터)가 중첩되고, 268워드에 대응한 정확한 데이터 영역(이하, 블랭킹 영역이라고 함)이 계속된다. 그 후, 상기 ＥＡＶ와 같이 화상신호의 분리 위치를 인식하기 위한 식별자 액티브 비디오 시작(ＳＡＶ)이 중첩된다.

그리고, Y데이터(휘도 데이터) 및 C데이터(색 데이터)가 1920워드분중첩되어서 전송된다. 프레임 레이트가 변경되면, 1라인의 워드수가 변경된다. 이 때문에, 블랭킹 영역의 워드수가 변경된다.

그 다음에, 도7을 참조하여, 본 실시 형태에 따른 상기 거리정보를 중첩하는 처리에 대해서 설명한다.

도7은, 제1 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다. 도6에 있어서의 Ｙ데이터 및 C데이터의 중첩 위치에 있어서, 워드마다 어떻게 거리정보를 중첩할지를 나타내고 있다.

도7은, 도3의 스텝S308에 있어서, Y데이터에 중첩하는 거리정보로서 D[17]∼D[9]로부터, C데이터에 중첩하는 거리정보로서 D[8]∼D[0]까지의 총합 18비트의 고정밀도 거리정보가 화소마다 산출되어 있는 경우의 예를 도시하고 있다. 상기 거리정보를 복수의 데이터 스트림에 분할 중첩하고 있다.

ＳＤＩ의 전송 규격에 있어서는, 0, 1, 2, 3 및 1020, 1021, 1022, 1023이 금지 코드로 되어 있다. 이에 따라, 도7과 같이, Y[9]의 위치에 D[17]을 반전한 값 ～D[17]을 중첩하고, Y[8] 내지 Y[0]의 위치에 D[17] 내지 D[9]의 값을 중첩한다.

C[9]의 위치에 D[8]을 반전한 값 ～D[8]을 중첩하고, C[8] 내지 C[0]의 위치에 D[8] 내지 D[0]의 값을 중첩함으로써, 상기 금지 코드가 생기지 않도록 상기 거리정보를 변환하여 중첩하고 있다.

여기에서는, 거리정보가 18비트 고정밀도 거리정보인 경우의 예를 기재하였지만, 거리정보의 비트 심도는 18비트이하이어도 좋다. 이 경우에도, 마찬가지로, Y[9]의 위치에 중첩하는 값으로서 Y[8]의 위치에 중첩하는 값을 반전한 값을 사용하고, C[9]의 위치에 중첩하는 값으로서 C[8]의 위치에 중첩하는 값을 반전한 값을 사용한다. 따라서, 금지 코드가 생기지 않도록 상기 거리정보를 중첩할 수 있다.

상술한 것처럼, 본 실시 형태에서, 거리정보에 각종의 보조 데이터는, 출력되는 상기 거리정보에 메타데이터로서 부수적인 것이다. 예를 들면, 외부장치가 ＣＧ화상합성등의 후처리를 행 때에, 거리정보를 정밀하게 이용하기 위해서는, 보조 데이터(안실러리 데이터)로서, 예를 들면 화상처리장치의 각종 설정 데이터나 상태에 관한 데이터를 취득하는 것이 바람직하다.

여기에서, 화상처리장치의 각종 설정 데이터는, 예를 들면 노출 설정 정보를 포함한다. 화상처리장치의 상태에 관한 데이터는, 예를 들면 기울기 등의 데이터를 포함한다.

또한, 상기 보조 데이터에는, 렌즈 유닛(106)에 관한 렌즈 정보(예를 들면, 렌즈 유닛(106)의 초점거리, 합초위치 및 조리개 정보의 적어도 하나)를 포함시키는 것이 바람직하다.

또한, 보조 데이터에는, 촬상 화상과 거리정보를 동기화하기 위한 데이터(예를 들면, 타임코드)와, 거리정보를 산출하기 전에 행해진 각종 보정처리의 유무를 나타내는 정보를 포함시키는 것이 바람직하다.

또한, 거리정보의 속성을 나타내는 데이터도 포함시키는 것이 바람직하다. 여기서, 그 거리정보의 속성은, 예를 들면, 거리정보가 데이터 자체인지, 디포커스 정보인지, 또는 시프트량 데이터인지를 나타내는 정보를 포함한다.

거리정보로서 디포커스 정보를 출력하는 경우는, 디포커스량으로부터 피사체 거리를 산출하기 위해서 렌즈 유닛의 초점거리에 관한 정보가 보조 데이터로서 필요하다. 거리정보로서 시프트량을 출력하는 경우에는, 어긋남량k에 관한 정보도 보조 데이터로서 필요하다.

거리정보의 속성정보는, 거리정보의 유효 비트수(비트 심도)와, 거리정보가 절대 거리인가 상대 거리인가를 나타내는 정보와, 거리정보가 소수점을 가질 경우 어떤 비트가 소수점이하인지를 나타내는 정보를 포함한다.

거리정보의 속성은, 그 거리정보가 상대 거리일 경우에 그 거리정보가 부호 첨부인가 아닌가를 나타내는 정보와, 거리정보의 1ＬＳＢ이 몇cm인가를 나타내는 정보와, 상대 거리에 부호첨부 표현이 아닐 경우에 합초위치의 거리를 포함한다.

상기 보조 데이터는, 최근거리(가장 가까운 피사체까지의 거리)와 최원거리(가장 먼 피사체까지의 거리)의 값과, 측거 가능한 해상도등의 정보를 포함하는 것이 바람직하다.

또한, 보조 데이터로서는, 상기의 화상, 거리정보 또는 보조 데이터를 중첩하여 화상처리장치(100)로부터 출력할 경우에, 중첩된 데이터 스트림의 데이터 구조(데이터 포맷)에 관한 정보를 포함시키는 것이 필요하다.

본 실시 형태에 따른 중첩으로서, 다중화(예를 들면, 블랭킹 기간등의 간극에 삽입)하는 것이어도 좋거나, 데이터를 서로 혼합해서 부호화하는 것이어도 좋다. 본 실시 형태에 따른 중첩은 어느 쪽의 방법도 포함한다.

본 실시 형태에 따른 데이터 스트림은, 복수의 프레임으로 이루어진 동화상 데이터 등의 데이터 스트림에 한정되지 않는다. 예를 들면 1프레임분만의 정지 화상 데이터도 포함된다.

그 때문에, 본 실시 형태에서, 전술과 같이, 거리정보를 출력할 때에, 거리정보이외에도 상술한 각종 정보(이하, 보조 데이터 또는 안실러리 데이터라고 적는다)는, 출력되도록 보조적인 것이다. 이에 따라, 화상합성등의 후처리의 정밀도나 효율성을 향상시킬 수 있다.

본 실시 형태에 의하면, 각종 보조 데이터를 패킷화하고, 블랭킹 영역에 중첩해서 거리정보와 함께 출력하여, 전송이 효율적이다.

도8은, 제1 실시 형태에 따른 블랭킹 영역에 중첩된 안실러리 데이터의 패킷 구조를 도시한 도면이다. ＳＭＰＴＥ ＳＴ 291에서 규정되어 있는 보조 데이터(안실러리 데이터)를 격납하기 위한 패킷 구조가 도시되어 있다.

보조 데이터(안실러리 데이터)는, 도8에 도시된 Ｔｙｐｅ2의 안실러리 데이터 패킷(ＡＮＣ ｐａｃｋｅｔ)내의, 각 10비트로 구성되는 유저 데이터 워드(Ｕｓｅｒ Ｗｏｒｄｓ)에 격납한다. 격납된 데이터 형식은, 정보가 어떤 값으로서 취득될 수 있는 것이면, 어떤 형식이여도 좋다.

상술한 보조 데이터는, 이 유저 데이터 워드에 격납된다. 안실러리 데이터 패킷의 종류를 식별하기 위한 헤더 영역인 데이터 ＩＤ(ＤＩＤ)와 세컨더리 ＩＤ(ＳＤＩＤ)에는, 패킷마다, 전송중인 데이터에 관한 정보를 나타내는 미리결정된 값이 설정된다.

1개의 안실러리 데이터 패킷에는, 최대 255워드의 유저 데이터 워드를 격납할 수 있다. 그렇지만, 255워드까지 격납하지 않고, 상술한 보조 데이터를 복수의 안실러리 데이터 패킷에 분할 중첩하여 출력한다.

도9는, 제1 실시 형태에 따른 스트림 생성 처리를 도시한 흐름도다. 다음에, 도9를 참조하여, 제1 실시 형태에 따른 스트림 생성 처리를 설명한다. 컴퓨터로서의 ＣＰＵ(102)가 기억 매체로서의 ＲＯＭ(103)등에 기억된 컴퓨터 프로그램을 ＲＡＭ(104)에 로딩하여 실행함으로써 도9의 흐름도의 각 스텝의 동작이 행해진다.

도9에 있어서, 스텝S901에서는, ＣＰＵ(102)는, ＳＭＰＴＥ ＳＴ 292-1에 따라 ＥＡＶ, ＬＮ 및 ＣＲＣＣ를 생성하여 중첩한다. 스텝S902에서는, ＣＰＵ(102)는, 상술한 각 보조 데이터(안실러리 데이터)에 격납된 안실러리 데이터 패킷을 중첩할지 판단한다.

각 안실러리 데이터 패킷의 중첩 위치가 상이하기 때문에, 스텝S903에 있어서 미리결정된 라인과 미리결정된 샘플 타이밍에서 미리결정된 안실러리 데이터 패킷을 중첩한다. 여기서, 스텝S903은, 거리정보에 관한 보조 데이터를 생성하는 보조 데이터 생성 스텝(보조 데이터 생성부)로서 기능하고 있다.

스텝S904에서는, 안실러리 데이터 패킷을 중첩하지 않고 있는 블랭킹 영역에, 상기 화상신호의 블랙 레벨을 나타내는 데이터를 중첩한다. 블랙 레벨을 나타내는 데이터는, 예를 들면 Y데이터의 수가 64, C데이터의 수가 512인 데이터다. 스텝S905에서는, ＣＰＵ(102)는, ＳＭＰＴＥ ＳＴ 292-1에 따라 ＳＡＶ를 생성하고, 중첩한다.

스텝S906에서는, ＣＰＵ(102)는, 라인이 유효화소 데이터 중첩 라인인가 아닌가를 판단한다. 예를 들면, 프로그레시브의 화상이면, 42번째 라인이 유효화소 데이터 중첩 라인의 시작 라인이며, 유효화소 데이터 중첩 라인은 1121번째 라인까지 계속된다.

인터레이스의 화상이면, 제1필드의 유효화소 데이터 중첩 라인은 21번째 라인으로부터 560번째 라인까지이며, 제2필드의 유효화소 데이터 중첩 라인은 584번째 라인으로부터 1123번째 라인까지다. 그 라인이 유효화소 데이터 중첩 라인일 경우, 스텝S907에 처리가 진행된다. 반대로, 그 라인이 유효화소 데이터 중첩 라인이 아닐 경우, ＣＰＵ(102)는, 스텝S908에 처리를 진행시킨다.

스텝S907에서는, 도7을 참조하여 설명한 바와 같이, 거리정보 등을 중첩한다. 스텝S908에서는, 스텝S904와 같이 블랙 데이터를 중첩한다. 상술한 처리를 라인마다 행한다. 더욱이, ＳＭＰＴＥ ＳＴ 292-1에 규정되어 있도록 상기 데이터를 직렬화하여 출력하는 스텝을 행한다.

이에 따라, 화상처리장치(100)는, 상기 화상, 상기 거리정보 및 상기 보조 데이터를 중첩해서 화상출력부(109)를 통해 외부에 출력할 수 있다. 여기에서, 스텝S1301∼S1308은, 상기 화상, 상기 거리정보 및 상기 보조 데이터를 중첩한 데이터 스트림을 생성하는 데이터 스트림 생성 스텝(데이터 스트림 생성부)으로서 기능하고 있다.

본 실시 형태에 있어서는, 거리정보 자체를 출력하는 예에 대해서 설명했다. 그러나, 거리정보 자체가 아닌, 예를 들면 시프트량을 출력하여도 됨과 아울러, 출력되는 중인 정보가 거리정보가 아니고 시프트량인 것을 나타내는 정보와, 그 시프트량으로부터 거리정보를 산출하는 데 필요한 정보를, 보조 데이터로서 출력해도 좋다. 이렇게 하여, 후처리로 거리정보를 산출할 수 있다.

제2 실시 형태

상기 제1 실시 형태에서는, 화상합성 등에 필요한 거리정보 및 보조 데이터를 출력함으로써 후처리로 화상합성을 행할 수 있지만, 그 합성 화상은, 그 출력을 외부 디스플레이에 접속해도 사람이 그 거리정보를 쉽게 인식 가능한 화상으로서 표시되지 않는다. 이에 따라, 제2 실시 형태에서는, 외부 디스플레이에 접속해서 거리정보의 취득 상황을 유저가 확인하기 쉽도록 상기 거리정보를 출력하는 예에 대해서 설명한다.

도10은, 제2 실시 형태에 따른 디스플레이에 거리정보를 시인하기 쉽도록 상기 거리정보를 출력하는 처리 예를 도시한 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ(102)가 ＲＯＭ(103)에 격납된 프로그램을 ＲＡＭ(104)에 로딩하여 실행함으로써 실현된다.

본 실시 형태에 있어서, 제1 실시 형태와 동일 또는 같은 구성 및 스텝에 대해서는 동일한 참조부호를 첨부하고, 반복된 설명은 생략한다.

스텝S1001에 있어서, ＣＰＵ(102)는, 도3의 스텝S308에 있어서 산출된 거리정보의 상위 10비트에 리미트 처리를 행해 금지 코드가 생기지 않도록 변환한다. 구체적으로는, 거리정보의 상위 10비트가 0, 1, 2, 3의 경우는 4로 한다. 그 상위 10비트가 1023, 1022, 1021, 1020의 경우는, 1019로 한다.

스텝S1002에서는, 도6에 있어서의 Ｙ데이터의 중첩 위치에 있어서, ＣＰＵ(102)는 워드마다 리미트 처리한 거리정보의 상위 10비트(D'[9]∼D'[0])를 도11과 같이 중첩한다. 도11은, 제2 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다.

한편, C데이터의 중첩 위치에 있어서는, 예를 들면 최상위 비트인 Ｃ[9]의 위치에 1, 그 이외의 Ｃ[8]로부터 C[0]의 위치에 0이라고 하는, 고정 값을 중첩한다.

이상의 처리를 행하고 ＳＭＰＴＥ ＳＴ 292-1의 규정에 따라서 화상출력부(109)를 통해 화상처리장치(100)가 거리정보를 출력하게 함으로써, ＨＤ-ＳＤＩ를 수신가능한 디스플레이에 있어서 거리정보를 도12와 같이 그레이스케일로 표시할 수 있다. 도12는, 제2 실시 형태에 따른 거리정보의 표시 예를 도시한 도면이다.

도12에 도시된 예에서는, 거리가 가까울 수록 피사체의 휘도가 높다. 거리가 멀 수록, 피사체의 휘도가 낮다. 이렇게 거리정보가 휘도의 강도로 표현되기 때문에, 유저는 용이하게 거리정보의 취득 상황을 시인할 수 있다.

본 실시 형태에 있어서는, 거리정보를 Y데이터의 위치에 중첩하는 예에 대해서 설명하였다. 그렇지만, 스텝S1002에 있어서, 도13과 같이, 거리정보를 C데이터의 위치에 중첩하고, 상기 고정 값을 Y데이터의 위치에 중첩하여도 좋다. 도13은, 제2 실시 형태에 따른 거리정보의 다른 표시 예를 도시한 도면이다.

도13과 같이, C데이터의 위치에 거리정보를 중첩할 경우는, 외부 디스플레이에 있어서 히트맵과 같은 색의 강도로 거리정보를 표시할 수 있다.

여기에서, 전송용 화상 포맷이 ＹＣｂＣｒ422일 경우, C데이터에 대하여 워드마다 Ｃｂ와 Ｃｒ을 교대로 중첩하는 포맷으로 설정되어 있다. 이에 따라, 예를 들면, Ｃｂ에는 고정 값을 중첩하고 Ｃｒ에만 거리정보를 중첩함으로써, 거리정보의 수평해상도는 반감하다. 그렇지만, 거리정보의 적색계의 그라이데이션이, 외부 디스플레이에 표시되어도 좋다.

반대로, Ｃｒ에는 고정 값을 중첩하고, Ｃｂ에만 거리정보를 중첩함으로써, 거리정보의 청색계의 그라이데이션이, 외부 디스플레이에 표시되어도 좋다.

혹은, 미리결정된 역치를 제공하고 거리정보가 그 역치를 상회할 경우에는, Ｃｂ에 거리정보, Ｃｒ에 고정 값을 중첩하여도 좋다. 거리정보가 그 역치를 하회할 경우에는, Ｃｒ에 거리정보, Ｃｂ에 고정 값을 중첩하여도 좋다.

반대로, 거리정보가 역치를 상회할 경우에는 Ｃｒ에 거리정보, Ｃｂ에 고정 값을 중첩하고, 하회할 경우에는 Ｃｂ에 거리정보, Ｃｒ에 고정 값을 중첩하여도 좋다.

혹은, Y데이터 및 C데이터의 양쪽의 위치에 거리정보를 중첩하여도 좋다. 이 경우에, 거리정보의 값에 따라 변화된 휘도 및 색의 양쪽이 외부 디스플레이에 표시된다.

제3 실시 형태

상기 제1 실시 형태 및 제2 실시 형태에서는, 종래기술에서 화상신호를 중첩하는 위치에 거리정보를 중첩해서 전송하는 방법에 대해서 설명하였다. 그렇지만, 이들의 경우에, 거리정보를 출력하는 단자와는 별도로 출력 단자를 준비할 필요가 있다. 이에 따라, 제3 실시 형태에서는, 1계통의 출력 단자에서 화상신호, 거리정보 및 보조 데이터를 출력하는 예에 대해서 설명한다.

도14는, 제3 실시 형태에 따른 ＳＤＩ구조를 도시한 도면이다. 도14를 참조하여, 프레임 레이트가 29.97ｆｐｓ, 수평해상도가 1920, 수직해상도가 1080의 경우의 3G-ＳＤＩ의 데이터 스트림의 구조를 설명한다. 3G-ＳＤＩ의 데이터 스트림은 ＳＭＰＴＥ ＳＴ 425-1에서 규정되어 있다.

도14에서는, 1라인분의 데이터 스트림을, 1워드가 10비트인 4개의 데이터 스트림으로 분할하여서 도시하고 있다. 1프레임에서는, 이 데이터 스트림이 1125라인을 가진다. R스트림, G스트림, B스트림 및 A스트림은, 1워드가 10비트인 2200워드로 구성된다.

A스트림은 알파 채널의 데이터 스트림에 상당한다. 본 실시 형태에서는, 거리정보를 알파 채널의 데이터 스트림인 Ａ스트림에 중첩한다.

데이터는 1920번째 워드로부터 ＥＡＶ가 중첩되고, ＬＮ 및 ＣＲＣＣ가 계속하여 중첩된다. 268워드에 대응한 블랭킹 영역이 계속된다. 이후, ＳＡＶ가 중첩된다. 1920워드에 대응한 R(적색)데이터, G(녹색)데이터, B(청색)데이터 및 A(거리정보)데이터가 중첩되어 전송된다. 프레임 레이트가 변경되면, 1라인의 워드 수가 변경된다. 이 때문에, 상기 블랭킹 영역의 워드 수가 변경된다.

도15는, 제3 실시 형태에 따른 스트림 생성 처리를 도시한 흐름도다. 도16은, 제3 실시 형태에 따른 거리정보의 중첩 예를 도시한 도면이다.

도15의 흐름도와 도16의 중첩 예를 참조하여, 제3 실시 형태에 따른 스트림 생성 처리를 설명한다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ(102)가 ＲＯＭ(103)에 격납된 프로그램을 ＲＡＭ(104)에 로딩하여 실행하게 함으로써 실현된다. 본 실시 형태에 있어서, 상기 제2 실시 형태와 동일 또는 같은 구성 및 스텝에 대해서는 동일한 참조부호를 첨부하고, 반복된 설명은 생략한다.

스텝S1501에서는, 도14에 있어서의 Ａ(거리정보)데이터의 중첩 위치에 있어서, ＣＰＵ(102)가 워드마다 리미트 처리한 거리정보의 상위 10비트 (D'[9]∼D'[0])를 도16과 같이 중첩한다. 한편, ＲＧＢ의 각 데이터의 중첩 위치에 있어서는, 화상신호를 ＲＧＢ의 형식으로 그대로 중첩한다.

이상 설명한 처리를 행해 ＳＭＰＴＥ ＳＴ 425-1의 규정에 따라 출력함으로써, 1계통의 출력 단자에서 상기 화상신호, 상기 거리정보 및 상기 보조 데이터를 출력할 수 있다. 본 실시 형태에 있어서는, 화상신호를 ＲＧＢ의 형식으로 중첩하는 예에 대해서 설명하였다. 그렇지만, ＲＧＢ가 아니고 ＹＣｂＣｒ등의 형식으로 그 화상신호를 중첩하고, A데이터로서 도16과 같이 거리정보를 중첩하여 출력하여도 좋다.

제4 실시 형태

상기 제1 실시 형태 및 제2 실시 형태에 있어서, 거리정보의 출력 방법의 예에 대해서 각기 설명하였다. 그렇지만, 이러한 방법들을 유저가 선택하고, 유저의 용도에 적합한 출력을 행할 수 있도록 화상처리장치(100)를 구성해도 좋다. 이에 따라, 제4 실시 형태에서는, 각 실시 형태에 있어서의 출력 방법을 바꾸어 출력하는 예에 대해서 설명한다.

도17은, 제4 실시 형태에 따른 거리정보의 출력 모드 선택 처리의 예를 도시한 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ(102)가 ＲＯＭ(103)에 격납된 프로그램을 ＲＡＭ(104)에 로딩하여 실행하게 함으로써 실현된다.

유저가 조작부(113)를 조작하여 (도시되지 않은) 전원부에 전원이 투입되면, 스텝S1701에 있어서, ＣＰＵ(102)는 촬영 대기 처리를 행한다. 이 촬영 대기 처리에서는, ＣＰＵ(102)는, 촬상부(107)가 촬상하게 하고 화상처리부(105)로 화상 처리를 실시한 화상이나, 화상처리장치(100)의 설정을 하기 위한 메뉴를 표시부(114)에 표시한다.

스텝S1702에서는, 유저가 표시부(114)를 보면서 조작부(113)를 조작하여 각종 설정을 행한다. ＣＰＵ(102)는, 상기 조작에 따라 설정을 접수하고, 대응한 처리를 화상처리장치(100)의 각 처리부에 있어서 행한다. 여기에서, 유저는, 선택부로서의 조작부(113)를 사용하여 거리정보의 출력 모드를 설정할 수 있다.

다시 말해, 유저는 출력 모드로서, 예를 들면 고정밀도 거리정보 출력 모드 등의 설정을 선택할 수 있다. 고정밀도 거리정보 출력 모드는, 제1 실시 형태에서 설명한 바와 같이, 거리정보를 복수의 데이터 스트림에 분할 중첩해 출력하는 모드다.

유저는, 거리정보를 알파 채널의 데이터 스트림(A스트림)에 중첩할 것인가 아닌가를 조작부(113)를 사용하여 선택해도 좋다. 유저는, 고정밀도 거리정보 출력 모드이외의 출력 모드로서, 제2 실시 형태에서 설명한 바와 같이 그레이스케일 표시를 하기 위한 그레이스케일 출력 모드인가, 히트맵 표시를 하기 위한 히트맵 출력 모드인가의 설정을 선택할 수 있는 것이라고 한다.

이렇게, 본 실시 형태에서는, 선택부로서의 조작부(113)에 의해, 거리정보를 복수의 데이터 스트림에 분할 중첩할지, 1개의 데이터 스트림에 중첩할지를 선택가능하다. 더욱이, 1개의 데이터 스트림에 거리정보를 중첩할 경우에, 거리정보를 휘도의 데이터 스트림에 중첩할지, 색의 데이터 스트림에 중첩할지를, 조작부(113)에 의해 선택가능하다.

스텝S1703에서는, ＣＰＵ(102)는, 스텝S1702에 있어서 선택된 모드가 고정밀도 거리정보 출력 모드인가를 판단한다. 거리정보를 출력하는 모드가 고정밀도 거리정보 출력 모드일 경우, 스텝S1704에 처리가 진행된다. 고정밀도 거리정보 출력 모드가 아닐 경우는, 스텝S1705에 처리가 진행된다.

스텝S1704에서는, 상기 제1 실시 형태에서 설명한 처리를 행하여, 거리정보를 출력하는 모드가 고정밀도 거리정보 출력 모드인 것을 나타내는 정보와, 출력되는 데이터 구조에 관한 보조 데이터를, 도7에 도시한 바와 같이 거리정보에 중첩해 화상출력부(109)로부터 출력한다. 다시 말해, 스텝S1704에서는, 거리정보를 Y(휘도)데이터와 C(색)데이터와의 복수의 데이터 스트림에 분할 중첩한다.

반대로, 스텝S1705에서는, ＣＰＵ(102)는, 스텝S1702에 있어서 선택된 모드가 그레이스케일 출력 모드인가 히트맵 출력 모드인가를 판단한다. 선택된 모드가 그레이스케일 출력 모드의 경우, 스텝S1706에 처리가 진행된다. 선택된 모드가 히트맵 출력 모드의 경우, 스텝S1707에 처리가 진행된다.

스텝S1706에서는, 상기 제2 실시 형태에서 설명한 처리를 행하여, 선택된 모드가 그레이스케일 출력 모드인 것을 나타내는 정보와, 출력되는 데이터 구조에 관한 보조 데이터를, 도11에 도시한 바와 같이 거리정보에 중첩하여, 화상출력부(109)로부터 출력한다. 다시 말해, 스텝S1706에서는, 거리정보를 휘도의 데이터 스트림에 중첩한다.

스텝S1707에서는, 상기 제2 실시 형태에서 설명한 처리를 행하여, 선택된 모드가 히트맵 출력 모드인 것을 나타내는 정보와, 출력되는 데이터 구조에 관한 보조 데이터를, 도13에서 도시한 바와 같이 거리정보에 중첩하여, 화상출력부(109)로부터 출력한다. 다시 말해, 스텝S1707에서는, 거리정보를 색의 데이터 스트림에 중첩한다.

이상 설명한 처리를 행함으로써, 유저는, 원하는 형식으로 거리정보를 출력할 수 있다. 본 실시 형태에 있어서는, 상기 제1 실시 형태와 제2 실시 형태에서 설명한 출력 방식을 선택해서 출력하는 예에 대해서 설명하였다. 더욱이, 상기 제3 실시 형태에서 설명한 출력 방식을 선택해서 출력하여도 좋다.

제5 실시 형태

상기 제1 실시 형태 내지 상기 제4 실시 형태에 있어서, 10비트 혹은 18비트의 거리정보를 출력하는 예에 대해서 설명했다. 그러나, 예를 들면, 후처리의 화상합성을 행하는 처리가, 촬영한 복수의 피사체간에 ＣＧ화상을 삽입하는 처리일 경우는, 거리정보로서 10비트보다 적은 비트 심도의 정보를 출력하는 방식이 후처리를 행하기 보다 쉽다.

혹은, 비트 심도를 감소한 방식이 사용되는 경우, 외부 디스플레이에 표시된 정보를 시인하기 쉽다. 이에 따라, 상기 제5 실시 형태에서는, 유저가 조작부(113)를 사용하여 비트 심도(유효 비트수)를 변경하고, 설정된 비트 심도에 대응한 거리정보를 출력하는 예에 대해서 설명한다.

도18은, 제5 실시 형태에 따른 거리정보의 출력 모드 선택 처리를 도시한 흐름도다. 이 흐름도에 있어서의 각 처리는, ＣＰＵ(102)가 ＲＯＭ(103)에 격납된 프로그램을 ＲＡＭ(104)에 로딩하여 실행하게 함으로써 실현된다. 본 실시 형태에 있어서, 상기 제4 실시 형태와 동일 또는 같은 구성 및 스텝에 대해서는 동일한 참조부호를 첨부하고, 반복된 설명은 생략한다.

스텝S1801에서는, 유저가, 표시부(114)를 보면서, 조작부(113)를 조작하여 거리정보의 비트 심도(유효 비트수)를 변경한다. ＣＰＵ(102)는, 화상처리장치(100)의 각 처리부에서 상기 조작에 따라 설정이나 처리를 행한다. 여기에서, 조작부(113)는, 거리정보의 유효 비트수를 선택가능한 유효 비트수 선택부로서 기능한다.

이하, 거리정보의 유효 비트수를 3비트로 설정했을 경우의 예를 설명한다. 스텝S1802에서는, 상기 제1 실시 형태와 같은 처리를 행하여, 거리정보를 출력하는 모드가 고정밀도 거리정보 출력 모드인 것을 나타내는 보조 데이터와, 거리정보의 유효 비트수를 나타내는 보조 데이터를, 도19에 도시된 거리정보와 중첩한다. 그리고, 그 거리정보를 화상출력부(109)로부터 출력한다.

도19는, 제5 실시 형태에 따른 고정밀도 거리정보 출력 모드에서의 거리정보의 중첩 예를 도시한 도면이다. Y[9]의 위치에 중첩하는 값으로서Y[8]의 위치에 중첩하는 값을 반전한 값을 중첩하고, C[9]의 위치에 중첩하는 값으로서 C[8]의 위치에 중첩하는 값을 반전한 값을 중첩한다.

그리고, Y[8] 내지 Y[0]와 C[8] 내지 C[0]의 위치에, 스텝S1801에서 설정된 유효 비트수의 거리정보의 상위비트를 중첩하고, 그 이외의 하위 비트에는 0 데이터를 중첩한다.

스텝S1803에서는, 제2 실시 형태에서 설명한 처리를 행하여, 상기 선택된 모드가 그레이스케일 출력 모드인 것을 나타내는 보조 데이터와, 거리정보의 유효 비트수를 나타내는 보조 데이터를, 도20에 도시한 바와 같이 거리정보와 중첩하여, 화상출력부(109)로부터 출력한다.

도20은, 제5 실시 형태에 따른 그레이스케일 출력 모드에서의 거리정보의 중첩 예를 도시한 도면이다. 도20에 도시된 거리정보D''은, 스텝S1801에서 설정된 유효 비트수에 상당한 거리정보의 상위비트를 출력하고, 그 이외의 하위 비트는 0 데이터로 삽입하고 나서, 스텝S1001에서 행한 리미트 처리와 같은 처리를 행함으로써, 얻어진 값이다.

도21은, 제5 실시 형태에 따른 거리정보의 표시 예를 도시한 도면이다. 스텝S1803에서 출력한 거리정보를 외부 디스플레이에 수신해 표시하면, 도21과 같이, 각 거리에서 분할되고 상이한 휘도로 표현된 복수의 층이, 표시된다.

스텝S1804에서는, 제2 실시 형태에서 설명한 처리를 행하여, 선택된 모드가 히트맵 출력 모드인 것을 나타내는 보조 데이터와, 거리정보의 유효 비트수를 나타내는 보조 데이터를, 도22에서 도시한 바와 같이, 거리정보에 중첩한다. 그리고, 그 거리정보를 화상출력부(109)로부터 출력한다.

여기에서, 도22는, 제5 실시 형태에 따른 히트맵 출력 모드에서의 거리정보의 중첩 예를 도시한 도면이다. 도22에 도시된 거리정보D''은, 스텝S1801에서 설정된 유효 비트수에 상당한 거리정보의 상위비트를 출력하고, 그 이외의 하위 비트는 0 데이터로 삽입하고 나서, 스텝S1001에서 행한 리미트 처리와 같은 처리를 행함으로써, 얻어진 값이다.

이상 설명한 바와 같이, 본 실시 형태에 따른 처리를 행함으로써, 유저는 비트 심도를 선택해서 설정하고, 그 설정된 비트 심도에 대응한 거리정보를 출력할 수 있다.

이상의 실시 형태들에서는, ＳＭＰＴＥ ＳＴ 292-1이나 ＳＭＰＴＥ ＳＴ 425-1에 규정되어 있는 것처럼, 프레임 레이트가 29.97ｆｐｓ, 수평해상도가 1920, 수직해상도가 1080인 출력 포맷에 거리정보를 중첩해서 출력하는 예를 설명했다.

그러나, 프레임 레이트나 해상도는 상기한 예에 한정되지 않고, 또한, 다른 출력 포맷에 거리정보를 중첩하여 출력해도 좋다.

또한, 상술한 각 실시 형태예에 있어서는, 전송로의 수가 1개일 경우를 설명했지만, 본 개시내용은 이에 한정되지 않는다. 복수의 전송로를 준하고, 화상과는 다른 전송로를 사용해서 거리정보의 데이터를 출력하는 구성을 채용해도 좋다. 전송 기술은 ＳＤＩ에 한정되지 않는다. ＨＤＭＩ(등록상표), ＤｉｓｐｌａｙＰｏｒｔ(등록상표), ＵＳＢ, 또는 ＬＡＮ등의 화상전송을 행할 수 있는 전송 기술이 사용되어도 좋거나, 이것들을 조합하여 복수의 전송로를 준비해도 좋다.

본 실시 형태에 따른 출력부는, 화상, 거리정보 및 보조 데이터를 중첩한 데이터 스트림을, 메모리를 통해 외부에 출력(공급)하는 유닛을 구비한다.

예를 들면, 제1 내지 제5 실시 형태를 부분적으로 적절히 조합해도 좋다. 메뉴는, 유저에 의해 제1 내지 제5 실시 형태에 기재된 기능이나 그것들의 조합을 적절히 선택할 수 있게 화상처리장치(100)의 표시부(114)에 표시되어도 좋다.

본 개시내용을 예시적 실시 형태들을 참조하여 기재하였지만, 그 개시내용은 상기 개시된 실시 형태들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다. 추가로, 상기 실시 형태들에 따른 상기 제어의 일부 또는 전부로서, 상술한 실시 형태들의 기능을 실현하는 컴퓨터 프로그램은, 네트워크나 각종 기억매체들을 통해 상기 화상처리장치에 공급되어도 좋다. 그리고, 상기 화상처리장치의 컴퓨터(또는 CPU나 MPU 등)는 상기 프로그램을 판독해 실행하도록 구성되어도 좋다. 이러한 경우에, 상기 프로그램과, 이 프로그램을 기억하는 기억매체는, 본 개시내용을 구성한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2022년 1월 7일에 출원된 일본국 특허출원번호 2022-001906의 이점을 청구한다.

Claims (23)

1. 렌즈 유닛을 통해 피사체를 포함하는 화상을 취득하는 화상취득부; 및
   상기 피사체까지의 거리를 나타내는 거리정보를 취득하는 거리정보 취득부;
   상기 거리정보에 관한 보조 데이터를 생성하는 보조 데이터 생성부;
   상기 화상, 상기 거리정보 및 상기 보조 데이터가 중첩된 데이터 스트림을 생성하는 데이터 스트림 생성부; 및
   상기 데이터 스트림을 외부에 출력하는 출력부로서, 기능하는 적어도 하나의 프로세서를 포함하는, 화상처리장치.
   
2. 제 1 항에 있어서,
   상기 화상취득부는, 상기 렌즈 유닛의 다른 동공영역을 통과하는 광속을 수광하는 복수의 광전변환부가 화소마다 배치된 촬상 소자를 구비하고,
   상기 복수의 광전변환부의 출력간의 위상차에 근거하여 상기 거리정보를 취득하는, 화상처리장치.
   
3. 제 2 항에 있어서,
   상기 복수의 광전변환부의 상기 출력을 가산함으로써 상기 화상을 취득하는, 화상처리장치.
   
4. 제 1 항에 있어서,
   상기 데이터 스트림 생성부는, 상기 거리정보를 복수의 데이터 스트림에 분할 중첩하는, 화상처리장치.
   
5. 제 1 항에 있어서,
   상기 데이터 스트림 생성부는, 상기 거리정보를 휘도의 데이터 스트림에 중첩하는, 화상처리장치.
   
6. 제 1 항에 있어서,
   상기 데이터 스트림 생성부는, 상기 거리정보를 색의 데이터 스트림에 중첩하는, 화상처리장치.
   
7. 제 1 항에 있어서,
   상기 데이터 스트림 생성부는, 상기 거리정보를 알파 채널의 데이터 스트림에 중첩하는, 화상처리장치.
   
8. 제 1 항에 있어서,
   상기 적어도 하나의 프로세서는, 상기 거리정보를 복수의 데이터 스트림에 분할 중첩할지, 1개의 데이터 스트림에 중첩할지를 선택가능한 선택부로서 기능하도록 더욱 구성되는, 화상처리장치.
   
9. 제 8 항에 있어서,
   상기 선택부는, 상기 거리정보를 휘도의 데이터 스트림에 중첩할지, 상기 거리정보를 색의 데이터 스트림에 중첩할지를 선택가능한, 화상처리장치.
   
10. 제 8 항에 있어서,
    상기 선택부는, 상기 거리정보를 알파 채널의 데이터 스트림에 중첩할 것인가 아닌가를 선택가능한, 화상처리장치.
    
11. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 거리정보의 유효 비트수를 선택가능한 유효 비트수 선택부로서 기능하도록 더욱 구성되는, 화상처리장치.
    
12. 제 1 항에 있어서,
    상기 데이터 스트림 생성부는, 상기 유효 비트수의 상기 거리정보의 상위비트를 중첩하고, 하위 비트에는 0을 중첩하는, 화상처리장치.
    
13. 제 1 항에 있어서,
    상기 보조 데이터는, 상기 화상처리장치의 설정 데이터 또는 상태에 관한 데이터를 포함하는, 화상처리장치.
    
14. 제 1 항에 있어서,
    상기 보조 데이터는, 상기 렌즈 유닛에 관한 렌즈 정보를 포함하는, 화상처리장치.
    
15. 제 14 항에 있어서,
    상기 렌즈 정보는, 초점거리, 합초위치 및 조리개 정보의 적어도 하나를 포함하는, 화상처리장치.
    
16. 제 1 항에 있어서,
    상기 보조 데이터는, 상기 화상과 상기 거리정보를 동기화하기 위한 데이터를 포함하는, 화상처리장치.
    
17. 제 1 항에 있어서,
    상기 보조 데이터는, 상기 거리정보의 속성을 나타내는 데이터를 포함하는, 화상처리장치.
    
18. 제 1 항에 있어서,
    상기 보조 데이터는, 상기 데이터 스트림의 데이터 구조에 관한 정보를 포함하는, 화상처리장치.
    
19. 제 1 항에 있어서,
    상기 출력부는, ＳＤＩ를 사용해서 출력을 행하는, 화상처리장치.
    
20. 제 1 항에 있어서,
    상기 데이터 스트림은 정지 화상 데이터를 포함하는, 화상처리장치.
    
21. 제 1 항에 있어서,
    상기 데이터 스트림 생성부는, 상기 중첩을 다중화 또는 혼합에 의해 행하는, 화상처리장치.
    
22. 렌즈 유닛을 통해 피사체를 포함하는 화상을 취득하는 스텝;
    상기 피사체까지의 거리를 나타내는 거리정보를 취득하는 스텝;
    상기 거리정보에 관한 보조 데이터를 생성하는 스텝;
    상기 화상, 상기 거리정보 및 상기 보조 데이터를 중첩한 데이터 스트림을 생성하는 스텝; 및
    상기 데이터 스트림을 외부에 출력하는 스텝을 포함하는, 화상처리방법.
    
23. 비일시적 컴퓨터 판독 가능한 기억매체로서,
    렌즈 유닛을 통해 피사체를 포함하는 화상을 취득하는 스텝;
    상기 피사체까지의 거리를 나타내는 거리정보를 취득하는 스텝;
    상기 거리정보에 관한 보조 데이터를 생성하는 스텝;
    상기 화상, 상기 거리정보 및 상기 보조 데이터를 중첩한 데이터 스트림을 생성하는 스텝; 및
    상기 데이터 스트림을 외부에 출력하는 스텝을 포함하는,
    화상처리방법을 실행시키기 위한 명령들로 이루어진 컴퓨터 프로그램을 기억하도록 구성된, 기억매체.

Images