KR20160030224A - 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램 - Google Patents

화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20160030224A
KR20160030224A KR1020167002924A KR20167002924A KR20160030224A KR 20160030224 A KR20160030224 A KR 20160030224A KR 1020167002924 A KR1020167002924 A KR 1020167002924A KR 20167002924 A KR20167002924 A KR 20167002924A KR 20160030224 A KR20160030224 A KR 20160030224A
Authority
KR
South Korea
Prior art keywords
image
unit
projection
feature point
projected
Prior art date
Application number
KR1020167002924A
Other languages
English (en)
Other versions
KR101766603B1 (ko
Inventor
신이치 스미요시
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160030224A publication Critical patent/KR20160030224A/ko
Application granted granted Critical
Publication of KR101766603B1 publication Critical patent/KR101766603B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Optics & Photonics (AREA)

Abstract

투영 제어 유닛이, 복수의 제1 특징점이 배열된 제1 패턴 화상이 투영면에 투영되게 하고, 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 제2 패턴 화상이 평면형 투영면에 투영되게 하는 제어를 한다. 취득 유닛은 촬영 유닛으로부터, 투영된 제1 패턴 화상의 제1 촬영 화상 및 평면형의 투영면에 투영된 제2 패턴 화상의 제2 촬영 화상을 취득한다. 추출 유닛은 제2 촬영 화상 내의 제2 특징점을 미리 정해진 방향으로 연결한 제2 연결 성분과, 제1 촬영 화상 내의, 상기 2 연결 성분에 포함된 상기 제2 특징점에 대응하는 위치에서의 제1 특징점을 연결한 제1 연결 성분을 추출한다. 시프트량 산출 유닛은 제2 연결 성분에 대한 제1 연결 성분의 시프트량을 산출한다. 제1 산출 유닛은 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출한다.

Description

화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM}
본 발명은 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램에 관한 것이다.
화상이 투영되는 투영면의 검지 결과를 이용하여 화상 왜곡을 보정하는 기술이 알려져 있다. 투영면의 검지 기술의 예로서, 예컨대 투영면에 투영된 투영 화상의 촬영 화상으로부터, 투영면의 프레임을 표시하는 스크린 프레임을 검출하는 기술이 개시되어 있다(일본 특허 출원 공개 제2010-044255호 참조).
일본 특허 출원 공개 제2010-044255호에는, 측정용 패턴에 의해 형성되는 투영 영역 상의 복수의 측정점의 3차원 좌표가 측정되고, 측정점의 3차원 좌표를 이용해 투영 영역 상의 단차부를 포함하는 단차 영역이 촬영 화상으로부터 검출되며, 그 단차 영역으로부터 스크린 프레임이 검출되는 것이 개시되어 있다. 그리고, 일본 특허 출원 공개 제2010-044255호에서는, 이 스크린 프레임의 형상에 기초하여, 투영 대상이 되는 화상 데이터의 왜곡이 보정된다.
그러나, 통상적으로, 일부 경우에 있어서 환경 조건의 영향으로 투영면을 고정밀도로 검지하지 못하기 때문에, 투영 화상의 왜곡을 고정밀도로 보정하는 것이 어렵다.
이러한 문제의 견지에서, 본 발명의 목적은, 투영 화상의 왜곡을 고정밀도로 보정할 수 있는 보정 정보를 제공할 수 있는, 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램을 제공하는 것이다.
화상 처리 장치는 투영 제어 유닛, 취득 유닛, 추출 유닛, 시프트량 산출 유닛, 제1 산출 유닛을 포함한다. 투영 제어 유닛은, 복수의 제1 특징점이 배열된 제1 패턴 화상이 투영면에 투영되게 하고, 상기 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 제2 패턴 화상이 평면형의 투영면에 투영되게 하는 제어를 수행한다. 취득 유닛은 촬영 유닛으로부터, 투영면에 투영된 상기 제1 패턴 화상의 제1 촬영 화상과, 평면형의 투영면에 투영된 상기 제2 패턴 화상의 제2 촬영 화상을 취득한다. 추출 유닛은, 상기 제2 촬영 화상 내의 상기 제2 특징점을 미리 정해진 방향으로 연결하는 제2 연결 성분과, 상기 제1 촬영 화상 내의, 상기 제2 연결 성분에 포함된 상기 제2 특징점에 대응하는 위치에서의 상기 제1 특징점을 연결하는 제1 연결 성분을 추출한다. 시프트량 산출 유닛은 상기 제2 연결 성분에 대한 상기 제1 연결 성분의 시프트량을 산출한다. 제1 산출 유닛은 상기 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출한다.
도 1은 일 실시형태에 따른 화상 처리 시스템을 도시하는 개략도이다.
도 2는 제1 패턴 화상 및 제2 패턴 화상의 일례를 도시하는 개략도이다.
도 3은 제1 패턴 화상과 제1 촬영 화상의 일례를 도시하는 개략도이다.
도 4는 제1 보정 유닛을 도시하는 개략도이다.
도 5는 좌표 변환을 도시하는 개략도이다.
도 6은 추출 유닛을 도시하는 개략도이다.
도 7은 (u,v) 좌표계의 설명도이다.
도 8은 좌표 변환의 설명도이다.
도 9는 제2 연결 성분의 생성 결과의 일례를 도시하는 개략도이다.
도 10은 제1 연결 성분의 생성 결과의 일례를 도시하는 개략도이다.
도 11은 제2 연결 성분에 대한 제1 연결 성분의 시프트의 설명도이다.
도 12는 제1 보정 처리 유닛에 의해 행해진 보정의 설명도이다.
도 13은 제2 보정 유닛을 도시하는 개략도이다.
도 14는 투영 영역의 설명도이다.
도 15는 투영 영역의 설명도이다.
도 16은 화상 처리 절차를 도시하는 흐름도이다.
도 17은 제1 보정 절차를 도시하는 흐름도이다.
도 18은 연결 성분 추출 절차를 도시하는 흐름도이다.
도 19는 인접 특징점 식별 절차를 도시하는 흐름도이다.
도 20은 인접 특징점 식별 절차를 도시하는 흐름도이다.
도 21은 식별된 인접 특징점과의 관계를 도시하는 개략도이다.
도 22는 인접 특징점이 없는 특징점의 예를 도시하는 개략도이다.
도 23은 제2 보정 절차를 도시하는 흐름도이다.
도 24는 근사 평면 산출 절차를 도시하는 흐름도이다.
도 25는 회귀 평면 데이터의 산출법의 설명도이다.
도 26은 정면 화상 생성의 설명도이다.
도 27은 포함 영역 산출의 설명도이다.
도 28은 정면 화상과 투영 대상 화상 간의 관계의 설명도이다.
도 29는 제1 패턴 화상의 다른 예를 도시하는 개략도이다.
도 30은 제3 패턴 화상의 일례를 도시하는 개략도이다.
도 31은 제2 패턴 화상의 다른 예를 도시하는 개략도이다.
도 32는 제1 패턴 화상 및 제2 패턴 화상의 일례를 도시하는 개략도이다.
도 33은 변형예의 설명도이다.
도 34는 화상 처리 시스템의 구조의 다른 예를 도시하는 개략도이다.
도 35는 클라우드 컴퓨팅 시스템을 갖춘 화상 처리 시스템의 일례를 도시하는 개략도이다.
도 36은 컴퓨터의 구조를 도시하는 하드웨어 구조도이다.
도 1은 일 실시형태에 따른 화상 처리 시스템(10)을 도시하는 개략도이다.
화상 처리 시스템(10)은, 투영 장치(14)와, 촬영 장치(16)와, 화상 처리 장치(18)를 포함한다. 투영 장치(14), 촬영 장치(16), 및 화상 처리 장치(18)는 네트워크 등의 통신 회선을 통해 연결된다.
네트워크는 유선 통신 네트워크나 무선 통신 네트워크일 수 있다. 네트워크로서, 예컨대 LAN(Local Area Network)이 이용되고, Ethernet(등록 상표) 또는 TCP/IP 등의 통신 프로토콜이 이용된다.
투영 장치(14)는 투영 대상이 되는 투영 대상 화상을 투영면(12)에 투영하는 장치이다. 투영면(12)의 예는 스크린, 벽, 및 화이트보드를 포함하나, 이들에 한정되지 않는다. 투영 장치(14)는 투영 유닛(14A)을 포함한다. 투영 유닛(14A)은 투영 대상 화상을 투영면(12)에 투영한다. 본 실시형태에 있어서, 투영 유닛(14A)은 화상 처리 장치(18)에 의해서 제어된다.
촬영 장치(16)는 투영면(12)에 투영된 투영 화상을 촬영한다. 촬영 장치(16)는 촬영 유닛(16A)을 포함한다. 촬영 유닛(16A)은 투영면(12)에 투영된 투영 화상을 촬영하여, 촬영 화상을 취득한다. 본 실시형태에 있어서 촬영 유닛(16A)은 화상 처리 장치(18)에 의해서 제어된다.
화상 처리 장치(18)는 투영 장치(14) 및 촬영 장치(16)를 제어한다. 화상 처리 장치(18)는 컨트롤러(20) 및 저장 유닛(22)을 포함한다.
저장 유닛(22)은 투영 대상이 되는 투영 대상 화상, 및 투영 대상 화상의 보정에 이용되는 제1 패턴 화상과 제2 패턴 화상 등의 각종 데이터를 저장한다. 또한, 저장 유닛(22)은 컨트롤러(20)의 제어 하에서 생성된 각종 정보 등을 저장한다.
제1 패턴 화상은 복수의 제1 특징점이 배열된 화상이다. 본 실시형태에 있어서, 일례로서, 제1 패턴 화상에는 복수의 제1 특징점이 격자형으로 배열되어 있다. 제1 특징점의 배열은 격자형에 한정되지 않는다. 제2 패턴 화상은 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 화상이다. 예컨대, 제2 패턴 화상은 제1 패턴 화상의 일부이다. 제2 패턴 화상은 제1 패턴 화상의 일부인 것에 한정되지 않는다. 제2 패턴 화상이 복수의 제2 특징점을 포함하는 것만이 필수이다.
본 실시형태에 있어서, 제1 특징점 및 제2 특징점을 총칭하는 경우에는, 제1 특징점 및 제2 특징점을 간단히 "특징점"이라고 기재한다. 특징점은 화상 처리 장치(18)에 의해 추출될 수 있는 영역이며, 투영 대상이 되는 투영 대상 화상의 보정 정보의 산출에 이용된다.
도 2는 제1 패턴 화상(62A) 및 제2 패턴 화상(60A)의 일례를 도시하는 개략도이다. 도 2의 (A) 부분은 제1 패턴 화상(62A)의 일례를 도시하는 개략도이다. 본 실시형태에 있어서, 제1 패턴 화상(62A)은 백색 정사각형 영역과 흑색 정사각형 영역이 교대로 격자형으로 배열된 화상이다. 본 실시형태에 있어서, 제1 패턴 화상(62A) 내의 제1 특징점(100)은 백색 정사각형 영역의 정점과 흑색 정사각형 영역의 정점이 만나는 점이다.
도 2의 (B) 부분은 제2 패턴 화상(60A)의 일례를 도시하는 개략도이다. 본 실시형태에 있어서, 제2 패턴 화상(60A)은 제1 패턴 화상(62A)의 중앙에 해당하는 영역과, 복수의 제2 특징점(200)을 포함하는 화상이다. 그 결과, 제2 패턴 화상(60A)과 제1 패턴 화상(62A)이 겹쳐지면, 제2 패턴 화상(60A) 내의 각 제2 특징점(200)의 위치는 제1 패턴 화상(62A) 내의 제1 특징점(100)의 위치와 일치한다.
제2 패턴 화상(60A) 내의 제2 특징점(200)도 제1 특징점(100)과 같은 방식으로, 백색 정사각형 영역의 정점과 흑색 정사각형 영역의 정점이 만나는 점이다. 본 실시형태에 있어서, 제2 패턴 화상(60A)은 제1 패턴 화상(62A)의 중앙 영역으로부터, 복수의 제1 특징점(100)이 포함되도록 추출된 것이다.
본 실시형태에 있어서, 제2 패턴 화상(60A)은, 소정의 방향으로 서로 인접한 3개의 제2 특징점(200)과, 이들 3개의 제2 특징점(200) 각각마다, 그 소정의 방향과 수직인 방향으로 서로 인접한 3개의 제2 특징점(200)인 9개의 제2 특징점(200)을 포함한다.
본 실시형태에 있어서, 제2 패턴 화상(60A)은 제1 패턴 화상(62A)의 중앙 영역에 해당하는 화상으로서, 복수의 제2 특징점(200)을 포함한다. 제2 패턴 화상(60A)은 중앙 영역에 해당하는 화상에 한정되지 않는다. 제2 패턴 화상(60A)이 제1 패턴 화상(62A)의 일부이고 복수의 제2 특징점(200)을 포함하는 것만이 필수이다.
후술하는 고정밀도로 제1 보정 정보를 산출하는 관점에서, 제2 패턴 화상(60A)은 제1 패턴 화상(62A)의 중앙 영역에 해당하는 화상인 것이 바람직하다. 이것은, 투영되는 투영 대상 화상의 화상인, 투영 화상의 중심 부근의 영역이 투영면(12) 상에 위치할 가능성이 가장 높기 때문이다.
본 실시형태에 있어서, 제2 패턴 화상(60A)은 9개의 제2 특징점(200)을 포함한다. 그러나, 제2 패턴 화상(60A)은 적어도 2개 이상의 제2 특징점(200)을 포함하는 화상일 수 있으며, 바람직하게는 4개 이상의 제2 특징점(200)을 포함하고, 더 바람직하게는 8개 이상의 제2 특징점(200)을 포함하는 것이 좋다. 제2 패턴 화상(60A)이 제2 특징점(200)을 더 많이 포함할수록, 더 정밀하게 제1 보정 정보를 산출할 수 있다.
도 1에 되돌아가면, 컨트롤러(20)는 화상 처리 장치(18)를 제어한다. 컨트롤러(20)는 CPU(Central Processing Unit), ROM(Read Only Memory), 및 RAM(Random Access Memory) 등을 포함하는 컴퓨터이다.
컨트롤러(20)는 투영 제어 유닛(24), 촬영 제어 유닛(26), 취득 유닛(28), 제1 보정 유닛(30), 및 제2 보정 유닛(32)을 포함한다. 투영 제어 유닛(24), 촬영 제어 유닛(26), 취득 유닛(28), 제1 보정 유닛(30), 및 제2 보정 유닛(32)은, 예컨대 컴퓨터 프로그램, 즉 CPU 등의 처리 유닛에 의해 실행되는 소프트웨어에 의해, 또는 IC(Integrated Circuit) 등의 하드웨어에 의해, 또는 소프트웨어와 하드웨어를 병용하여 구현될 수 있다.
투영 제어 유닛(24)은 투영 유닛(14A)을 제어한다. 본 실시형태에 있어서, 투영 제어 유닛(24)은 투영 대상 화상인 제1 패턴 화상(62A) 및 제2 패턴 화상(60A)을 투영면(12)에 투영시키도록 투영 유닛(14A)을 제어한다. 투영 제어 유닛(24)은 투영 대상 화상이 되는 각종의 투영 대상 화상을 투영면(12)에 투영시키도록 투영 유닛(14A)을 제어한다.
본 실시형태에 있어서, 제2 패턴 화상(60A)을 투영면(12)에 투영시킬 때에, 투영면(12)은 평면형의 투영면인 것이 요구된다. 제2 패턴 화상(60A)이 투영될 때에 이용되는 평면형의 투영면(12)이란, 투영 화상에 왜곡이 생기지 않는 정도의 평면도(planarity)를 갖는 투영면을 의미한다. 왜곡은, 투영면(12)에 투영된 투영 화상의, 투영 대상이 되는 투영 대상 화상(투영되기 전의 화상)에 대한 왜곡을 의미한다. 투영면(12)에 투영되는 제2 패턴 화상(60A)의 화상인 제2 투영 화상에는 왜곡이 생기지 않는다. 다시 말해서, 제2 투영 화상 내의 각 제2 특징점(200)의 위치와, 투영되기 전의 화상인 제2 패턴 화상(60A) 내의 각 제2 특징점(200)의 위치 사이에 차이가 발생하기 않는다.
한편, 본 실시형태에 있어서, 제1 패턴 화상(62A)을 투영면(12)에 투영시킬 때에, 투영면(12)은 각종의 투영 대상 화상이 투영되는 실제 투영 조건 하에 있어야 한다. 그 결과, 제1 패턴 화상(62A)을 투영면(12)에 투영시킬 때에 이용된 투영면(12)으로 인한 왜곡이, 투영면(12)에 투영된 제1 패턴 화상(62A)의 화상인 제1 투영 화상 내에 생길 수도 있고, 제1 촬영 화상 내의 각 제1 특징점(100)의 위치와, 투영되기 전의 화상인 제1 패턴 화상(62A) 내의 대응하는 제1 특징점(100)의 위치 사이에 어떤 차이가 발생할 수도 있다.
촬영 제어 유닛(26)은 촬영 유닛(16A)을 제어한다. 본 실시형태에 있어서, 촬영 제어 유닛(26)은 투영면(12)에 투영된 투영 화상을 촬영하도록 촬영 유닛(16A)을 제어한다. 취득 유닛(28)은 촬영 유닛(16A)에 의한 촬영에 의해서 얻어진 촬영 화상을 취득한다. 본 실시형태에 있어서, 취득 유닛(28)은 투영면(12)에 투영된 제1 패턴 화상(62A)(즉, 제1 투영 화상)을 촬영함으로써 얻어진 제1 촬영 화상, 및 투영면(12)에 투영된 제2 패턴 화상(60A)(즉, 제2 투영 화상)을 촬영함으로써 얻어진 제2 촬영 화상을 취득한다.
제1 패턴 화상(62A)이 촬영될 때의 투영면(12)과 투영 장치(14) 사이의 상대 위치를 나타내는 제1 상대 위치가, 제2 패턴 화상(60A)이 촬영될 때의 투영면(12)과 투영 장치(14) 사이의 상대 위치를 나타내는 제2 상대 위치와 일치하는 바람직하다.
도 3은 제1 패턴 화상(62A)과 제1 촬영 화상(62B)의 일례를 도시하는 개략도이다. 복수의 제1 특징점(100)이 격자형으로 배열된 제1 패턴 화상(62A)(도 3의 (A) 부분 참조)이 투영면(12)에 투영된다. 투영면(12)에 투영되는 제1 패턴 화상(62A)의 화상인 제1 패턴 화상은 촬영 유닛(16A)에 의해서 촬영된다. 취득 유닛(28)은 촬영 유닛(16A)으로부터, 도 3의 (B) 부분에 도시하는 제1 촬영 화상(62B)을 취득한다. 도 3의 (B) 부분에 도시하는 바와 같이, 제1 촬영 화상(62B)은 투영면(12)에 따라 왜곡된 형상을 가진다.
도 1에 되돌아가면, 제1 보정 유닛(30)은 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출하는 기능 유닛이다. 도 4는 제1 보정 유닛(30)을 도시하는 개략도이다.
제1 보정 유닛(30)은 좌표 추출 유닛(33), 변환 유닛(38), 추출 유닛(40), 시프트량 산출 유닛(42), 시프트 판별 유닛(44), 제1 산출 유닛(46), 및 제1 보정 처리 유닛(48)을 포함한다.
좌표 추출 유닛(33)은 촬영 화상에 포함되는 특징점의 2차원 좌표를 추출한다. 좌표 추출 유닛(33)은 제1 좌표 추출 유닛(34) 및 제2 좌표 추출 유닛(36)을 포함한다. 제1 좌표 추출 유닛(34)은 제1 촬영 화상(62B)으로부터, 제1 촬영 화상(62B)에 포함되는 각 제1 특징점(100)의 2차원 좌표(이하, 제1 좌표라고 칭함)를 추출한다. 구체적으로, 제1 좌표 추출 유닛(34)은 제1 촬영 화상(62B)의 좌측 상단 정점의 위치를 위치 정보의 원점 (0,0)으로 설정하고, 제1 촬영 화상(62B)에 포함된 각 제1 특징점(100)의 제1 좌표를 추출한다.
제2 좌표 추출 유닛(36)은 제2 촬영 화상으로부터, 제2 촬영 화상에 포함된 각 제2 특징점(200)의 2차원 좌표(이하, 제2 좌표라고 칭함)를 추출한다. 구체적으로, 제2 좌표 추출 유닛(36)은 제2 촬영 화상(60B)의 좌측 상단 정점의 위치를 원점 (0,0)으로 설정하고, 제2 촬영 화상(60B)에 포함된 각 제2 특징점(200)의 제2 좌표를 추출한다.
변환 유닛(38)은 제2 좌표 추출 유닛(36)에 의해 추출되는 제2 좌표인, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 제2 좌표를 제1 촬영 화상(62B) 상의 제1 좌표로 좌표 변환한다.
본 실시형태에 있어서, 변환 유닛(38)은 사영 변환 행렬(Hcp)을 산출함으로써, 변환을 수행한다.
제2 촬영 화상(60B)의 제2 특징점(200)의 제2 좌표 (xc,yc)에 대응하는 제1 촬영 화상(62B) 상의 위치를 표시하는 제1 좌표를 (xp,yp)이라고 한다. 사영 변환 행렬(Hcp)은 이하의 식 (1)을 만족한다.
식 (1)은 우변과 좌변이 동차 좌표계로 서로 같다는 것을 나타내고 있다(전 성분의 정수배를 제외). 사영 변환 행렬(Hcp)은 이하의 식 (2)로 표현된다.
Figure pct00002
따라서, 식 (1)은 이하의 식 (3)으로 표현될 수 있다.
Figure pct00003
식 (1) 내지 식 (3)으로부터, 제1 촬영 화상(62B) 상의 제1 좌표 (xp,yp)는 이하의 식 (4)와 (5)로 표현된다.
Figure pct00004
Figure pct00005
식 (2) 내지 식 (5)에서, h1 내지 h8은 사영 변환의 미지 계수이다.
본 실시형태에 있어서, 전술한 바와 같이, 제2 패턴 화상(60A)이 9개의 제2 특징점(200)을 포함하기 때문에 변환 유닛(38)은 제2 촬영 화상(60B)의 9개의 제2 특징점(200)마다, 제1 촬영 화상(62B) 상의 제1 좌표 (xp, yp)를 산출함으로써, 좌표 변환을 수행한다.
도 5는 변환 유닛(38)에 의해 행해지는 좌표 변환을 도시하는 개략도이다.
도 5의 (A) 부분에 도시하는 바와 같이 제2 촬영 화상(60B) 내의 각 제2 특징점(200)(200a 내지 200i)의 제2 좌표가, 도 5의 (B) 부분에 도시하는 제1 촬영 화상(62B) 상의 제1 좌표로 좌표 변환된다. 이에, 제1 촬영 화상(62B)에서의 각 제2 특징점(200)의 2차원 좌표가 얻어진다.
변환 유닛(38)은 제2 좌표 추출 유닛(36)에 의해 추출되는 위치 좌표인, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 위치 좌표를, 제1 촬영 화상(62B) 상의 위치 좌표로 변환한다. 이 변환은 왜곡 없는 제2 촬영 화상(60B)의 각 제2 특징점(200)의 위치 좌표를, 제1 촬영 화상(62B) 상의 위치에 반영시킬 수 있다.
도 4로 되돌아가면, 추출 유닛(40)은 제2 연결 성분과 제1 연결 성분을 추출한다. 제2 연결 성분은, 변환 유닛(38)에 의한 좌표 변환 후의, 제2 촬영 화상(60B) 내의 제2 특징점(200)을 미리 정해진 방향으로 연결하는 성분이다. 제2 연결 성분은 변환 유닛(38)에 의해서 제1 좌표로 좌표 변환되는 제2 특징점(200)을 미리 정해진 방향으로 연결한 선형의 화상으로 표시된다.
제1 연결 성분은 제1 촬영 화상(62B) 내의, 제2 연결 성분에 포함된 각 제2 특징점(200)에 대응하는 위치에서의 제1 특징점(100)을 연결한 성분이다. 제1 연결 성분은 제1 특징점(100)을 연결한 선형의 화상으로 표시된다.
도 6은 추출 유닛(40)을 도시하는 개략도이다. 추출 유닛(40)은 좌표 변환 유닛(40A), 식별 유닛(40B), 및 연결 성분 생성 유닛(40C)을 포함한다.
좌표 변환 유닛(40A)은 제1 촬영 화상(62B)의 각 제1 특징점(100)의 제1 좌표, 및 변환 유닛(38)에 의해 좌표 변환된, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 제1 좌표를 (u,v) 좌표계의 좌표로 변환한다. 도 7은 (u,v) 좌표계의 설명도이다. 도 7에서, 제1 좌표는 x축과 y축으로 표시되는 좌표계에 의해서 결정된다. 도 7에서, x축의 우측 방향이 x축의 플러스 방향이고, y축의 하측 방향이 y축의 플러스 방향이다. 이하의 설명에서는, 각 촬영 화상 내의 특징점의 총 수를 C, 제i 특징점을 A[i], A[i]의 제1 좌표를 (x[i],y[i])로서 표현한다.
(u,v) 좌표계는 제1 좌표의 좌표계(도 7의 (x,y) 좌표계)를, 고정된 원점 (0,0)에 대해 미리 정해진 각도(예컨대 45도)만큼 회전시켜 얻어진다.
좌표 변환 유닛(40A)은 제1 촬영 화상(62B)의 각 제1 특징점(100)의 제1 좌표, 및 변환 유닛(38)에 의해 좌표 변환된, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 제1 좌표를 이하의 식 (6)과 (7)을 이용하여, (u,v) 좌표계로 변환한다.
Figure pct00006
Figure pct00007
식 (6)과 (7)에서, i는 1 이상의 정수이다. 식 (6)과 (7)에서는, 전술한 바와 같이, 제i 특징점을 A[i], A[i]의 제1 좌표를 (x[i],y[i])로 표현한다. (u,v) 좌표계의 좌표는 (u[i],v[i])으로 표현된다.
도 8은 (u,v) 좌표계로의 좌표 변환의 설명도이다. 좌표 변환 유닛(40A)이 (u,v) 좌표계로 좌표 변환을 하는 이유는, 왜곡이 생기는 전의 화상에서의 특징점의 배열의 연결 규칙을 파악하기 위해서이다. 도 8에 도시하는 바와 같이, (u,v) 좌표계로의 좌표 변환 후에, 제1 특징점(100)의 v 좌표에 주목하면, 제1 특징점(100a)보다 v 좌표가 작은 제1 특징점(100b)은 반드시 제1 특징점(100a)의 상측 또는 좌측에 위치하게 된다. 마찬가지로, 제2 특징점(200)의 v 좌표에 주목하면, 제2 특징점(200a)보다 v 좌표가 작은 제2 특징점(200b)은 반드시 제2 특징점(200a)의 상측 또는 좌측에 위치하게 된다.
도 6에 되돌아가면, 식별 유닛(40B)은 (u,v) 좌표계로 변환된 제1 특징점(100)에 관해, 인접한 제1 특징점(100)을 식별한다. 또한, 식별 유닛(40B)은 (u,v) 좌표계로 변환된 제2 특징점(200)에 관해, 인접한 제2 특징점(200)을 식별한다.
구체적으로, 식별 유닛(40B)은 (u,v) 좌표계로 변환된 제1 특징점(100) 및 (u,v) 좌표계로 변환된 제2 특징점(200)을, 이들의 v 좌표에 기초하여, 최소값부터 최대값까지 순서대로 정렬한다. 정렬된 제1 특징점(100)에는 v 좌표의 값이 최소값인 것부터 순차적으로 i(i는 정수, 1≤i≤C)가 매겨진다. 여기서 C는 제1 촬영 화상(62B)에 포함된 제1 특징점(100)의 총 수이다.
마찬가지로, 정렬된 제2 특징점(200)에는 v 좌표의 값이 최소값인 것부터 순차적으로 i(i는 정수, 1≤i≤C)가 매겨진다. 여기서 C는 제2 촬영 화상(60B)에 포함된 제2 특징점(200)의 총 수이다.
식별 유닛(40B)은 (u,v) 좌표계로 변환된 후의 정렬된 제2 특징점(200) 중에서 제2 특징점(200)을 순차적으로 선택하고, 상측 방향 및 좌측 방향의 2 방향으로 인접한 제2 특징점(200)을 식별한다. 인접한 제2 특징점(200)이 식별되는 방향은 모든 제2 특징점(200)의 위치를 식별할 수만 있다면 적어도 2 방향일 수 있다. 예컨대, 식별은 상측 및 우측 방향, 우측 및 하측 방향으로도 행해질 수 있고 4 방향 모두에서 행해질 수도 있다. 전술한 정렬에 있어서, 식별 방향이 상측 및 좌측 방향이기 때문에, 상측 및 좌측에 위치하는 특징점을 쉽게 식별하기 위해, 특징점은 v 좌표에 기초한 최소값부터 최대값까지 순서대로 정렬된다. 정렬에 이용되는 좌표는 식별 방향에 따라 변경될 수도 있다.
마찬가지로, 식별 유닛(40B)은 (u,v) 좌표계로 변환된 후의 정렬된 제1 특징점(100) 중에서 제1 특징점(100)을 순차적으로 선택하고, 상측 및 좌측 방향의 2 방향으로 인접한 제1 특징점(100)을 식별한다.
연결 성분 생성 유닛(40C)은 제2 연결 성분 및 제1 연결 성분을 생성한다. 연결 성분 생성 유닛(40C)은 제1 특징점(100) 또는 제2 특징점(200)을 연결하는 라벨링(labeling)을 수행하여, 제2 연결 성분 및 제1 연결 성분을 생성한다.
구체적으로, 연결 성분 생성 유닛(40C)은 식별 유닛(40B)에 의해 식별되는 인접한 제1 특징점(100)을 미리 정해진 제1 방향으로 연결하고, 연결 성분을 추출하며, 각각의 연결 성분에 라벨링을 행한다. 이에, 연결 성분 생성 유닛(40C)은 복수의 제1 연결 성분을 생성한다. 연결 성분 생성 유닛(40C)은 식별 유닛(40B)에 의해 식별되는 인접한 제2 특징점(200)을 제1 방향으로 연결하고, 연결 성분을 추출하며, 각각의 연결 성분에 라벨링을 행한다. 이에, 연결 성분 생성 유닛(40C)은 복수의 제2 연결 성분을 생성한다.
일반적으로 라벨링(labeling)은 바이너리 화상 내의 인접한 흑색 화소끼리 연결하고 흑색 화소 연결 성분을 추출하는 처리를 가리킨다. 본 실시형태에서 사용되는 라벨링에서는, 연결되는 대상이 흑색 화소가 아니라 특징점이다. 본 실시형태에서의 구체적인 라벨링 절차는 널리 이용되고 있는 알려진 라벨링 기법을 어떤 변경 없이 따를 수 있다.
도 9는 복수의 제2 연결 성분(L2)의 생성 결과의 일례를 도시하는 개략도이다. 도 9에 도시하는 바와 같이, 연결 성분 생성 유닛(40C)은, 제1 좌표로 변환된 다음에 또한 (u,v) 좌표계로 변환된 후의 정렬된 제2 특징점(200)을 제1 방향(도 9에서의 화살표 S 방향(좌우 방향))으로 연결하여 복수의 제2 연결 성분(L2)(L2a 내지 L2c)을 생성한다. 그리고, 연결 성분 생성 유닛(40C)은 제2 연결 성분(L2)(L2a 내지 L2c) 중에서 제2 연결 성분(L2b)을 선택한다.
본 실시형태에 있어서, 복수의 제2 연결 성분(L2)(L2a 내지 L2c) 중에서, 화상 중심에 해당하는 영역에 위치한 제2 특징점(200)을 통과하는 제2 연결 성분(L2)인 제2 연결 성분(L2b)이 선택된다.
도 10은 복수의 제1 연결 성분(L1)의 생성 결과의 일례를 도시하는 개략도이다. 도 10에 도시하는 바와 같이, 연결 성분 생성 유닛(40C)은 (u,v) 좌표계로 변환된 후의 정렬된 제1 특징점(100)을 제1 방향(도 10에서의 화살표 S 방향(좌우 방향))으로 연결하여 복수의 제1 연결 성분(L1)(L1a 내지 L1j)을 생성한다. 그리고, 연결 성분 생성 유닛(40C)은 전술한 바와 같이, 복수의 제1 연결 성분(L1)(L1a 내지 L1j) 중에서, 제2 연결 성분(L2b)에 포함된 제2 특징점(200)에 대응하는 제1 특징점(100)을 포함하는 제1 연결 성분(L1f)을 선택한다.
도 4에 되돌아가면, 시프트량 산출 유닛(42)은 제2 연결 성분(L2b)에 대한 제1 연결 성분(L1f)의 시프트량을 산출한다. 도 11은 제2 연결 성분(L2b)에 대하여, 제1 연결 성분(L1f)에 포함된 각 제1 특징점(100)이 시프트량(H)에 대응하는 양만큼 시프트되는 상태를 나타내고 있다. 도 11에 도시하는 바와 같이, 시프트량(H)은 제1 특징점(100)의 위치마다 값이 다르다. 시프트량의 산출 방법의 상세내용은 후술한다.
도 4에 되돌아가면, 시프트 판별 유닛(44)은 시프트량 산출 유닛(42)에 의해 산출된 시프트량에 기초하여, 임의의 시프트의 발생 여부를 판별한다. 제1 산출 유닛(46)은 시프트 판별 유닛(44)이 시프트의 발생을 판별할 경우, 시프트량 산출 유닛(42)에 의해 산출된 시프트량에 기초하여, 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출한다. 제1 보정 처리 유닛(48)은 산출된 제1 보정 정보를 이용하여, 투영 대상 화상을 보정한다.
도 12는 제1 보정 처리 유닛(48)에 의해 행해진 보정의 설명도이다. 도 12에 도시하는 바와 같이, 제1 보정 처리 유닛(48)은 시프트량에 기초하여, 투영 대상 화상 내의 각 제1 특징점(100)에 대응하는 화소의 화소 위치를, 시프트량에 따른 시프트를 상쇄하도록 보정한다.
도 1에 되돌아가면, 제2 보정 유닛(32)은 제1 보정 유닛(30)에 의해 보정된 투영 대상 화상을 추가 보정하기 위한 제2 보정 정보를 산출하는 기능 유닛이다.
도 13은 제2 보정 유닛(32)을 도시하는 개략도이다.
제2 보정 유닛(32)은 3차원 좌표 산출 유닛(50), 투영 영역 산출 유닛(52), 제2 산출 유닛(54), 및 제2 보정 처리 유닛(56)을 포함한다.
3차원 좌표 산출 유닛(50)은 제1 패턴 화상(62A)과 제1 촬영 화상(62B)을 이용하여, 투영면(12)에 투영된 제1 패턴 화상(62A)의 화상인, 제1 투영 화상 내의 제1 특징점(100)의 3차원 좌표를 산출한다. 이 3차원 좌표의 산출은 알려진 기술을 이용하여 행해진다. 예컨대, 3차원 좌표의 산출은, 프로젝터와 카메라의 일반적인 스테레오 거리 측정 방법(참조 논문: Takahashi, Aoki, et al., Tohoku university, "An experimental study on geometric correction for projected images")을 이용하여 행해진다.
투영 영역 산출 유닛(52)은 투영 대상 화상이 투영되는 투영 영역을 산출한다. 도 14 및 도 15는 투영 영역의 설명도이다. 도 14 및 도 15에 도시하는 바와 같이, 투영면(12)에 투영 대상 화상을 투영할 때에, 투영면(12)에 투영된 제1 특징점(100)(도 14와 도 15의 ○)의 그룹(A1)은 문제없이 투영되는 것으로 판정되지만, 투영면(12)으로부터 떨어진 위치에 투영된 제1 특징점(100)(도 14와 도 15에서의 X자형 표시)의 그룹(A2)은 부적절한 위치에 투영되는 것으로 판정된다.
도 13에 되돌아가면, 그렇기 때문에, 투영 영역 산출 유닛(52)은 투영면(12)에 해당하는 3차원 공간 내의 영역에 제1 특징점(100)이 위치하도록 투영 영역을 산출한다.
투영 영역 산출 유닛(52)은 근사 평면 산출 유닛(52A), 정면 화상 생성 유닛(52B), 및 투영 영역 생성 유닛(53C)을 포함한다.
근사 평면 산출 유닛(52A)은 투영면(12)을 포함하는 평면에 근사된 근사 평면을 산출한다. 근사 평면의 산출 방법의 상세내용은 후술한다.
정면 화상 생성 유닛(52B)은 근사 평면 산출 유닛(52A)에 의해 산출된 근사 평면을 그 근사 평면의 법선 방향에서 촬영하여 얻어지는 정면 화상을 생성한다.
정면 화상 생성 유닛(52B)은 3차원 좌표 산출 유닛(50)에 의해 산출된 각 제1 특징점(100)의 3차원 좌표와, 산출된 근사 평면을 이용하여, 근사 평면 내에 위치하는 제1 특징점(100)을 추출한다. 정면 화상 생성 유닛(52B)은, 근사 평면 내에 위치하고 3차원 좌표에 의해 식별되는 제1 특징점(100)에 의한 3차원 점 그룹을, 투시 사영 변환 행렬(P)을 이용하여 2차원의 평면에 투영하여, 정면 화상을 생성한다.
투시 사영 변환 행렬(P)은 이하의 식 (8)에 의해 표현된다.
Figure pct00008
식 (8)에서, A는 내부 파라미터를 나타내고, R은 외부 파라미터인 회전 행렬을 나타내며, t는 평행 이동 벡터(parallel translation vector)를 나타낸다.
가상 카메라가 정면 화상을 얻기 위해 그 접선 방향에서 근사 평면을 촬영하는 것으로 상정한다. 내부 파라미터(A)는 가상 카메라의 광축 좌표, 촬상 소자의 행과 열의 스케일, 및 초점 거리(f)를 이용하여 정의되는 행렬(3×3)이다. 회전 행렬(R)은 화상 처리 시스템(10)에 설치된 실제의 촬영 장치(16)로부터 가상 카메라까지의 회전을 나타내는 행렬(3×3)이다.
평행 이동 벡터(t)는 실제의 촬영 장치(16)로부터 가상 카메라까지의 평행 이동을 나타내는 벡터(3×1)이다.
투영 영역 생성 유닛(53C)은 근사 평면 산출 유닛(52A)에 의해 산출된 근사 평면과, 정면 화상 생성 유닛(52B)에 의해서 생성된 정면 화상을 이용하여, 투영 화상이 투영되는 투영 영역을 생성한다.
제2 산출 유닛(54)은, 투영 화상이 투영 영역 내에 있도록 투영 대상 화상을 보정하기 위한 제2 보정 정보를 산출한다. 제2 보정 처리 유닛(56)은 제2 보정 정보에 기초하여, 제1 보정 정보를 기초로 보정된 투영 대상 화상을 보정한다.
다음에, 본 실시형태의 화상 처리 장치(18)에 의해 수행되는 화상 처리 절차를 설명한다.
도 16은 화상 처리 장치(18)에 의해 수행되는 화상 처리 절차를 도시하는 흐름도이다.
투영 제어 유닛(24)이 저장 유닛(22)에 저장된 제2 패턴 화상(60A)을 판독한다(단계 S102). 투영 제어 유닛(24)은 단계 S102에서 판독된 제2 패턴 화상(60A)을 투영면(12)에 투영하는 투영 지시를 나타내는 신호를 투영 유닛(14A)에 출력한다(단계 S104). 이 투영 지시를 나타내는 신호를 수신한 투영 유닛(14A)은 수신된 투영 지시에 포함되는 제2 패턴 화상(60A)을 투영면(12)에 투영한다.
촬영 제어 유닛(26)이 촬영 지시를 촬영 유닛(16A)에 출력한다(단계 S106). 촬영 지시를 수신한 촬영 유닛(16A)은 투영면(12)에 투영된 투영 화상(제2 투영 화상)을 촬영하고, 촬영에 의해서 얻어진 제2 촬영 화상(60B)을 컨트롤러(20)에 출력한다.
취득 유닛(28)이 촬영 유닛(16A)으로부터 제2 촬영 화상(60B)을 취득한다(단계 S108). 취득 유닛(28)은 취득된 제2 촬영 화상(60B)을 저장 유닛(22)에 저장한다.
투영 제어 유닛(24)이 저장 유닛(22)에 저장된 제1 패턴 화상(62A)을 판독한다(단계 S110). 투영 제어 유닛(24)은, 단계 S110에서 판독된 제1 패턴 화상(62A)을 투영면(12)에 투영하는 투영 지시를 나타내는 신호를 투영 유닛(14A)에 출력한다(단계 S112). 이 투영 지시를 나타내는 신호를 수신한 투영 유닛(14A)은 수신된 투영 지시에 포함되는 제1 패턴 화상(62A)을 투영면(12)에 투영한다.
촬영 제어 유닛(26)이 촬영 지시를 촬영 유닛(16A)에 출력한다(단계 S114). 촬영 지시를 수신한 촬영 유닛(16A)은 투영면(12)에 투영된 투영 화상(제1 투영 화상)을 촬영하고, 촬영에 의해서 얻어진 제1 촬영 화상(62B)을 컨트롤러(20)에 출력한다.
취득 유닛(28)은 촬영 유닛(16A)으로부터 제1 촬영 화상(62B)을 취득한다(단계 S116). 취득 유닛(28)은 취득된 제1 촬영 화상(62B)을 저장 유닛(22)에 저장한다.
제1 보정 유닛(30)이 제1 보정 처리를 수행한다(단계 S118). 제2 보정 유닛(32)이 제2 보정을 수행한다(단계 S120). 투영 제어 유닛(24)이 단계 S118 및 단계 S120의 처리에 의해 보정된 투영 대상 화상의 투영 지시를 나타내는 신호를 투영 유닛(14A)에 출력한다(단계 S122). 단계 S122의 처리에 있어서, 이 투영 지시를 나타내는 신호를 수신한 투영 유닛(14A)은 수신된 신호에 포함되는 보정 후의 투영 대상 화상을 투영면(12)에 투영한다. 이에, 투영면(12)에는 왜곡이 억제된 투영 대상 화상이 투영되고, 이 루틴은 종료된다.
다음에, 단계 S118의 제1 보정 절차를 설명한다. 도 17은 제1 보정 유닛(30)에 의해 수행되는 제1 보정 절차를 도시하는 흐름도이다.
제1 좌표 추출 유닛(34)이 저장 유닛(22)에 저장된 제1 촬영 화상(62B)으로부터, 제1 촬영 화상(62B)에 포함된 각 제1 특징점(100)의 제1 좌표를 추출한다(단계 S202).
제2 좌표 추출 유닛(36)이 저장 유닛(22)에 저장된 제2 촬영 화상(60B)으로부터, 제2 촬영 화상(60B)에 포함된 각 제2 특징점(200)의 제2 좌표를 추출한다(단계 S204).
변환 유닛(38)이, 제2 좌표 추출 유닛(36)에 의해 추출되는 제2 좌표인, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 제2 좌표를 제1 촬영 화상(62B) 상의 제1 좌표로 좌표 변환하는 변환을 수행한다(단계 S206).
추출 유닛(40)이 제2 연결 성분과 제1 연결 성분을 추출하는 연결 성분 추출을 수행한다(단계 S208). 연결 성분 추출에 대해서는 이하에 상세하게 설명한다.
시프트량 산출 유닛(42)이 제2 연결 성분(L2b)에 대한 제1 연결 성분(L1f)의 시프트량을 산출한다(단계 S210). 시프트량 산출 유닛(42)은 제2 연결 성분(L2b)에 포함된 각 제2 특징점(200)에 대한, 각 제2 특징점(200)에 대응하는, 제1 연결 성분(L1f)에 포함된 제1 특징점(100)의 시프트량을, 그 제1 연결 성분(L1f)에 포함된 제1 특징점(100)마다 산출함으로써, 제2 연결 성분(L2b)에 대한 제1 연결 성분(L1f)의 시프트량을 산출한다. 구체적으로, 각 시프트량은 제2 연결 성분(L2b)에 포함된 각 제2 특징점(200)과, 각 제2 특징점(200)에 대응하는, 제1 연결 성분(L1f)에 포함된 각 제1 특징점(100) 사이의 거리를 산출함으로써 얻어진다.
시프트 판별 유닛(44)이, 제2 연결 성분(L2b)에 대한 제1 연결 성분(L1f)에 임의의 시프트가 존재하는지의 여부를 판별한다(단계 S212). 단계 S212에서, 시프트 판별 유닛(44)은 단계 S212의 판별로서, 단계 S210에서 산출된 시프트량이 "0"(제로)인지의 여부를 판단한다. 시프트량이 "0"인 상태란, 제1 연결 성분(L1f)과 제2 연결 성분(L2b)이 전체적으로 길이 방향으로 일단측에서 타단측으로 서로 완전히 중복되는 상태를 가리킨다. 단계 S212에서 부정으로 판단되면(단계 S212: No), 이 루틴은 종료된다.
단계 S212에서 긍정으로 판단되면(단계 S212: Yes), 처리는 단계 S214로 진행한다. 단계 S214에서는, 제1 산출 유닛(46)이 단계 S210에서 산출된 시프트량에 기초하여, 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출한다(단계 S214). 제1 산출 유닛(46)은 단계 S210에서 산출되는 시프트량에 기초한 보정치를, 그 시프트량을 상쇄하도록 제1 보정 정보로서 산출한다. 구체적으로, 제1 산출 유닛(46)은 시프트량 산출 유닛(42)에 의해 산출된 각 제2 특징점(200)의 시프트량을 이용하여, 각 제2 특징점(200)의 시프트량이 "0"이 되는 방향(대응하는 각 제1 특징점(100)의 위치를 향하는 방향)으로, 각 제2 특징점(200)의 위치 좌표의 값을 보정하기 위한 제1 보정 정보를 산출한다.
제1 보정 처리 유닛(48)이 단계 S214에서 산출된 제1 보정 정보를 이용하여, 투영 대상 화상을 보정하는 제1 보정을 수행하고(단계 S216), 이 루틴은 종료된다.
단계 S202 내지 단계 S216에서 수행되는 처리의 결과로서, 도 12에 도시하는 제1 연결 성분(L1f)에 포함된 제1 특징점(100)이, 제2 연결 성분(L2b)에 포함된 제2 특징점(200)의 위치와 일치하도록 투영 대상 화상 내의 각 제1 특징점(100)에 대응하는 위치가 변경된다. 또한, 도 10 및 도 12에 도시하는 바와 같이, 투영 대상 화상 내의, 제2 연결 성분(L2b)에 수직인 방향으로 배열되어 있는 제1 특징점(100)인, 다른 제1 연결 성분(L1)에 포함된 제1 특징점(100)에 대해서도, 전술한 바와 마찬가지로 하여, 제1 보정 처리가 수행된다.
다음에, 단계 S208에서 수행되는 연결 성분 추출에 대해 설명한다. 도 18은 추출 유닛(40)에 의해 수행되는 연결 성분 추출 절차를 도시하는 흐름도이다.
좌표 변환 유닛(40A)이 좌표 변환을 수행한다(단계 S302). 단계 S302에서는, 좌표 변환 유닛(40A)이, 제1 촬영 화상(62B)의 각 제1 특징점(100)의 제1 좌표, 및 변환 유닛(38)에 의해 좌표 변환된, 제2 촬영 화상(60B)의 각 제2 특징점(200)의 제1 좌표를, (u,v) 좌표계의 좌표로 변환한다.
식별 유닛(40B)이 정렬을 수행한다(단계 S304). 식별 유닛(40B)은 (u,v) 좌표계로 변환된 제1 특징점(100) 및 제2 특징점(200)을, 이들의 v 좌표에 기초하여 최소값부터 최대값의 순서로 정렬한다.
식별 유닛(40B)이, 인접 특징점 식별을 수행한다(단계 S306). 단계 S306에서, 식별 유닛(40B)은 (u,v) 좌표계로 좌표 변환된 후의 정렬된 제2 특징점(200) 중에서 제2 특징점(200)을 순차적으로 선택하고, 상측 및 좌측의 2 방향으로 인접한 제2 특징점(200)을 식별한다.
연결 성분 생성 유닛(40C)이 라벨링을 수행한다(단계 S310). 라벨링의 결과로서, 연결 성분 생성 유닛(40C)은 제2 연결 성분 및 제1 연결 성분을 생성한다.
연결 성분 생성 유닛(40C)은 복수의 제2 연결 성분(L2)(L2a 내지 L2c) 중에서, 제2 연결 성분(L2b)을 선택하고, 복수의 제1 연결 성분(L1)(L1a 내지 L1j) 중에서, 전술한 선택된 제2 연결 성분(L2b)에 포함된 제2 특징점(200)에 대응하는 제1 특징점(100)을 포함하는 제1 연결 성분(L1f)을 선택하고(단계 S312), 이 루틴은 종료된다.
다음에, 식별 유닛(40B)에 의해 수행되는 인접 특징점 식별 절차에 대해 설명한다. 도 19 및 도 20은 식별 유닛(40B)에 의해 수행되는 인접 특징점 식별 절차를 도시하는 흐름도이다. 식별 유닛(40B)은 제1 특징점(100) 및 제2 특징점(200)의 인접 점에 대해서, 도 19 및 도 20에 도시하는 처리를 수행한다.
도 19는 소정의 선택된 특징점의 좌측에 인접한 특징점이 식별되는 경우의 처리 절차를 도시하는 흐름도이다. 도 20은 소정의 선택된 특징점의 상측에 인접한 특징점이 식별되는 경우의 처리 절차를 도시하는 흐름도이다.
도 19에 도시하는 바와 같이, 식별 유닛(40B)은 순서가 첫번째인(i=1) 제1 특징점(100)에서 처리를 하기 위하여 i=1로 설정한다(단계 S402). 여기서, i는 정렬 후의 제1 특징점(100)에 부여되는 번호이다. 식별 유닛(40B)은 Jmin을 0에, DNmin를 T보다 1 큰 값에, j를 I보다 1 작은 값에 설정한다. Jmin는 가장 거리가 가까운 특징점의 번호를 나타낸다. DNmin은 특징점들 사이의 최소 거리를 나타내는 임계치이다. T는 특징점들 사이의 거리의 최대치로서 설정된 일시적인 예비값이다. j는 i번째 특징점과 비교되는 j번째 특징점의 번호이다(단계 S404). i번째 특징점의 좌측에 위치할 가능성이 있는 제1 특징점(100)만 이 처리의 대상이기 때문에 j값은 i보다 작다.
식별 유닛(40B)은 j가 1 이상인지 또는 (v[i]-v[j])이 임계치(T) 이하인지의 여부를 판정한다(단계 S406). j가 1보다 작은 경우에, 즉 j가 0이면, 선택된 특징점은 시작점이거나, 선택된 특징점(A[i])과, 좌측에 존재할 가능성이 있는 모든 특징점(A[j])과의 비교가 완료된다. (v[i]-v[j])이 임계치(T) 이하인지의 판정이, 선택된 특징점(A[j])과의 거리가 미리 정해진 임계치(T)보다 큰 특징점(A[j])을 후속 처리 대상에서 제외함으로써, 처리에 관한 부하가 삭감된다.
j가 1 이상이고, (v[i]-v[j])이 임계치(T) 이하라고 판정되면(단계 S406: Yes), 식별 유닛(40B)은 (u[i]-u[j])이 0보다 작은지의 여부를 판정한다(단계 S408). (u[i]-u[j])의 값은 j번째 제1 특징점(100a)이 i번째 제1 특징점(100a)보다도 좌표 공간에서 상측에 존재하는지의 여부를 판정하는데 이용된다. 도 19에 도시하는 처리는 선택된 제1 특징점(100)의 좌측에 인접한 특징점을 식별한다. 이에, (u[i]-u[j])의 값이 0보다 작은 제1 특징점(100)이 탐색된다. (u[i]-u[j])이 0보다 작다고 판정되면(단계 S408: Yes), 이하의 식 (9)을 이용하여 DN이 산출된다. DN은 2개의 특징점의 좌표 A[i]와 A[j] 사이의 벡터의 놈(norm)이다(단계 S410).
Figure pct00009
계속해서, 식별 유닛(40B)은 DN이 T 이하이고, DN<DNmin인지의 여부를 판정한다(단계 S412). DN이 T 이하인지의 여부의 판정의 결과로서, 특징점들 사이의 거리가 미리 정해진 임계치인 T보다 큰 경우에는 그 결과의 특징점을 후속 처리 대상에서 제외함으로써, 처리 부담이 삭감된다. DN과 DNmin과의 비교의 결과로서, 그 특징점이, 선택된 특징점과 비교된 특징점들 중에서 가장 가까운 거리에 위치하는지의 여부가 판별된다. DN이 T 이하이고 DN<DNmin이라고 판정되면(단계 S412: Yes), 식별 유닛(40B)은 DNmin을 DN의 값으로 갱신하고 Jmin에 j를 대입한다(단계 S414). Jmin은 선택된 특징점과 가장 가까운 거리에 있는 제1 특징점(100)의 번호를 나타내는 값이다. 식별 유닛(40B)이 특징점(A[i])의 좌측 인접 특징점 번호를 Jmin로 설정한 다음, 처리 흐름은 단계 S418로 진행된다(단계 S416).
j가 1보다 작거나, (v[i]-v[j])가 임계치(T)보다 크다고 판정되면(단계 S406: No), (u[i]-u[j])가 0 이상이라고 판정되면(단계 S408: No), 그리고 DN이 DNmin 이상이다고 판정되면(단계 S412: No), 다음 특징점이 그 선택된 특징점에 인접한지의 여부를 판정하기 위해 j가 1씩 감산된다(단계 S418). j가 1 이상인지의 여부가 판정된다(단계 S420), j가 1 이상이라고 판정되면(단계 S420: Yes), 처리는 단계 S406으로 되돌아가고, j가 1보다 작으면(단계 S420: No), 처리 흐름은 단계 S422로 진행된다.
단계 S416에서, 선택된 특징점(A[i])의 좌측 인접 특징점이 식별되면, 식별 유닛(40B)은 i에 1씩 가산하고(단계 S422), i가 최대치인 C에 도달하는지의 여부를 판정한다(단계 S424). i가 최대치인 C에 도달한다고 판정되면(단계 S424: Yes), 처리는 종료된다. i가 최대치인 C에 도달하지 않는다고 판정되면(단계 S424: No), 처리는 단계 S404부터 반복된다.
도 20에 도시하는 상측 인접 특징점의 식별 처리에서는 단계 S508만이, 도 19에 도시한 식별 처리와 다르다. (u[i]-u[j])가 0보다 큰지의 여부가 판정된다(단계 S508). 소정의 제1 특징점(A[i])의 상측에 A[j]가 존재하는 경우, (u[i]-u[j])는 0보다 크다. 따라서, 상측 인접 특징점이 식별될 경우, 단계 S508의 처리에 의해, 상측에 위치할 가능성이 있는 제1 특징점(100)이 좁혀진다. 전술한 처리에 있어서, 탐색은 j=i-1부터 시작해서 j=1로 진행된다. v[i]-v[j]>T일 때 탐색은 종료되는데, v[i]-v[j]>T, 즉 DN>T이, v[i]-v[j]>T를 만족하는 j보다 작은 j에 의해 확실히 만족되기 때문이며, 이에 처리에 관한 부담이 삭감된다.
이 처리를 실시함으로써, 특징점이 좌측의 인접 특징점과 상측의 인접 특징점의 양 점으로서 식별되는 문제의 발생을 막을 수 있다. 전술한 기술에 의해 식별되는 소정의 제1 특징점(100a)인 A[i]의 상측 인접 특징점 번호와 좌측 인접 특징점 번호가 도 21에 도시하는 같이, 주목 요소마다 식별된다. 이 대응관계는 저장 유닛(22)의 버퍼에 저장된다. 도 22에 도시하는 바와 같이, 특징점 그룹(100x)이 격자형 배열의 외주 영역에 위치하고, 촬영 화상 내의 결함 특징점은 특징점 그룹(100y)의 우측 또는 좌측 상에 위치한다. 그러한 특징점 그룹 내의 특징점에 대응하는 좌측(우측) 인접 특징점 번호는 0에 설정되는데, 이것은 "인접 특징점"이 존재하지 않는 것을 의미한다.
다음에, 제2 보정 유닛(32)에 의해 수행되는 제2 보정 절차를 설명한다. 도 23은 제2 보정 유닛(32)에 의해 수행되는 제2 보정 절차를 도시하는 흐름도이다.
3차원 좌표 산출 유닛(50)이, 제1 패턴 화상(62A)과 제1 촬영 화상(62B)을 이용하여, 투영면(12)에 투영되는 제1 패턴 화상(62A)의 화상인 제1 투영 화상 내의 제1 특징점(100)의 3차원 좌표를 산출한다(단계 S600).
근사 평면 산출 유닛(52A)이 투영면(12)을 포함하는 평면에 근사된 근사 평면을 산출하는 근사 평면 산출을 실행한다(단계 S602).
도 24는 근사 평면 산출 유닛(52A)에 의해 수행되는 근사 평면 산출 절차를 도시하는 흐름도이다.
근사 평면 산출 유닛(52A)은 3차원 좌표 산출 유닛(50)에 의해 3차원 좌표가 산출된 제1 특징점(100)(이하, 제1 특징점(100)은 3차원 점 그룹으로서 칭해질 수도 있다)의 거리 데이터를 산출한다(단계 S700). 거리 데이터는 각 제1 특징점(100)의 3차원 좌표의 좌표를, 투영 장치(14)로부터 투영면(12)을 향하는 방향으로 판독함으로써 산출될 수 있다.
근사 평면 산출 유닛(52A)은 단계 S700에서 산출된 각 제1 특징점(100)의 거리 데이터로부터, 투영면(12)에 대응하는 평면에 관한 정보로서, 회귀 평면 데이터를 산출한다(단계 S702). 다음에, 회귀 평면 데이터를 산출하는 방법에 관해서, 도 25를 참조하여 구체적으로 설명한다.
도 25의 (A) 부분은 회귀 분석이 행해진 후의 회귀 평면(P1)을 도시한다. 도 25의 (B) 부분은 후술하는 단계 S708에서 추정된, 회귀 평면으로부터 가장 멀리 위치하는 특징점을 제외한 후의 회귀 평면(P2)을 도시한다.
도 25의 (A) 부분에 도시하는 바와 같이, 3차원 좌표 산출 유닛(50)에 의해서, 예컨대 제1 특징점(100)으로서 n개의 특징점(XABi, YABi, ZABi)(i=1 내지 n)의 3차원 좌표가 산출된다. 이들은 도 25의 (A) 부분에 ○, △ 및 ×자형 표시로 도시된다.
근사 평면 산출 유닛(52A)은 회귀 분석에 의해서, 제1 특징점(100)으로부터 회귀 평면을 산출하기 위해서, 회귀 평면 방정식을 z = ax + by + c로 정의한다. 이 때, 회귀 평면과 3차원 점 그룹 간의 관계는 이하의 식 (10)에 의해 표현된다.
Figure pct00010
식 (10)의 각 변수는 이하의 식 (11)에 의해 표현된다.
Figure pct00011
식 (11)에서, ei는 잔차(residual error)이다.
정규 방정식은 식 (12)로 표현된다.
Figure pct00012
따라서, β는 이하의 식 (13)으로 표현된다.
Figure pct00013
근사 평면 산출 유닛(52A)은 예컨대 최소 제곱법을 이용하여, 잔차(ei)의 제곱합이 최소가 되게 하는 상수(파라미터)(a, b, 및 c)를 산출함으로써, 회귀 평면(도 25 내의 P1 및 P2)을 구한다. 근사 평면 산출 유닛(52A)은 회귀 평면 데이터로서, 회귀 평면 방정식(z = ax + by + c)의 상수(a, b, 및 c)를 취득한다.
도 24에 되돌아가면, 회귀 평면 데이터의 취득이 완료된 후에, 처리 흐름은 단계 S704로 진행된다. 단계 S704에서, 근사 평면 산출 유닛(52A)은 산출된 회귀 평면과 3차원 점 그룹 사이의 거리(DABi)를 산출하고, 3차원 점 그룹 내에서 회귀 평면으로부터 가장 멀리 위치한 대응점 PMAX(XABD, YABD, ZABD)과 그 거리 DMAX를 추출한다(PMAX는 도 25의 (A) 부분에 도시). 구체적으로, 근사 평면 산출 유닛(52A)은 특징점(XABi, YABi, ZABi)으로부터 평면(αx + βy + γz + δ = 0)까지의 거리를 이하의 식 (14)을 이용해 산출한다.
Figure pct00014
근사 평면 산출 유닛(52A)은 회귀 평면과 3차원 점 그룹의 모든 점들 사이의 거리를 산출하고, 그 거리의 절대치가 최대가 되는 제1 특징점(100)을 선택한다. 이에, 근사 평면 산출 유닛(52A)은 산출된 회귀 평면으로부터 가장 멀리 위치하는 특징점 PMAX(XABD, YABD, ZABD)를 추출한다(단계 S704).
근사 평면 산출 유닛(52A)은 특징점 PMAX(XABD, YABD, ZABD)의 거리(DMAX)가 미리 정해진 임계치 이하인지의 여부를 판단한다(단계 S706). 단계 S706에서 부정으로 판단되면(단계 S706: No), 처리 흐름은 단계 S708로 진행된다.
이 임계치는 투영면(12)과 투영 장치(14) 사이의 거리에 대응하는 값이다. 이 임계치는 미리 측정되어 저장 유닛(22)에 저장될 수도 있다. 또한, 이 임계치는 화상 처리 시스템(10)의 피사계 심도(depth of field)에 대응하는 값일 수도 있다.
단계 S708에서, 근사 평면 산출 유닛(52A)은 특징점 PMAX(XABD, YABD, ZABD)를, 회귀 평면 내에 위치하는 제1 특징점(100)의 그룹에서 제외시키고(단계 S708), 처리는 단계 S702로 되돌아간다.
단계 S706에서 긍정으로 판단되면(단계 S706: Yes), 처리 흐름은 단계 S710으로 진행된다. 단계 S710에서, 근사 평면 산출 유닛(52A)은 단계 S702에서 산출된 회귀 평면을, 투영면(12)에 대응하는 근사 평면으로서 추정한 다음, 이 루틴은 종료된다.
단계 S700 내지 단계 S710의 처리를 통해, 근사 평면 산출 유닛(52A)은 투영면(12)에 해당하는 근사 평면을 추정한다. 근사 평면 산출 유닛(52A)은 회귀 평면으로부터의 거리가 임계치를 초과한 특징점을 제외시켜 근사 평면을 산출하기 때문에, 화상 처리 시스템(10)과 투영면(12) 사이에 장해물이 존재하는 경우라도 고정밀도로 근사 평면을 산출할 수 있다.
도 23으로 되돌아가면, 정면 화상 생성 유닛(52B)이 정면 화상을 생성한다(단계 S604).
정면 화상은 근사 평면 산출 유닛(52A)에 의해 산출된 근사 평면을 해당 근사 평면의 법선 방향에서 촬영했다고 가정하는 경우의 화상이다.
도 26은 정면 화상 생성의 설명도이다. 도 26은 근사 평면 상의 제1 특징점(100)의 그룹(Pgrp)의 중심 위치(무게 중심)(Cg)로부터 근사 평면의 법선 방향(N)의 연장선 상에 가상 카메라(예컨대, 촬상 유닛을 포함하는 프로젝터)(16A)를 배치한다는 가정을 나타낸다.
도 26에 도시하는 바와 같이, 실제 카메라인 촬영 장치(16)는 화상 처리 시스템(10)에서 제1 촬영 화상 및 제2 촬영 화상 등의 촬영 화상을 촬영한다.
정면 화상 생성 유닛(52B)은 근사 평면(P2)의 법선 방향(N)의 연장선 상에 설치된 가상 카메라(16A)가 근사 평면(P2)을 촬영할 때에 얻어지는 정면 화상을 산출한다. 구체적으로, 정면 화상 생성 유닛(52B)은 전술한 투시 사영 변환 행렬(P)을 이용하여, 3차원 점 그룹(Pgrp)을, 가상 카메라(16A)에 의해 촬영된 촬영 화상에 대응하는 2차원 평면에 투영하여, 정면 화상을 산출한다.
도 23에 되돌아가면, 투영 영역 생성 유닛(53C)이 포함 영역을 산출한다(단계 S606). 포함 영역은 3차원 점 그룹 중에서, 근사 평면 상에 존재하는 제1 특징점(100)(3차원 점 그룹)을 포함하는 영역이다.
도 27은 포함 영역 산출의 설명도이다. 도 27의 (A) 부분은 정면 화상 내의 3차원 점 그룹(Pgrp)(제1 특징점(100))의 설명도이다. 도 27의 (B) 부분은 포함 영역 및 후술하는 투영 영역의 설명도이다.
도 27의 (A) 부분에서, 투영 영역 생성 유닛(53C)은 각 제1 특징점(100)의 3차원 좌표로부터 산출된 거리 데이터에 기초하여, 정면 화상 내의, 근사 평면 상의 특징점(도 27의 ○, 도 26의 3차원 점 그룹(Pgrp) 참조))을 추출한다. 투영 영역 생성 유닛(53C)은 도 27의 (B) 부분에서, 추출된 특징점(도 27의 ○ 참조)을 모두 포함하는 포함 영역을 산출한다. 도 27의 (B) 부분에 도시하는 바와 같이, 포함 영역은 도 27의 (B) 부분의 ○을 포함하는 포함 영역(C1)이다.
도 23에 되돌아가면, 투영 영역 생성 유닛(53C)이 투영 영역을 산출한다(단계 S608). 투영 영역은, 단계 S606에서 산출된 포함 영역(C1)에 포함되는 제1 특징점(100)(도 27의 ○)을 최대 수 포함하는 직사각형의 영역이다(도 27의 투영 영역(C2) 참조). 이 투영 영역(C2)의 형상 및 애스펙트비(aspect ratio)는, 예컨대 투영 대상 화상의 애스펙트비와 동일하다. 구체적으로, 1600×1200 화소를 갖는 투영 대상 화상이 투영되는 경우, 투영 영역의 애스펙트비는 4:3이다.
제2 산출 유닛(54)이 단계 S608에서 산출된 투영 영역(C2) 내에 위치하는 제1 특징점(100)(도 27의 (B) 부분에서 MV1 내지 MV4 참조)을 선택한다(단계 S610). 예컨대, 제2 산출 유닛(54)은 단계 S608에서 산출된 투영 영역(C2) 내에 위치하는 제1 특징점(100)으로서, 정면 화상의 4개 코너에 있는 4점을 선택한다.
제2 산출 유닛(54)이, 단계 S610에서 선택된 제1 특징점(100)(도 27의 (B) 부분에서 MV1 내지 MV4 참조)에 대응하는, 제1 보정 유닛(30)에 의해서 보정된 투영 대상 화상 내의 대응점을 추출한다(단계 S612). 대응점의 추출은 전술한 거리 데이터의 산출과 같은 방식으로 행해질 수도 있다.
제2 산출 유닛(54)이 사영 변환 행렬(Hcp)을 산출한다(단계 S614). 제2 산출 유닛(54)은 정면 화상 상의 특징점에 대응하는, 투영 대상 화상 상의 4개의 대응점을 이용하여, 사영 변환 행렬(Hcp)을 산출한다.
제2 산출 유닛(54)은 단계 S608에서 산출된 투영 영역(C2)의 4개 코너에 대응하는, 투영 대상 화상 상의 4개의 보정점을 산출한다(단계 S616).
다음에, 보정점의 산출 방법에 대해 도 28을 이용하여, 구체적으로 설명한다. 도 28은 정면 화상과 투영 대상 화상 간의 관계의 설명도이다. 도 28의 (A) 부분은 정면 화상 상의 투영 영역(C2)의 4개 코너점의 설명도이다. 도 28의 (B) 부분은 투영 대상 화상 상의 4개의 보정점의 설명도이다.
도 28의 (A) 부분에 도시하는 바와 같이, 단계 S612의 처리에 의해, 제2 산출 유닛(54)은 단계 S608에서 산출된 투영 영역(C2)의 4개 코너점(도 28의 URv, ULv, DRv, 및 DLv)을 추출한다. 그리고 도 28의 (B) 부분에 도시하는 바와 같이, 제2 산출 유닛(54)은 이 4개 코너점에 대응하는 투영 대상 화상 상의 4개의 보정점(도 28의 URva, ULva, DRva, 및 DLva)을, 사영 변환 행렬(Hcp)을 이용하여 산출한다(단계 S614 내지 단계 S616).
도 23에 되돌아가면, 제2 보정 처리 유닛(56)이 제2 보정 정보를 산출한다(단계 S618).
제2 보정 처리 유닛(56)은 투영 대상 화상의 4개 코너점(예컨대, 도 28의 (B) 부분의 URa)을, 단계 S616에서 산출된 4개의 보정점(예컨대, URva)으로 변형(보정)하기 위한 보정 변환 행렬(Hpp)을 산출한다. 보정 변환 행렬(Hpp)의 산출 방법은 단계 S614에서 설명한 바와 같으므로, 그에 대한 설명은 생략한다.
보정 변환 행렬(Hpp)의 산출 완료 후에, 보정 변환 행렬(Hpp)은 제2 보정 정보로서 저장 유닛(22)에 저장된다. 제2 보정 처리 유닛(56)이 제2 보정 정보를 이용하여, 제1 보정 유닛(30)에 의해 보정된 투영 대상 화상을 추가 보정하고(단계 S620), 이 루틴은 종료된다.
전술한 바와 같이, 본 실시형태의 화상 처리 시스템(10)에서는, 투영 제어 유닛(24)이 복수의 제1 특징점(100)이 격자형으로 배열된 제1 패턴 화상(62A), 및 제1 패턴 화상(62A)의 일부로서, 복수의 제2 특징점(200)을 포함하는 제2 패턴 화상(60A)을 투영면(12)에 투영시키는 제어를 한다. 취득 유닛(28)은 촬영 유닛(16A)으로부터, 투영된 제1 패턴 화상(62A)의 제1 촬영 화상(62B), 및 평면형의 투영면에 투영된 제2 패턴 화상(60A)의 제2 촬영 화상(60B)을 취득한다. 추출 유닛(40)은 제2 촬영 화상(60B) 내의 제2 특징점(200)을 미리 정해진 방향으로 연결한 제2 연결 성분(L2)과, 제1 촬영 화상(62B) 내의, 제2 연결 성분(L2)에 포함된 제2 특징점(200)에 대응하는 위치에서의 제1 특징점(100)을 연결한 제1 연결 성분(L1)을 추출한다. 시프트량 산출 유닛(42)은 제2 연결 성분(L2)에 대한 제1 연결 성분(L1)의 시프트량을 산출한다. 제1 산출 유닛(46)은 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출한다.
이와 같이, 본 실시형태의 화상 처리 시스템(10)은 제1 패턴 화상(62A) 및 제2 패턴 화상(60A)을 이용하여, 제1 보정 정보를 산출한다.
이에, 본 실시형태의 화상 처리 시스템(10)은 외광 변화를 비롯한 환경 변화와 같은 외란의 영향으로 인해, 산출되는 보정 정보의 정밀도가 저하되는 것을 막는다. 그 결과, 본 실시형태의 화상 처리 시스템(10)은 투영 화상의 왜곡을 고정밀도로 보정할 수 있는 보정 정보를 제공할 수 있다.
또한, 제1 보정 정보와 함께 행해진 제2 보정에 의해, 더욱 정밀한 보정 정보를 제공할 수 있다.
본 실시형태에서는, 도 2에 도시하는 패턴이 제1 패턴 화상(62A) 및 제2 패턴 화상(60A)으로서 이용된다. 패턴 화상은 도 2에 도시하는 것에 한정되지 않는다. 특징점이 격자형으로 배열되어 있다면 어떤 패턴 화상도 적용 가능하다.
도 29는 제1 패턴 화상(62A)의 다른 예를 도시하는 개략도이다. 도 29의 (A) 부분에 도시하는 바와 같이, 제1 패턴 화상(62A)은 흑색의 배경 화상에 백색의 격자형 패턴이 배치된 화상일 수도 있다. 도 29의 (B) 부분에 도시하는 바와 같이, 제1 패턴 화상(62A)은 백색의 배경 화상에 흑색의 점형 화상이 격자형으로 배열된 화상일 수도 있다. 제2 패턴 화상(60A)은 전술한 제1 패턴 화상(62A) 중 일부의 화상으로서, 복수의 특징점을 포함하는 화상일 수 있다. 도 29의 (A) 부분에 도시하는 격자형의 패턴을 이용하는 경우, 환경광 등으로 인한 외란이 없는 것을 상정할 수 있으며, 이 패턴으로부터 특징점의 위치 좌표를 추출함으로써, 더욱 정밀한 보정 정보를 제공할 수 있다. 도 29의 (B) 부분에 도시하는 점형 화상의 그룹을 이용한 경우, 각 점형 화상의 무게 중심을 검지하여, 환경광으로 인한 외란의 영향을 받기 어렵기 때문에, 정확한 위치 좌표를 추출할 수 있다. 그 결과, 더욱 정밀한 보정 정보가 제공될 수 있다.
<변형예 1>
상기 실시형태에서는, 화상 처리 장치(18)가 2개의 패턴 화상(제1 패턴 화상(62A), 제2 패턴 화상(60A))의 촬영 화상(제1 촬영 화상(62B), 제2 촬영 화상(60B))을 이용한다. 그러나, 화상 처리 장치(18)는 1개의 패턴 화상의 촬영 화상을 이용하여, 제1 보정 정보를 산출할 수도 있다.
이 경우, 제3 패턴 화상이 이용될 수 있다. 도 30은 제3 패턴 화상(63A)의 일례를 도시하는 개략도이다. 제3 패턴 화상(63A)은 제1 패턴 화상(63A1)과, 제1 패턴 화상(63A1) 상에 배치된 제2 패턴 화상(63A2)을 포함한다.
도 30에 도시하는 예에서, 제1 패턴 화상(63A1)은 백색 정사각형 영역과 흑색 정사각형 영역이 교대로 격자형으로 배열된 화상이다. 제1 패턴 화상(63A1) 내의 제1 특징점은 백색 정사각형 영역의 정점과 흑색 정사각형 영역의 정점이 만나는 점이다.
도 30에 도시하는 예에 있어서, 제2 패턴 화상(63A2)은 제1 패턴 화상(63A1)의 중심에 배치되며, 그 내에는 흑색 원형 도트(흑색의 점형 화상)이 격자형으로 배열되어 있다. 제2 패턴 화상(63A2) 내의 제2 특징점은 흑색 원형 도트이다.
이 경우, 화상 처리 장치(18)는 제3 패턴 화상(63A)을 미리 저장 유닛(22)에 저장한다. 투영 제어 유닛(24)은 저장 유닛(22)에 저장되어 있는 제3 패턴 화상(63A)을 판독하고, 투영 유닛(14A)이 제3 패턴 화상(63A)을 투영면(12)에 투영하도록 투영 유닛(14A)을 제어한다. 촬영 제어 유닛(26)의 제어에 의해서, 제3 패턴 화상(63A)의 제3 촬영 화상(63B)이 얻어진다.
제1 보정 유닛(30)은 제1 보정을 수행한다. 제1 보정 유닛(30)은 제3 촬영 화상(63B) 내의, 제2 패턴 화상(63A2)에 대응하는 영역을 제2 촬영 화상(63B2)으로서 추출한다. 제1 보정 유닛(30)은 제3 촬영 화상(63B) 내의, 제1 패턴 화상(63A1)에 대응하는 영역을 제1 촬영 화상(63B1)으로서 추출한다. 제1 보정 유닛(30)은 제1 촬영 화상(63B1) 및 제2 촬영 화상(63B2)을 이용하여, 상기 실시형태와 같은 처리 방식으로 제1 보정을 수행한다. 제2 보정 유닛(32)은 제1 보정 유닛(30)에 의해 추출된 제1 촬영 화상(63B1) 및 제2 촬영 화상(63B2)을 이용하여, 상기 실시형태와 같은 처리를 수행한다.
이와 같이, 제1 패턴 화상(63A1) 상에 제2 패턴 화상(63A2)이 배치되어 있는 제3 패턴 화상(63A)을 이용함으로써, 한번의 촬영으로, 2개의 촬영 화상(제1 촬영 화상(63B1), 제2 촬영 화상(63B2))을 얻을 수 있다. 이에, 상기 실시형태의 효과와 함께, 고속의 간단한 처리를 달성할 수 있다.
<변형예 2>
상기 실시형태에서는, 제2 패턴 화상(60A)이 제1 패턴 화상(62A)의 중심에 해당한다(도 2 참조). 그러나, 제2 패턴 화상(60A)은 제1 패턴 화상(62A)의 중심에 한정되지 않으며, 제1 패턴 화상(62A) 내의 임의의 영역의 화상일 수도 있다.
도 31은 제2 패턴 화상(60A)의 다른 예를 도시하는 개략도이다. 도 31의 (A) 부분은 제2 패턴 화상(60A)이 도 2의 (A) 부분에 도시한 제1 패턴 화상(62A)의 좌측 상단의 영역에 해당하는 영역의 화상(제2 패턴 화상(64A))인 경우를 도시하는 개략도이다. 도 31의 (B) 부분은 제2 패턴 화상(60A)이 도 2의 (A) 부분에 도시한 제1 패턴 화상(62A)의 우측 하단의 영역에 해당하는 영역의 화상(제2 패턴 화상(65A)인 경우를 도시하는 개략도이다. 제2 패턴 화상(64A, 65A)은 상기 실시형태에서 설명한 바와 같이, 복수의 제2 특징점(200)을 포함한다.
투영 장치(14)와 투영면(12) 간의 위치 관계에 따라, 일부 경우에는, 투영된 투영 화상의 중심 영역이 투영면(12) 상에 배치되지 않는다. 이러한 경우를 상정하면, 투영 화상의 임의의 영역이 투영면(12)에 배치된다고 하고(그 영역이 중심 영역에 한정되지 않는다), 처리를 수행하는 것이 바람직하다. 이 변형예에서는, 예컨대 화상 처리 장치(18)가 디스플레이 유닛과, 조작 유닛을 포함한다. 디스플레이 유닛은 공지된 디스플레이 장치이다. 조작 유닛은 사용자가 각종 지시를 수행할 때에 사용자에 의해 조작되는 것으로서, 예컨대 키보드, 마우스이다.
화상 처리 장치(18)는 디스플레이 유닛에, 투영면(12)에 투영 화상으로서 영역이 배치될 가능성이 높은 영역을 설정하도록 사용자를 재촉하는 정보를 표시한다. 예컨대, 화상 처리 장치(18)는 디스플레이 유닛에, 도 2의 (A) 부분에 도시한 제1 패턴 화상(62A)과, 제2 패턴 화상을 위한 영역을 지정할 것을 사용자에게 재촉하는 정보를 표시한다. 사용자는, 조작 유닛을 조작하면서, 제1 패턴 화상(62A) 내의 임의의 영역을 제2 패턴 화상(60A)으로서 지정할 수 있다(예컨대, 도 31 참조). 그런 다음, 화상 처리 장치(18)는 상기 실시형태와 같은 처리를 수행한다.
이에, 본 변형예에서는, 상기 실시형태의 효과와 함께, 투영면(12)과 화상 처리 시스템(10)의 설치 조건에 따른 제1 보정 정보를 산출하는 것이 가능하다.
<변형예 3>
상기 실시형태에서는, 제1 패턴 화상 및 제2 패턴 화상이 격자형으로 배열된 복수의 특징점(제1 특징점, 제2 특징점)을 갖는다. 그러나, 전술한 바와 같이, 제1 패턴 화상 및 제2 패턴 화상은 격자형으로 배열된 복수의 특징점(제1 특징점, 제2 특징점)을 갖는 것에 한정되지 않는다.
제1 패턴 화상(62A) 및 제2 패턴 화상(60A)은, 특징점(제1 특징점(100), 제2 특징점(200))의 배열이 화상 처리 시스템(10)의 저장 유닛(22)에 미리 저장되어 있고, 특징점들(제1 특징점(100), 제2 특징점(200)) 사이의 위치 관계가 명확하다면, 특징점들이 격자형으로 배열되는 것에 한정되지 않는다. 특징점들 사이의 위치관계를 명확하게 하기 위해서는, 예컨대 각 특징점이 서로 중복되지 않거나, 특징점들 사이의 거리가 임계치 이하인 것으로 하여 배열 규칙이 미리 설정될 수 있고, 각 특징점은 이 배열 규칙 하에 배열될 수 있다.
도 32는 제1 패턴 화상 및 제2 패턴 화상의 일례를 도시하는 개략도이다. 도 32의 (A) 부분은 상기 실시형태에서 설명한, 특징점(제1 특징점(100), 제2 특징점(200))이 격자형으로 배열된 제1 패턴 화상(62A) 및 제2 패턴 화상(60A)의 개략도이다.
도 32의 (B) 부분은 특징점(제1 특징점(100), 제2 특징점(200))이 격자형으로 배열되지 않은 형태의 일례를 도시하는 개략도이다. 제1 패턴 화상(66A)과 제2 패턴 화상(67A)은 도 32의 (B) 부분에 도시하는 바와 같이, 특징점(제1 특징점(100), 제2 특징점(200))이 격자형으로 배열되는 것이 아니라, 배열 규칙 하에 배열되어 있어도 적용 가능하다.
<변형예 4>
상기 실시형태에서는, 제2 보정 유닛(32)이 대형 평면을 투영면(12)으로서 상정하여, 투영면(12) 상에 투영 화상이 투영되도록 투영 대상 화상을 보정한다.
그러나, 제2 보정 유닛(32)은 사용자에 의해서 지정된 지정 영역(예컨대, 벽의 오목한 영역 등의 평탄하지 않은 영역)에 투영 화상이 투영되도록 투영 대상 화상을 보정할 수도 있다.
도 33은 본 변형예의 설명도이다. 이 경우, 제2 보정 유닛(32)은 촬영 장치(16)에 의해 촬영된 촬영 화상(70)을 디스플레이 유닛(도시 생략)에 표시한다. 사용자는 조작 유닛(도시 생략)을 조작하여, 표시된 촬영 화상(70) 내의 보정 대상 영역을 지정한다. 예컨대, 촬영 화상(70)에서 직사각형 영역(70A)이 지정된다. 이 경우, 제2 보정 유닛(32)은 사용자에 의해서 지정된 직사각형 영역(70A)을 투영면(12)으로서 이용하고, 투영면(12)에 투영 화상이 투영되도록 투영 대상 화상을 보정할 수 있다.
<변형예 5>
상기 실시형태에서는, 도 1에 도시한 바와 같이 화상 처리 시스템(10)이 화상 처리 장치(18), 투영 장치(14), 및 촬영 장치(16)를 포함한다. 화상 처리 장치(18), 투영 장치(14), 및 촬영 장치(16)는 별개로 설치될 수도 있다.
도 34는 화상 처리 시스템(10)의 다른 구성예를 도시하는 개략도이다. 도 34에 도시하는 바와 같이, 화상 처리 시스템(10B), 투영 장치(140), 및 촬영 장치(160)는 네트워크 등의 통신 회선(N)을 통해 연결될 수 있다. 투영 장치(140)는 투영 유닛(14A)을 포함할 수 있고, 촬영 장치(160)는 촬영 유닛(16A)을 포함할 수 있다. 화상 처리 시스템(10B)은 화상 처리 장치(18)에 해당하는 화상 처리 장치(18B)를 포함할 수 있고, 화상 처리 장치(18B)는 컨트롤러(20)에 해당하는 컨트롤러(20B)를 포함할 수 있다. 컨트롤러(20B)는 취득 유닛(28) 대신에 취득 유닛(28B)을 포함할 수 있다. 취득 유닛(28B)은 통신 회선(N)을 통해 촬영 장치(160)로부터 촬영 화상을 취득할 수 있다.
<변형예 6>
상기 실시형태의 화상 처리 시스템(10)에 의해 수행되는 처리의 일부가, 예컨대 네트워크를 통해 화상 처리 시스템(10)과 연결되는 클라우드 컴퓨팅 시스템 내에 포함된 장치 또는 장치들에 의해 수행될 수도 있다.
도 35는 클라우드를 갖춘 화상 처리 시스템의 일례를 도시하는 개략도이다. 도 35에 도시하는 바와 같이, 화상 처리 시스템(10D)과 서버(704)가 네트워크를 통해 연결될 수도 있다.
화상 처리 시스템(10D)은 투영 장치(14), 촬영 장치(16), 및 화상 처리 장치(18D)를 포함한다. 화상 처리 장치(18D)는 컨트롤러(20) 대신에 컨트롤러(20D)를 포함한다. 컨트롤러(20D)는 제1 보정 유닛(30) 및 제2 보정 유닛(32)을 포함하는 대신에, 컨트롤러(20)와 동일한 구조를 갖는다.
클라우드 컴퓨팅 시스템 내에 설치되는 서버(704)는 통신 유닛(704A), 제1 보정 유닛(30)에 해당하는 제1 보정 유닛(704B), 제2 보정 유닛(32)에 해당하는 제2 보정 유닛(704C), 및 저장 유닛(706C)을 포함한다.
컨트롤러(20D)는 제1 촬영 화상(62B) 및 제2 촬영 화상(60B)을 네트워크(N)를 통해 서버(704)에 전송한다. 서버(704) 내에, 통신 유닛(704A)을 통해 제1 촬영 화상(62B) 및 제2 촬영 화상(60B)이 수신될 수 있다. 제1 보정 유닛(704B) 및 제2 보정 유닛(704C)은 보정을 수행할 수 있다. 그 후에, 제1 보정 정보 및 제2 보정 정보, 또는 보정된 투영 대상 화상이 화상 처리 시스템(10D)에 전송될 수 있다.
화상 처리 시스템(10, 10B, 10D)은 각각 통상의 컴퓨터를 이용한 하드웨어 구성을 가지며, CPU 등의 컨트롤러와, ROM이나 RAM 등의 저장 장치와, HDD 또는 CD 드라이브 등의 외부 저장 장치와, 키보드나 마우스 등의 입력 장치를 포함한다.
각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 컴퓨터 프로그램은 NV-RAM, ROM, 또는 기타 비휘발성 저장 매체에 임베딩되어 제공된다. 각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 프로그램은 인스톨 가능 파일 또는 실행 가능 파일로서 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk) 등의 컴퓨터 판독 가능한 기록 매체에 기록되어 제공될 수도 있다.
각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 프로그램은 인터넷 등의 네트워크에 접속된 컴퓨터 내에 저장될 수도, 또는 네트워크를 통해 다운로드되어 분배될 수도 있다.
각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 프로그램은 예컨대 ROM에 임베딩되어 제공될 수도 있다.
각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 프로그램은 전술한 각각의 유닛을 포함하는 모듈 구조를 갖는다. 실제의 하드웨어에서는, CPU(프로세서)가 저장 매체로부터 프로그램을 판독하여 그 프로그램을 실행한다. 프로그램이 실행되면, 각 유닛은 주 기억 장치 상에 로딩되어, 각 유닛이 주 기억 장치 상에 형성된다.
각각의 화상 처리 시스템(10, 10B, 10D)에 의해 수행되는 처리를 달성하기 위한 프로그램은 컴퓨터 상에서 구동되는 컴퓨터 프로그램에 의해 실행될 수도 있다. 도 36은 통상의 컴퓨터의 구조를 도시하는 하드웨어 구조도이다. 컴퓨터는 CPU(2010), 하드 디스크 드라이브(2000), 디스플레이(2030), 통신 장치(2040), CD-ROM 드라이브(2050), 메모리(2060), 및 키보드/마우스(2070)를 포함한다. 예컨대, CD-ROM 등의 기록 매체에 기록된 처리를 실행하기 위한 프로그램이 CD-ROM 드라이브(2050)를 통해 판독될 수 있다. 판독된 프로그램은 실행 시에 메모리(2060) 상에 로딩된 다음, 그 프로그램의 처리 단계가 CPU(2010)로부터의 커맨드에 의해 순차적으로 실행될 수 있다. 처리에 이용하는 각종 화상은 미리 하드 디스크 드라이브(2000)에 저장되어 있거나, 처리가 수행될 때에 촬영 장치(16)(도 36에는 도시 생략)에 의해 취득된 후에, 메모리(2060)에 로딩되어 이용된다.
본 발명은 전술한 실시형태에 한정되지 않는다. 이 실시형태는 본 발명의 사상에서 이탈하지 않고서 변형될 수 있다.
본 발명은 투영 화상의 왜곡을 고정밀도로 보정할 수 있는 보정 정보를 제공하는 효과가 있다.
완성적이고 명확한 개시를 위해 특정 실시형태에 대해 본 발명을 설명하였지만, 첨부하는 청구범위는 그렇게 제한되는 것이 아니라, 여기에 설명한 기본적인 교시 내에 확실하게 포함되는, 당업자에게 발상될 수 있는 모든 변형과 대안적 구조를 포함하는 것으로서 해석되어야 한다.
10: 화상 처리 시스템 14A: 투영 유닛
16A: 촬영 유닛 18: 화상 처리 장치
24: 투영 제어 유닛 26: 촬영 제어 유닛
28: 취득 유닛 30: 제1 보정 유닛
32: 제2 보정 유닛 38: 변환 유닛
40: 추출 유닛 40A: 좌표 변환 유닛
40B: 식별 유닛 40C: 연결 성분 생성 유닛
42: 시프트량 산출 유닛 46: 제1 산출 유닛
48: 제1 보정 처리 유닛 50: 3차원 좌표 산출 유닛
52A: 근사 평면 산출 유닛 52B: 정면 화상 생성 유닛
53C: 투영 영역 생성 유닛 54: 제2 산출 유닛
56: 제2 보정 처리 유닛

Claims (9)

  1. 화상 처리 장치에 있어서,
    복수의 제1 특징점이 배열된 제1 패턴 화상이 투영면에 투영되게 하고, 상기 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 제2 패턴 화상이 평면형의 투영면에 투영되게 하는 제어를 수행하는 투영 제어 유닛과,
    촬영 유닛으로부터, 상기 투영면에 투영된 상기 투영된 제1 패턴 화상의 제1 촬영 화상과, 상기 평면형의 투영면에 투영된 상기 제2 패턴 화상의 제2 촬영 화상을 취득하는 취득 유닛과,
    상기 제2 촬영 화상 내의 상기 제2 특징점을 미리 정해진 방향으로 연결한 제2 연결 성분과, 상기 제1 촬영 화상 내의, 상기 제2 연결 성분에 포함된 상기 제2 특징점에 대응하는 위치에서의 상기 제1 특징점을 연결한 제1 연결 성분을 추출하는 추출 유닛과,
    상기 제2 연결 성분에 대한 상기 제1 연결 성분의 시프트량을 산출하는 시프트량 산출 유닛과,
    상기 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출하는 제1 산출 유닛
    을 포함하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 제1 패턴 화상의 촬영 시의 상기 투영면과 투영 장치 사이의 제1 상대 위치 관계가, 상기 제2 패턴 화상의 촬영 시의 상기 평면형의 투영면과 상기 투영 장치 사이의 제2 상대 위치 관계와 일치하는 것인 화상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 촬영 화상 상의 상기 제2 특징점의 제2 좌표 정보를, 상기 제1 촬영 화상 상의 제1 좌표 정보로 좌표 변환하는 변환 유닛을 더 포함하고,
    상기 추출 유닛은, 좌표 변환된 상기 제2 촬영 화상 내의 상기 제2 특징점을 미리 정해진 방향으로 연결한 상기 제2 연결 성분과, 상기 제1 연결 성분을 추출하는 것인 화상 처리 장치.
  4. 제3항에 있어서, 상기 추출 유닛은,
    좌표 변환된 상기 제2 촬영 화상 내의 상기 제2 특징점의 각각에 대하여 미리 정해진 제1 방향으로 인접한 제2 특징점과, 상기 제1 촬영 화상 내의 상기 제1 특징점의 각각에 대하여 상기 제1 방향으로 인접한 제1 특징점을 식별하는 식별 유닛과,
    상기 제2 촬영 화상 내의 상기 인접한 제2 특징점을 연결한 상기 제2 연결 성분과, 상기 제1 촬영 화상 내의 상기 인접한 제1 특징점을 연결한 상기 제1 연결 성분을 생성하는 연결 성분 생성 유닛
    을 포함하는 것인 화상 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 보정 정보에 기초하여 상기 투영 대상 화상을 보정하는 제1 보정 처리 유닛을 더 포함하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 제1 패턴 화상과 상기 제1 촬영 화상을 이용하여, 상기 투영면에 투영된 상기 제1 패턴 화상의 제1 투영 화상 내의 상기 제1 특징점의 3차원 좌표를 산출하는 3차원 좌표 산출 유닛과,
    상기 제1 특징점의 3차원 좌표로부터, 평면형의 투영 대상면에 근사된 근사 평면을 산출하는 근사 평면 산출 유닛과,
    상기 근사 평면에 수직인 방향에서 상기 제1 투영 화상을 촬영하여 얻어진 정면 화상을 생성하는 정면 화상 생성 유닛과,
    상기 근사 평면과 상기 정면 화상으로부터, 투영 대상 화상이 투영되는 투영 영역을 생성하는 투영 영역 생성 유닛과,
    투영된 투영 대상 화상이 상기 투영 영역 내에 있도록 상기 투영 대상 화상을 보정하기 위한 제2 보정 정보를 산출하는 제2 산출 유닛과,
    상기 제2 보정 정보에 기초하여, 상기 제1 보정 정보를 기초로 보정된 상기 투영 대상 화상을 보정하는 제2 보정 유닛
    을 더 포함하는 화상 처리 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 화상 처리 장치와,
    상기 제1 패턴 화상 및 상기 제2 패턴 화상을 투영하는 투영 유닛과,
    상기 제1 촬영 화상 및 상기 제2 촬영 화상을 촬영하는 촬영 유닛
    을 포함하는 화상 처리 시스템.
  8. 화상 처리 방법에 있어서,
    복수의 제1 특징점이 배열된 제1 패턴 화상이 투영면에 투영되게 하고, 상기 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 제2 패턴 화상이 평면형의 투영면에 투영되게 하는 제어를 수행하는 단계와,
    촬영 유닛으로부터, 상기 투영면에 투영된 상기 투영된 제1 패턴 화상의 제1 촬영 화상과, 상기 평면형의 투영면에 투영된 상기 제2 패턴 화상의 제2 촬영 화상을 취득하는 단계와,
    상기 제2 촬영 화상 내의 상기 제2 특징점을 미리 정해진 방향으로 연결한 제2 연결 성분과, 상기 제1 촬영 화상 내의, 상기 제2 연결 성분에 포함된 상기 제2 특징점에 대응하는 위치에서의 상기 제1 특징점을 연결한 제1 연결 성분을 추출하는 단계와,
    상기 제2 연결 성분에 대한 상기 제1 연결 성분의 시프트량을 산출하는 단계와,
    상기 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출하는 단계
    를 포함하는 화상 처리 방법.
  9. 컴퓨터로 하여금,
    복수의 제1 특징점이 배열된 제1 패턴 화상이 투영면에 투영되게 하고, 상기 제1 특징점에 대응하는 복수의 제2 특징점을 포함하는 제2 패턴 화상이 평면형의 투영면에 투영되게 하는 제어를 수행하는 단계와,
    촬영 유닛으로부터, 상기 투영면에 투영된 상기 투영된 제1 패턴 화상의 제1 촬영 화상과, 상기 평면형의 투영면에 투영된 상기 제2 패턴 화상의 제2 촬영 화상을 취득하는 단계와,
    상기 제2 촬영 화상 내의 상기 제2 특징점을 미리 정해진 방향으로 연결한 제2 연결 성분과, 상기 제1 촬영 화상 내의, 상기 제2 연결 성분에 포함된 상기 제2 특징점에 대응하는 위치에서의 상기 제1 특징점을 연결한 제1 연결 성분을 추출하는 단계와,
    상기 제2 연결 성분에 대한 상기 제1 연결 성분의 시프트량을 산출하는 단계와,
    상기 시프트량에 기초하여 투영 대상 화상을 보정하기 위한 제1 보정 정보를 산출하는 단계
    를 실행하게 하는 컴퓨터 프로그램.
KR1020167002924A 2013-08-13 2014-08-12 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램 KR101766603B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2013-168309 2013-08-13
JP2013168309 2013-08-13
JPJP-P-2014-118626 2014-06-09
JP2014118626A JP6394081B2 (ja) 2013-08-13 2014-06-09 画像処理装置、画像処理システム、画像処理方法、及びプログラム
PCT/JP2014/071514 WO2015022999A1 (en) 2013-08-13 2014-08-12 Image processing apparatus, image processing system, image processing method, and computer program

Publications (2)

Publication Number Publication Date
KR20160030224A true KR20160030224A (ko) 2016-03-16
KR101766603B1 KR101766603B1 (ko) 2017-08-08

Family

ID=52468380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002924A KR101766603B1 (ko) 2013-08-13 2014-08-12 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US9787960B2 (ko)
EP (1) EP3033875B1 (ko)
JP (1) JP6394081B2 (ko)
KR (1) KR101766603B1 (ko)
CN (1) CN105453546B (ko)
WO (1) WO2015022999A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
JP6536169B2 (ja) * 2015-05-21 2019-07-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105072430B (zh) * 2015-08-19 2017-10-03 海信集团有限公司 一种调整投影图像的方法和设备
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
CN108781268B (zh) * 2016-03-28 2021-05-14 索尼公司 图像处理装置和方法
CN112668569B (zh) * 2016-04-12 2024-02-02 麦克赛尔株式会社 投射型影像显示装置
WO2018112790A1 (zh) * 2016-12-21 2018-06-28 华为技术有限公司 图象处理方法及装置
US10529082B2 (en) * 2017-06-20 2020-01-07 Mitutoyo Corporation Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
JP2019047311A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
JP2019047312A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
CN109788262A (zh) * 2017-11-15 2019-05-21 中强光电股份有限公司 投影系统及其影像投影方法
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110784692B (zh) * 2018-07-31 2022-07-05 中强光电股份有限公司 投影装置、投影系统及影像校正方法
CN110769219B (zh) * 2018-11-08 2021-09-28 成都极米科技股份有限公司 图像处理方法和投影设备
CN109584266B (zh) * 2018-11-15 2023-06-09 腾讯科技（深圳）有限公司 一种目标检测方法及装置
CN111435969B (zh) * 2019-01-11 2021-11-09 佳能株式会社 图像处理装置及其控制方法、记录介质和信息处理系统
CN113747131A (zh) * 2020-05-29 2021-12-03 中强光电股份有限公司 投影系统及其自适应性调整方法
JP2023132946A (ja) * 2022-03-11 2023-09-22 パナソニックＩｐマネジメント株式会社 検証方法、コンピュータプログラム及び投影システム
CN115086625B (zh) * 2022-05-12 2024-03-15 峰米(重庆)创新科技有限公司 投影画面的校正方法、装置、系统、校正设备和投影设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7125122B2 (en) * 2004-02-02 2006-10-24 Sharp Laboratories Of America, Inc. Projection system with corrective image transformation
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP2007036482A (ja) * 2005-07-25 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報投影表示装置およびプログラム
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4906586B2 (ja) 2007-05-16 2012-03-28 三菱電機株式会社 歪み補正装置及びプログラム
JP2009200683A (ja) 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP5251202B2 (ja) 2008-03-27 2013-07-31 セイコーエプソン株式会社 プロジェクタの投射画像の歪補正方法、及びプロジェクタ
JP5239611B2 (ja) 2008-08-14 2013-07-17 セイコーエプソン株式会社 投写型表示装置および画像の補正方法
US8355601B2 (en) 2010-01-15 2013-01-15 Seiko Epson Corporation Real-time geometry aware projection and fast re-calibration
JP5834615B2 (ja) 2011-08-18 2015-12-24 株式会社リコー プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5961945B2 (ja) 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
CN105453546A (zh) 2016-03-30
JP6394081B2 (ja) 2018-09-26
EP3033875A1 (en) 2016-06-22
EP3033875B1 (en) 2019-10-09
US20160182873A1 (en) 2016-06-23
EP3033875A4 (en) 2016-08-10
JP2015057876A (ja) 2015-03-26
CN105453546B (zh) 2018-10-02
US9787960B2 (en) 2017-10-10
WO2015022999A1 (en) 2015-02-19
KR101766603B1 (ko) 2017-08-08

Similar Documents

Publication Publication Date Title
KR101766603B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램
US11503275B2 (en) Camera calibration system, target, and process
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
JP2008197917A (ja) 画像処理装置及び画像処理プログラム
JP6396499B2 (ja) 三次元情報の規模測定
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2018044942A (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
Papachristou et al. Markerless structure-based multi-sensor calibration for free viewpoint video capture
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
WO2024043055A1 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、及び記録媒体
US20240144624A1 (en) Measurement apparatus, measurement system, and measurement method
Hensel et al. Experimental setup for neural networks and camera-based navigation of mobile systems
Kshirsagar et al. Camera Calibration Using Robust Intrinsic and Extrinsic Parameters
KR20240076344A (ko) 저원가구조의 센서퓨전기술을 이용한 slam
US20160292841A1 (en) Image processing device, method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant