KR20100021519A - 화상 처리 장치 및 카메라 시스템 - Google Patents

화상 처리 장치 및 카메라 시스템 Download PDF

Info

Publication number
KR20100021519A
KR20100021519A KR1020107000749A KR20107000749A KR20100021519A KR 20100021519 A KR20100021519 A KR 20100021519A KR 1020107000749 A KR1020107000749 A KR 1020107000749A KR 20107000749 A KR20107000749 A KR 20107000749A KR 20100021519 A KR20100021519 A KR 20100021519A
Authority
KR
South Korea
Prior art keywords
address
input side
image data
output
pixel
Prior art date
Application number
KR1020107000749A
Other languages
English (en)
Other versions
KR101078623B1 (ko
Inventor
료 카미야
타케시 스즈키
Original Assignee
테크웰·저팬 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테크웰·저팬 가부시키가이샤 filed Critical 테크웰·저팬 가부시키가이샤
Publication of KR20100021519A publication Critical patent/KR20100021519A/ko
Application granted granted Critical
Publication of KR101078623B1 publication Critical patent/KR101078623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

이미지 센서(1)와, 소정의 왜곡 보정을 행하는 기하학 위치 계산 장치(6)와, 출력측 어드레스를 기준으로, 기하학 위치 계산 장치(6)의 계산결과에 기초하는 입력측 어드레스를 대응시킨 정보를 기억하는 제 1 어드레스 테이블(10)과, 각 출력측 어드레스를 각 입력측 어드레스에 기초하여 소트하는 소트부(11)와, 소트한 입력측 어드레스를 기준으로 출력측 어드레스를 대응시킨 정보를 기억하는 제 2 어드레스 테이블(12)과, 입력측 화상 데이터(DI)의 입력측 어드레스와 제 2 어드레스 테이블(12)에 기억하고 있는 입력측 어드레스를 매칭시키면서 출력측 화상 데이터(DO)를 출력하는 어드레스 매칭 장치(13)를 갖는다.

Description

화상 처리 장치 및 카메라 시스템{IMAGE PROCESSING DEVICE AND CAMERA SYSTEM}
본 발명은 화상 처리 장치 및 카메라 시스템에 관한 것으로, 특히 어안(魚眼) 렌즈를 통하여 전방위의 감시를 행할 때의 왜곡 보정 처리를 수반하는 화상 처리 장치 내지 전방위 카메라 시스템과 받아들인 화상을 왜곡되게 하는 처리를 수반하는 화상 처리 장치 내지 카메라 시스템의 적용에 유용한 것이다.
광각의 시야를 갖는 렌즈로서 어안 렌즈가 알려져 있고, 이 어안 렌즈를 사용하여 소정의 영역을 감시하는 전방위 카메라 시스템이 제안되어 있다. 이러한 전방위 카메라 시스템에서는, 일반적으로 파노라마, 틸트, 줌 및 회전 등의 기능을 구비하고 있다. 최근에는, 종래의 기계적인 파노라마, 틸트, 줌 방식에 대하여, 어안 렌즈로 받아들인 입력측 화상 데이터를 전기적으로 처리함으로써, 장치를 움직이지 않고 파노라마, 틸트, 줌 및 회전 등의 여러 기능을 실현함과 아울러, 화상의 왜곡도 제거하는 전방위 카메라 시스템도 제안되어 있다.
도 14는 종래기술에 따른 이 종류의 전방위 카메라 시스템의 블록선도이다. 동 도면에 나타내는 바와 같이, 촬상 수단인 CMOS의 이미지 센서(1)는 어안 렌즈(2)에서 받아들인 광각의 화상에 기초하여 전기적인 신호인 화상 데이터를 형성한다. 이 화상 데이터는, 어안 렌즈(2)에서 받아들였을 때의 왜곡 성분이 그대로 잔존하는 전기적인 디지털 신호이며, 컬러 처리부(3)에서 소정의 컬러 처리를 행함으로써 휘도 정보와 함께 색 정보도 갖는 입력측 화상 데이터(DI)로서 프레임 메모리(4)에 기록된다.
한편, 패러미터 설정기(5)에는, 어안 렌즈(2)에서 받아들인 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전에 관한 패러미터와, 어안 렌즈(2)의 중심 및 반경에 관한 패러미터가 설정되어 있다. 즉, 상기 패러미터의 입력장치로서 기능한다. 여기에서, 파노라마, 틸트, 회전에 관한 패러미터는 각도 정보로서, 줌은 배율정보로서, 또 어안 렌즈(2)의 중심 및 반경은 위치 및 수치 정보로서 각각 설정된다. 기하학 위치 계산 장치(6)는 패러미터 설정기(5)에 설정한 패러미터에 기초하여 출력으로서 잘라내는 영역의 화상의 어안 렌즈(2)에 의한 왜곡을 보정하기 위해, 표시기(9)의 표시화면(출력화면)(9a) 상의 각 화소에 대응하는, 입력측 화상 데이터(DI)에서의 각 화소의 기하학적 위치를 계산한다.
출력측 화상 데이터 생성부(7)는 기하학 위치 계산 장치(6)가 계산한 입력측 화상 데이터(DI)에서의 각 화소의 기하학적 위치와, 프레임 메모리(4)에 기억하고 있는 입력측 화상 데이터(DI)에 기초하여 왜곡이 보정된 출력측출력측 화상 데이터(DO)를 형성한다. 이 출력측 화상 데이터(DO)는 상기 기하학적 위치에 대응하는 출력화면상의 각 화소마다 입력측 화상 데이터(DI)에 기초하는 휘도 정보 등을 차례로 조합시킨 데이터이며, 각 화소마다 차례차례 버퍼 메모리(8)에 축적되고, 1프레임마다 표시기(9)의 표시화면(출력화면)(9a)상에 재생된다. 이렇게 하여, 표시화면(9a)에는 소정의 잘라내기 영역의 화상이며 또한 왜곡 보정 처리를 행한 화상이 재생된다.
또한, 상기 종래기술과 동종의 기술을 개시하는 간행물로서 다음 특허문헌 1이 존재한다.
특허문헌1:일본특개2000-83242호공보
(발명의 개시)
(발명이 해결하고자 하는 과제)
상기와 같은 전방위 카메라 시스템은, 촬상 수단인 점(P1)점(P1)호인 입력측 화상 데이터(DI)를 프레임 메모리(4)에 기록하고, 1프레임분의 입력측 화상 데이터(DI)의 기록이 종료한 후, 프레임 메모리(4)의 기억내용을 참조하여 출력측 화상 데이터(DO)를 형성하고 있으므로, 이러한 일련의 처리시에 타임래그를 발생시켜 버린다. 이러한 타임래그는 표시화면(9a)상의 표시 지연으로 되어 나타난다.
본 발명은, 상기 종래기술을 감안하여, 입력측 화상 데이터의 왜곡 보정 등, 기하학 위치의 소정의 처리를 수반하는 입력측 화상 데이터로부터 출력측 화상 데이터로의 변환시에, 프레임 메모리를 사용하지 않고 일련의 처리를 실현할 수 있는 카메라 시스템을 제공하는 것을 목적으로 한다.
(과제를 해결하기 위한 수단)
상기 목적을 달성하기 위한 본 발명의 제 1 태양은,
렌즈에서 받아들인 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 촬상 수단의 출력신호에 기초하는 입력측 화상 데이터에 있어서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하여, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합시켜서 출력측 화상 데이터를 형성함과 아울러, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 화상 처리 장치에 있다.
본 발명의 제 2 태양은,
렌즈에서 받아들인 화상을 나타내는 디지털 신호를 형성하는 촬상 수단과,
상기 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 상기 입력측 화상 데이터에서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합시켜 출력측 화상 데이터를 형성함과 아울러, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 3 태양은,
상기 제 2 태양에 기재하는 카메라 시스템에 있어서,
상기 어드레스 테이블은, 특정 영역에 관한 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 테이블 정보에서의 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열한 테이블 정보를 기억하고 있는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 4 태양은,
상기 제 3 태양에 기재하는 카메라 시스템에 있어서,
상기 어드레스 테이블은, 특정한 복수의 영역에 관하여 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열한 복수의 테이블 정보를 기억하고 있는 것을 특징으로 하는 카메라 시스템.
본 발명의 제 5 태양은,
렌즈에서 받아들인 화상을 나타내는 디지털 신호를 형성하는 촬상 수단과,
상기 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 상기 입력측 화상 데이터에서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터상의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
상기 어드레스 테이블에 기억하고 있는 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열하는 매칭용 소트 수단과,
상기 매칭용 소트 수단으로 재배열함으로써 입력측 어드레스를 기준으로 출력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 매칭용 어드레스 테이블과,
리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 매칭용 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터를 형성하고, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 6 태양은,
상기 제 2 내지 제 5 태양 중 어느 하나에 기재하는 화상 처리 장치 또는 카메라 시스템에 있어서,
상기 기하학 위치 계산 수단은, 상기 입력측 어드레스를 소수점까지 구해 소수값으로 출력함과 아울러,
상기 어드레스 매칭 수단은, 상기 입력측 화상 데이터에서 상기 입력측 어드레스의 정수부에 대응하는 특정 화소를 기준으로 하여 인접하는 복수의 화소의 휘도에 기초하여 상기 소수부의 값에 의해 가중치를 부여한 보간(interpolation)에 의해 상기 특정 화소의 휘도를 구하고, 이것을 출력측 화상 데이터의 상기 특정 화소에 대응하는 화소의 휘도로 하는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 7 태양은,
상기 제 6 태양에 기재하는 카메라 시스템에 있어서,
상기 어드레스 매칭 수단은 적어도 1라인분의 버퍼 메모리를 갖고, 이 버퍼 메모리에 기억하고 있는 각 화소의 휘도 정보를 이용하여 다음 라인에 속하는 상기 특정 화소의 휘도를 구하도록 구성한 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 8 태양은,
상기 제 2 내지 제 7 태양에 기재하는 카메라 시스템에 있어서,
상기 출력측 화상 데이터를 기억하는 버퍼 메모리를 더 갖고, 이 버퍼 메모리에는 상기 출력측 화상 데이터를, 상기 대조의 결과가 일치할 때마다 출력측 어드레스를 기준으로 랜덤하게 기록함과 아울러, 상기 출력화상 데이터의 판독은 시컨셜로 행하는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 9 태양은,
상기 제 2 내지 제 7 태양에 기재하는 카메라 시스템에 있어서,
상기 출력측 화상 데이터를 기억하는 버퍼 메모리를 더 갖고, 이 버퍼 메모리에는 상기 출력측 화상 데이터를, 상기 대조의 결과가 일치할 때마다 시컨셜로 기록하는 한편, 상기 버퍼 메모리의 메모리 어드레스를 상기 출력측 어드레스에 기초하여 재배열하는 판독용 소트 수단과, 이 판독용 소트 수단으로 재배열함으로써 상기 출력측 어드레스를 기준으로 상기 메모리 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 판독용 어드레스 테이블을 구비하고, 또한 상기 출력화상 데이터의 판독은 상기 판독용 어드레스 테이블의 상기 테이블 정보에 기초하여 랜덤하게 행하는 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 10 태양은,
상기 제 2 내지 제 7 태양의 어느 하나에 기재하는 화상 처리 장치 또는 카메라 시스템에 있어서,
상기 렌즈는 광각의 시야를 갖는 어안 렌즈이며,
상기 기하학 위치 계산 수단에서의 상기 변환 처리는 상기 영역의 화상의 왜곡을 보정하는 처리인 것을 특징으로 하는 카메라 시스템에 있다.
본 발명의 제 11 태양은,
상기 제 2 내지 제 7 태양의 어느 하나에 기재하는 화상 처리 장치 또는 카메라 시스템에 있어서,
상기 기하학 위치 계산 수단에서의 상기 변환 처리는 상기 영역의 화상을 왜곡시키기 위한 처리인 것을 특징으로 하는 카메라 시스템에 있다.
본 발명에 의하면 리얼타임으로 읽어들인 입력측 화상 데이터의 각 화소의 입력측 어드레스와 어드레스 테이블에 기억하고 있는 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터를 형성하도록 했으므로, 촬상 수단의 출력신호인 입력측 화상 데이터의 1프레임분을 기억하는 종래기술과 같은 프레임 메모리가 불필요하게 된다.
이 결과, 프레임 메모리에 1프레임분의 화상 데이터를 기록하는 시간에 기인하는 지연을 제거하여 받아들인 화상을 신속하게 재생화상으로서 표시할 수 있다. 이러한 효과는 특히 이동체를 촬상 대상으로 하는 감시 카메라 시스템 등에서 현저하게 된다.
도 1은 본 발명의 제 1 실시형태에 따른 전방위 카메라 시스템을 나타내는 블록선도이다.
도 2는 도 1에 나타내는 패러미터 설정기를 추출하고, 그 구체적인 구성을 개념적으로 나타내는 설명도이다.
도 3은 도 1에 나타내는 어안 렌즈의 설치방법에 기초하는 표시 모드를 개념적으로 나타내는 설명도이다.
도 4는 도 1에 나타내는 기하학 위치 계산 장치에서의 왜곡 보정의 원리를 설명하기 위한 설명도이다.
도 5는 도 1에 나타내는 기하학 위치 계산 장치에서의 처리 조작의 수순을 설명하기 위한 설명도이다.
도 6은 도 1에 나타내는 어안 렌즈에서의 상고(像高) 특성을 설명하기 위한 설명도이다.
도 7은 도 1에 나타내는 기하학 위치 계산 장치, 어드레스 테이블, 소트부 및 매칭용 어드레스 테이블의 관계를 개념적으로 나타내는 설명도이다.
도 8은 도 1에 나타내는 소트부에서의 소트 처리를 개념적으로 나타내는 설명도이다.
도 9는 도 1에 나타내는 소트부에서의 소트 처리를 실현하는 멀티 비트 처리방식의 하드 구성을 개념적으로 나타내는 설명도이다.
도 10은 도 1에 나타내는 어드레스 매칭 장치 및 버퍼 메모리의 상세한 구성을 개념적으로 나타내는 설명도이다.
도 11은 본 발명의 제 2 실시형태에 따른 전방위 카메라 시스템을 나타내는 블록선도이다.
도 12는 도 11에 나타내는 기하학 위치 계산 장치, 어드레스 테이블, 소트부 및 매칭용 어드레스 테이블의 관계를 개념적으로 나타내는 설명도이다.
도 13은 도 11에 나타내는 어드레스 매칭 장치 및 버퍼 메모리의 기능을 개념적으로 나타내는 설명도이다.
도 14는 종래기술에 따른 전방위 카메라 시스템을 나타내는 블록선도이다.
이하 본 발명의 실시형태를 도면에 기초하여 상세하게 설명한다.
<제 1 실시형태>
도 1은 본 발명의 제 1 실시형태에 따른 전방위 카메라 시스템을 나타내는 블록선도이다. 동 도면 중, 도 14와 동일 부분에는 동일 번호를 붙이고 있다. 도 1에 나타내는 바와 같이, 촬상 수단인 CMOS의 이미지 센서(1)는 어안 렌즈(2)에서 받아들인 광각의 화상에 기초하여 전기적인 신호인 화상 데이터를 형성한다. 이 화상 데이터는, 어안 렌즈(2)에서 받아들였을 때의 왜곡 성분이 그대로 잔존하는 전기적인 디지털 신호이며, 컬러 처리부(점(P1))에서 소정의 컬러 처리가 행해진다. 컬러 처리부(3)는 레이어 배열의 이미지 센서(1)의 출력신호로부터 화소단위의 입력측 화상 데이터(DI)를 형성한다. 이 결과, 어드레스 매칭 장치(13)에는, 화소마다 휘도 정보와 색 정보가 조합된 입력측 화상 데이터(DI)가 공급된다.
패러미터 설정기(5)는 어안 렌즈(2)에서 받아들인 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전에 관한 패러미터와, 어안 렌즈(2)의 중심 및 반경에 관한 패러미터가 설정되어 있다. 여기에서, 파노라마, 틸트, 회전에 관한 패러미터는 각도 정보로서, 줌은 배율 정보로서, 또 어안 렌즈(2)의 중심 및 반경은 위치 및 수치 정보로서 각각 설정된다.
도 2는 이 경우에 입력장치로서 기능하는 패러미터 설정기(5)의 구체적인 구성을 개념적으로 나타내는 설명도이다. 동 도면에 나타내는 바와 같이, 파노라마, 틸트에 관한 패러미터는 각도 정보로서 조작버튼(5a, 5b, 5c, 5d)을 조작함으로써 설정한다. 또, 줌에 관한 패러미터는 조작버튼(5e, 5f)을 조작함으로써 설정한다.
모드 선택 버튼(5g)은 어안 렌즈(2)의 설치방법의 차이에 기초하는 모드를 선택하는 것이다. 또한 상세히 기술하면, 도 3에 도시하는 바와 같이, 어안 렌즈(2)의 설치방법에 의해 주회(周回)표시 상방(책상 위 등) 및 주회표시 하방(천정 부착)으로 이루어져 어안 렌즈(2)의 주위를 주로 촬영하는 경우의 주회표시 모드와, 통상의 카메라와 같이 광축을 수평방향을 향하여 촬영하는 경우의 직교표시 모드가 있다. 그리고, 각 모드의 어느 하나를 선택함으로써, 어안 렌즈(2)의 입력에 대한 좌표 전개 방식을 변경하여 표시하는 것을 가능하게 하고 있다.
도 1에 나타내는 기하학 위치 계산 장치(점(P1))는 패러미터 설정기(5)에 설정한 패러미터에 기초하여 출력으로서 잘라내는 영역의 화상의 어안 렌즈(2)에 의한 왜곡을 보정하기 위하여, 표시기(9)의 표시화면(출력화면)(9a)상의 각 화소에 대응하는, 입력측 화상 데이터(DI)에서의 각 화소의 기하학적 위치를 계산한다.
이러한 기하학 위치 계산 장치(6)에서의 왜곡 보정을 위한 계산은, 예를 들면, 다음 원리를 이용함으로써 보다 적합하게 실시할 수 있다.
어안 렌즈(2)에 의해 이미지 센서(1)의 면에 생기는 원형 화상은 어안 렌즈(2)를 중심으로 하는 반경(R)의 반구체의 구면 형상 스크린에 투영한 화상과 등가이다. 그래서, 구면 화상을 평면 화상으로 변환하면 원하는 왜곡 보정을 행할 수 있다. 즉, 도 4에 도시하는 바와 같이, 반구면에 접해 있는 접평면(P)에 대하여 구의 중심(O)으로부터 광을 투영하여 생기는 평면 화상을 왜곡 보정 후의 출력화면으로서 표시할 수 있으면 된다.
여기에서, 시점을 이동시키는 것은 투영면이 되는 접평면(P)을 구면상에서 이동시키는 것과 동일하다. 접평면(P)의 이동방법에는 다음 3종류가 있다.
1) 회전; 접평면(P)의 시점 벡터(OO') 주위의 회전량(α)
2) 틸트; 시점 벡터(OO')의 수직방향의 각 이동량(β)
3) 파노라마; 시점 벡터(OO')의 수평방향의 각 이동량(θ)
그래서, 왜곡 보정(좌표 변화)에 관한 연산은 다음과 같은 수순에 의해 행한다.
접평면(P) 상의 XY 좌표계를 당해 전방위 카메라 시스템의 xyz 좌표계로 변환함으로써 어안 렌즈(2)의 둥근 화상을 평면 화상으로 변환한다.
구체적으로는, 도 5에 도시하는 바와 같이, 접평면(P)을 다음 수순에 따라 확대/축소 및 회전시킴으로써 좌표변화를 행한다.
1) 접평면(P)의 중심(O)을 좌표 (R,0,0)로 놓는다. 이때, 접평면(P) 내의 점PO(X,Y)의 공간좌표는 (R,X,Y)가 된다(도 5(a) 참조).
2) 접평면(P)을 설정된 줌 배율에 따라, 접평면(P)의 크기를 (1/줌 배율)로 확대/축소한다(도 5(b) 참조).
3) 접평면(P)을 x축 둘레로 y축으로부터 z축을 향하여 αrad(회전각) 회전시킨다(도 5(c) 참조).
4) 접평면(P)을 y축 둘레로 x축으로부터 z축을 향하여 (90°-β)rad(틸트각) 회전시킨다(도 5(d) 참조).
5) 접평면(P)을 z축 둘레로 x축으로부터 y축을 향하여 θrad(파노라마각) 회전시킨다(도 5(e) 참조).
이상의 조작에 의한, 접평면(P)상의 임의의 점 PO(X,Y)(도 4 참조)의 이동위치를 P1(X1,Y1,Z1)이라고 하면, P1은 회전행렬을 사용하여 다음 식과 같이 표현된다.
Figure pct00001
어안 렌즈(2)는 주위 360도의 풍경을 어안 원형으로 촬영하여 어안 화상을 형성하는 것인데, 일반적으로 그 입사각(θ)에 대한 고유의 왜곡 특성인 상고(像高) 특성을 가지고 있다. 즉, 도 6(a)에 나타내는 바와 같이, 상기 접평면(P)(도 4 내지 도 5 참조)상의 피사점인 임의의 점(P1 )과 어안 원형(2a)내의 어안 화상의 결상점(Q)은 상고 특성에 의해 대응되어 있다. 따라서, 도 6(a) 중의 거리(OQ)를 상고(h)라고 하는데, 이 상고(h)는 어안 렌즈(2)의 왜곡 특성에 따라, 어안 렌즈(2)마다 입사각(θ)에 대한 고유의 값으로 된다.
도 6(b)는 상고 특성의 1예를 나타내는 설명도이다. 동 도면에 나타내는 바와 같이, 입사각(θ)을 특정하면 당해 상고 특성 곡선(도면 중의 굵은 선)에 의해 입사각(θ)에 대응하는 상고(h)를 결정할 수 있다.
여기에서, 도 6(c)에 나타내는 바와 같이, 중심(O)과 점(P1)의 거리(OP1)는 다음 식으로 주어진다.
Figure pct00002
따라서, 점(P1)(X1,Y1,Z1)으로부터의 입사각(θ)은 다음 식으로 주어진다.
Figure pct00003
이 결과, 상기 식에서 구한 입사각(θ)과 도 6(b)에 나타내는 상고 특성에 기초하여 상고(h)를 구할 수 있다.
계속해서, 도 6(c)에 나타내는 점(P1')(점(P1)을 xy 평면에 투영한 점)을 상고(h)의 위치에 확대·축소하고, 도 6(a)에 나타내는 결상점(Q)의 좌표(x,y)를 구한다. 구체적으로는, OP1'=OP1·sinθ로부터, 결상점(Q)의 좌표는 다음 식으로 구해진다.
Figure pct00004
이렇게 하여, 접평면(P)의 임의의 점(P1)의 좌표(X1,Y1,Z1)는 왜곡을 보정한 상태에서 결상점(Q)의 좌표(x,y)로 변환된다. 즉, 출력화면상의 각 화소(접평면(P)상의 임의의 점에 상당함)에 대응하는, 입력측 화상 데이터에서의 각 화소(원형화상상의 Q점에 대응함)의 기하학적 위치를 계산할 수 있다. 여기에서, 본 형태에서의 기하학 위치는 소수점 이하까지 구하고 있다.
도 1에 나타내는 점(P1)레스 테이블(10)은, 출력화면상의 각 화소의 점(P1)레스인 출력측 점(P1)레스를 기준으로, 기하학 위치 계산 장치(6)의 계산결과에 기초하는 입력측 화상 데이터(DI)상의 각 화소의 점(P1)레스인 입력측 점(P1)레스를 대응시켜 조합한 테이블 정보를 기억하고 있다.
매칭용 소트부(11)는 점(P1)레스 테이블(10)에 기억하고 있는 각 출력측 어드레스를 각 입력측 어드레스에 기초하여 재배열한다(구체적 수법에 대해서는 뒤에 상세히 기술함).
매칭용 어드레스 테이블(12)은 매칭용 소트부(11)에서 재배열함으로써 입력측 어드레스를 기준으로 출력측 어드레스를 대응시켜 조합한 테이블 정보를 기억한다.
도 7은 상기 기하학 위치 계산 장치(6), 어드레스 테이블(10), 매칭용 소트부(11) 및 매칭용 어드레스 테이블(12)의 관계를 개념적으로 나타내는 설명도이다. 동 도면에 나타내는 바와 같이, 기하학 위치 계산 장치(6)에서는 출력화면(uv 평면)(20)의 화소를 기준으로 하여 입력측 화상 데이터(xy 평면)(DI)의 각 화소의 기하학적 위치를 대응시키고 있다. 이 결과, 어드레스 테이블(10)에서는 출력화면(20)의 화소의 순서, 즉 출력측 어드레스의 순서에 상기 기하학적 위치에 기초하는 입력측 어드레스가 대응하여 나열되어 있다. 또한, 도 7에서, 입력측 화상 데이터(DI) 중의 원형 영역(21)이 어안 렌즈(2)의 시야에 대응하는 영역, 원형 영역(21) 중의 부채형 영역(22)이 잘라내는 영역, 즉 출력화면(20)에 대응하는 영역이다.
매칭용 소트부(11)에서는, 상기 입력측 어드레스의 순서로 출력측 어드레스를 재배열하고 있다. 이 결과, 매칭용 어드레스 테이블(12)에서는 소트 후의 입력측 어드레스를 기준으로 하는 출력측 어드레스가 대응하여 나열되어 있다.
도 8은 매칭용 소트부(11)의 구체적인 처리의 1예를 개념적으로 나타내는 설명도이다. 본 예는 비트 소트라고 불리는 방식이며, 최초에, 도 8(a)에 나타내는 바와 같은 순서로 도면 중의 상하방향으로 나열되어 있는 각 5bit의 입력측 어드레스 데이터(상기 기하적 위치의 데이터)를 도 8(f)에 나타내는 바와 같이 오름차순으로 소트하는 경우의 태양을 나타내고 있다. 본 방식에서는 하위 자리수부터 차례로 「0」 내지 「1」의 상태를 검출하여 적당하게 재배열하고 있다. 즉, 도 8(a)에서의 최하위 비트에 주목하여 오름차순으로 재배열하면 도 8(b)와 같이 되고, 이 상태에서 2비트째에 주목하여 오름차순으로 재배열하면 도 8(c)와 같이 된다. 이하, 3비트째(도 8(c)), 4비트째(도 8(d)), 5비트째(도 8(e))에 각각 주목하여 동일한 조작을 반복함으로써 최종적으로 도 8(f)에 나타내는 바와 같은 소트를 행할 수 있다.
도 8(g)는 상기 소트를 하드적으로 실현하는 경우의 일례를 도시하는 블럭도이다. 동 도면에 나타내는 바와 같이, 처음에는 입력 버퍼(31)에 모든 상기 입력측 어드레스 데이터를 기입해 둔다. 즉, 도 8(a)에 나타내는 상태를 형성해 둔다. 이러한 상태에서, 우선 최하위 비트에 주목하여 그것이 「0」인 경우에는 셀렉터(32)에서 출력 버퍼(33)의 좌측부터, 「1」인 경우에는 셀렉터(32)에서 출력 버퍼(33)의 우측부터 차례로 해당하는 상기 입력측 어드레스 데이터를 기입한다. 이 결과, 출력 버퍼(33)에는 도 8(b)에 대응하는 상태가 형성된다. 이러한 상태에서, 입력 버퍼(31)와 출력 버퍼(33)의 기능을 역전시키고, 2 비트째에 주목하여 동일한 조작을 반복하고, 도 8(c)에 대응하는 상태를 형성한다. 이후 입력 버퍼(31)와 출력 버퍼(33) 사이에서 동일한 조작을 반복함으로써 최종적으로 도 8(f)에 나타내는 상태를 형성할 수 있다.
도 9는 도 8(g)에 나타내는 하드 구성을 8개의 입력 버퍼(31) 및 8개의 출력 버퍼(33)로 구성한 것이다. 이러한 병렬 구성에 의해 비트 소트를 4비트 단위로 행할 수 있어, 읽기·쓰기의 회수가 1/4이 되는 결과, 처리속도를 4배로 할 수 있다. 일반적으로는, 2n개의 입출력 버퍼(31, 33)의 병렬 구성에 의해 처리속도를 n배로 할 수 있다. 그래서, 입출력 버퍼(31, 33)의 개수는 원하는 처리속도에 맞추어 결정하면 된다.
도 1에 나타내는 어드레스 매칭 장치(13)는 어드레스 매칭부(14)와 출력측 화상 데이터 생성부(15)로 이루어진다. 이들 중, 어드레스 매칭부(14)는 컬러 처리부(3)가 송출하고, 리얼타임으로 읽어들인 입력측 화상 데이터(DI)의 각 화소의 입력측 어드레스와 매칭용 어드레스 테이블(12)에 기억하고 있는 입력측 어드레스의 대조를 행하여, 그 일치 내지 불일치를 검출한다. 출력측 화상 데이터 생성부(15)는 어드레스 매칭부(14)에서의 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 입력측 화상 데이터(DI)를 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터(DO)를 형성한다.
출력측 화상 데이터 생성부(15)에서 형성하는 출력측 화상 데이터(DO)는, 입력측 화상 데이터(DI)의 왜곡을 상기 기하학적 위치의 정보에 기초하여 제거한 것으로, 각 화소마다 입력측 화상 데이터(DI)에 기초하는 휘도 정보 및 색 정보를 차례로 조합한 데이터로서, 차례차례 버퍼 메모리(8)에 축적되고, 판독 회로(16)를 통하여 1점(P1)마다 표시기(9)의 표시화면(출력화면)(9a)상에 재생된다.
본 형태에서는, 상기 대조(매칭)의 결과가 일치할 때마다 출력측 어드레스를 기준으로, 출력측 화상 데이터(DO)를 버퍼 메모리(8)에 랜덤하게 기록한다. 또한, 출력측 화상 데이터(DO)의 판독은 판독 회로(16)를 통하여 시컨셜로 행한다. 이들의 점에 관해서는 뒤에 상세히 기술한다.
이렇게 하여, 표시화면(9a)에는 소정의 잘라내기 영역(부채형 영역(22))의 화상이며 또한 왜곡 보정 처리를 행한 화상이 재생된다.
이러한 본 형태에 의하면, 어드레스 매칭 장치(13)에서, 리얼타임으로 읽어들인 입력측 화상 데이터(DI)의 각 화소의 입력측 어드레스와 매칭용 어드레스 테이블(12)에 기억하고 있는 입력측 어드레스의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 일치한 입력측 어드레스에서의 입력측 화상 데이터(DI)를, 대응하는 출력측 어드레스와 출력측 화상 데이터 생성부(15)에서 조합하여 출력측 화상 데이터(DO)를 형성한다.
여기에서, 본 형태에서는 매칭용 소트부(11)를 설치하여, 입력측 어드레스의 순서로 출력측 어드레스를 재배열하고 있으므로, 어드레스 매칭부(14)에서의 소정의 어드레스 매칭을 합리적으로 행할 수 있다. 어드레스 매칭부(14)에 입력되는 입력측 화상 데이터(DI)의 순서로 매칭용 어드레스 테이블(12)의 입력측 어드레스가 배열되어 있어, 입력측 화상 데이터(DI)의 하나의 화소에 대하여 1회의 검색으로 모든 출력측 화상 데이터(DO)의 화소를 대응시킬 수 있기 때문이다.
도 10은 어드레스 매칭 장치(13) 및 버퍼 메모리(8)의 더욱 상세한 기능을 개념적으로 나타내는 설명도이다. 동 도면 (a)는 이미지 센서(1)의 어드레스의 순서로 판독되는 입력측 화상 데이터(DI)의 입력측 어드레스(y,x)와 이것에 대응하는 출력측 화상 데이터(DO)와의 대응관계를 나타내고 있다. 한편, 동 도면 (b)는 어드레스 매칭부(14)에서의 매칭 동작과, 출력측 화상 데이터 생성부(15)에서의 출력측 화상 데이터(DO)의 생성 태양 및 버퍼 메모리(8)로의 기록 형태를 나타내고 있다.
도 10(b)에 나타내는 바와 같이, 어드레스 매칭부(14)에서는, 리얼타임으로 차례차례 판독되는 입력측 화상 데이터(DI)의 입력측 어드레스와 매칭용 어드레스 테이블(12)에 기억되어 있는 입력측 어드레스(y,x)의 대조를 행하는데, 본 형태에어서의 매칭용 어드레스 테이블(12)의 입력측 어드레스(y,x)는 소수부를 가지고 있으므로, 그 정수부를 기준으로 판단한다. 구체적으로는, 입력측 화상 데이터(DI)의 입력측 어드레스의 y좌표를 나타내는 라인 카운터(41)와 x좌표를 나타내는 컬럼 카운터(42)의 내용을 비교한다. 여기에서, 라인 카운터(41)의 y좌표와 컬럼 카운터(42)의 x좌표는 정수값으로서 주어진다.
출력측 화상 데이터 생성부(15)에서는 어드레스가 일치한 화소 근방의 합계 4화소, 즉 입력측 어드레스(y,x)의 화소에 대하여 동일 라인상에서 인접하는 입력측 어드레스 (y,x-1)과 1라인 전에서 각각에 인접하는 입력측 어드레스 (y-1,x-1), (y-1,x)의 각 화소 데이터를 선택하고, 합계 4화소(43)로부터 출력측 화상 데이터(DO)의 각 화소 데이터(DO-1)를 형성한다. 이 때문에 출력측 화상 데이터 생성부(15)에는 1라인분의 라인 버퍼 메모리(44)를 가지고 있다. 또한, 전술한 바와 같이, 각 화소 데이터(DO-1)를 형성할 때는 매칭용 어드레스 테이블(12)의 입력측 어드레스(y,x)의 소수부의 값에 의해 인접하는 화소와의 휘도를 직선 보간에 의해 구하고 있다. 여기에서, 소수부의 값에 의해 가중치를 부여한 보간이면 직선 보간에 한정할 필요는 없다. 또한, 도시는 하지 않지만, 각 화소 데이터(DO-1)는 4화소(43)에 기초하여 생성하는 색 정보도 포함하고 있다.
출력측 화상 데이터 생성부(15)에서 형성된 각 화소 데이터(DO-1)는 버퍼 메모리(8)에 기록하는데, 이때 각 화소 데이터(DO-1)는 형성될 때마다 출력측 어드레스를 기준으로, 버퍼 메모리(8)에 랜덤하게 기록된다. 따라서, 버퍼 메모리(8)에는 출력 어드레스의 순서로 시컨셜로 나열한 상태에서 각 화소 데이터(DO-1)가 기록된다. 이 결과, 각 화소 데이터(DO-1)의 판독은 버퍼 메모리(8)의 머리부터 시컨셜로 행한다.
<제 2 실시형태>
도 1에 나타내는 제 1 실시형태에서는, 전술한 바와 같이, 버퍼 메모리(8)에는 출력측 어드레스의 순서로 각 화소 데이터(DO-1)가 나열되어 있으므로, 그만큼 각 화소 데이터(DO-1)의 판독을 위한 구성을 간소화할 수 있다.
반면, 출력측 화상 데이터 생성부(15)에서 형성한 각 화소 데이터(DO-1)를 버퍼 메모리(8)에 기록할 때는, 출력측 어드레스를 기준으로 랜덤하게 기록하고 있기 때문에, 입력측 화상 데이터(DI)에서 왜곡이 큰 부채형 영역(22)(도 10 참조)의 주변부에 대응하는 각 화소 데이터(DO-1)를 기록할 때는, 충분한 기록 속도를 확보하는 것이 곤란하게 되어, 경우에 따라서는 기록을 행하는 것이 불가능하게 된다. 상기 주변부에 대응하는 영역의 각 화소 데이터(DO-1)의 경우에는 데이터가 뒤얽혀 있어, 기록 간격이 버퍼 메모리(8)의 기록 능력을 초과하여 오버플로우 되어 버리는 경우가 있기 때문이다.
본 형태는 이러한 기록 불능 상태를 회피하기 위한 것으로, 버퍼 메모리(8)에 대한 기록 및 판독의 방식이 상이하다. 즉, 기록시에는 각 화상 데이터(DO-1)가 형성될 때마다 시컨셜로 기록하고, 판독할 때에 랜덤하게 판독하도록 하고 있다.
도 11은 본 발명의 제 2 실시형태에 따른 전방위 카메라 시스템을 나타내는 블록선도이다. 동 도면 중, 도 1과 동일부분에는 동일번호를 붙이고, 중복되는 설명은 생략한다. 본 형태에 있어서, 출력측 화상 데이터 생성부(25)에서 형성되는 출력측 화상 데이터(DO)는, 형성될 때마다 시컨셜로 차례차례 버퍼 메모리(8)에 기록한다. 한편, 버퍼 메모리(8)로부터는 판독용 어드레스 테이블(18)을 참조하면서 판독 회로(26)를 통하여 출력측 화상 데이터(DO)가 랜덤하게 판독되어 표시기(9)의 표시화면(9a)에 재생된다.
여기에서, 판독용 어드레스 테이블(18)에는, 판독용 소트부(17)에서 재배열함으로써 출력측 어드레스를 기준으로 버퍼 메모리(8)의 메모리 어드레스를 대응시켜 조합한 테이블 정보를 기억하고 있다. 또, 판독용 소트부(17)는 매칭용 어드레스 테이블(12)에 기억하는 출력측 어드레스에 기초하여 버퍼 메모리(8)의 메모리 어드레스를 재배열하는 것이다.
이렇게 하여, 본 형태에 의하면, 버퍼 메모리(8)로의 출력측 화상 데이터(DO)의 기록은 시컨셜로 행하므로, 이것을 랜덤하게 행하는 경우와 같은 기록 정보의 오버플로를 생기게 하지 않는다. 그 대신 버퍼 메모리(8)에는 출력측 화상 데이터(DO)가 랜덤하게 기록되어 있으므로, 판독시에는 출력측 어드레스의 순서로 랜덤하게 판독할 필요가 있다. 이러한 판독을 위한 정보는 판독용 어드레스 테이블(18)에 기억되어 있으므로, 이 판독용 어드레스 테이블(18)의 기억내용을 참조하면 소정 대로 출력측 어드레스의 순서로 랜덤하게 판독할 수 있다. 이 점을 도 12에 기초하여 더욱 상세하게 설명한다.
도 12는 도 11에 나타내는 기하학 위치 계산장치, 어드레스 테이블, 소트부 및 매칭용 어드레스 테이블의 관계를 개념적으로 나타내는 설명도이며, 제 1 실시형태에서의 도 7에 대응하는 것이다. 그래서, 도 7과 동일부분에는 동일번호를 붙여, 중복되는 설명은 생략한다.
도 12에 나타내는 바와 같이, 상기와 같은 매칭은 매칭용 어드레스 테이블(12)의 입력측 어드레스 테이블(y, x)을 이용하여 행해진다. 한편, 판독용 어드레스 테이블(18)은 매칭용 어드레스 테이블(12)의 출력측 어드레스 테이블(v,u)을 이용하여 작성된다. 즉, 출력측 어드레스 테이블(v,u)의 출력측 어드레스를 버퍼 메모리(8)의 어드레스 번호표(19)의 순서로 나열한 대조표를 작성하고, 다음에 판독용 소트부(17)에서 상기 대조표의 어드레스 번호를 출력측 어드레스를 기준으로 재배열함으로써, 출력측 어드레스에 대응하는 버퍼 메모리(8)의 어드레스를 기술한 테이블을 작성할 수 있다. 이것을 판독용 어드레스 테이블(18)에 기억해 두고, 이 정보에 기초하여 랜덤하게 판독하면 시컨셜 나열된 출력측 화상 데이터(DO)를 재생할 수 있다.
도 13은 도 11에 나타내는 어드레스 매칭 장치 및 버퍼 메모리의 기능을 개념적으로 나타내는 설명도로, 제 1 실시형태에서의 도 10에 대응하는 것이다. 그래서, 도 10과 동일부분에는 동일번호를 붙이고, 중복되는 설명은 생략한다. 동 도면은, 출력측 화상 데이터 생성부(15)에서 형성한 각 화상 데이터(DO-1)가 형성되는 때마다 버퍼 메모리(8)의 머리부터 차례차례 시컨셜로 기록되어 기록되고 있는 것을 나타내고 있다.
이와 같이, 본 형태에 의하면 버퍼 메모리(8)로의 읽기는 시컨셜로 행할 수 있으므로 읽어들일 때의 데이터의 오버플로를 회피할 수 있다. 반면 판독시에는 랜덤하게 판독할 필요가 있는데, 이 경우에는 판독의 간격은 일정하기 때문에 정보의 오버플로를 생기게 하지 않는다.
상기 제 1 및 제 2 실시형태에서는 매칭용 소트부(11)를 설치하고, 입력측 어드레스의 순서로 출력측 어드레스를 재배열하고 있는데, 반드시 소트를 행할 필요는 없다. 매칭을 위한 검색회수는 늘어나지만, 본 발명은 소트를 행하지 않는 경우도 포함한다. 즉, 어드레스 테이블(10) 및 어드레스 매칭 장치(13)만 구비하고 있으면, 매칭 처리의 효율은 뒤떨어지지만, 종래기술에서의 점(P1) 메모리(4)(도 14)를 제거한 카메라 시스템을 구성할 수는 있다.
또, 어드레스 테이블(10)과 동일한 기능을 갖는 어드레스 테이블에 특정 영역에 관한 테이블 정보를 기억시킴과 아울러, 각 입력측 어드레스에 대응시켜 각 출력측 어드레스를 미리 재배열해 둠으로써 상기 특정 영역에 관해서는, 매칭용 어드레스 테이블(12)이 기억하고 있는 소트 완료된 테이블 정보와 동일한 테이블 정보를 기억시킬 수 있다. 따라서, 이 경우, 상기 특정 영역에 관해서는, 매칭용 소트부(11)를 갖는 어드레스 매칭과 동일한 정도의 합리적인 매칭 처리를 행할 수 있다.
여기에서, 상기 특정 영역을 복수 설정하고, 각 영역마다 상기와 같은 소트 완료된 테이블 정보를 기억시켜 둠으로써, 각 영역에 관하여 합리적인 매칭 처리를 행할 수 있다. 이 경우, 각 영역을 자동적으로 적당하게 전환하도록 제어해도 된다.
또, 상기 제 1 및 제 2 실시형태에서는, 1라인 전의 화소도 이용하여 출력측 화상 점(P1)터(DO)의 각 화소 데이터(DO-1)를 형성하고 있으므로, 1라인분의 라인 버퍼 메모리(44)를 설치했지만, 동일 라인상에서 인접하는 입력측 어드레스만을 이용하는 경우에는, 당연 라인 버퍼 메모리(44)는 불필요하게 된다. 한편, 2라인분 이상의 라인 버퍼 메모리를 설치하면, 그만큼 많은 입력측 어드레스의 정보를 이용한 고정밀도의 출력측 화상 데이터(DO)를 형성할 수 있다. 따라서, 재생 화상의 정밀도를 고려하여 라인 버퍼 메모리의 수를 선택하면 된다.
상기 제 1 및 제 2 실시형태는 렌즈로서 어안 렌즈(2)를 갖는 경우이므로, 기하학 위치 계산 장치(6)에서의 계산은 어안 렌즈(2)에 의한 입력측 화상 데이터(DI)의 왜곡을 보정하기 위한 것이지만, 이것에 한정되는 것은 아니다. 통상의 렌즈에서 받아들인 왜곡을 갖지 않는 입력측 화상 데이터(DI)에 원하는 왜곡을 주는 것과 같은 처리를 행하는 경우도 본 발명에 포함된다. 즉, 기하학 위치 계산 수단은 렌즈에서 받아들인 화상의 왜곡 보정뿐만 아니라, 왜곡이 없는 화상을 왜곡시키는 보정 등의 처리를 행하는 것도 포함한다. 요컨대, 렌즈에서 받아들인 화상의 기하학적 위치의 변환 처리를 행하는 것이면 특별한 제한은 없다.
1 이미지센서 2 어안 렌즈
5 패러미터 설정기 6 기하학 위치 계산 장치
10 어드레스 테이블 11 소트부
12 제 2 어드레스 테이블 13 어드레스 매칭 장치
20 출력화면

Claims (11)

  1. 렌즈에서 받아들인 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
    상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 촬상 수단의 출력신호에 기초하는 입력측 화상 데이터에서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
    상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
    리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터를 형성함과 아울러, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  2. 렌즈에서 받아들인 화상을 나타내는 디지털 신호를 형성하는 촬상 수단과,
    상기 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
    상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 상기 입력측 화상 데이터에서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
    상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
    리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터를 형성함과 아울러, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 카메라 시스템.
  3. 제 2 항에 있어서,
    상기 어드레스 테이블은 특정 영역에 관한 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 테이블 정보에서의 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열한 테이블 정보를 기억하고 있는 것을 특징으로 하는 카메라 시스템.
  4. 제 3 항에 있어서,
    상기 어드레스 테이블은 특정 복수개 영역에 관하여 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열한 복수의 테이블 정보를 기억하고 있는 것을 특징으로 하는 카메라 시스템.
  5. 렌즈에서 받아들인 화상을 나타내는 디지털 신호를 형성하는 촬상 수단과,
    상기 화상 중 표시하고 싶은 영역을 잘라내기 위한 파노라마, 틸트, 줌 및 회전 중 적어도 하나에 관한 패러미터가 설정되어 있는 패러미터 설정 수단과,
    상기 패러미터에 기초하여 상기 영역의 화상의 기하학적 위치의 소정의 변환 처리를 행하도록, 출력화면상의 각 화소에 대응하는, 상기 입력측 화상 데이터에서의 각 화소의 기하학적 위치를 계산하는 기하학 위치 계산 수단과,
    상기 출력화면상의 각 화소의 어드레스인 출력측 어드레스를 기준으로, 상기 기하학 위치 계산 수단의 계산결과에 기초하는 상기 입력측 화상 데이터상의 각 화소의 어드레스인 입력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 어드레스 테이블과,
    상기 어드레스 테이블에 기억하고 있는 상기 각 출력측 어드레스를 상기 각 입력측 어드레스에 기초하여 재배열하는 매칭용 소트 수단과,
    상기 매칭용 소트 수단으로 재배열함으로써 입력측 어드레스를 기준으로 출력측 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 매칭용 어드레스 테이블과,
    리얼타임으로 읽어들인 상기 입력측 화상 데이터의 각 화소의 입력측 어드레스와 상기 매칭용 어드레스 테이블에 기억하고 있는 상기 입력측 어드레스와의 대조를 행하고, 양 입력측 어드레스가 일치하는 경우에, 그 입력측 어드레스에서의 상기 입력측 화상 데이터를, 대응하는 출력측 어드레스와 조합하여 출력측 화상 데이터를 형성하고, 이것을 송출하는 어드레스 매칭 수단을 갖는 것을 특징으로 하는 카메라 시스템.
  6. 제 2 항 내지 제 5 항 중 어느 한 항에 기재된 화상 처리 장치 또는 카메라 시스템에 있어서,
    상기 기하학 위치 계산 수단은, 상기 입력측 어드레스를 소수점까지 구하여 소수값으로 출력함과 아울러,
    상기 어드레스 매칭 수단은, 상기 입력측 화상 데이터에서 상기 입력측 어드레스의 정수부에 대응하는 특정 화소를 기준으로 하여 인접하는 복수의 화소의 휘도에 기초하여 상기 소수부의 값에 의해 가중치를 부여한 보간에 의해 상기 특정 화소의 휘도를 구하고, 이것을 출력측 화상 데이터의 상기 특정 화소에 대응하는 화소의 휘도로 하는 것을 특징으로 하는 카메라 시스템.
  7. 제 6 항에 있어서,
    상기 어드레스 매칭 수단은, 적어도 1라인분의 버퍼 메모리를 갖고, 이 버퍼 메모리에 기억하고 있는 각 화소의 휘도 정보를 이용하여 다음 라인에 속하는 상기 특정 화소의 휘도를 구하도록 구성한 것을 특징으로 하는 카메라 시스템.
  8. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 출력측 화상 데이터를 기억하는 버퍼 메모리를 더 갖고, 이 버퍼 메모리에는 상기 출력측 화상 데이터를, 상기 대조의 결과가 일치할 때마다 출력측 어드레스를 기준으로 랜덤하게 기록함과 아울러, 상기 출력화상 데이터의 판독은 시컨셜로 행하는 것을 특징으로 하는 카메라 시스템.
  9. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 출력측 화상 데이터를 기억하는 버퍼 메모리를 더 갖고, 이 버퍼 메모리에는 상기 출력측 화상 데이터를, 상기 대조의 결과가 일치할 때마다 시컨셜로 기입하는 한편, 상기 버퍼 메모리의 메모리 어드레스를 상기 출력측 어드레스에 기초하여 재배열하는 판독용 소트 수단과, 이 판독용 소트 수단으로 재배열함으로써 상기 출력측 어드레스를 기준으로 상기 메모리 어드레스를 대응시켜 조합한 테이블 정보를 기억하는 판독용 어드레스 테이블을 구비하고, 또한 상기 출력화상 데이터의 판독은 상기 판독용 어드레스 테이블의 상기 테이블 정보에 기초하여 랜덤하게 행하는 것을 특징으로 하는 카메라 시스템.
  10. 제 2 항 내지 제 9 항 중 어느 한 항에 기재된 화상 처리 장치 또는 카메라 시스템에 있어서,
    상기 렌즈는 광각의 시야를 갖는 어안 렌즈이며,
    상기 기하학 위치 계산 수단에서의 상기 변환 처리는 상기 영역의 화상의 왜곡을 보정하는 처리인 것을 특징으로 하는 카메라 시스템.
  11. 제 2 항 내지 제 9 항 중 어느 한 항에 기재된 화상 처리 장치 또는 카메라 시스템에 있어서,
    상기 기하학 위치 계산 수단에서의 상기 변환 처리는 상기 영역의 화상을 왜곡시키기 위한 처리인 것을 특징으로 하는 카메라 시스템.
KR1020107000749A 2007-07-20 2008-07-18 화상 처리 장치 및 카메라 시스템 KR101078623B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-189807 2007-07-20
JP2007189807 2007-07-20

Publications (2)

Publication Number Publication Date
KR20100021519A true KR20100021519A (ko) 2010-02-24
KR101078623B1 KR101078623B1 (ko) 2011-11-01

Family

ID=40281107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107000749A KR101078623B1 (ko) 2007-07-20 2008-07-18 화상 처리 장치 및 카메라 시스템

Country Status (7)

Country Link
US (2) US8325247B2 (ko)
EP (1) EP2180447B1 (ko)
JP (1) JP4418029B2 (ko)
KR (1) KR101078623B1 (ko)
CN (1) CN101755285B (ko)
TW (1) TWI439125B (ko)
WO (2) WO2009013845A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145569A (ko) 2019-06-21 2020-12-30 박민영 안내음성과 층간소음 알림버튼을 통한 인터폰 층간소음알림시스템
KR20220149196A (ko) 2021-04-30 2022-11-08 한윤수 얼굴 인식 인터폰
KR102536819B1 (ko) 2022-07-05 2023-05-26 동화전자산업주식회사 스피커의 소음감지를 통한 호출시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5316811B2 (ja) * 2010-01-18 2013-10-16 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP5529568B2 (ja) * 2010-02-05 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
WO2011158344A1 (ja) * 2010-06-16 2011-12-22 コニカミノルタオプト株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
JPWO2011158343A1 (ja) * 2010-06-16 2013-08-15 コニカミノルタ株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
JPWO2011161746A1 (ja) * 2010-06-21 2013-08-19 コニカミノルタ株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
TWI423659B (zh) 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
JP2013009304A (ja) * 2011-05-20 2013-01-10 Ricoh Co Ltd 画像入力装置、会議装置、画像処理制御プログラム、記録媒体
US9196022B2 (en) 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods
KR102179262B1 (ko) 2014-06-11 2020-11-16 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
US9967500B2 (en) * 2014-09-29 2018-05-08 Samsung Electronics Co., Ltd. Systems and methods of selective output for reducing power
KR102328020B1 (ko) 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
US10040394B2 (en) 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
US10453173B2 (en) 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
US9942475B2 (en) * 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
US10140687B1 (en) 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10142544B1 (en) 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US20180048877A1 (en) * 2016-08-10 2018-02-15 Mediatek Inc. File format for indication of video content
JP6394682B2 (ja) * 2016-11-15 2018-09-26 株式会社リコー 方法および画像処理装置
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
JP7302647B2 (ja) * 2020-03-03 2023-07-04 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
JPH06284424A (ja) * 1993-03-25 1994-10-07 Kyocera Corp デジタル電子カメラを用いた簡易監視装置
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
US6345129B1 (en) 1999-02-03 2002-02-05 Oren Aharon Wide-field scanning tv
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
JP4772281B2 (ja) * 2003-07-28 2011-09-14 オリンパス株式会社 画像処理装置及び画像処理方法
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2005286820A (ja) * 2004-03-30 2005-10-13 Vistapoint Technology Inc 監視システム
US20060038895A1 (en) * 2004-08-19 2006-02-23 Nissan Motor, Co., Ltd. Image processing device
US7970171B2 (en) * 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
JP4830652B2 (ja) * 2006-06-12 2011-12-07 日産自動車株式会社 画像処理装置及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145569A (ko) 2019-06-21 2020-12-30 박민영 안내음성과 층간소음 알림버튼을 통한 인터폰 층간소음알림시스템
KR20220149196A (ko) 2021-04-30 2022-11-08 한윤수 얼굴 인식 인터폰
KR102536819B1 (ko) 2022-07-05 2023-05-26 동화전자산업주식회사 스피커의 소음감지를 통한 호출시스템

Also Published As

Publication number Publication date
WO2009013845A1 (ja) 2009-01-29
WO2009014075A1 (ja) 2009-01-29
JP4418029B2 (ja) 2010-02-17
JPWO2009014075A1 (ja) 2010-09-30
US20130222532A1 (en) 2013-08-29
US9118831B2 (en) 2015-08-25
TWI439125B (zh) 2014-05-21
CN101755285A (zh) 2010-06-23
EP2180447A4 (en) 2012-01-25
EP2180447A1 (en) 2010-04-28
US8325247B2 (en) 2012-12-04
EP2180447B1 (en) 2016-12-28
CN101755285B (zh) 2012-07-04
US20100201833A1 (en) 2010-08-12
KR101078623B1 (ko) 2011-11-01
TW200917825A (en) 2009-04-16

Similar Documents

Publication Publication Date Title
KR101078623B1 (ko) 화상 처리 장치 및 카메라 시스템
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP5924978B2 (ja) 画像処理装置および画像処理方法
US8036482B2 (en) Image processing apparatus and method, program, and recording medium
CN111738923A (zh) 图像处理方法、设备及存储介质
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
JP2012138068A (ja) 画像生成装置
EP1377039A2 (en) Compound eye image pickup apparatus and electronic apparatus equipped therewith
JP4935440B2 (ja) 画像処理装置およびカメラ装置
TWI602154B (zh) 環景影像的拼接方法及其系統
JP5715793B2 (ja) 画像処理装置及び画像処理方法
JP4369867B2 (ja) センサの回転により画像の解像度を高めるシステム
CN113475058A (zh) 用于处理图像传感器的测量数据的方法和处理装置
TWI627603B (zh) 影像視角轉換方法及其系統
EP3564917B1 (en) A method for detecting motion in a video sequence
JP2008227562A (ja) 画像処理装置、カメラ装置、およびカメラシステム
JP4584768B2 (ja) 画素欠陥補正装置
JP2018191154A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018005389A (ja) 画像変形回路、画像処理装置、及び画像変形方法
JPWO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP2010004227A (ja) 撮像装置
JP3327961B2 (ja) 画像処理装置
JP2004187047A (ja) 高解像度撮像装置
JPH07284013A (ja) 画像取り扱い装置
JPS62239279A (ja) ラスタ走査における走査方向切替方式

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151007

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161014

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171017

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181012

Year of fee payment: 8