KR102655093B1 - 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 - Google Patents
다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 Download PDFInfo
- Publication number
- KR102655093B1 KR102655093B1 KR1020207027485A KR20207027485A KR102655093B1 KR 102655093 B1 KR102655093 B1 KR 102655093B1 KR 1020207027485 A KR1020207027485 A KR 1020207027485A KR 20207027485 A KR20207027485 A KR 20207027485A KR 102655093 B1 KR102655093 B1 KR 102655093B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- enlarged
- transition
- area
- entire
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 141
- 230000015654 memory Effects 0.000 claims abstract description 101
- 238000003702 image correction Methods 0.000 claims abstract description 33
- 230000007704 transition Effects 0.000 claims description 122
- 238000012937 correction Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 230000002542 deteriorative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/04—Roll-film cameras
- G03B19/07—Roll-film cameras having more than one objective
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Cameras In General (AREA)
Abstract
(과제) 본 발명은, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화할 수 있는 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법을 제공한다.
(해결수단) 다안촬영에 사용되는 다안촬영용 카메라 헤드(2)와, 복수의 다안촬영용 카메라 헤드(2)가 접속되는 화상처리장치(3)로 이루어지는 다안 카메라 시스템(1)으로서, 다안촬영용 카메라 헤드(2)는, 부분화상 취득부(24)와, 파라미터 기억부(23)와, 화상보정부(26)를 갖고, 화상처리장치(3)는, 입력처리부(31)와, 리사이즈 처리부(32)와, 전체화상용 메모리(33)를 갖는다.
(해결수단) 다안촬영에 사용되는 다안촬영용 카메라 헤드(2)와, 복수의 다안촬영용 카메라 헤드(2)가 접속되는 화상처리장치(3)로 이루어지는 다안 카메라 시스템(1)으로서, 다안촬영용 카메라 헤드(2)는, 부분화상 취득부(24)와, 파라미터 기억부(23)와, 화상보정부(26)를 갖고, 화상처리장치(3)는, 입력처리부(31)와, 리사이즈 처리부(32)와, 전체화상용 메모리(33)를 갖는다.
Description
본 발명은, 다안촬영(多眼撮影)에 사용되는 다안 카메라 시스템(多眼 camera system), 다안촬영용 카메라 헤드(多眼撮影用 camera head), 화상처리장치(畵像處理裝置), 다안촬영용 프로그램 및 다안촬영방법에 관한 것이다.
4K 해상도 등을 갖는 고해상도 카메라가 최근에 실용화되어, 광각(廣角)으로 고해상도의 화상(畵像)을 필요로 하는 감시 카메라나 산업용 카메라에 대한 응용이 기대되고 있다. 그러나 고액의 부품, 장치의 대형화, 처리속도의 느림 등의 이유로부터 널리 보급되기에는 도달하지 못하였다. 그래서 종래에 있어서의 단안(單眼)의 카메라 헤드(camera head)를 복수 사용하여 광범위한 촬영영역을 동시에 촬영하고, 화상처리에 의하여 접합함으로써 하나의 전체화상(全體畵像)을 생성하는 다안 카메라 시스템이 제안되어 있다.
상기와 같은 다안 카메라 시스템으로서, 예를 들면 국제공개 제2014/192487호에는, 복수의 촬영소자로부터 얻어진 화상을 사용하여 원하는 화상출력을 얻는 다안촬영 시스템이 개시되어 있다(특허문헌1).
단, 상기와 같은 다안 카메라 시스템에 있어서는, 복수의 카메라 헤드가 평면 상에 또는 원통곡면 상에 배열되어 있는 경우에, 통상의 렌즈를 사용하는 한 각 카메라 헤드에 의하여 촬영된 화상이 서로 다른 퍼스펙티브(perspective)(원근감)를 갖는다. 이 때문에 각 화상을 그대로 접합하여도 각 화상의 양 단부(兩 端部)에 있어서의 왜곡에 의하여 접합장소가 연속적으로 되지 않는다는 문제가 있다.
여기에서 각 카메라 헤드에 의하여 촬영된 각 화상을 가상구체(假想球體)에 투영하고, 각 화상의 중심점을 가상구체의 중심과 일치시킴으로써 직선성(直線性)의 왜곡을 보정하는 처리가 종래에 실시되고 있다. 또한 당해 처리와 동시에, 각 카메라 헤드에 설치된 렌즈에 고유한 왜곡을 보정하는 처리도 실시되고 있다. 이들의 보정처리에 의하여 각 화상의 왜곡이 보정되기 때문에, 접합장소가 연속적으로 되어 위화감이 없는 전체화상이 얻어지도록 되어 있다.
그러나 종래의 다안 카메라 시스템에 있어서는, 상기에서 설명한 각종의 보정처리가, 복수의 카메라 헤드에 접속된 화상처리장치측에서 실시되고 있다. 이 때문에, 사용되는 카메라 헤드의 대수(臺數)가 많아지게 될수록 화상처리장치에 가해지는 처리부하가 증대되어, 처리속도가 지연된다는 문제가 있다.
또한 종래의 화상처리장치에 있어서는, 모든 카메라 헤드로부터 출력된 각 화상이 일단, 그대로의 해상도로 프레임 메모리(frame memory)에 기입되도록 되어 있다. 이 때문에, 사용하는 카메라 헤드의 대수나 카메라의 해상도가 커지게 될수록 프레임 메모리에 필요한 메모리 용량이 증대되므로, 화상처리장치가 대형화되어 소비전력이나 부품 코스트의 증대를 초래하여 버린다는 문제가 있다.
또한 상기에서 설명한 메모리 용량의 관계상, 다안 카메라 시스템의 설계에 있어서는, 처리할 수 있는 최대의 카메라 헤드 수를 상정하지 않으면 안 된다. 이 때문에 종래의 다안 카메라 시스템에서는 당해 카메라 헤드 수에 맞춘 다안 카메라 시스템의 최적화가 곤란하다는 문제도 있다.
본 발명은, 이와 같은 문제점을 해결하기 위하여 이루어진 것으로서, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화할 수 있는 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법을 제공하는 것을 목적으로 하고 있다.
본 발명에 관한 다안 카메라 시스템은, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화시킨다는 과제를 해결하기 위하여, 다안촬영에 사용되는 다안촬영용 카메라 헤드와, 복수의 상기 다안촬영용 카메라 헤드가 접속되는 화상처리장치로 이루어지는 다안 카메라 시스템으로서, 상기 다안촬영용 카메라 헤드는, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고 전체화상의 일부를 구성하는 전체화상용 데이터로서 출력하는 화상보정부를 갖고 있고, 상기 화상처리장치는, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리를 갖는다.
또한 본 발명에 관한 다안 카메라 시스템의 하나의 태양으로서, 확대화상의 화질을 저하시키지 않고 확대화상용 메모리에 필요한 용량을 저감시킨다는 과제를 해결하기 위하여, 상기 다안촬영용 카메라 헤드는, 상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 더 갖고 있고, 상기 화상처리장치는, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부를 더 갖고 있어도 좋다.
본 발명에 관한 다안촬영용 카메라 헤드는, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화시킨다는 과제를 해결하기 위하여, 다안촬영에 사용되는 다안촬영용 카메라 헤드로서, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고 전체화상의 일부를 구성하는 전체화상용 데이터로서 출력하는 화상보정부를 갖는다.
또한 본 발명에 관한 다안촬영용 카메라 헤드의 하나의 태양으로서, 확대화상의 화질을 저하시키지 않고 확대화상용 메모리의 용량을 저감시킨다는 과제를 해결하기 위하여, 복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖고 있어도 좋다.
본 발명에 관한 화상처리장치는, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화시킨다는 과제를 해결하기 위하여, 상기의 다안촬영용 카메라 헤드가 복수 접속되는 화상처리장치로서, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리를 갖는다.
또한 본 발명에 관한 화상처리장치의 하나의 태양으로서, 확대화상의 화질을 저하시키지 않고 확대화상용 메모리의 용량을 저감시킨다는 과제를 해결하기 위하여, 상기의 다안촬영용 카메라 헤드가 복수 접속되는 상기의 화상처리장치로서, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부를 갖고 있어도 좋다.
또한 본 발명에 관한 화상처리장치의 하나의 태양으로서, 변이영역을 자동적으로 검출하고 그 확대화상을 자동적으로 기록한다는 과제를 해결하기 위하여, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여 상기 전체화상에 있어서의 변이영역을 검출하고 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를 갖고 있어도 좋다.
본 발명에 관한 다안촬영용 프로그램은, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화시킨다는 과제를 해결하기 위하여 다안촬영에 사용되는 다안촬영용 프로그램으로서, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고 전체화상의 일부를 구성하는 전체화상용 데이터로서 출력하는 화상보정부로서 다안촬영용 카메라 헤드를 기능시킨다.
본 발명에 관한 다안촬영방법은, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화시킨다는 과제를 해결하기 위하여 다안촬영에 사용되는 다안촬영용 카메라 헤드를 사용한 다안촬영방법으로서, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하는 부분화상 취득스텝과, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고 전체화상의 일부를 구성하는 전체화상용 데이터로서 출력하는 화상보정스텝을 갖는다.
본 발명에 관한 다안 카메라 시스템의 다른 태양은, 다안촬영에 사용되는 다안촬영용 카메라 헤드와, 복수의 상기 다안촬영용 카메라 헤드가 접속되는 화상처리장치로 이루어지는 다안 카메라 시스템으로서, 상기 다안촬영용 카메라 헤드는, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖고 있고, 상기 화상처리장치는, 상기 다안촬영용 카메라 헤드와는 별체로 구성되어 있고, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를 갖는다.
본 발명에 관한 화상처리장치의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치로서, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를 갖는다.
본 발명에 관한 화상처리장치용 프로그램의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치를 기능시키는 화상처리장치용 프로그램으로서, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부로 화상처리장치를 기능시키는 화상처리장치용 프로그램을 기록한 기록매체이다.
본 발명에 관한 다안촬영방법의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖는 다안촬영용 카메라 헤드와, 상기 다안촬영용 카메라 헤드가 복수 접속되는 화상처리장치를 사용한 다안촬영방법으로서, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득스텝과, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정스텝과, 상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 확대정보 취득스텝과, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대화상용 데이터 출력스텝과, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정스텝에 있어서 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리스텝과, 상기 입력처리스텝에 있어서 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리스텝과, 상기 리사이즈 처리스텝에 있어서 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상 출력스텝과, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 데이터 취득스텝과, 상기 확대화상용 데이터 취득스텝에 있어서 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 출력스텝과, 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 다안촬영용 카메라 헤드로 출력하는 확대정보 송신스텝과, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록스텝을 갖는다.
본 발명에 관한 다안 카메라 시스템의 다른 태양은, 다안촬영에 사용되는 다안촬영용 카메라 헤드와, 복수의 상기 다안촬영용 카메라 헤드가 접속되는 화상처리장치로 이루어지는 다안 카메라 시스템으로서, 상기 다안촬영용 카메라 헤드는, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖고 있고, 상기 화상처리장치는, 상기 다안촬영용 카메라 헤드와는 별체로 구성되어 있고, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를 갖는다.
본 발명에 관한 화상처리장치의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치로서, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를 갖는다.
본 발명에 관한 화상처리장치용 프로그램의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖고, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와, 상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와, 복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를 갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치를 기능시키는 화상처리장치용 프로그램으로서, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와, 상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와, 상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와, 상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와, 상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와, 상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부로 화상처리장치를 기능시키는 화상처리장치용 프로그램을 기록한 기록매체이다.
본 발명에 관한 다안촬영방법의 다른 태양은, 단일의 렌즈 및 단일의 촬영소자를 갖는 다안촬영용 카메라 헤드와, 상기 다안촬영용 카메라 헤드가 복수 접속되는 화상처리장치를 사용한 다안촬영방법으로서, 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득스텝과, 상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정스텝과, 상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 확대정보 취득스텝과, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대화상용 데이터 출력스텝과, 접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정스텝에 있어서 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리스텝과, 상기 입력처리스텝에 있어서 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리스텝과, 상기 리사이즈 처리스텝에 있어서 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상 출력스텝과, 하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 데이터 취득스텝과, 상기 확대화상용 데이터 취득스텝에 있어서 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 출력스텝과, 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 다안촬영용 카메라 헤드로 출력하는 확대정보 송신스텝과, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록스텝을 갖는다.
본 발명에 의하면, 화상처리장치의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화할 수 있다.
[도1] 본 발명에 관한 다안촬영용 카메라 헤드 및 화상처리장치를 포함하는 다안 카메라 시스템의 1실시형태를 나타내는 전체 블록도이다.
[도2] 본 실시형태에 있어서의 다안촬영용 카메라 헤드의 배열패턴의 일례를 나타내는 도면이다.
[도3] 본 실시형태에 있어서의 (a)전체화상 및 (b)확대화상의 일례를 나타내는 도면이다.
[도4] 본 실시형태에 있어서, (a)확대율이 4배인 경우 및 (b)확대율이 16배인 경우의 확대영역을 나타내는 도면이다.
[도5] 본 실시형태에 있어서 확대영역에 포함되는 화상영역이, (a)다안촬영용 카메라 헤드 1대분의 화상영역 내에 있는 경우, (b)인접하는 다안촬영용 카메라 헤드 2대분의 화상영역에 걸쳐 있는 경우, (c)서로 인접하는 다안촬영용 카메라 헤드 4대분의 화상영역에 걸쳐 있는 경우를 나타내는 도면이다.
[도6] 본 실시형태의 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치 및 다안촬영용 프로그램에 의하여 실행되는 다안촬영방법의 주요한 처리를 나타내는 플로우 차트이다.
[도2] 본 실시형태에 있어서의 다안촬영용 카메라 헤드의 배열패턴의 일례를 나타내는 도면이다.
[도3] 본 실시형태에 있어서의 (a)전체화상 및 (b)확대화상의 일례를 나타내는 도면이다.
[도4] 본 실시형태에 있어서, (a)확대율이 4배인 경우 및 (b)확대율이 16배인 경우의 확대영역을 나타내는 도면이다.
[도5] 본 실시형태에 있어서 확대영역에 포함되는 화상영역이, (a)다안촬영용 카메라 헤드 1대분의 화상영역 내에 있는 경우, (b)인접하는 다안촬영용 카메라 헤드 2대분의 화상영역에 걸쳐 있는 경우, (c)서로 인접하는 다안촬영용 카메라 헤드 4대분의 화상영역에 걸쳐 있는 경우를 나타내는 도면이다.
[도6] 본 실시형태의 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치 및 다안촬영용 프로그램에 의하여 실행되는 다안촬영방법의 주요한 처리를 나타내는 플로우 차트이다.
이하, 본 발명에 관한 다안 카메라 시스템(多眼 camera system), 다안촬영용 카메라 헤드(多眼撮影用 camera head), 화상처리장치(畵像處理裝置), 다안촬영용 프로그램(多眼撮影用 program) 및 다안촬영방법의 1실시형태에 대하여 도면을 사용하여 설명한다.
본 실시형태의 다안 카메라 시스템(1)은, 주로 도1에 나타내는 바와 같이, 다안촬영범위에 있어서의 소정의 일부를 촬영하는 복수의 다안촬영용 카메라 헤드(2)와, 이들 복수의 다안촬영용 카메라 헤드(2)가 접속되는 화상처리장치(3)와, 이 화상처리장치(3)로부터 출력되는 전체화상(全體畵像) 및 확대화상(擴大畵像)을 각각 표시하는 전체화상 표시장치(4) 및 확대화상 표시장치(5)로 구성되어 있다. 이하, 각 구성에 대하여 설명한다.
다안촬영용 카메라 헤드(2)는, 다안촬영범위에 있어서의 소정의 일부를 촬영하는 것으로서, 복수 대를 소정의 위치에 배열함으로써 다안촬영범위의 전체를 커버하는 것이다. 예를 들면 도2에 나타내는 바와 같이 다안촬영용 카메라 헤드(2)가 세로방향 및 가로방향의 각각에 4대분씩 배열되었을 경우에, 이들 16대의 다안촬영용 카메라 헤드(2)의 각각에 의하여 촬영된 부분화상을 합성함으로써, 도3(a)에 나타내는 바와 같이 다안촬영범위의 전체를 커버하는 전체화상이 얻어진다. 또 각 부분화상 내의 번호는, 도2에 나타내는 배열번호에 대응하는 각 다안촬영용 카메라 헤드(2)에 의하여 촬영된 것을 나타낸다.
이와 같이 다안 카메라 시스템(1)에 있어서는, 다안촬영범위가 복수의 다안촬영용 카메라 헤드(2)에 의하여 분담하여 촬영된다. 이 때문에, 도3(b)에 나타내는 바와 같이 전체화상의 일부를 확대한 확대화상을 표시할 때에, 그 최대해상도는, 각 다안촬영용 카메라 헤드(2)에 의하여 촬영되는 부분화상의 최대 픽셀(pixel) 수까지 올릴 수 있다. 또 다안촬영용 카메라 헤드(2)의 배열패턴은, 상기 구성에 한정되는 것은 아니며, 적절하게 변경될 수 있다. 또한 본 발명에 있어서 화상이라는 것은, 정지화상(靜止畵像) 및 동화상(動畵像)의 쌍방을 포함하는 개념이다.
본 실시형태에 있어서, 각 다안촬영용 카메라 헤드(2)는, 소형의 디지털 카메라 등에 의하여 구성되어 있고, 도1에 나타내는 바와 같이 다안촬영용 프로그램(2a)을 기억하는 프로그램 기억부(program 記憶部)(21)와, 화상처리에 사용되는 화상 메모리(畵像 memory)(22)와, 각종 파라미터를 기억하는 파라미터 기억부(parameter 記憶部)(23)와, 부분화상을 취득하는 부분화상 취득부(部分畵像 取得部)(24)와, 부분화상을 화질처리하는 화질처리부(畵質處理部)(25)와, 부분화상의 왜곡을 보정하는 화상보정부(畵像補正部)(26)와, 다안촬영용 카메라 헤드(2)를 제어하는 카메라 제어부(27)와, 확대영역을 추출하는 확대영역 추출부(擴大領域 抽出部)(28)를 갖고 있다.
또 각 다안촬영용 카메라 헤드(2)는, 도시하지 않은 렌즈나 촬영소자 이외에, CPU(Central Processing Unit) 등의 연산처리수단이나, ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리(flash memory) 등의 기억수단을 갖고 있다. 그리고 연산처리수단에 의하여 실행된 다안촬영용 프로그램(2a)이, 프로그램 기억부(21), 화상 메모리(22) 및 파라미터 기억부(23)로서 기억수단을 기능시킴과 아울러, 상기에서 설명한 부분화상 취득부(24), 화질처리부(25), 화상보정부(26), 카메라 제어부(27) 및 확대영역 추출부(28)로서 연산처리수단을 기능시키도록 되어 있다. 이하, 각 구성부에 대하여 설명한다.
프로그램 기억부(21)에는, 본 실시형태의 다안촬영용 프로그램(2a)이 인스톨(install)되어 있다. 화상 메모리(22)는, 화상처리를 실시하기 위하여 화상을 기억하는 메모리이다. 본 실시형태에 있어서 화상 메모리(22)는, 화질처리부(25)에 의한 화질처리의 실행 시 및 화상보정부(26)에 의한 보정처리의 실행 시의 워킹 에어리어(working area)로서 사용된다. 이와 같이 화질처리 및 보정처리의 쌍방에 있어서 공용함으로써 메모리가 유효하게 활용되도록 되어 있다.
파라미터 기억부(23)는, 각 다안촬영용 카메라 헤드(2)에 의하여 촬영된 부분화상의 왜곡을 보정하기 위한 보정 파라미터(補正 parameter)를 기억하는 것이다. 본 실시형태에 있어서 보정 파라미터는, 다안촬영용 카메라 헤드(2)의 부착위치에 따라 정해지는 것이며, 상기에서 설명한 직선성(直線性)의 왜곡을 보정하기 위한 파라미터나, 상기에서 설명한 렌즈에 고유한 왜곡을 보정하기 위한 파라미터가 미리 기억되어 있다.
부분화상 취득부(24)는, 촬영소자로부터 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하는 것이다. 본 실시형태에 있어서 부분화상 취득부(24)는, 촬영소자로부터 출력되는 영상신호(로우 데이터(raw data))를 원하는 화상포맷(畵像format)으로 변환하여, 부분화상으로서 출력하도록 되어 있다. 또한 화질처리부(25)는, 부분화상 취득부(24)에 의하여 취득된 부분화상을 화상 메모리(22)에 기억시켜서, 화질을 최적화하는 화질처리를 실시하는 것이다.
화상보정부(26)는, 화질처리부(25)에 의하여 화질처리된 부분화상의 왜곡을 보정하는 것이다. 본 실시형태에 있어서 화상보정부(26)는, 파라미터 기억부(23)로부터 보정 파라미터를 읽어내어, 화상 메모리(22)에 있어서 부분화상에 대한 직선성 왜곡이나, 렌즈 고유의 왜곡을 보정한다. 그리고 화상보정부(26)는, 보정 후의 부분화상을 전체화상의 일부를 구성하는 전체화상용 데이터로서 화상처리장치(3)의 입력처리부(31)로 출력하도록 되어 있다.
카메라 제어부(27)는, 다안촬영용 카메라 헤드(2)의 동작제어를 실시하는 것이다. 본 실시형태에 있어서 카메라 제어부(27)는, 도1에 나타내는 바와 같이 화상처리장치(3)의 입력처리부(31)로부터 제어신호를 취득하면, 당해 제어신호에 의거하여 다안촬영용 카메라 헤드(2)의 동작을 제어한다. 또한 카메라 제어부(27)는, 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라 화상처리장치(3)의 입력처리부(31)로부터 확대정보를 취득하면, 당해 확대정보에 의거하여 확대영역을 특정하고, 당해 확대영역에 포함되는 화상영역이 전체화상용 데이터에 있는지 없는지를 판정한다. 그리고 당해 판정의 결과, 상기 화상영역이 있는 경우에 카메라 제어부(27)는, 확대영역 추출부(28)를 제어하여, 당해 화상영역을 확대영역으로서 추출시키도록 되어 있다.
또 본 실시형태에 있어서 확대정보는, 전체화상에 있어서의 확대영역을 특정하기 위한 정보로서, 확대하는 위치를 지정하는 확대위치와, 어느 정도 확대할지를 지정하는 확대율(擴大率)로 구성되어 있다. 그러나 확대정보는, 이들에 한정되는 것은 아니며, 확대영역을 특정할 수 있는 정보면 좋다.
확대영역 추출부(28)는, 전체화상용 데이터로부터 확대영역을 추출하는 것이다. 본 실시형태에 있어서 확대영역 추출부(28)는, 카메라 제어부(27)에 의한 제어 하에, 확대정보에 의거하여 화상 메모리(22) 내의 전체화상용 데이터(보정 후의 부분화상) 중에서 확대영역에 포함되는 화상영역이 있는지 없는지를 판정한다. 그리고 당해 화상영역이 있는 경우에 확대영역 추출부(28)는, 당해 화상영역을 추출하여, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서, 화상처리장치(3)의 확대화상용 메모리로 출력하도록 되어 있다.
또 본 실시형태에 있어서, 각 다안촬영용 카메라 헤드(2)측의 화상보정부(26) 및 카메라 제어부(27)와, 화상처리장치(3)측의 입력처리부(31)는, 화상신호 및 제어신호를 전송할 수 있는 광대역전송로(廣帶域傳送路)를 통하여 접속되어 있다. 또한 각 다안촬영용 카메라 헤드(2)측의 확대영역 추출부(28)와, 화상처리장치(3)측의 확대화상용 메모리(34)는, 데이터 버스(data bus)를 통하여 접속되어 있다. 그러나 이 구성에 한정되는 것은 아니며, 각 신호를 전송할 수 있는 것이면 좋다.
여기에서 확대율에 의하여 특정되는 확대영역의 구체예에 대하여 설명한다. 본 실시형태에서는, 도2에 나타낸 바와 같이 4×4대의 다안촬영용 카메라 헤드(2)를 배열하고 있다. 이 때문에, 확대율이 4배로 설정되었을 경우에, 도4(a)에 나타내는 바와 같이 1대분의 다안촬영용 카메라 헤드(2)의 화상영역과 동일한 사이즈의 확대영역이 특정된다. 또한 확대율이 16배로 설정되었을 경우에, 도4(b)에 나타내는 바와 같이 1대분의 다안촬영용 카메라 헤드(2)의 화상영역을 가로·세로 각각 4분의 1로 한 사이즈의 확대영역이 특정된다. 이와 같이 확대영역의 사이즈는, 다안촬영용 카메라 헤드(2)의 배열패턴과 설정된 확대율에 의하여 특정된다.
또 확대율의 최소값은, 특정되는 확대영역과 1대분의 다안촬영용 카메라 헤드(2)의 화상영역이 일치하도록 설정하는 것이 바람직하다. 이에 따라 데이터 버스의 전송량이, 최대라도 1대분의 다안촬영용 카메라 헤드(2)의 픽셀 수가 되기 때문에, 전체화상용 데이터를 전송하는 광대역전송로와 동일한 주파수 대역의 데이터 버스에 의하여 접속하는 것이 가능하게 된다.
그 다음에 확대위치에 의하여 지정되는 확대영역의 구체예에 대하여 설명한다. 우선, 도5(a)에 나타내는 바와 같이 확대영역에 포함되는 화상영역이 1대의 다안촬영용 카메라 헤드(2)의 화상영역 내에 있는 경우에, 당해 1대의 다안촬영용 카메라 헤드(2)가, 확대영역에 포함되는 화상영역을 출력한다. 또한 도5(b)에 나타내는 바와 같이 확대영역에 포함되는 화상영역이, 상하 또는 좌우로 인접하는 2대의 다안촬영용 카메라 헤드(2)의 화상영역에 걸쳐 있는 경우에, 당해 2대의 다안촬영용 카메라 헤드(2)의 각각이, 확대영역에 포함되는 화상영역을 출력한다. 또한 도5(c)에 나타내는 바와 같이 확대영역에 포함되는 화상영역이, 상하좌우로 인접하는 4대의 다안촬영용 카메라 헤드(2)의 화상영역에 걸쳐 있는 경우에, 당해 4대의 다안촬영용 카메라 헤드(2)의 각각이, 확대영역에 포함되는 화상영역을 출력한다. 이상과 같이 확대율이 동일한 경우이더라도, 확대위치에 따라 확대화상용 데이터를 출력하는 다안촬영용 카메라 헤드(2)의 대수(臺數)가 변화된다.
화상처리장치(3)는, 다안촬영용 카메라 헤드(2)로부터 취득한 전체화상용 데이터나 확대화상용 데이터를 처리하는 것이다. 본 실시형태에 있어서 화상처리장치(3)는, 주로 도1에 나타내는 바와 같이, 각 다안촬영용 카메라 헤드(2)로부터 전체화상용 데이터를 취득하는 입력처리부(31)와, 각 전체화상용 데이터를 리사이즈(resize)하는 리사이즈 처리부(32)와, 전체화상을 출력하는 전체화상용 메모리(33)와, 각 다안촬영용 카메라 헤드(2)로부터 확대화상용 데이터를 취득하는 확대화상용 메모리(34)와, 확대화상을 출력하는 확대화상 합성부(擴大畵像 合成部)(35)와, 전체화상 및 확대화상의 출력을 제어하는 화상제어부(畵像制御部)(36)와, 다안촬영용 카메라 헤드(2)를 제어하는 컨트롤부(37)와, 변이영역(變異領域)을 검출하는 변이영역 검출부(38)와, 변이화상(變異畵像)을 기록하는 변이화상 기록부(39)를 갖고 있다.
또 화상처리장치(3)는, CPU(Central Processing Unit) 등의 연산처리수단이나, ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등의 기억수단을 구비한 마이크로 컴퓨터에 의하여 구성되어 있다. 그리고 연산처리수단에 의하여 실행된 화상처리장치(3)용 프로그램이, 전체화상용 메모리(33) 및 확대화상용 메모리(34)로서 기억수단을 기능시킴과 아울러, 상기에서 설명한 입력처리부(31), 리사이즈 처리부(32), 확대화상 합성부(35), 화상제어부(36), 컨트롤부(37), 변이영역 검출부(38) 및 변이화상 기록부(39)로서 연산처리수단을 기능시키도록 되어 있다. 이하, 각 구성부에 대하여 설명한다.
입력처리부(31)는, 다안촬영용 카메라 헤드(2)로부터 전체화상용 데이터를 취득하는 것이다. 본 실시형태에 있어서 입력처리부(31)는, 도1에 나타내는 바와 같이 화상처리장치(3)에 접속되어 있는 모든 다안촬영용 카메라 헤드(2)로부터, 화상보정부(26)에 의하여 보정된 후의 전체화상용 데이터를 취득한다. 즉 전체화상용 데이터는, 전체화상으로서 서로 연결시킬 때에 문제가 되는 직선성 왜곡이나 렌즈 고유의 왜곡이 이미 보정된 상태의 데이터이다.
이 때문에, 입력처리부(31)는, 각 전체화상용 데이터를 전체화상용 메모리(33)에 기입하기 위한 어드레스 설정 등과 같이 단순한 처리를 실행하는 것만으로 좋아서, 화상처리장치(3)측에서 보정처리를 실시하는 종래의 장치와 비교하여 회로가 대폭 간략화된다. 또한 본 실시형태에 있어서 입력처리부(31)는, 도1에 나타내는 바와 같이 확대화상 합성부(35)를 통하여 취득한 확대정보나 제어신호를 각 다안촬영용 카메라 헤드(2)의 카메라 제어부(27)로 송신하도록 되어 있다.
리사이즈 처리부(32)는, 전체화상용 데이터를 리사이즈하는 것이다. 본 실시형태에 있어서 리사이즈 처리부(32)는, 입력처리부(31)에 의하여 취득된 모든 전체화상용 데이터를 전체화상 표시장치(4)의 해상도에 맞추어서 리사이즈한다. 그리고 최적의 해상도로 픽셀이 조정된 전체화상용 데이터의 각각은, 입력처리부(31)에 의하여 지정된 어드레스에 따라 전체화상용 메모리(33)에 기입되어, 전체화상으로서 매핑(mapping)되도록 되어 있다.
전체화상용 메모리(33)는, 전체화상용 데이터를 합성하여 전체화상을 출력하는 것이다. 본 실시형태에 있어서 전체화상용 메모리(33)는, 화상제어부(36)에 의한 제어 하에, 리사이즈 처리부(32)에 의하여 리사이즈된 모든 전체화상용 데이터를 합성하여 전체화상으로서 전체화상 표시장치(4)로 출력한다. 또한 본 실시형태에 있어서 전체화상용 메모리(33)는, 전체화상 표시장치(4)와 합치하는 화상포맷이 화상제어부(36)로부터 지정되어, 당해 화상포맷으로 전체화상을 출력하도록 되어 있다.
또한 본 실시형태에 있어서 전체화상용 메모리(33)는, 복수 매의 프레임 메모리(frame memory)에 의하여 구성되어 있고, 각 프레임 메모리에 합성 후의 전체화상이 시계열(時系列)에 따라 순차적으로 저장되도록 되어 있다. 그리고 전체화상용 메모리(33)는, 도1에 나타내는 바와 같이 시간적으로 전후하는 전체화상의 차분(差分)에 의거하여 모션벡터신호(motion vector 信號)를 변이영역 검출부(38)로 출력한다.
확대화상용 메모리(34)는, 각 다안촬영용 카메라 헤드(2)로부터 확대화상용 데이터를 취득하는 것이다. 본 실시형태에 있어서 확대화상용 메모리(34)는, 모든 다안촬영용 카메라 헤드(2) 중에서 확대영역에 포함되는 화상영역을 갖는 하나 또는 복수의 다안촬영용 카메라 헤드(2)의 확대영역 추출부(28)로부터 확대화상용 데이터를 취득하여, 소정의 메모리 영역에 기입하도록 되어 있다.
또한 본 실시형태에 있어서 확대화상용 데이터는, 전체화상용 데이터의 일부가 추출된 것이기 때문에, 전체화상용 데이터와 동일하게 직선성 왜곡이나 렌즈 고유의 왜곡이 보정된 후의 상태이다. 이 때문에, 확대화상용 메모리(34)에 복수의 확대화상용 데이터가 기입된 경우에도 접합장소가 연속적으로 서로 연결된 1매의 확대화상으로서 매핑된다.
또 상기에서 설명한 바와 같이 종래의 화상처리장치에 있어서는, 사용되는 카메라 헤드의 대수나 카메라의 해상도에 따라 대용량의 프레임 메모리가 필요하게 된다. 그러나 본 실시형태에서는, 확대영역에 포함되는 화상영역만이 확대화상용 데이터로서 출력되기 때문에, 확대화상용 메모리(34)의 용량은, 확대영역으로서 설정할 수 있는 최대의 화상영역분의 픽셀 수를 갖고 있으면 충분하다. 따라서 종래의 메모리 용량에 비하여 대폭 작게 할 수 있다.
확대화상 합성부(35)는, 확대화상용 데이터를 합성하여 확대화상을 출력하는 것이다. 본 실시형태에 있어서 확대화상 합성부(35)는, 화상제어부(36)를 통하여 지정된 확대율에 의거하여, 확대화상용 메모리(34)에 기입된 화상영역만을 읽어내어 합성하여, 확대화상으로서 확대화상 표시장치(5)로 출력한다. 또한 본 실시형태에 있어서 확대화상용 메모리(34)는, 확대화상 표시장치(5)와 합치하는 화상포맷이 화상제어부(36)로부터 지정되어, 당해 화상포맷으로 확대화상을 출력하도록 되어 있다.
화상제어부(36)는, 전체화상 및 확대화상의 출력을 제어하는 것이다. 본 실시형태에 있어서 화상제어부(36)는, 전체화상용 메모리(33)가 전체화상을 출력할 때에 전체화상 표시장치(4)와 합치하는 화상포맷을 지정함과 아울러, 확대화상 합성부(35)가 확대화상을 출력할 때에 확대화상 표시장치(5)와 합치하는 화상포맷을 지정한다.
또한 본 실시형태에 있어서 화상제어부(36)는, 도1에 나타내는 바와 같이 컨트롤부(37)로부터 확대정보나 제어신호를 취득하면, 확대화상 합성부(35) 및 입력처리부(31)를 통하여 각 다안촬영용 카메라 헤드(2)의 카메라 제어부(27)로 송신하는 역할을 하도록 되어 있다.
컨트롤부(37)는, 화상처리장치(3)에 접속되어 있는 모든 다안촬영용 카메라 헤드(2)를 제어하는 것이다. 본 실시형태에 있어서 컨트롤부(37)는, 각 다안촬영용 카메라 헤드(2)의 동작상태를 상시(常時) 감시하여, 도1에 나타내는 바와 같이 각 다안촬영용 카메라 헤드(2)의 동작설정을 실시하기 위한 제어신호나, 전체화상 표시장치(4)로부터 취득한 확대정보를 화상제어부(36)로 출력하도록 되어 있다.
변이영역 검출부(38)는, 전체화상에 있어서의 부분적인 변이영역을 검출하는 것이다. 본 실시형태에 있어서 변이영역 검출부(38)는, 전체화상용 메모리(33)로부터 취득한 전체화상의 모션벡터신호에 의거하여 전체화상에 있어서의 변이영역을 검출하여, 당해 변이영역을 특정하는 확대정보를 출력하도록 되어 있다. 구체적으로는 변이영역 검출부(38)에는, 변이상태인 것을 나타내는 임계값이 미리 설정되어 있어, 당해 임계값을 넘는 모션벡터신호가 검출되었을 때에 변이영역이 발생한 것을 자동적으로 검출한다.
또한 본 실시형태에 있어서 모션벡터신호에는, 전체화상용 메모리(33)에 있어서의 기입 어드레스(write address)의 위치가 포함되어 있다. 이 때문에 변이영역 검출부(38)는, 모션벡터신호에 포함되는 기입 어드레스의 위치로부터 변이영역의 확대위치를 특정함과 아울러, 당해 변이영역의 크기로부터 확대율을 연산하고, 확대위치 및 확대율로 이루어지는 확대정보를 자동적으로 생성하여 컨트롤부(37)로 송신하도록 되어 있다.
또한 본 실시형태에 있어서 변이영역 검출부(38)는, 도1에 나타내는 바와 같이 변이영역을 검출하였을 때에, 전체화상 표시장치(4) 및 변이화상 기록부(39)의 각각에 경고신호를 송신한다. 이에 따라 전체화상 표시장치(4)에는 변이영역이 발생하였다는 취지가 표시됨과 아울러, 변이화상 기록부(39)에는 변이영역을 확대한 변이화상의 기록이 개시되도록 되어 있다.
변이화상 기록부(39)는, 변이화상을 자동적으로 기록하는 것이다. 본 실시형태에 있어서 변이화상 기록부(39)는, 변이영역 검출부(38)로부터 경고신호를 수신하면 기동되어, 확대화상 합성부(35)로부터 출력된 변이화상을 소정 시간분 기록한다. 이때에 각 다안촬영용 카메라 헤드(2)에서는, 도1에 나타내는 바와 같이 확대영역 추출부(28)가, 변이영역 검출부(38)로부터 송신된 확대정보에 의거하여, 전체화상용 데이터 중에서 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력한다. 그리고 확대화상 합성부(35)가, 확대영역 추출부(28)로부터 출력된 변이화상용 데이터를 합성하여, 변이화상으로서 변이화상 기록부(39)로 출력하도록 되어 있다.
전체화상 표시장치(4)는, 다안촬영범위의 전체를 촬영한 전체화상을 표시하는 것이다. 본 실시형태에 있어서 전체화상 표시장치(4)는, 입력기능과 표시기능을 겸비한 터치패널 등에 의하여 구성되어 있고, 전체화상용 메모리(33)로부터 출력된 전체화상이나 변이영역 검출부(38)로부터 출력된 경고신호를 표시한다. 또한 전체화상 표시장치(4)는, 유저에 의하여 입력된 확대위치 및 확대율로 이루어지는 확대정보를 컨트롤부(37)로 입력하도록 되어 있다.
확대화상 표시장치(5)는, 전체화상의 일부를 확대한 확대화상을 표시하는 것이다. 본 실시형태에 있어서 확대화상 표시장치(5)는, 액정 디스플레이 등에 의하여 구성되어 있고, 확대화상 합성부(35)로부터 출력된 확대화상이나, 변이화상 기록부(39)로부터 출력된 변이화상을 표시한다. 또 본 실시형태에서는, 전체화상 표시장치(4)와 확대화상 표시장치(5)를 각각 구성하고 있지만, 이 구성에 한정되는 것은 아니며, 픽처 인 픽처기능(picture in picture機能), 2화면 표시기능 또는 화면절체기능(畵面切替機能) 등을 사용하여, 전체화상 및 확대화상을 1개의 표시장치에 표시하여도 좋다.
그 다음에 본 실시형태의 다안 카메라 시스템(1), 다안촬영용 카메라 헤드(2), 화상처리장치(3), 다안촬영용 프로그램(2a) 및 다안촬영방법에 의한 작용에 대하여 도6을 참조하면서 설명한다.
우선, 본 실시형태의 다안 카메라 시스템(1)을 사용하여 다안촬영을 실시하는 경우에, 각 다안촬영용 카메라 헤드(2)의 파라미터 기억부(23)에, 부착위치에 따라 정해지는 보정 파라미터를 미리 기억시켜 둔다.
그 다음에 부분화상 취득부(24)가, 촬영소자로부터 다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 취득하면(스텝S1 : 부분화상 취득스텝), 화상보정부(26)가 부분화상의 왜곡을 보정하여 전체화상용 데이터로서 화상처리장치(3)로 출력한다(스텝S2 : 화상보정스텝). 이때에 각 다안촬영용 카메라 헤드(2)로부터는, 직선성 왜곡이나 렌즈 고유의 왜곡이 보정된 상태의 전체화상용 데이터가 출력된다. 이 때문에 화상처리장치(3)측에서 보정할 필요가 없어, 화상처리장치(3)의 처리부하가 경감된다.
한편 화상처리장치(3)에서는, 입력처리부(31)가 각 다안촬영용 카메라 헤드(2)로부터 전체화상용 데이터를 취득하면(스텝S3 : 입력처리스텝), 리사이즈 처리부(32)가, 각 전체화상용 데이터를 전체화상 표시장치(4)의 해상도에 맞추어서 리사이즈하여(스텝S4 : 리사이즈 처리스텝), 전체화상용 메모리(33)에 기입한다. 이때에 각 전체화상용 데이터는, 이미 보정처리가 실시되어 있기 때문에, 지정 어드레스에 따라 전체화상용 메모리(33)에 기입하는 것만으로, 위화감 없이 연속적으로 접합된 전체화상이 매핑된다.
또한 본 실시형태에서는, 종래의 화상처리장치와 같이 모든 카메라 헤드로부터의 화상을 고해상도인 채로 기입하기 위한 프레임 메모리가 불필요하게 되기 때문에, 화상처리장치(3)가 소형화, 전력절약화 및 저코스트화된다. 또한 시스템 설계에 있어서도 다안촬영용 카메라 헤드(2)의 대수를 걱정할 필요가 없기 때문에, 다안 카메라 시스템(1)의 전체가 용이하게 최적화된다.
그 다음에 전체화상용 메모리(33)가 모든 전체화상용 데이터를 합성하여 전체화상으로서 전체화상 표시장치(4)로 출력한다(스텝S5 : 전체화상 출력스텝). 이에 따라 전체화상 표시장치(4)에 전체화상이 표시되기 때문에, 당해 전체화상을 보면서 확대를 희망하는 부분의 확대위치나 확대율을 용이하게 지정하는 것이 가능하게 된다.
계속하여 본 실시형태에서는, 변이상태의 자동검출기능을 갖고 있기 때문에, 변이영역 검출부(38)가 전체화상에 변이영역이 있는지 없는지를 판정한다(스텝S6 : 변이영역 검출스텝). 당해 판정의 결과, 변이영역이 검출되지 않으면(스텝S6 : NO), 유저로부터의 확대정보의 입력을 대기하고(스텝S7), 당해 입력이 없는 한(스텝S7 : NO) 스텝S6으로 되돌아간다.
한편 스텝S6에 있어서 변이영역 검출부(38)가 변이영역을 검출하였을 경우(스텝S6 : YES) 또는 유저로부터 확대정보가 입력되었을 경우(스텝S7 : YES)에, 변이영역을 특정하는 확대정보 또는 유저가 지정한 확대정보가 화상처리장치(3)로부터 각 다안촬영용 카메라 헤드(2)로 송신된다(스텝S8 : 확대정보 송신스텝). 이하, 유저가 지정한 확대정보가 송신되었을 경우의 처리와, 변이영역에 관한 확대정보가 송신되었을 경우의 처리는, 실질적으로 동일한 처리이기 때문에, 후자에 대해서는 각괄호(角括弧) 내에 기재함으로써 설명을 생략한다.
각 다안촬영용 카메라 헤드(2)에서는, 카메라 제어부(27)가 확대정보를 취득하면(스텝S9 : 확대정보 취득스텝), 당해 확대정보에 의거하여 확대영역 추출부(28)가 전체화상용 데이터 중에서 확대영역[변이영역]에 포함되는 화상영역이 있는지 없는지를 판정한다(스텝S10 : 확대영역 판정스텝). 당해 판정의 결과, 확대영역[변이영역]에 포함되는 화상영역이 없으면(스텝S10 : NO), 확대영역 추출부(28)는 확대화상용 데이터[변이화상용 데이터]를 출력하지 않고 본 처리를 종료한다.
한편 스텝S10에 있어서의 판정의 결과, 확대영역[변이영역]에 포함되는 화상영역이 있는 경우(스텝S10 : YES)에, 확대영역 추출부(28)가 당해 화상영역을 추출하여 확대화상용 데이터[변이화상용 데이터]로서 화상처리장치(3)로 출력한다(스텝S11 : 확대화상용 데이터 출력스텝). 이에 따라 확대영역[변이영역]에 포함되는 화상영역만이 확대화상용 데이터[변이화상용 데이터]로서 출력되기 때문에, 확대화상용 메모리(34)의 용량은, 확대영역으로서 설정할 수 있는 최대의 화상영역분의 픽셀 수를 갖고 있으면 좋다. 즉 확대화상의 화질을 저하시키지 않고 확대화상용 메모리(34)에 필요한 용량이 저감된다.
화상처리장치(3)에서는, 하나 또는 복수의 다안촬영용 카메라 헤드(2)로부터 확대화상용 데이터[변이화상용 데이터]를 취득하면(스텝S12 : 확대화상용 데이터 취득스텝), 이들이 직접 확대화상용 메모리(34)에 기입된다. 이때에 확대화상용 데이터[변이화상용 데이터]는, 전체화상용 데이터와 동일하게 이미 보정처리가 실시되어 있기 때문에, 확대화상용 메모리(34)에 기입되는 것만으로, 위화감 없이 연속적으로 서로 연결된 확대화상[변이화상]이 매핑된다.
계속하여 확대화상 합성부(35)가, 각 확대화상용 데이터[각 변이화상용 데이터]를 합성하여 확대화상[변이화상]을 확대화상 표시장치(5)로 출력한다(스텝S13 : 확대화상 출력스텝). 이에 따라 유저는 전체화상 표시장치(4)에 표시된 전체화상을 보면서, 원하는 확대화상을 간단하고 또한 신속하게 확대화상 표시장치(5)에 표시시키는 것이 가능하게 된다. 이 때문에, 본 실시형태의 다안 카메라 시스템(1)을 사용하여 감시작업 등을 실시하는 경우에 감시범위에 있어서의 사각(死角)이 없어서, 감시자의 작업부담이 경감된다.
또한 본 실시형태에서는, 변이상태의 자동검출기능을 갖고 있기 때문에, 변이상태가 발생하면 자동적으로 검출되어 변이화상이 확대화상 표시장치(5)에 표시됨과 아울러, 당해 변이화상이 자동적으로 변이화상 기록부(39)에 기록된다(스텝S14 : 변이화상 기록스텝). 이 때문에 감시작업에 가해지는 부담이 한층 더 저감되어, 변이화상이 확실하게 기록된다.
이상과 같은 본 발명에 관한 다안 카메라 시스템(1), 다안촬영용 카메라 헤드(2), 화상처리장치(3), 다안촬영용 프로그램(2a) 및 다안촬영방법에 의하면, 이하와 같은 효과를 얻는다.
1. 화상처리장치(3)의 처리부하를 경감시켜서 소형화, 전력절약화 및 저코스트화를 할 수 있어, 시스템 전체를 용이하게 최적화할 수 있다.
2. 확대화상의 화질을 저하시키지 않고, 확대화상용 메모리(34)의 용량을 저감시킬 수 있다.
3. 변이영역을 자동적으로 검출하고, 그 확대화상을 자동적으로 기록할 수 있다.
4. 화상처리장치(3)를 소형화할 수 있기 때문에, 모든 다안촬영용 카메라 헤드(2)를 포함시킨 1개의 유닛으로서 구성할 수 있다.
5. 1유닛화함으로써, 모든 조립작업이나 전기적 조정을 공장에서 완결시킬 수 있어, 현장에 있어서의 다안촬영용 카메라 헤드(2)의 설치작업이나 조정작업을 간략화할 수 있다.
6. 감시작업에 적용하였을 경우에 감시작업에 관한 부담을 경감시켜서 감시 정밀도를 향상시킬 수 있다.
또 본 발명에 관한 다안 카메라 시스템(1)은, 전술한 실시형태에 한정되는 것은 아니며, 적절하게 변경할 수 있다.
예를 들면 동기신호를 발생시키는 동기신호 발생회로를 화상처리장치(3)에 설치하고, 당해 동기신호 발생회로로부터 출력된 동기신호에 의하여 모든 다안촬영용 카메라 헤드(2)를 동기시켜도 좋다. 이에 따라 모든 다안촬영용 카메라 헤드(2)가 동기된 상태에서 동작하기 때문에, 전체화상용 메모리(33)에 기입되는 각 전체화상용 데이터나, 확대화상용 메모리(34)에 기입되는 각 확대화상용 데이터에 시간적인 어긋남이 발생하지 않는다.
또한 타임코드(time code)를 발생시키는 타임코드 발생회로를 화상처리장치(3)에 설치하고, 전체화상용 메모리(33) 및 확대화상 합성부(35)의 각각에 타임코드를 공급하여도 좋다. 이에 따라 전체화상 및 확대화상의 각각에 시간정보를 삽입할 수 있다. 또 상기에서 설명한 동기신호 발생회로나 타임코드 발생회로에 GPS 수신기를 접속하면, 타임코드의 시간 정밀도를 향상시킬 수 있다.
1 : 다안 카메라 시스템
2 : 다안촬영용 카메라 헤드
2a : 다안촬영용 프로그램
3 : 화상처리장치
4 : 전체화상 표시장치
5 : 확대화상 표시장치
21 : 프로그램 기억부
22 : 화상 메모리
23 : 파라미터 기억부
24 : 부분화상 취득부
25 : 화질처리부
26 : 화상보정부
27 : 카메라 제어부
28 : 확대영역 추출부
31 : 입력처리부
32 : 리사이즈 처리부
33 : 전체화상용 메모리
34 : 확대화상용 메모리
35 : 확대화상 합성부
36 : 화상제어부
37 : 컨트롤부
38 : 변이영역 검출부
39 : 변이화상 기록부
2 : 다안촬영용 카메라 헤드
2a : 다안촬영용 프로그램
3 : 화상처리장치
4 : 전체화상 표시장치
5 : 확대화상 표시장치
21 : 프로그램 기억부
22 : 화상 메모리
23 : 파라미터 기억부
24 : 부분화상 취득부
25 : 화질처리부
26 : 화상보정부
27 : 카메라 제어부
28 : 확대영역 추출부
31 : 입력처리부
32 : 리사이즈 처리부
33 : 전체화상용 메모리
34 : 확대화상용 메모리
35 : 확대화상 합성부
36 : 화상제어부
37 : 컨트롤부
38 : 변이영역 검출부
39 : 변이화상 기록부
Claims (9)
- 다안촬영(多眼撮影)에 사용되는 다안촬영용 카메라 헤드(多眼撮影用 camera head)와, 복수의 상기 다안촬영용 카메라 헤드가 접속되는 화상처리장치(畵像處理裝置)로 이루어지는 다안 카메라 시스템(多眼 camera system)으로서,
상기 다안촬영용 카메라 헤드는,
단일의 렌즈 및 단일의 촬영소자를 갖고,
다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부(部分畵像 取得部)와,
상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터(補正 parameter)를 기억하는 파라미터 기억부(parameter 記憶部)와,
상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체(別體)인 화상처리장치로 출력하여 합성시키는 화상보정부(畵像補正部)와,
상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부(camera 制御部)와,
상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부(擴大領域 抽出部)를
갖고 있고,
상기 화상처리장치는,
상기 다안촬영용 카메라 헤드와는 별체로 구성되어 있고,
접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와,
상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈(resize)하는 리사이즈 처리부(resize 處理部)와,
상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리(全體畵像用 memory)와,
하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리(擴大畵像用 memory)와,
상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부(擴大畵像 合成部)와,
상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호(motion vector 信號)에 의거하여, 상기 전체화상에 있어서의 변이영역(變異領域)을 검출하고, 상기 변이영역을 확대한 변이화상(變異畵像)으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부(變異領域 檢出部)와,
상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부(變異畵像 記錄部)를
갖는 다안 카메라 시스템. - 단일의 렌즈 및 단일의 촬영소자를 갖고,
다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와,
상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와,
상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와,
복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와,
상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를
갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치로서,
접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와,
상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와,
상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와,
하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와,
상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와,
상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와,
상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부를
갖는 화상처리장치. - 단일의 렌즈 및 단일의 촬영소자를 갖고,
다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득부와,
상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 기억하는 파라미터 기억부와,
상기 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정부와,
복수의 상기 전체화상용 데이터를 합성하여 전체화상을 출력하는 화상처리장치로부터, 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 카메라 제어부와,
상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대영역 추출부를
갖는 다안촬영용 카메라 헤드가 복수 접속되고, 상기 다안촬영용 카메라 헤드와는 별체로 구성되는 화상처리장치를 기능시키는 화상처리장치용 프로그램으로서,
접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정부에 의하여 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리부와,
상기 입력처리부에 의하여 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리부와,
상기 리사이즈 처리부에 의하여 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상용 메모리와,
하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 메모리와,
상기 확대화상용 메모리에 의하여 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 합성부와,
상기 전체화상용 메모리로부터 취득한 상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 확대영역 추출부로 출력하는 변이영역 검출부와,
상기 확대영역 추출부가, 상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 확대화상 합성부가, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록부로
화상처리장치를 기능시키는 화상처리장치용 프로그램을 기록한 기록매체. - 단일의 렌즈 및 단일의 촬영소자를 갖는 다안촬영용 카메라 헤드와, 상기 다안촬영용 카메라 헤드가 복수 접속되는 화상처리장치를 사용한 다안촬영방법으로서,
다안촬영범위에 있어서의 소정의 일부를 촬영한 부분화상을 상기 촬영소자로부터 취득하는 부분화상 취득스텝과,
상기 다안촬영용 카메라 헤드의 부착위치에 따라 정해지고, 상기 부분화상의 왜곡을 보정하기 위한 보정 파라미터를 사용하여 상기 부분화상의 왜곡을 보정하고, 전체화상의 일부를 구성하는 전체화상용 데이터로서 상기 다안촬영용 카메라 헤드와는 별체인 화상처리장치로 출력하여 합성시키는 화상보정스텝과,
상기 전체화상 중의 일부를 확대표시한다는 취지의 지령에 따라, 상기 화상처리장치로부터 상기 전체화상에 있어서의 확대영역을 특정하는 확대정보를 취득하는 확대정보 취득스텝과,
상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 확대영역에 포함되는 화상영역을 추출하고, 확대화상의 일부 또는 전부를 구성하는 확대화상용 데이터로서 출력하는 확대화상용 데이터 출력스텝과,
접속되어 있는 모든 상기 다안촬영용 카메라 헤드로부터, 상기 화상보정스텝에 있어서 보정된 후의 상기 전체화상용 데이터를 취득하는 입력처리스텝과,
상기 입력처리스텝에 있어서 취득된 모든 상기 전체화상용 데이터를 전체화상 표시장치의 해상도에 맞추어서 리사이즈하는 리사이즈 처리스텝과,
상기 리사이즈 처리스텝에 있어서 리사이즈된 모든 상기 전체화상용 데이터를 합성하여 상기 전체화상으로서 전체화상 표시장치로 출력하는 전체화상 출력스텝과,
하나 또는 복수의 상기 다안촬영용 카메라 헤드로부터 상기 확대화상용 데이터를 취득하는 확대화상용 데이터 취득스텝과,
상기 확대화상용 데이터 취득스텝에 있어서 취득된 상기 확대화상용 데이터를 합성하여 상기 확대화상으로서 확대화상 표시장치로 출력하는 확대화상 출력스텝과,
상기 전체화상의 모션벡터신호에 의거하여, 상기 전체화상에 있어서의 변이영역을 검출하고, 상기 변이영역을 확대한 변이화상으로서 출력하기 위한 확대정보를 상기 다안촬영용 카메라 헤드로 출력하는 확대정보 송신스텝과,
상기 확대정보에 의거하여, 상기 전체화상용 데이터 중에서 상기 변이영역에 포함되는 화상영역을 변이화상의 일부 또는 전부를 구성하는 변이화상용 데이터로서 출력함과 아울러, 상기 변이화상용 데이터를 합성하여 상기 변이화상으로서 출력하였을 때에 상기 변이화상을 취득하여 기록하는 변이화상 기록스텝을
갖는 다안촬영방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2018-055674 | 2018-03-23 | ||
| JP2018055674A JP7076131B2 (ja) | 2018-03-23 | 2018-03-23 | 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 |
| PCT/JP2019/012030 WO2019182101A1 (ja) | 2018-03-23 | 2019-03-22 | 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200128541A KR20200128541A (ko) | 2020-11-13 |
| KR102655093B1 true KR102655093B1 (ko) | 2024-04-04 |
Family
ID=67986527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207027485A KR102655093B1 (ko) | 2018-03-23 | 2019-03-22 | 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11922610B2 (ko) |
| JP (1) | JP7076131B2 (ko) |
| KR (1) | KR102655093B1 (ko) |
| CN (1) | CN111971948B (ko) |
| WO (1) | WO2019182101A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190253618A1 (en) * | 2015-12-28 | 2019-08-15 | Nec Corporation | Information processing apparatus, control method, and program |
| US11375126B2 (en) * | 2019-11-29 | 2022-06-28 | Canon Kabushiki Kaisha | Imaging apparatus, information processing apparatus, operation method, information processing method, and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110279690A1 (en) * | 2010-02-25 | 2011-11-17 | Nikon Corporation | Electronic device, camera, and computer program product of image processing |
| US20130070047A1 (en) * | 2011-09-16 | 2013-03-21 | Jay J. DiGIOVANNI | Low Scale Production System and Method |
| US20140300692A1 (en) * | 2008-10-16 | 2014-10-09 | Peter Lablans | Controller in a camera for creating a registered video image |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010130628A (ja) | 2008-12-01 | 2010-06-10 | Sharp Corp | 撮像装置、映像合成装置および映像合成方法 |
| JP5654867B2 (ja) * | 2010-12-27 | 2015-01-14 | パナソニックＩｐマネジメント株式会社 | 映像信号処理装置及び映像信号処理方法 |
| CN102063258B (zh) | 2010-12-31 | 2012-07-04 | 山东大学 | 一种针对不同尺寸显示终端的图像自适应显示方法 |
| US20140254681A1 (en) * | 2013-03-08 | 2014-09-11 | Nokia Corporation | Apparatus, a method and a computer program for video coding and decoding |
| WO2014192487A1 (ja) | 2013-05-29 | 2014-12-04 | 日本電気株式会社 | 多眼撮像システム、取得画像の合成処理方法、及びプログラム |
| JP2015194587A (ja) | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法 |
| US9286680B1 (en) * | 2014-12-23 | 2016-03-15 | Futurewei Technologies, Inc. | Computational multi-camera adjustment for smooth view switching and zooming |
| WO2016191708A1 (en) | 2015-05-27 | 2016-12-01 | Google Inc. | Camera rig and stereoscopic image capture |
| CN107734244B (zh) * | 2016-08-10 | 2019-07-05 | 深圳看到科技有限公司 | 全景影片播放方法及播放装置 |
-
2018
- 2018-03-23 JP JP2018055674A patent/JP7076131B2/ja active Active
-
2019
- 2019-03-22 US US16/982,133 patent/US11922610B2/en active Active
- 2019-03-22 KR KR1020207027485A patent/KR102655093B1/ko active IP Right Grant
- 2019-03-22 WO PCT/JP2019/012030 patent/WO2019182101A1/ja active Application Filing
- 2019-03-22 CN CN201980021524.XA patent/CN111971948B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140300692A1 (en) * | 2008-10-16 | 2014-10-09 | Peter Lablans | Controller in a camera for creating a registered video image |
| US20110279690A1 (en) * | 2010-02-25 | 2011-11-17 | Nikon Corporation | Electronic device, camera, and computer program product of image processing |
| US20130070047A1 (en) * | 2011-09-16 | 2013-03-21 | Jay J. DiGIOVANNI | Low Scale Production System and Method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019169830A (ja) | 2019-10-03 |
| US20210097660A1 (en) | 2021-04-01 |
| WO2019182101A1 (ja) | 2019-09-26 |
| CN111971948A (zh) | 2020-11-20 |
| JP7076131B2 (ja) | 2022-05-27 |
| CN111971948B (zh) | 2022-06-17 |
| KR20200128541A (ko) | 2020-11-13 |
| US11922610B2 (en) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10462372B2 (en) | Imaging device, imaging system, and imaging method | |
| US7415166B2 (en) | Image processing device | |
| JP5131257B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP2010021698A (ja) | 画像処理装置およびプログラム | |
| KR102655093B1 (ko) | 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 | |
| US7023455B2 (en) | Apparatus and method for processing video signal | |
| JP4853434B2 (ja) | 画像処理装置 | |
| JP6312426B2 (ja) | 撮像装置およびその制御方法 | |
| JP2013084124A (ja) | 撮像システム、撮像装置および画像処理方法 | |
| JPH10304227A (ja) | 電子スチルカメラ | |
| JP6828069B2 (ja) | 撮像装置、撮像方法およびプログラム | |
| JP3221004B2 (ja) | ビデオカメラ | |
| JP6917800B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
| JP6889622B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
| EP3672218B1 (en) | Imaging apparatus | |
| KR20130092213A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
| JP4948637B2 (ja) | 画像処理方法およびその装置 | |
| JP4786452B2 (ja) | カメラ | |
| JP5110713B2 (ja) | 多眼撮影装置、スルー画像表示方法およびプログラム | |
| JP6207173B2 (ja) | 信号処理装置、その制御方法、および制御プログラム | |
| JP4965979B2 (ja) | 画像処理システム | |
| JP2024002631A (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータのプログラムおよび記録媒体 | |
| JP2014154999A (ja) | 信号処理装置、その制御方法、および制御プログラム | |
| JPH05344504A (ja) | 録画カメラ装置及びこれを利用したモニタシステム | |
| JP2017168984A (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |