KR101514910B1 - 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법 - Google Patents

영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법 Download PDF

Info

Publication number
KR101514910B1
KR101514910B1 KR1020137023454A KR20137023454A KR101514910B1 KR 101514910 B1 KR101514910 B1 KR 101514910B1 KR 1020137023454 A KR1020137023454 A KR 1020137023454A KR 20137023454 A KR20137023454 A KR 20137023454A KR 101514910 B1 KR101514910 B1 KR 101514910B1
Authority
KR
South Korea
Prior art keywords
image
frame image
conversion
processing apparatus
unit
Prior art date
Application number
KR1020137023454A
Other languages
English (en)
Other versions
KR20130122967A (ko
Inventor
마사키 이시이
겐지 나미에
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20130122967A publication Critical patent/KR20130122967A/ko
Application granted granted Critical
Publication of KR101514910B1 publication Critical patent/KR101514910B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 처리 장치는, 촬상 장치와, 촬상 장치에 접속된 처리 장치를 포함한다. 촬상 장치는, 프레임 화상을 취득하는 화상 취득 유닛; 상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛; 상기 처리 장치로부터 수신된 변환 파라미터를 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛; 상기 설정된 변환 파라미터를 이용하여 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및 변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛을 포함한다. 상기 처리 장치는, 상기 촬상 장치로부터 수신된 프레임 화상을 이용하여, 화상 변환을 위한 변환 파라미터를 산출하는 변환 파라미터 산출 유닛; 및 상기 변환 파라미터를 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛을 포함한다.

Description

영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법{VIDEO PROCESSING APPARATUS, VIDEO PROCESSING SYSTEM, AND VIDEO PROCESSING METHOD}
본 발명은, 카메라로 촬영한 영상에 화상 변환을 적용하는 기술에 관한 것이며, 보다 자세히는, 화상 변환 처리를 하는 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법에 관한 것이다.
텔레컨퍼런스 시스템에 포함된 텔레비젼 단말 등은, 회의 장면을 촬영하는 카메라(촬상 장치)를 갖는다. 이 카메라는, 회의 장면을 촬영할 뿐만 아니라, 원고, 그림, 및 화이트보드를 촬영하는 데 사용될 수도 있어, 상대측과 정보를 공유할 수 한다. 이러한 적용에 대하여, 예컨대 촬영 화상의 일부의 영역에 포커싱하여 그 영역을 확대 표시(디지털 줌)하거나, 원고, 그림 또는 화이트보드를 경사진 각도로 촬영한 경우라도 바로 정면에서 촬영한 것처럼 화상을 보정(원근 보정(perspective correction))하거나 하는 화상 변환 처리가 요구된다. 이것에 관련하여, 디지털 카메라에 대한 디지털 줌과 원근 보정과 같은 화상 변환 처리 기술이 이미 알려져 있다(예컨대, 일본 특허 공개 공보 제2004-72181호, 및 일본 특허 공개 공보 제2008-60827호).
그러나, 종래의 화상 변환 처리 기술로서는, 영상이나 동화상과 같이 연속한 프레임 화상에 리얼 타임으로 디지털 줌이나 원근 보정을 행하는 경우에는, 촬상 장치 내에, 처리에 필요한 모든 기능을 갖춘 ISP(Image Signal Processor) 와 같은 하드웨어를 실장시키는 것은 곤란했다. 예컨대, 원근 보정에 관해서 말하면, 촬영 화상으로부터 피사체인 원고, 그림, 및 화이트보드에 대응하는 영역(사각형을 갖는)을 자동 검출하는 처리를 실행하기 위하여, 화상 전체를 탐색해야 한다. 따라서, 처리는 비교적 복잡해지고, 또한 긴 처리 시간을 요한다. 따라서, 영상이나 동화상에 처리를 적용하기 위하여, ISP를 사용하는 하드웨어 실장이 곤란하거나 불가능했다.
본 발명은, 촬상 장치 내의 ISP 등을 사용하여, 영상이나 동화상과 같이 연속한 프레임 화상에 리얼 타임으로 화상 변환을 하는 것을 가능하게 하여, 화상 변환의 고속화 및 효율화를 실현하는 것이다.
구체적으로는, 본 발명의 목적은, 화상 변환의 고속화 및 효율화를 실현할 수 있는 영상 처리 장치, 영상 처리 시스템, 텔레컨퍼런스 시스템, 원격 감시 시스템, 영상 처리 방법, 및 촬상 장치를 제공하는 것이다.
본 발명에 따르면, 촬상 장치와, 촬상 장치에 접속된 처리 장치를 포함하는 영상 처리 장치를 제공한다. 촬상 장치는, 프레임 화상을 취득하는 화상 취득 유닛; 상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛; 상기 처리 장치로부터 수신된 변환 파라미터를 촬상 장치에 설정하는 변환 파라미터 설정 유닛; 상기 설정된 변환 파라미터를 이용하여 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및 변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛을 포함한다. 상기 처리 장치는, 상기 촬상 장치로부터 수신된 프레임 화상을 이용하여, 화상 변환을 위한 변환 파라미터를 산출하는 변환 파라미터 산출 유닛; 및 상기 변환 파라미터를 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛을 포함한다.
다른 실시예에 따르면, 촬상 장치와, 촬상 장치에 네트워크를 통해 접속된 처리 장치를 포함하는 영상 처리 시스템을 제공한다. 상기 촬상 장치는, 프레임 화상을 취득하는 화상 취득 유닛; 상기 프레임 화상을 상기 네트워크를 통해 상기 처리 장치에 전송하는 프레임 화상 전송 유닛; 상기 처리 장치로부터 네트워크를 통해 수신된 변환 파라미터를 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛; 상기 설정된 변환 파라미터를 이용하여 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및 변환된 프레임 화상을 상기 네트워크를 통해 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛을 포함한다. 상기 처리 장치는, 상기 촬상 장치로부터 상기 네트워크를 통해 수신된 프레임 화상을 이용하여, 화상 변환을 위한 변환 파라미터를 산출하는 변환 파라미터 산출 유닛; 및 상기 변환 파라미터를 상기 네트워크를 통해 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛을 포함한다.
또다른 실시예에 따르면, 촬상 장치와, 촬상 장치에 접속된 처리 장치를 사용하여 프레임 화상을 처리하는 영상 처리 방법을 제공한다. 상기 영상 처리 방법은, 상기 촬상 장치에 의하여 프레임 화상을 취득하여, 상기 프레임 화상을 상기 처리 장치에 전송하는 단계; 상기 처리 장치에 의하여, 상기 촬상 장치로부터 수신된 프레임 화상을 이용하여 화상 변환을 위한 변환 파라미터를 산출하고, 상기 변환 파라미터를 상기 촬상 장치에 전송하는 단계; 상기 촬상 장치에 의하여, 상기 처리 장치로부터 수신된 상기 변환 파라미터를 상기 촬상 장치에 설정하고, 상기 설정된 변환 파라미터를 이용하여 프레임 화상에 화상 변환을 적용하고, 변환된 프레임 화상을 상기 처리 장치에 전송하는 단계를 포함한다.
도 1은 원근 보정의 개념도이다.
도 2는 원근 변환의 개략 설명도이다.
도 3은 변환 파라미터 산출의 개략 설명도이다.
도 4는 본 발명의 제1 실시예에 따른 영상 처리 장치의 개략 구성도이다.
도 5는 제1 실시예에 따른 영상 처리 장치의 기능 블록도이다.
도 6은 제1 실시예에 따른 영상 처리 장치의 처리 플로우 차트이다.
도 7은 디지털 줌의 개념도이다.
도 8은 디지털 줌의 역변환의 개략 설명도이다.
도 9는 디지털 줌의 변환 파라미터 산출의 개략 설명도이다.
도 10은 본 발명의 제2 실시예에 따른 영상 처리 장치의 개략 구성도이다.
도 11은 제2 실시예에 따른 영상 처리 장치의 기능 블록도이다.
도 12는 제2 실시예에 따른 영상 처리 장치의 처리 플로우 차트이다.
도 13은 줌되는 영역과 상태 천이의 개략 설명도이다.
도 14는 본 발명의 제3 실시예에 따른 영상 처리 시스템의 개략 구성도이다.
도 15는 제3 실시예에 따른 영상 처리 시스템의 기능 블록도이다.
도 16은 본 발명의 제4 실시예에 따른 영상 처리 시스템의 개략 구성도이다.
도 17은 제4 실시예에 따른 영상 처리 시스템의 기능 블록도이다.
도 18은 본 발명의 제5 실시예에 따른 텔레컨퍼런스 시스템의 개략 구성도이다.
도 19는 본 발명의 제6 실시예에 따른 원격 감시 시스템의 개략 구성도이다.
이하, 본 발명의 실시예에 관해서 도면을 이용하여 설명한다.
이하의 실시예에서, 화상 변환으로서 원근 보정과 디지털 줌을 설명한다. 그러나, 본 발명은, 이들 이외의 여러가지 화상 변환에도 적용할 수 있다는 것은 물론이다.
제1 실시예
제1 실시예에 따른 영상 처리 장치는, 촬상 장치와, 상기 촬상 장치에 접속된 처리 장치를 포함한다. 촬상 장치로 촬영한 프레임 화상에 화상 변환으로서 원근 보정을 하여, 변환된 프레임 화상을 출력하는 것에 있어서, 촬상 장치에 접속된 처리 장치는, 모두 비교적 복잡한 처리가 필요한, 피사체 영역의 자동 검출과 변환 파라미터의 산출을 하는 데 사용되고, 그 변환 파라미터를 촬상 장치에 전송한다. 다음, 촬상 장치는, 이 변환 파라미터를 이용하여, 비교적 간단한 처리인 화상 변환 처리로서 원근 보정을 행하고, 변환된 프레임 화상을 처리 장치로 전송한다. 또한, 촬상 장치로부터 처리 장치로 변환 파라미터의 산출을 위한 프레임 화상과, 변환된 프레임 화상을 전송하는 데 상이한 전송 레이트가 사용된다.
우선, 도 1 내지 도 3을 참조하여 원근 보정에 관해서 설명한다.
도 1은, 원근 보정의 개념도이다. 도면에서, 좌측에 피사체인 화이트보드를 경사진 각도로부터 촬영한 프레임 화상의 예가 도시되어 있고, 우측에 프레임 화상에 원근 보정을 한 변환된 프레임 화상의 예를 도시한다. 원근 보정은, 피사체인 화이트보드를 경사진 각도로부터 촬영한 경우라도, 마치 바로 정면에서 촬영한 것과 같은 화상을 생성하는 처리이다.
도 2는, 원근 변환(원근 보정의 역변환)을 설명하는 개략도이다. 원근 변환은, 변환된 프레임 화상의 화소(x, y)로부터 프레임 화상의 화소(x', y')로의 좌표 변환이다. 변환식은,
Figure 112013080948412-pct00001
와 같이, 행렬을 이용하여 나타낼 수 있다. 여기서, 행렬의 요소(k0, k1, k2, k3, k4, k5, k6, k7)는 변환 파라미터이다.
원근 보정을 한 변환된 프레임 화상을 생성하기 위해서는, 변환된 프레임 화상의 각 화소의 휘도에 대응하는 프레임 화상의 각 화소의 휘도를 결정해야 한다. 이것을 달성하기 위하여, 변환된 프레임 화상의 화소가, 원래의 프레임 화상의 어떤 화소에 해당하는 지를 알 필요가 있다. 원래 프레임 화상의 화소의 좌표를 산출하기 위해서, 상기 식 (1)의 변환식을 이용한다. 또한, 좌표를 산출하기 위하여, 미리 변환 파라미터를 산출해야 한다.
도 3는, 변환 파라미터의 산출의 방법을 설명하는 개략도이다. 변환 파라미터는, 프레임 화상에 포함된 화이트보드의 네 코너의 좌표 및 변환된 프레임 화상의 네 코너의 좌표를 이용하여, 이하와 같은 행렬 방정식을 풀어 산출될 수 있다.
Figure 112013080948412-pct00002
변환된 프레임 화상의 네 코너의 좌표는 변환된 프레임 화상의 사이즈에 기초하여 결정된다. 예컨대, 화상의 좌측 위 코너를 원점으로 하여, X 좌표의 플러스 방향을 우측, Y 좌표의 플러스 방향을 하측으로 한 경우, 변환된 프레임 화상의 크기가 VGA(Video Graphics Array)(640 화소 x 480 화소)이면, 네 코너의 좌표는 (x1, y1)=(0,0), (x2, y2) = (639, 0), (x3, y3) = (0, 479), (x4, y4) = (639, 479)일 것이다.
제1 실시예에서, 처리 장치는, 프레임 화상으로부터 화이트보드의 네 코너의 좌표를 검출하여 식(2)에 의해 변환 파라미터를 산출하는 비교적 복잡한 처리를 행하기 위하여 사용되고, 촬상 장치는, 프레임 화상에 식 (1)을 이용하여, 원근 보정을 하여 변환된 프레임 화상을 생성하는 비교적 단순한 처리를 행하여 위하여 사용된다. 또한, 촬상 장치로부터 처리 장치로 변환 파라미터 산출을 위한 프레임 화상과, 변환된 프레임 화상을 전송하는 데 상이한 전송 레이트가 사용된다.
도 4는, 제1 실시예에 따른 영상 처리 장치의 구성예를 도시한다. 제1 실시예에 따른 영상 처리 장치는 적어도 촬상 장치(10)와 처리 장치(20)를 포함한다. 처리 장치(20)는, 예컨대 퍼스널 컴퓨터이다. 촬상 장치(10)와 처리 장치(20)는 유선(예컨대, USB) 혹은 무선으로 접속된다.
촬상 장치(10)는, 렌즈(11), 상기 렌즈(11)로 결상된 광학 화상을 전기 신호의 형태로 프레임 화상으로 변환하는 CCD(charge-coupled device), 또는 CMOS(complementary metal oxide semiconductor) 등의 센서(12), 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛(13), 및 프레임 화상, 변환된 프레임 화상, 그 밖의 데이터, 및 제어 신호를 처리 장치(20)와 교환하는 인터페이스(I/F) 유닛(14)을 포함한다.
처리 장치(20)는, 촬상 장치(10)와 프레임 화상, 변환된 프레임 화상, 그 밖의 데이터, 및 제어 신호를 교환하는 I/F 유닛(21), 여러가지 처리를 실행하는 중앙 처리 장치(CPU)(22), CPU(22)에 의하여 실행되는 처리에 필요한 각종 소프트웨어와 데이터, 프레임 화상, 변환된 프레임 화상 등을 저장하는 메모리(23), 상기 처리 장치(20)에 접속된 모니터(미도시) 등에 영상 신호를 전송하는 영상 출력 유닛(24), 영상 신호 등을 네트워크에 의해 접속된 다른 장치에 전송하는 통신 유닛(25), 장치 전체를 제어하는 제어 유닛(26), 및 각 유닛을 접속하는 버스(27)를 포함한다. RAM(random access memory), ROM(read-only memory), HDD(hard disk drive) 등을 메모리(23)로서 총칭한다. 사용자 조작 지시 수신 유닛 등도 포함되나, 도 4에는 생략되어 있다.
제1 실시예에 따른 영상 처리 장치에서, 촬상 장치(10)에 포함된 화상 처리유닛(13)은 원근 보정을 위한 화상 변환 기능을 갖고, 처리 장치(20)에 포함된 CPU(22)는 변환 파라미터 산출 기능을 갖는다.
도 5는, 제1 실시예에 따른 영상 처리 장치의 전체 기능 블록도를 도시한다. 촬상 장치(10)에서, 화상 취득 유닛(121)은 프레임 화상을 생성하여, 프레임 화상을 화상 변환 유닛(131) 및 프레임 화상 전송 유닛(142)에 전송한다. 프레임 화상 전송 유닛(142)은 프레임 화상을 처리 장치(20)에 전송한다. 처리 장치(20)에서, 변환 파라미터 산출 유닛(221)이 프레임 화상으로부터 변환 파라미터를 산출하여, 변환 파리미터를 변환 파라미터 전송 유닛(211)에 전송한다. 변환 파라미터 전송 유닛(211)은 변환 파라미터를 촬상 장치(10)에 전송한다. 촬상 장치(10)에서, 변환 파라미터 설정 유닛(132)이 변환 파라미터를 화상 처리 유닛(13)에 설정한다. 화상 변환 유닛(131)은, 설정된 변환 파라미터에 기초하여, 프레임 화상에 원근 보정을 하여 변환된 프레임 화상을 생성하고, 변환된 화상을 변환된 프레임 화상 전송 유닛(141)에 전송한다. 변환된 프레임 화상 전송 유닛(141)은 변환된 프레임 화상을 처리 장치(20)에 전송한다. 처리 장치(20)는, 변환된 프레임 화상을 처리 장치(20)에 접속된 디스플레이 등의 영상 출력 장치에 표시하거나, 변환된 프레임 화상을 네트워크로 접속된 다른 장치에 전송한다.
도 6은 도 5에 도시된 기능 블록도에 대응하는 처리 플로우 차트를 도시한다. 도 6을 참조하여 제1 실시예에 따른 촬상 장치(10)와 처리 장치(20)의 동작을 자세히 설명한다.
촬상 장치(10)에서, 화상 취득 유닛(센서)(121)가 광학 화상을 전기 신호로 변환하여 프레임 화상을 생성하고, 프레임 화상을 화상 변환 유닛(131) 및 프레임 화상 전송 유닛(142)에 전송한다(단계 1010). 프레임 화상 전송 유닛(142)은, 이 프레임 화상을 처리 장치(20)에 전송한다(단계 1020). 이 프레임 화상은, 변환 파라미터를 산출하기 위해서 사용되기 때문에, 프레임 화상은 반드시 리얼 타임으로 처리 장치(20)로 전송될 필요는 없다. 따라서, 프레임 화상은, 변환된 프레임 화상 전송 유닛(141)으로부터 변환된 프레임 화상이 전송되는 레이트보다 낮은 전송 레이트로 전송될 수도 있다.
처리 장치(20)에서, 변환 파라미터 산출 유닛(CPU)(221)은, 프레임 화상으로부터 변환 파라미터를 산출한다(단계 1030). 구체적으로는, 변환 파라미터 산출 유닛(221)은, 프레임 화상으로부터 피사체인 화이트보드에 대응하는 영역을 검출하여, 그 영역의 네 코너의 좌표, 및 화상 사이즈에 기초하여 미리 결정될 수 있는 변환된 프레임 화상의 네 코너의 좌표를 식 (2)에 나타낸 방정식에 대입하여, 해당 방정식을 푸는 것으로, 변환 파라미터를 산출한다(도 3 참조).
프레임 화상으로부터 화이트보드의 네 코너의 좌표를 검출하는 처리는, 예컨대, 다음과 같이 하여 행한다.
단계 1 : 프레임 화상으로부터 농담 화상(휘도 화상)을 생성
단계 2: 농담 화상으로부터 에지를 검출하여, 화이트보드의 4변을 검출
단계 3: 2개의 인접하는 변 간의 교점을 산출하여, 화이트보드의 네 코너의 좌표를 산출
예컨대, 일본 특허 공개 공보 제2007-67847호는, 화이트보드에 대응하는 영역을 자동 검출하는 방법을 개시하고, 개시된 방법은, 프레임 화상으로부터 화이트보드에 대응하는 영역을 검출하는 데 사용될 수도 있다.
도 6으로 돌아가, 처리 장치(20)의 변환 파라미터 전송 유닛(211)은, 변환 파라미터를 촬상 장치(10)에 전송한다(단계 1040).
촬상 장치(10)에서, 변환 파라미터 설정 유닛(132)은, 처리 장치(20)로부터 수신된 변환 파라미터를 화상 처리 유닛(예컨대, ISP)(13)에 포함된 메모리에 설정한다(단계 1050).
화상 변환 유닛(131)는, 화상 처리 유닛(13)에 설정된 변환 파라미터를 사용하여, 화상 취득 유닛(121)으로부터 수신된 프레임 화상에 원근 변환을 하여, 변환된 프레임 화상을 생성한다(단계 1060). 구체적으로는, 다음 처리가 행해진다(도 2 참조).
단계 1 : 변환된 프레임 화상에서 휘도를 산출하는 화소를 결정(화소의 좌표는 (x, y)이다)
단계 2 : 식 (1)에 나타낸 변환식을 이용하여, 좌표(x, y)에 대응하는 프레임 화상의 화소의 좌표(x', y')를 산출
단계 3 : 좌표(x', y')의 휘도를 산출
단계 4 : 좌표(x, y)의 휘도로서 좌표(x', y')의 휘도를 설정
화상 변환 유닛(131)은, 변환된 프레임 화상의 모든 화소에 대한 휘도를 결정할 때까지, 단계 1 내지 단계 4의 처리를 반복한다.
변환된 프레임 화상 전송 유닛(141)은, 처리 장치(20)에 변환된 프레임 화상을 전송한다(단계 1070). 실제로는, 화상 변환 유닛(131)과 변환된 프레임 화상 전송 유닛(141)은 평행하게 동작한다. 변환된 프레임 화상은, 변환 파라미터 산출을 위해 전송된 프레임 화상에 비교해서 보다 고속으로 전송된다.
처리 장치(20)는, 예컨대, 촬상 장치(10)로부터 수신된 변환된 프레임 화상을 영상 출력 유닛(24)을 통하여 디스플레이 등의 영상 출력 장치에 표시하거나, 네트워크를 통해 통신 유닛(25)을 통해 다른 장치에 변환된 프레임 화상을 전송한다(단계 1080).
프레임 화상 간에 화이트보드에 대응하는 영역의 좌표가 동일(화이트보드나 카메라의 위치가 변하지 않는)한 경우, 변환 파라미터는 프레임 화상마다 재산출될 필요는 없다. 따라서, 실제로는 다음과 같은 방법으로 하는 것이 바람직하다. 이에 따라, 처리의 효율화가 가능하게 된다.
방법 1 : 화이트보드나 카메라의 위치가 변한 경우에, 사용자 지시에 기초하여 변환 파라미터를 재산출한다. 이 경우, 사용자 지시가 수신된 경우에만, 촬상 장치(10)에서, 프레임 화상 전송 유닛(142)은 처리 장치(20)에 프레임 화상을 전송한다. 프레임 화상을 수신하면, 처리 장치(20)에서의 변환 파라미터 산출 유닛(211)은 변환 파라미터를 재산출하고, 변환 파라미터 전송 유닛(211)은 촬상 장치(10)에 변환 파라미터를 전송한다. 촬상 장치(10)에서, 변환 파라미터 설정 유닛(132)은 변환 파라미터를 다시 설정하고, 화상 변환 유닛(131)은 설정된 변환 파라미터를 사용하여, 화상 취득 유닛(121)으로부터의 프레임 화상에 원근 보정을 계속 한다.
방법 2 : 화이트보드나 카메라의 위치가 변화되는 것에 상관없이 일정 간격마다 변환 파라미터를 재산출한다. 이 경우, 촬상 장치(10)에서, 일정 간격마다 프레임 화상 전송 유닛(142)은 처리 장치(20)에 프레임 화상을 전송한다. 처리 장치(20)에서, 변환 파라미터 산출 유닛(211)은 변환 파라미터를 재산출하고, 변환 파라미터 전송 유닛(211)은 촬상 장치(10)에 변환 파라미터를 일정 간격으로 전송한다. 촬상 장치(10)에서, 변환 파라미터 설정 유닛(132)은 변환 파라미터를 재설정하고, 화상 변환 유닛(131)은 설정된 변환 파라미터를 사용하여, 화상 취득 유닛(121)으로부터 프레임 화상에 원근 보정을 계속 행한다.
제1 실시예의 따른 영상 처리 장치는, 촬영하여 얻은 프레임 화상에 원근 보정을 한 변환된 프레임 화상을 고속이고 또한 효율적으로 생성할 수 있다. 또한, 변환 파라미터를 산출하기 위하여 사용된 프레임 화상의 전송 레이트를 낮게 하는 것으로, 주로 전송해야 되는 변환된 프레임 화상의 전송을 보다 고속으로 행할 수 있다.
제2 실시예
제2 실시예에 따른 영상 처리 장치는 다음의 특징을 갖는다. 영상 처리 장치는, 촬상 장치와, 상기 촬상 장치에 접속된 처리 장치를 포함한다. 촬상 장치로 촬영한 프레임 화상에 화상 변환으로서 디지털 줌을 하여, 변환된 프레임 화상을 출력하는 것에 있어서, 촬상 장치에 접속된 처리 장치는, 디지털 줌에 필요한 변환 파라미터의 산출을 하여, 그 변환 파라미터를 촬상 장치에 전송하는 데 사용된다. 다음, 촬상 장치는, 이 변환 파라미터를 이용하여 디지털 줌 처리를 하여, 디지털 줌이 실시된 변환된 프레임 화상을 처리 장치로 전송한다. 제2 실시예에서도, 촬상 장치로부터 처리 장치로 변환 파라미터의 산출을 위한 프레임 화상과, 변환된 프레임 화상을 전송하는 데 상이한 전송 레이트가 사용된다(프레임 화상에 대하여 보다 낮은 전송 레이트가 사용된다).
먼저, 도 7 내지 도 9를 참조하여, 디지털 줌에 관해서 설명한다.
도 7은, 디지털 줌의 개념도이다. 도면에서, 좌측에 피사체인 화이트보드를 촬영한 프레임 화상이 도시되어 있고, 우측에 프레임 화상에 디지털 줌(줌 인)에 해당하는 처리를 실시한 변환된 프레임 화상의 일례를 도시한다.
도 8은, 디지털 줌의 역변환을 설명하는 개략도이다. 여기서 말하는 디지털 줌의 역변환은, 변환된 프레임 화상의 화소(x, y)로부터, 프레임 화상의 화소(x', y')로의 좌표 변환을 의미하고, 변환식은,
Figure 112013080948412-pct00003
와 같이, 행렬을 이용하여 나타낼 수 있다. 식 (3)은 상술된 식 (1)과 동일하고, 변환 파라미터는 행렬의 요소(k0, k1, k2, k3, k4, k5, k6, k7)이다.
디지털 줌을 한 변환된 프레임 화상을 생성하기 위해서는, 변환된 프레임 화상의 각 화소의 휘도에 대응하는 프레임 화상의 각 화소의 휘도를 결정해야 한다. 이것을 달성하기 위하여, 변환된 프레임 화상의 어느 화소가 원래의 프레임 화상의 어느 화소에 해당하는 지를 알 필요가 있다. 원래의 프레임 화상의 화소의 좌표를 산출하기 위해서, 상기 식 (3)을 이용한다. 또한, 좌표를 계산하기 위하여, 미리 변환 파라미터를 산출해야 한다.
도 9는, 변환 파라미터의 산출의 방법을 설명하는 개략도이다. 이것은, 도 3에 도시된 개략도와 기본적으로 동일하다. 변환 파라미터는, 프레임 화상에 포함된 줌되는 영역의 네 코너의 좌표, 및 변환된 프레임 화상의 네 코너의 좌표를 이용하여, 이하의 행렬식을 푸는 것으로 산출될 수 있다.
Figure 112013080948412-pct00004
프레임 화상의 줌되는 영역은, 줌 버튼의 누름 상태에 기초하여 결정된다. 한편, 변환된 프레임 화상의 네 코너의 좌표는, 제1 실시예에서와 동일한 방식으로, 변환된 프레임 화상의 사이즈에 기초하여 고유하게 결정된다.
제2 실시예에서, 처리 장치는, 제1 실시예에서와 동일한 방식으로, 프레임 화상의 줌되는 영역의 네 코너의 좌표를 취득하여, 식 (4)로부터 변환 파라미터를 산출하는 비교적 복잡한 처리를 수행하는 데 사용되고, 촬상 장치는, 식 (3)을 이용하여 디지털 줌 처리를 하여, 디지털 줌을 한 변환된 프레임 화상을 생성하는 비교적 간단한 처리를 수행하는 데 사용된다. 또한, 제2 실시예에서도, 촬상 장치로부터 처리 장치로 변환 파라미터 산출을 위한 프레임 화상과, 변환된 프레임 화상을 전송하는 데 상이한 전송 레이트가 사용된다.
도 10은, 제2 실시예에 따른 영상 처리 장치의 구성예를 도시한다. 제2 실시예에 따른 영상 처리 장치는, 적어도 촬상 장치(30)와 처리 장치(예컨대, 퍼스널 컴퓨터)(40)를 포함한다. 촬상 장치(30)와 처리 장치(40)는 유선(예컨대, USB) 혹은 무선으로 접속된다.
촬상 장치(30)는, 렌즈(31), 상기 렌즈(31)로 결상된 광학 화상을 전기 신호의 형태로 프레임 화상으로 변환하는 CCD나 CMOS 등의 센서(32), 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛(33), 및 프레임 화상, 변환된 프레임 화상, 그 밖의 데이터, 및 제어 신호를 처리 장치(40)와 교환하는 I/F 유닛(34)을 포함한다.
처리 장치(40)는, 촬상 장치(30)와 프레임 화상, 변환된 프레임 화상, 그 밖의 데이터, 및 제어 신호를 교환하는 I/F 유닛(41), 여러가지 처리를 실행하는 CPU(42), CPU(42)의 처리에 필요한 각종 소프트웨어와 데이터, 프레임 화상, 변환된 프레임 화상 등을 저장하는 메모리(43), 사용자로부터 줌 지시를 수신하는 줌 지시 수신 유닛(44), 처리 장치(40)에 접속된 모니터 등에 영상 신호를 전송하는 영상 출력 유닛(45), 영상 신호 등을 네트워크에 접속된 다른 장치에 전송하는 통신 유닛(46), 장치 전체를 제어하는 제어 유닛(47), 및 이들 유닛 각각을 접속하는 버스(48)를 포함한다. 제2 실시예에서도, RAM, ROM, HDD 등을 메모리(43)로 총칭한다.
제2 실시예에 따른 영상 처리 장치에서, 촬상 장치(30)의 화상 처리 유닛(31)은 디지털 줌의 화상 변환 기능을 갖고, 처리 장치(40)의 CPU(42)는 변환 파라미터 산출 기능을 갖는다.
사용자로부터의 줌 지시를 수신하는 가능한 방법은, 처리 장치(40) 자체에 제공된 줌 인/줌 아웃 버튼, 또는 조작 리모콘에 제공된 줌 인/줌 아웃 버튼을 포함한다. 이하에서는, 처리 장치(40) 자체에 제공된 줌 인 버튼과 줌 아웃 버튼은 사용자 지시를 수신하는 데 사용된다.
도 11은, 제2 실시예에 따른 영상 처리 장치의 전체적 기능 블록도를 도시한다. 촬상 장치(30)에서, 화상 취득 유닛(321)은 프레임 화상을 생성하여, 프레임 화상을 화상 변환 유닛(331) 및 프레임 화상 전송 유닛(342)에 전송한다. 프레임 화상 전송 유닛(342)은 프레임 화상을 처리 장치(40)에 전송한다. 처리 장치(40)에서, 줌 지시 수신 유닛(441)은, 사용자로부터 줌 인/줌 아웃 지시가 수신되면, 제어 유닛(471)에 지시를 통지하고, 제어 유닛(471)은 변환 파라미터 산출 유닛(421)에 변환 파라미터를 산출할 것을 지시한다. 변환 파라미터 산출 유닛(421)은, 프레임 화상 및 줌 버튼의 누름 상태에 기초하여 변환 파라미터를 산출하여, 변환 파라미터를 변환 파라미터 전송 유닛(411)에 전송한다. 변환 파라미터 전송 유닛(411)은 변환 파라미터를 촬상 장치(30)에 전송한다. 촬상 장치(30)에서, 변환 파라미터 설정 유닛(322)은 변환 파라미터를 화상 처리 유닛(33)에 설정한다. 화상 변환 유닛(331)은, 설정된 변환 파라미터를 이용하여 변환식에 기초하여 프레임 화상에 디지털 줌 처리를 실시하여, 변환된 프레임 화상을 생성하고, 변환된 화상을 변환된 프레임 화상 전송 유닛(341)에 전송한다. 변환된 프레임 화상 전송 유닛(341)은 변환된 프레임 화상을 처리 장치(40)에 전송한다. 처리 장치(40)는, 변환된 프레임 화상을 처리 장치(40)에 접속된 디스플레이 등의 영상 출력 장치에 표시하거나, 변환된 프레임 화상을 네트워크로 접속된 다른 장치에 전송한다.
사용자로부터 줌 지시가 수신되지 않는 경우는, 촬상 장치(30)의 화상 변환 유닛(331)은 화상 취득 유닛(321)으로부터 수신된 프레임 화상을 그대로 변환된 프레임 화상 전송 유닛(341)에 전송하고, 변환된 프레임 화상 전송 유닛(341)도, 이 프레임 화상을 그대로 처리 장치(40)에 전송한다.
도 12는 도 11에 도시된 기능 블록도에 대응하는 처리 플로우 차트를 도시한다. 도 12를 참조하여, 제2 실시예에 따른 촬상 장치(30)와 처리 장치(40)의 동작을 자세히 설명한다.
촬상 장치(30)에서, 화상 취득 유닛(센서)(321)가, 렌즈를 통과한 광학 화상을 전기 신호로 변환하여 프레임 화상을 생성하고, 프레임 화상을 화상 변환 유닛(331) 및 프레임 화상 전송 유닛(342)에 전송한다(단계 2010). 도 12에는 이들 단계를 생략했지만, 통상적으로, 화상 변환 유닛(331)은 화상 취득 유닛(321)으로부터 수신된 프레임 화상을 그대로 변환된 프레임 화상 전송 유닛(341)에 전송하고, 변환된 프레임 화상 전송 유닛(341) 또한, 이 프레임 화상을 그대로 처리 장치(40)에 전송한다.
프레임 화상 전송 유닛(342)도, 프레임 화상을 처리 장치(40)에 전송한다(단계 2020). 제2 실시예에서도, 프레임 화상은 변환 파라미터를 산출하기 위해서 사용되므로, 프레임 화상은 반드시 리얼 타임으로 처리 장치(40)에 전송될 필요는 없다. 따라서, 프레임 화상은, 프레임 화상 또는 변환된 프레임 화상이 변환된 프레임 화상 전송 유닛(341)으로부터 전송되는 레이트보다 낮은 전송 레이트로 전송될 수도 있다.
프레임 화상 전송 유닛(342)은, 사용자로부터 줌 지시가 수신된 경우만 프레임 화상을 처리 장치(40)에 전송할 수도 있다. 사용자로부터 수신된 줌 지시의 통지는, 처리 장치(40)에 포함된 후술하는 줌 지시 수신 유닛(441) 또는 제어 유닛(471)에 의하여 수행될 수도 있다.
처리 장치(40)에서, 처리 장치 자체에 제공된 줌 인/줌 아웃 버튼으로 사용자가 줌 지시를 하는 경우, 줌 지시 수신 유닛(441)은 줌 지시를 수신하고, 지시를 제어 유닛(471)에 통지한다(단계 2030). 제어 유닛(471)은, 변환 파라미터 산출 유닛(421)에 대하여 변환 파라미터의 산출을 지시한다(단계 2040).
변환 파라미터 산출 유닛(421)은, 프레임 화상에서 줌되는 영역의 네 코너의 좌표 및 변환된 프레임 화상의 네 코너의 좌표에 기초하여, 디지털 줌에 대한 변환 파라미터를 산출한다(단계 2050). 구체적으로는, 프레임 화상에 줌되는 영역의 네 코너의 좌표를 식 (4)에 나타낸 방정식에 대입하여, 해당 방정식을 푸는 것으로 변환 파라미터를 산출한다(도 9 참조). 줌되는 화상 영역은 후술한다. 변환 파라미터 전송 유닛(411)은, 변환 파라미터를 촬상 장치(30)에 전송한다(단계 2060).
촬상 장치(30)에서, 변환 파라미터 설정 유닛(332)은, 처리 장치(40)로부터 수신된 변환 파라미터를 화상 처리 유닛(33) 내에 포함된 메모리에 설정한다(단계 2070).
화상 변환 유닛(331)은, 화상 처리 유닛(33)에 설정된 변환 파라미터를 사용하여, 화상 취득 유닛(321)으로부터 수신된 프레임 화상에 디지털 줌을 하여, 변환된 프레임 화상을 생성한다(단계 2080). 구체적으로는, 다음 처리가 행해진다(도 8 참조). 이 처리는 기본적으로, 원근 보정에 대하여 행하는 처리와 동일하다.
단계 1 : 변환된 프레임 화상에서 휘도를 산출하는 화소를 결정(여기서, 화소의 좌표는 (x, y)이다).
단계 2 : 식 (3)에 나타낸 변환식을 이용하여 좌표(x, y)에 대응하는 프레임 화상의 화소의 좌표(x', y')를 산출
단계 3 : 좌표(x', y')의 휘도를 산출
단계 4 : 좌표(x, y)의 휘도로서 좌표(x', y')의 휘도를 설정
화상 변환 유닛(331)은, 변환된 프레임 화상의 모든 화소에 대하여 휘도가 결정될 때까지 단계 1 내지 단계 4의 처리를 반복한다.
변환된 프레임 화상 전송 유닛(341)은, 처리 장치(40)에 변환된 프레임 화상을 전송한다(단계 2090). 실제로는, 화상 변환 유닛(331)과 변환된 프레임 화상 전송 유닛(341)은 평행하게 동작한다.
이후, 줌 버튼의 누름 상태가 동일하게 유지되면, 화상 변환 유닛(331)은, 설정된 변환 파라미터를 사용하여, 프레임 화상에 디지털 줌 처리를 계속 하고, 변환된 프레임 화상 전송 유닛(341)은 순차적으로 그 변환된 프레임 화상을 처리 장치(40)에 전송한다.
처리 장치(40)는, 예컨대, 촬상 장치(30)로부터 수신된 변환된 프레임 화상을 영상 출력 유닛(24)을 통하여 디스플레이 등의 영상 출력 장치에 표시하거나, 변환된 프레임 화상을 네트워크를 통해 통신 유닛(25)을 통해 다른 장치에 전송한다(단계 2100).
도 13은, 프레임 화상의 줌되는 영역과, 줌 인/줌 아웃 버튼의 누름 동작 간의 관계를 도시한다. 줌되는 영역은, 좌측에 도면에 도시된 바와 같이, 프레임 화상과 동일한 중심을 공유하는 직사각 영역이다. 복수의 줌되는 영역이 사전에 지정되고, 줌 인 버튼/줌 아웃 버튼의 누름 상태가 어떤 줌되는 영역을 표시하는 지를 결정한다. 상태 천이를 우측 도면에 도시한다. 상태 정보는 처리 장치에 기억될 필요가 있고, 줌 인 버튼/줌 아웃 버튼이 눌러질 때마다 갱신된다.
실제 상태 천이에 관해서 간단히 설명한다. 초기 상태로부터 줌 인 버튼이 눌러지면, 줌되는 영역(1)을 표시하도록 디지털 줌 처리를 하여, 상태는 상태(1)로 천이한다. 줌 인 버튼이 상태(1)에서 더 눌러지면, 줌되는 영역(2)을 표시하도록 디지털 줌 처리를 하고, 상태는 상태(2)로 천이한다. 상태(2)에서 줌 아웃 버튼이 눌러지면, 줌되는 영역(1)을 표시하도록 디지털 줌 처리를 하고, 상태는 상태(1)로 되돌아간다.
제2 실시예에 따른 영상 처리 장치는, 촬영하여 얻어진 프레임 화상에 줌 인/줌 아웃(디지털 줌)을 한 변환된 프레임 화상을 고속이고 또한 효율적으로 생성할 수 있다. 또한, 변환 파라미터를 산출하기 위하여 사용된 프레임 화상의 전송 레이트를 낮게 하는 것으로, 주로 전송되어야 하는 변환된 프레임 화상의 전송을 보다 고속으로 행할 수 있다.
제1 실시예와 제2 실시예를 병합할 수도 있다. 그 경우, 대부분의 구성 및 기능을 공유할 수 있다.
제3 실시예
제3 실시예는, 제1 실시예를 네트워크 환경으로 확장한다. 제3 실시예에서, 촬상 장치와 처리 장치가 네트워크로 접속된 영상 처리 시스템에 있어서, 처리 장치에서 원근 보정에 필요한 변환 파라미터를 산출하고, 그 변환 파라미터를 촬상 장치에 전송한다. 다음, 촬상 장치는, 이 변환 파라미터를 사용하여, 촬영하여 얻어진 프레임 화상에 원근 보정을 행하여, 원근 보정된 변환된 프레임 화상을 처리 장치에 전송한다. 제3 실시예에서도, 촬상 장치로부터 처리 장치로 변환 파라미터의 산출을 위한 프레임 화상, 및 변환된 프레임 화상을 전송하기 위하여 상이한 전송 레이트가 사용된다(프레임 화상에 대하여 보다 낮은 전송 레이트가 사용된다).
도 14는, 제3 실시예에 따른 영상 처리 시스템의 구성예를 도시한다. 제3 실시예에 따른 영상 처리 시스템은 촬상 장치(50), 처리 장치(60), 및 네트워크(90)를 포함한다. 처리 장치(60)는, 예컨대 감시 센터이다.
촬상 장치(50)는, 렌즈(51), 렌즈(51)로 결상된 광학 화상을 전기 신호의 형태의 프레임 화상으로 변환시키기 위한 CCD나 CMOS 등의 센서(52), 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛(53), 및 프레임 화상, 변환된 프레임 화상, 변환 파라미터, 제어 신호 등을 네트워크(90)를 통해 처리 장치(60)와 송수신하는 통신 유닛(54)을 포함한다.
처리 장치(60)는, 여러가지의 처리를 실행하는 CPU(61), CPU(61)의 처리에 필요한 각종 소프트웨어나 데이터, 프레임 화상, 변환된 프레임 화상 등을 저장하는 메모리(62), 처리 장치(60)에 접속된 모니터 등에 영상 신호를 전송하는 영상 출력 유닛(63), 프레임 화상, 변환된 프레임 화상, 변환 파라미터, 제어 신호 등을 네트워크(90)를 통해 촬상 장치(50)와 송수신하는 통신 유닛(64), 장치 전체를 제어하는 제어 유닛(65), 및 각 유닛을 접속하는 버스(66)를 포함한다. RAM, ROM, HDD는 메모리(62)로서 총칭한다. 사용자 조작 지시 수신 유닛 등도 처리 장치(60)에 포함되나, 도 14에는 생략되어 있다.
제3 실시예에서, 상술된 제1 실시예에서와 동일한 방식으로, 촬상 장치(50)의 화상 처리 유닛(53)은 원근 보정에 대한 화상 변환 기능을 갖고, 처리 장치(60)에 포함된 CPU(61)는 원근 보정에 대하여 이용되는 변환 파라미터의 산출 기능을 갖는다.
도 15는, 제3 실시예에 따른 영상 처리 시스템의 전체적 기능 블록도를 도시한다. 촬상 장치(50)에서, 화상 취득 유닛(521)은 프레임 화상을 생성하고, 화상 변환 유닛(531) 및 프레임 화상 전송 유닛(542)에 프레임 화상을 전송한다. 프레임 화상 전송 유닛(542)은, 이 프레임 화상을 네트워크(90)를 통해 처리 장치(60)에 전송한다. 처리 장치(60)에서, 변환 파라미터 산출 유닛(611)이 프레임 화상으로부터 변환 파라미터를 산출하여, 변환 파라미터를 변환 파라미터 전송 유닛(641)에 전송한다. 변환 파라미터 전송 유닛(641)은, 이 변환 파라미터를 네트워크(90)를 통해 촬상 장치(50)에 전송한다. 촬상 장치(50)에서, 변환 파라미터 설정 유닛(532)은 변환 파라미터를 처리 유닛에 설정한다. 화상 변환 유닛(531)은, 설정된 변환 파라미터에 기초하여 프레임 화상에 화상 변환을 하여 변환된 프레임 화상을 생성하고, 변환된 화상을 변환된 프레임 화상 전송 유닛(541)에 전송한다. 변환된 프레임 화상 전송 유닛(541)은, 이 변환된 프레임 화상을 네트워크(90)를 통해 처리 장치(60)에 전송한다. 처리 장치(60)에서, 이 변환된 프레임 화상을 처리 장치(60)에 접속된 디스플레이 등의 영상 출력 장치에 표시한다.
원근 보정에 필요한 변환 파라미터의 산출의 방법, 및 프레임 화상에의 원근 보정 처리의 방법은, 제1 실시예에 따른 것과 동일하다. 따라서, 그 설명은 여기서 생략한다.
제3 실시예에서도, 촬상 장치(50)로부터 처리 장치(60)에 전송된 프레임 화상은 변환 파라미터를 산출하기 위해서 사용되므로, 프레임 화상은 반드시 리얼 타임으로 처리 장치(60)에 전송될 필요는 없다. 따라서, 프레임 화상은, 변환된 프레임 화상이 전송되는 레이트보다 낮은 전송 레이트로 전송될 수도 있다. 또한, 제1 실시예에서 전술된 바와 같이, 프레임 화상은, 일정 간격마다 혹은 사용자 지시가 수신된 경우에만 전송될 수도 있다. 이러한 방식으로, 처리가 효율화될 수 있고, 네트워크(90)가 유효하게 이용될 수 있다.
제4 실시예
제4 실시예는, 제2 실시예를 네트워크 환경으로 확장한다. 제4 실시예에서, 촬상 장치와 처리 장치가 네트워크로 접속된 영상 처리 시스템에서, 처리 장치에서 디지털 줌에 필요한 변환 파라미터를 산출하고, 그 변환 파라미터를 촬상 장치에 전송한다. 다음, 촬상 장치로는, 이 변환 파라미터를 사용하여 촬영하여 얻어진 프레임 화상에 디지털 줌을 행하여, 디지털 줌된 변환된 프레임 화상을 처리 장치에 전송한다. 제4 실시예에서도, 촬상 장치로부터 처리 장치로 변환 파라미터의 산출을 위한 프레임 화상, 및 변환된 프레임 화상을 전송하는 데 상이한 전송 레이트가 사용된다(프레임 화상에 대하여 더 낮은 전송 레이트가 사용된다).
도 16은, 제4 실시예에 따른 영상 처리 시스템의 구성예를 도시한다. 제3 실시예에서와 동일한 방식으로, 제4 실시예에 따른 영상 처리 시스템은 촬상 장치(70), 처리 장치(80), 및 네트워크(90)를 포함한다. 처리 장치(80)는, 예컨대 감시 센터이다.
촬상 장치(70)는, 렌즈(71), 렌즈(71)로 결상된 광학 화상을 전기 신호의 형태로 프레임 화상으로 변환하는 CCD나 CMOS 등의 센서(72), 프레임 화상에 각종 화상 처리를 행하는 ISP 등의 화상 처리 유닛(73), 및 프레임 화상, 변환된 프레임 화상, 변환 파라미터, 제어 신호 등을 네트워크(90)를 통해 처리 장치(80)와 송수신하는 통신 유닛(74)을 포함한다.
처리 장치(80)는, 여러가지의 처리를 실행하는 CPU(81), CPU(81)의 처리에 필요한 각종 소프트웨어와 데이터, 프레임 화상, 변환된 프레임 화상 등을 저장하는 메모리(82), 사용자로부터 줌 지시를 수신하는 줌 지시 수신 유닛(83), 처리 장치(80)에 접속된 모니터 등에 영상 신호를 전송하는 영상 출력 유닛(84), 프레임 화상, 변환된 프레임 화상, 변환 파라미터, 제어 신호 등을 네트워크(90)를 통해 촬상 장치(70)와 송수신하는 통신 유닛(85), 장치 전체를 제어하는 제어 유닛(86), 및 이들 유닛 각각을 연결하는 버스(87)를 포함한다. RAM, ROM, HDD 등은 메모리(82)로 총칭한다.
제4 실시예에서, 상술된 제2 실시예에서와 동일한 방식으로, 촬상 장치(70)의 화상 처리 유닛(73)은 디지털 줌에 대한 화상 변환 기능을 갖고, 처리 장치(80)의 CPU(81)는 디지털 줌 처리에 이용되는 변환 파라미터의 산출 기능을 갖는다.
도 17은, 제4 실시예에 따른 영상 처리 시스템의 전체적 기능 블록도를 도시한다. 촬상 장치(70)에서, 화상 취득 유닛(721)이 프레임 화상을 생성하고, 프레임 화상을 화상 변환 유닛(731) 및 프레임 화상 전송 유닛(742)에 전송한다. 프레임 화상 전송 유닛(742)은, 이 프레임 화상을 네트워크(90)를 통해 처리 장치(80)에 전송한다. 처리 장치(80)에서, 줌 지시 수신 유닛(831)은, 사용자로부터의 줌 인/줌 아웃 지시가 수신된 경우에, 제어 유닛(861)에 지시를 통지하고, 제어 유닛(861)은 변환 파라미터 산출 유닛(811)이 변환 파라미터를 산출할 것을 지시한다. 변환 파라미터 산출 유닛(811)은 프레임 화상 및 줌 버튼의 누름 상태에 기초하여 변환 파라미터를 산출하여, 변환 파라미터를 변환 파라미터 전송 유닛(851)에 전송한다. 변환 파라미터 전송 유닛(851)은, 이 변환 파라미터를 네트워크(90)를 통해 촬상 장치(70)에 전송한다. 촬상 장치(70)에서, 변환 파라미터 설정 유닛(732)이 이 변환 파라미터를 화상 처리 유닛(73)에 설정한다. 화상 변환 유닛(731)은, 설정된 변환 파라미터에 기초하여 프레임 화상에 디지털 줌 처리를 실시하여 변환된 프레임 화상을 생성하고, 변환된 화상을 변환된 프레임 화상 전송 유닛(741)에 전송한다. 변환된 프레임 화상 전송 유닛(741)은, 이 변환된 프레임 화상을 네트워크(90)를 통해 처리 장치(80)에 전송한다. 처리 장치(80)에서, 이 변환된 프레임 화상을 처리 장치(80)에 접속된 디스플레이 등의 영상 출력 장치에 표시한다.
사용자로부터 줌 지시가 수신되지 않은 경우에는, 촬상 장치(70)에서의 화상 변환 유닛(731)은, 화상 취득 유닛(721)으로부터 수신된 프레임 화상을 그대로 변환된 프레임 화상 전송 유닛(741)에 전송하고, 변환된 프레임 화상 전송 유닛(741)도, 이 프레임 화상을 그대로 처리 장치(80)에 전송한다.
디지털 줌 처리에 필요한 변환 파라미터의 산출 방법, 및 프레임 화상에 디지털 줌 처리의 방법은, 제2 실시예에 따른 것과 동일하다. 따라서, 그 설명은 여기서 생략한다.
제4 실시예에 있어서도, 프레임 화상 전송 유닛(742)으로부터 처리 장치(80)에 전송된 프레임 화상은, 변환 파라미터를 산출하기 위해서 사용되므로, 프레임 화상은 반드시 리얼 타임으로 처리 장치(80)에 전송될 필요는 없다. 따라서, 프레임 화상은, 프레임 화상 또는 변환된 프레임 화상이 변환된 프레임 화상 전송 유닛(741)으로부터 처리 장치(80)에 전송되는 레이트보다 낮은 전송 레이트로 전송될 수도 있다. 또한, 제2 실시예에서 전술한 바와 같이, 프레임 화상 전송 유닛(742)은, 사용자로부터 줌 인/줌 아웃 지시가 수신된 경우에만 프레임 화상을 전송할 수도 있다. 이러한 방식으로, 처리의 효율화가 가능하게 되고, 네트워크(90)가 유효하게 사용될 수 있다.
제3 실시예와 제4 실시예도 병합될 수도 있다. 이러한 경우, 대부분의 구성 및 기능이 공유될 수 있다.
제5 실시예
제5 실시예에서, 제1 실시예 및/또는 제2 실시예에 따른 영상 처리 장치를 사용한 텔레컨퍼런스 시스템을 설명한다.
도 18은, 제5 실시예에 따른 텔레컨퍼런스 시스템의 개략 구성도를 도시한다. 텔레컨퍼런스 시스템은, 복수의 텔레컨퍼런스 단말(3000)과, 텔레컨퍼런스 단말(3000)이 접속되는 네트워크(4000)를 포함한다. 각 텔레컨퍼런스 단말(3000)은 촬상 장치(3010)와 처리 장치(3020)를 포함한다. 촬상 장치(3010)와 처리 장치(3020)는, 제1 실시예 및 제2 실시예 중 임의 하나 또는 양자에 따른 영상 처리 장치의 기능과 동일한 기능을 갖는다. 제5 실시예에서, 장치는 제1 실시예와 제2 실시예 모두에 따른 기능과 동일한 기능을 갖는다. 도 18에서 생략되지만, 각 텔레컨퍼런스 단말(3000)에, 마이크, 스피커, 디스플레이 등도 포함되고, 촬상 장치(3010)와 동일한 방식으로, 처리 장치(3020)에 접속되어 있다.
제1 실시예에서 설명된 바와 같이, 하나의 텔레컨퍼런스 단말(3000)의 촬상 장치(3010)로 촬영된 영상은, 텔레컨퍼런스 단말(3000) 내의 촬상 장치(3010)와 처리 장치(3020) 간의 협동에 의해 원근 보정이 실시되어, 텔레컨퍼런스 단말(3000) 내의 디스플레이에 표시된다. 동시에, 원근 보정된 영상은, 네트워크(4000)로 접속된 다른 텔레컨퍼런스 단말(3000)에 전송되고, 각각에 포함된 디스플레이에 표시된다.
또한, 제2 실시예에 설명된 바와 같이, 하나의 텔레컨퍼런스 단말(3000)에 있어서, 사용자가 줌 인/줌 아웃 버튼을 누르면, 텔레컨퍼런스 단말(3000) 내에 포함된 촬상 장치(3010)와 처리 장치(3020)의 협동에 의해 디지털 줌 처리가 동일한 방식으로 실시되고, 디지털 줌 영상이 텔레컨퍼런스 단말(3000)의 디스플레이에 표시된다. 동시에, 디지털 줌 영상은 네트워크(4000)에 접속된 다른 텔레컨퍼런스 단말(3000)에 전송되고, 각각에 포함된 디스플레이에 표시된다.
제5 실시예에 따른 텔레컨퍼런스 시스템에서, 네트워크로 접속된 복수의 텔레컨퍼런스 단말에, 원근 보정이나 디지털 줌이 실시된 영상을 리얼 타임으로 표시하는 것이 가능하다.
제6 실시예
제6 실시예에서, 제3 실시예 및/또는 제4 실시예에 따른 영상 처리 시스템을 사용한 원격 감시 시스템을 설명한다.
도 19는, 제6 실시예에 따른 원격 감시 시스템의 개략 구성도를 도시한다. 원격 감시 시스템은, 복수의 촬상 장치(5000), 센터 장치(6000), 및 촬상 장치(5000)와 센터 장치(6000)를 접속하는 네트워크(5000)를 포함한다. 촬상 장치(5000) 각각은, 피감시 장소에 설치된 방식으로 사용된다. 센터 장치(6000)는, 예컨대 감시 센터에 설치된다. 센터 장치(6000)는, 처리 장치(6010), 및 각 촬상 장치(5000)에 대응하는 복수의 디스플레이(6020)를 포함한다. 하나의 디스플레이(6020)가 제공될 수도 있고, 촬상 장치(5000)로부터의 영상이 멀티 표시될 수도 있다.
원격 감시 시스템은, 촬상 장치가 복수 포함되는 점을 제외하고, 제3 실시예 및 제4 실시예 또는 양자에 따른 영상 처리 시스템에 포함된 기능과 동일한 기능을 갖는 구성을 갖는다. 제6 실시예에서, 시스템 구성은 제3 실시예와 제4 실시예 모두의 기능을 갖는다.
제3 실시예에서 설명한 바와 같이, 하나의 촬상 장치(5000)로 촬영된 영상은, 장치(5000)와, 센터 장치(6000) 내의 처리 장치(6010)의 협동에 의해 원근 보정 처리가 실시되고, 센터 장치(6000) 내의 촬상 장치(5000)에 대응하는 디스플레이(6020) 상에 표시된다. 다른 촬상 장치(5000)로 촬상된 영상도, 원근 보정 처리가 실시되고, 센터 장치(6000) 내의 각 촬상 장치(5000)에 대응하는 디스플레이(6020) 상에 표시된다.
또한, 제4 실시예에서 설명된 바와 같이, 하나의 촬영 장치(5000)로 촬영된 영상에 대하여 감시자로부터 줌 인/줌 아웃 지시가 수신된 경우에는, 촬상 장치(5000)와, 센터 장치(6000) 내의 처리 장치(6010)의 협동에 의해, 촬상 장치(5000)의 영상에 디지털 줌 처리가 실시되고, 센터 장치(6000) 내의 촬상 장치(5000)에 대응하는 디스플레이(6020) 상에 표시된 영상이 줌 인/줌 아웃 표시로 전환된다.
본 발명이 완전하고 명백한 개시를 위하여 특정 실시예에 관하여 설명되었으나, 첨부된 청구항은 제한되고자 함은 아니고, 여기서 나타낸 기본 교시 내에 있는, 당업자에게 발생할 수도 있는 모든 변형 및 대안적인 구성을 구현하는 것으로서 간주되어야 한다.

Claims (15)

  1. 영상 처리 장치로서,
    촬상 장치와, 상기 촬상 장치에 접속된 처리 장치를 포함하고,
    상기 촬상 장치는,
    프레임 화상을 취득하는 화상 취득 유닛;
    상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛;
    상기 처리 장치로부터 수신된 변환 파라미터들을 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛;
    상기 설정된 변환 파라미터들을 이용하여 상기 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및
    변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛
    을 포함하고,
    상기 처리 장치는,
    상기 촬상 장치로부터 수신된 상기 프레임 화상을 이용하여, 상기 화상 변환을 위한 변환 파라미터들을 산출하는 변환 파라미터 산출 유닛; 및
    상기 변환 파라미터들을 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛
    을 포함하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은 상기 프레임 화상에 원근 보정을 하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 프레임 화상으로부터 피사체 영역을 검출하고, 상기 원근 보정을 위한 변환 파라미터들을 산출(calculate)하는 것인 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛과 상기 변환된 프레임 화상 전송 유닛은 상이한 전송 레이트를 사용하는 것인 영상 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 일정 간격마다 프레임 화상을 상기 처리 장치에 전송하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 촬상 장치로부터 일정 간격마다 수신된 상기 프레임 화상을 이용하여 상기 원근 보정을 위한 변환 파라미터들을 재산출하는 것인 영상 처리 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 사용자 지시가 수신된 경우에만 상기 프레임 화상을 상기 처리 장치에 전송하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 촬상 장치로부터 상기 프레임 화상을 수신하면, 상기 프레임 화상을 이용하여 상기 원근 보정을 위한 변환 파라미터들을 재산출(recalculate)하는 것인 영상 처리 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 처리 장치는, 상기 프레임 화상에 대한 줌 지시를 사용자로부터 수신하는 줌 지시 수신 유닛을 더 포함하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 사용자가 지정한 프레임 화상 영역이 화상 전체에 표시되도록 디지털 줌을 위한 변환 파라미터들을 산출하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은, 상기 프레임 화상에 상기 디지털 줌을 행하는 것인 영상 처리 장치.
  6. 영상 처리 장치로서,
    촬상 장치와, 상기 촬상 장치에 접속된 처리 장치를 포함하고,
    상기 촬상 장치는,
    프레임 화상을 취득하는 화상 취득 유닛;
    상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛;
    상기 처리 장치로부터 수신된 변환 파라미터들을 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛;
    상기 설정된 변환 파라미터들을 이용하여 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및
    변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛
    을 포함하고,
    상기 처리 장치는,
    상기 프레임 화상에 대한 줌 지시를 사용자로부터 수신하는 줌 지시 수신 유닛;
    상기 촬상 장치로부터 수신된 상기 프레임 화상을 이용하여, 상기 화상 변환을 위한 변환 파라미터들을 산출하는 변환 파라미터 산출 유닛; 및
    상기 변환 파라미터들을 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛
    을 포함하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 사용자가 지정한 프레임 화상 영역이 화상 전체에 표시되도록 디지털 줌을 위한 변환 파라미터들을 산출하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은, 상기 프레임 화상에 상기 디지털 줌을 행하고,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 상기 사용자로부터 상기 줌 지시가 수신된 경우에만 상기 프레임 화상을 상기 처리 장치에 전송하는 것인 영상 처리 장치.
  7. 제 6 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛과 상기 변환된 프레임 화상 전송 유닛은 상이한 전송 레이트를 사용하는 것인 영상 처리 장치.
  8. 영상 처리 시스템으로서,
    촬상 장치와, 상기 촬상 장치에 네트워크를 통해 접속된 처리 장치를 포함하고,
    상기 촬상 장치는,
    프레임 화상을 취득하는 화상 취득 유닛;
    상기 네트워크를 통해 상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛;
    상기 네트워크를 통해 상기 처리 장치로부터 수신된 변환 파라미터들을 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛;
    상기 설정된 변환 파라미터들을 이용하여 상기 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및
    상기 네트워크를 통해 변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛
    을 포함하고,
    상기 처리 장치는,
    상기 네트워크를 통해 상기 촬상 장치로부터 수신된 상기 프레임 화상을 이용하여, 상기 화상 변환을 위한 변환 파라미터들을 산출하는 변환 파라미터 산출 유닛; 및
    상기 네트워크를 통해 상기 변환 파라미터들을 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛
    을 포함하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은 상기 프레임 화상에 원근 보정을 하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 프레임 화상으로부터 피사체 영역을 검출하고, 상기 원근 보정을 위한 변환 파라미터들을 산출하는 것인 영상 처리 시스템.
  9. 제 8 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛과 상기 변환된 프레임 화상 전송 유닛은 상이한 전송 레이트를 사용하는 것인 영상 처리 시스템.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 일정 간격마다 상기 네트워크를 통하여 상기 프레임 화상을 상기 처리 장치에 전송하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 일정 간격마다 상기 네트워크를 통하여 상기 촬상 장치로부터 수신된 상기 프레임 화상을 이용하여 상기 원근 보정을 위한 변환 파라미터들을 재산출하는 것인 영상 처리 시스템.
  11. 제 8 항 또는 제 9 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 사용자 지시가 수신된 경우에만 상기 네트워크를 통하여 상기 프레임 화상을 상기 처리 장치에 전송하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 촬상 장치로부터 상기 프레임 화상을 수신하면, 상기 프레임 화상을 이용하여 상기 원근 보정을 위한 변환 파라미터들을 재산출하는 것인 영상 처리 시스템.
  12. 제 8 항 또는 제 9 항에 있어서,
    상기 처리 장치는, 상기 프레임 화상에 대한 줌 지시를 사용자로부터 수신하는 줌 지시 수신 유닛을 더 포함하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 사용자가 지정한 프레임 화상 영역이 화상 전체에 표시되도록 디지털 줌을 위한 변환 파라미터들을 산출하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은, 상기 프레임 화상에 상기 디지털 줌을 행하는 것인 영상 처리 시스템.
  13. 영상 처리 시스템으로서,
    촬상 장치와, 상기 촬상 장치에 네트워크를 통해 접속된 처리 장치를 포함하고,
    상기 촬상 장치는,
    프레임 화상을 취득하는 화상 취득 유닛;
    상기 네트워크를 통해 상기 프레임 화상을 상기 처리 장치에 전송하는 프레임 화상 전송 유닛;
    상기 네트워크를 통해 상기 처리 장치로부터 수신된 변환 파라미터들을 상기 촬상 장치에 설정하는 변환 파라미터 설정 유닛;
    상기 설정된 변환 파라미터들을 이용하여 상기 프레임 화상에 화상 변환을 하는 화상 변환 유닛; 및
    상기 네트워크를 통해 변환된 프레임 화상을 상기 처리 장치에 전송하는 변환된 프레임 화상 전송 유닛
    을 포함하고,
    상기 처리 장치는,
    상기 프레임 화상에 대한 줌 지시를 사용자로부터 수신하는 줌 지시 수신 유닛;
    상기 네트워크를 통해 상기 촬상 장치로부터 수신된 상기 프레임 화상을 이용하여, 상기 화상 변환을 위한 변환 파라미터들을 산출하는 변환 파라미터 산출 유닛; 및
    상기 네트워크를 통해 상기 변환 파라미터들을 상기 촬상 장치에 전송하는 변환 파라미터 전송 유닛
    을 포함하고,
    상기 처리 장치에 포함된 상기 변환 파라미터 산출 유닛은, 상기 사용자가 지정한 프레임 화상 영역이 화상 전체에 표시되도록 디지털 줌을 위한 변환 파라미터들을 산출하고,
    상기 촬상 장치에 포함된 상기 화상 변환 유닛은, 상기 프레임 화상에 상기 디지털 줌을 행하고,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛은, 상기 사용자로부터 상기 줌 지시가 수신된 경우에만 상기 네트워크를 통하여 상기 프레임 화상을 상기 처리 장치에 전송하는 것인 영상 처리 시스템.
  14. 제 13 항에 있어서,
    상기 촬상 장치에 포함된 상기 프레임 화상 전송 유닛과 상기 변환된 프레임 화상 전송 유닛은 상이한 전송 레이트를 사용하는 것인 영상 처리 시스템.
  15. 삭제
KR1020137023454A 2011-03-07 2012-03-07 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법 KR101514910B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011049373A JP5708051B2 (ja) 2011-03-07 2011-03-07 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
JPJP-P-2011-049373 2011-03-07
PCT/JP2012/056487 WO2012121411A1 (en) 2011-03-07 2012-03-07 Video processing apparatus, video processing system, and video processing method

Publications (2)

Publication Number Publication Date
KR20130122967A KR20130122967A (ko) 2013-11-11
KR101514910B1 true KR101514910B1 (ko) 2015-04-23

Family

ID=46798357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137023454A KR101514910B1 (ko) 2011-03-07 2012-03-07 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법

Country Status (8)

Country Link
US (1) US9369627B2 (ko)
EP (1) EP2684349A4 (ko)
JP (1) JP5708051B2 (ko)
KR (1) KR101514910B1 (ko)
CN (1) CN103430531B (ko)
CA (1) CA2828933C (ko)
SG (1) SG192929A1 (ko)
WO (1) WO2012121411A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016030369A (ja) * 2014-07-28 2016-03-07 東芝テック株式会社 電子黒板装置
KR102173109B1 (ko) * 2014-09-05 2020-11-02 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치
US9294679B1 (en) * 2014-11-26 2016-03-22 Visual Supply Company Real-time perspective correction
CN106303361A (zh) * 2015-06-11 2017-01-04 阿里巴巴集团控股有限公司 视频通话中的图像处理方法、装置、系统及图形处理器
JP6664240B2 (ja) * 2016-03-09 2020-03-13 キヤノン株式会社 撮像システム並びに撮像装置及びその制御方法
US10254398B2 (en) * 2016-04-28 2019-04-09 Fluke Corporation Manipulation of 3-D RF imagery and on-wall marking of detected structure
WO2018045592A1 (zh) * 2016-09-12 2018-03-15 华为技术有限公司 拍摄图像方法、装置和终端
CN109327668A (zh) * 2018-10-29 2019-02-12 维沃移动通信有限公司 一种视频处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319034A (ja) 2002-04-26 2003-11-07 Fuji Photo Film Co Ltd 携帯端末装置、携帯端末装置における画像処理方法、画像処理パラメータ生成装置および方法並びにプログラム
JP2006027915A (ja) 2004-07-12 2006-02-02 Maruo Calcium Co Ltd 多面体炭酸カルシウムの製造方法
JP2006042004A (ja) 2004-07-28 2006-02-09 Sony Corp 画像処理装置及び画像処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
JP4567279B2 (ja) 2002-08-01 2010-10-20 富士フイルム株式会社 ディジタルカメラ
JP2005086674A (ja) 2003-09-10 2005-03-31 Hitachi Ltd 撮像装置
US7065967B2 (en) 2003-09-29 2006-06-27 Kalex Llc Process and apparatus for boiling and vaporizing multi-component fluids
JP4427551B2 (ja) 2003-12-23 2010-03-10 エヌエックスピー ビー ヴィ ビデオデータを安定させるための方法及びシステム
EP1699227A4 (en) * 2003-12-24 2008-10-08 Konica Minolta Opto Inc CAMERA UNIT AND MOBILE TERMINAL
WO2005067359A1 (ja) 2003-12-26 2005-07-21 Murata Manufacturing Co., Ltd. セラミック多層基板
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
US20050271300A1 (en) * 2004-06-02 2005-12-08 Pina Robert K Image registration system and method
US20060044394A1 (en) * 2004-08-24 2006-03-02 Sony Corporation Method and apparatus for a computer controlled digital camera
JP4654463B2 (ja) * 2004-09-10 2011-03-23 株式会社メガチップス 画像再生方法およびシステム
JP4432761B2 (ja) * 2004-12-13 2010-03-17 トヨタ自動車株式会社 車両用エアコン制御装置および車両
JP4662258B2 (ja) 2005-08-31 2011-03-30 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP4677322B2 (ja) * 2005-10-25 2011-04-27 キヤノン株式会社 画像処理パラメータ設定装置
JP4344888B2 (ja) * 2005-12-09 2009-10-14 株式会社カシオ日立モバイルコミュニケーションズ 撮像装置、撮像画像処理方法及びプログラム
JP4848230B2 (ja) 2006-08-30 2011-12-28 株式会社リコー 画像処理方法、撮像装置、画像処理装置およびプログラム
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置
JP4630936B1 (ja) * 2009-10-28 2011-02-09 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP5455213B2 (ja) * 2009-11-17 2014-03-26 Ｎｅｃシステムテクノロジー株式会社 画像描画装置、画像描画方法およびプログラム
JP5793975B2 (ja) * 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319034A (ja) 2002-04-26 2003-11-07 Fuji Photo Film Co Ltd 携帯端末装置、携帯端末装置における画像処理方法、画像処理パラメータ生成装置および方法並びにプログラム
JP2006027915A (ja) 2004-07-12 2006-02-02 Maruo Calcium Co Ltd 多面体炭酸カルシウムの製造方法
JP2006042004A (ja) 2004-07-28 2006-02-09 Sony Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CA2828933A1 (en) 2012-09-13
CN103430531B (zh) 2017-04-12
WO2012121411A1 (en) 2012-09-13
EP2684349A1 (en) 2014-01-15
EP2684349A4 (en) 2014-12-10
SG192929A1 (en) 2013-09-30
KR20130122967A (ko) 2013-11-11
US9369627B2 (en) 2016-06-14
CA2828933C (en) 2017-02-07
CN103430531A (zh) 2013-12-04
JP2012186719A (ja) 2012-09-27
US20130342723A1 (en) 2013-12-26
JP5708051B2 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
KR101514910B1 (ko) 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법
EP3906663B1 (en) High dynamic range processing based on angular rate measurements
US9426379B2 (en) Photographing unit, cooperative photographing method, and recording medium having recorded program
EP2722831A2 (en) Linking-up photographing system and control method for linked-up cameras thereof
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP5609742B2 (ja) 撮像装置、画像合成方法、及びプログラム
JP2005517331A (ja) テレビ会議アプリケーションにおける電子画像操作を提供するための装置及び方法
US20110090341A1 (en) Intruding object detection system and controlling method thereof
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2011055170A (ja) 情報処理装置及びその制御方法
WO2004066631A1 (ja) パノラマ画像を用いた監視装置及び監視方法
JP2012175631A (ja) 映像監視装置
TW201410016A (zh) 連動式攝影系統及其多攝影機的控制方法
EP2009907A1 (en) Camera apparatus, and image processing apparatus and image processing method
JP6456039B2 (ja) 監視カメラシステム
KR101630290B1 (ko) 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
JP2007043466A (ja) 画像合成装置並びに多カメラ監視システム
JP5360403B2 (ja) 移動体撮像装置
JP2015019397A (ja) 画像合成装置、画像合成方法、及びプログラム
TW201410015A (zh) 多攝影機的整合處理系統及其方法
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
KR20170011928A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP2004289658A (ja) 撮像システムおよび撮像装置の操作方法
JP6415387B2 (ja) 表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190404

Year of fee payment: 5