KR101329470B1 - 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR101329470B1
KR101329470B1 KR1020087011221A KR20087011221A KR101329470B1 KR 101329470 B1 KR101329470 B1 KR 101329470B1 KR 1020087011221 A KR1020087011221 A KR 1020087011221A KR 20087011221 A KR20087011221 A KR 20087011221A KR 101329470 B1 KR101329470 B1 KR 101329470B1
Authority
KR
South Korea
Prior art keywords
image
area
selection
display
selection mode
Prior art date
Application number
KR1020087011221A
Other languages
English (en)
Other versions
KR20080068697A (ko
Inventor
시게미쯔 야마오까
료 가미야
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20080068697A publication Critical patent/KR20080068697A/ko
Application granted granted Critical
Publication of KR101329470B1 publication Critical patent/KR101329470B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

피사체로부터의 광학상을 왜곡을 부여하는 촬상 광학부를 통하여 촬상함으로써 얻어지는, 촬상 광학부의 왜곡을 포함하는 화상 데이터를 처리하는 화상 처리에서, 영역 선택 모드 설정부(13b)는, 화상 데이터로 표시되는 시야에 대하여, 직교 좌표계를 이용하여 시야의 일부의 영역을 나타내는 선택 영역을 선택하는 제1 영역 선택 모드와, 화상 데이터로 표시되는 시야에 대하여, 극좌표계를 이용하여 시야의 일부의 영역을 나타내는 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정한다. 왜곡 보정부(13a)는, 영역 선택 모드 설정부(13b)에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역에 상당하는 화상 데이터를 왜곡 보정하여 피왜곡 보정 데이터를 얻는다. 데이터 출력부(13d)는 피왜곡 보정 데이터를 출력한다.
왜곡 보정부, 표시 모드 설정부, 영역 선택 모드 설정부, 데이터 출력부, 화상 추출 처리부, 선택 영역 강조 표시 처리부, 촬상 광학부, 촬상 소자

Description

화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROGRAM THEREOF}
본 발명은, 촬상된 광시야 화상을 처리하는 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 기록 매체에 관한 것이다.
종래부터, 예를 들면 어안 렌즈를 이용하여 촬상된 화상 중, 유저에 의해 필요한 영역이 지정되고, 지정된 영역의 어안 화상 데이터의 왜곡 수차의 보정이 이루어지고, 보정된 화상이 모니터에서 표시된다고 하는 기술이 제안되어 있다. 촬상된 화상은, 정지 화상뿐만 아니라 동화상도 있다(예를 들면, 일본 특개 2000-324386호 공보(명세서 단락 [0009], 도 1) 참조).
상기 일본 특개 2000-324386호 공보에 기재된 장치에서, 유저가, 카메라로 촬상한 화상 중에서 영역을 지정할 때의 지정 방법을 더 연구하면, 더욱 편리하게 되는 것이 예상된다. 이와 같이 카메라가 이용된 시스템은, 장래의 폭넓은 응용이 기대되고 있기 때문에, 유저에게 있어서 사용하기 쉬운 인터페이스를 제공하는 것이 중요한 과제로 된다.
본 발명에 따른 화상 처리 장치는, 촬상 광학부를 통과할 때에 왜곡이 발생한 광학상(光學像)을 촬상함으로써 얻어지는, 상기 왜곡을 포함하는 광(廣)시야 화상으로부터, 직교 좌표계를 이용하여 상기 왜곡을 포함하는 광시야 화상의 일부인 선택 영역을 선택하는 제1 영역 선택 모드와, 상기 광시야 화상으로부터, 극좌표계를 이용하여 상기 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정하는 영역 선택 모드 설정부와, 상기 영역 선택 모드 설정부에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역의 화상 데이터를 이용하여, 상기 왜곡이 보정된 선택 화상을 생성하는 왜곡 보정부와, 상기 왜곡 보정부에서 생성된 왜곡 보정 후의 선택 화상의 데이터와, 상기 광시야 화상의 데이터를 이용하여, 상기 왜곡 보정 후의 선택 화상의 일부 영역에 상기 왜곡을 포함하는 광시야 화상의 전체가 합성 처리된 표시 화상을 생성하여 출력하는 데이터 출력부를 구비한다.
본 발명에서는, 영역 선택 모드로서 제1 영역 선택 모드와 제2 영역 선택 모드가 설정되어 있고, 그 중 1개의 영역 선택 모드에서 선택 영역의 설정이나 절환을 행한다. 이에 의해, 유저에게 있어서 편리하고 사용하기 쉬운 화상 처리 장치가 실현된다. 영역 선택 모드는, 예를 들면 유저가 원하는 영역 선택 모드로 설정하는 것으로 하여도 되고, 촬상되는 장소, 환경, 또는 목적 등에 따라서 설정하도록 하여도 된다. 혹은, 미리 설정된 영역 선택 모드로 설정하는 것으로 하여도 된다. 이와 같이 하여, 영역 선택 모드를 선택적으로 설정하고, 설정된 영역 선택 모드에서 선택 영역의 설정이나 절환을 행한다. 또한, 피사체 화상은, 주로 동화상을 의미하지만, 물론 정지 화상도 포함된다.
본 발명에서, 제1 영역 선택 모드가 선택되는 경우, 선택 영역이 직교 좌표계를 이용하여 절환되기 때문에, 예를 들면 인간이 보통으로 보는 시야, 즉 상하 좌우가 있는 풍경 등의 화상이 촬상되는 경우에 특히 유효하다. 즉, 이러한 경우에 제1 영역 선택 모드를 선택함으로써, 인간에게 있어서 직감성이 높은 조작이 가능하게 된다. 한편, 제2 영역 선택 모드가 선택되는 경우, 선택 영역이 극좌표계를 이용하여 절환되기 때문에, 예를 들면 수평면으로부터 상방향 또는 하방향으로 향하는 시야의 화상이 촬상되는 경우에 특히 유효하다. 즉, 이러한 경우에 제2 영역 선택 모드를 선택함으로써, 인간에게 있어서 직감성이 높은 조작이 가능하게 된다.
본 발명에서, 화상 처리 장치에서 이용하는 화상 데이터는, 촬상 광학부와 그 촬상 광학부를 통하여 입사하는 피사체 화상의 화상 데이터를 생성하는 촬상 소자를 갖는 촬상부로부터 출력되는 화상 데이터이어도 되고, 또한, 촬상 광학부를 통하여 입사하는 피사체 화상의 화상 데이터를 기억한 기억 장치로부터 읽어내어진 화상 데이터이어도 된다. 이 촬상부나 기억 장치는, 화상 처리 장치와 일체로 설치되어 있어도 되고, 또한 별개로 설치되어 있어도 된다. 또한, 촬상부와 기억 장치 중의 어느 한 쪽만을 이용하는 구성이어도 된다.
촬상부를 이용하는 것으로 하면, 예를 들면 리얼타임으로 얻어지는 광시야의 피사체 화상으로부터 시야의 일부의 영역을 나타내는 선택 영역의 화상을, 왜곡을 발생시키지 않고 표시할 수 있다. 또한, 기억 장치를 이용하는 것으로 하면, 예를 들면 이미 촬영되어 있는 광시야의 피사체 화상으로부터 선택 영역의 화상을, 왜곡을 발생시키지 않고 표시할 수 있다. 또한, 촬상부와 기억 장치를 이용하는 것으로 하면, 리얼타임의 화상과 과거의 화상을 한번에 시인할 수 있어 편리하다.
본 발명에서, 화상 처리 장치는, 촬상 광학부에 입사하는 광학상의 입사 방향을 검출하는 방향 검출 센서를 설치하고, 이 방향 검출 센서로부터의 센서 신호에 기초하여, 제1 영역 선택 모드 또는 제2 영역 선택 모드로 설정하는 것으로 하여도 된다. 또한, 방향 검출 센서로부터의 센서 신호에 기초하여 판별한 연직 방향에 대한 각도에 따라서, 영역 선택 모드의 설정을 행하는 것으로 하여도 된다. 이에 의해, 촬상 광학부에 의한 촬상 방향에 따라서 영역 선택 모드를 절환할 수 있기 때문에, 예를 들면 피사체를 상방, 하방, 수평 방향 중의 어느 쪽의 방향으로부터 촬상하는지에 따라서 적절한 영역 선택 모드를 선택할 수 있어, 유저의 편리성이 향상된다. 예를 들면, 촬상 광학부에 입사하는 광학상의 입사 방향이 연직 방향인 경우의 각도를 0도라고 한 경우, 검출한 각도가 45도 미만 또는 135도 이상인 경우에는 제2 영역 선택 모드, 45도 이상 135도 미만인 경우에는 제1 영역 선택 모드라고 하는 바와 같이 절환된다.
또한, 각도가 제1 임계값을 초과하였는지의 여부에 따라서 제1 영역 선택 모드로부터 제2 영역 선택 모드로 절환하고, 각도가 제1 임계값과는 다른 제2 임계값을 초과하였는지의 여부에 따라서 제2 영역 선택 모드로부터 제1 영역 선택 모드로 절환을 행하도록 하여도 상관없다. 이와 같이, 제1 영역 선택 모드로부터 제2 영역 선택 모드로 절환하는 경우의 임계값과, 제2 영역 선택 모드로부터 제1 영역 선택 모드로 절환하는 경우의 임계값을 서로 다르게 하여 히스테리시스를 갖게 함으로써, 1개의 임계값 부근에서의 경사 각도의 흔들림에 의해 모드가 빈번하게 절환되어 유저에게 혼란을 주는 것을 회피할 수 있다.
본 발명에서, 화상 처리 장치는, 물체의 접촉을 검지하는 검지 센서를 설치하고, 접촉이 검지되었는지의 여부에 따라서, 제1 영역 선택 모드와 제2 영역 선택 모드를 절환하도록 하여도 된다.
이에 의해, 촬상 광학부를 이동시키면서 촬상하는 경우에, 촬상 광학부와 피사체와의 거리에 따라서 영역 선택 모드를 절환할 수 있기 때문에, 예를 들면 접촉을 검지하지 않은 동안은 제2 영역 선택 모드, 검지한 경우에는 제1 영역 선택 모드라고 하는 바와 같이, 유저의 용도에 따른 적절한 모드 절환을 실현할 수 있다.
또한, 화상 처리 장치에서는, 선택 영역의 설정 상태에 따라서 제1 영역 선택 모드 또는 제2 영역 선택 모드로 설정된다. 이에 의해, 선택 영역이 어떻게 설정되어 있는지에 따라서, 영역 선택 모드를 자동적으로 절환하는 것이 가능하게 된다. 또한, 영역 선택 모드에 따라서 GUI(Graphical User Interface)의 표시를 절환함으로써, 어느 쪽의 영역 선택 모드로 설정되어 있는지를 용이하게 판별할 수 있다.
본 발명에 따른 화상 처리 방법은, 촬상 광학부를 통과할 때에 왜곡이 발생한 광학상을 촬상함으로써 얻어지는 화상 데이터로부터 상기 왜곡을 포함하는 광시야 화상을 추출하고, 상기 왜곡을 포함하는 광시야 화상으로부터, 직교 좌표계를 이용하여 상기 왜곡을 포함하는 광시야 화상의 일부인 선택 영역을 선택하는 제1 영역 선택 모드와, 상기 광시야 화상으로부터, 극좌표계를 이용하여 상기 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정하는 영역 선택 모드 설정 단계와, 상기 영역 선택 모드 설정 단계에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역의 화상 데이터를 이용하여, 상기 왜곡이 보정된 선택 화상을 생성하는 왜곡 보정 단계와, 상기 왜곡 보정 단계에서 생성된 왜곡 보정 후의 선택 화상의 데이터와, 상기 왜곡을 포함하는 광시야 화상의 데이터를 이용하여, 상기 왜곡 보정 후의 선택 화상의 일부 영역에 상기 왜곡을 포함하는 광시야 화상의 전체가 합성 처리된 표시 화상을 생성하여 출력하는 데이터 출력 단계를 구비한다. 본 발명은, 프로그램의 발명이나 그 프로그램을 기록한 기록 매체의 발명에도 적용할 수 있다.
이상과 같이, 본 발명에 의하면, 피사체로부터의 광학상을 왜곡을 부여하는 촬상 광학부를 통하여 촬상함으로써 얻어지는, 상기 촬상 광학부의 왜곡을 포함하는 화상 데이터를 이용하여, 이 화상 데이터로 표시되는 시야의 일부의 영역의 화상의 재생을 행하는 경우에, 유저에게 있어서 편리하고 사용하기 쉬운 화상 처리 장치, 또는 화상 처리 방법 등을 실현할 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도.
도 2는 촬상 소자에 형성되는 피사체 화상과 선택 영역의 관계를 설명하기 위한 도면.
도 3은 화상 처리부의 기능 구성을 도시하는 블록도.
도 4는 표시 모드 및 영역 선택 모드를 설명하기 위한 도면.
도 5는 화상 처리부의 구체적 구성을 예시한 블록도.
도 6은 전체 화상을 도시하는 도면.
도 7은 표시부에 표시되는 화상의 일례를 도시하는 도면.
도 8은 처리 제어부의 동작을 도시하는 플로우차트.
도 9는 시야를 삼차원 공간의 구면으로서 도시하는 도면.
도 10은 촬상부에 의해 촬상될 때의 시야(촬상 범위)를 각각 도시하는 도면.
도 11은 렌즈의 상고 특성을 설명하기 위한 도면.
도 12는 왜곡 보정 처리의 원리를 설명하기 위한 도면.
도 13은 영역 선택 모드 중, 직교 좌표 모드에서의 동작을 설명하기 위한 도면.
도 14는 영역 선택 모드 중, 극좌표 모드에서의 동작을 설명하기 위한 도면.
도 15는 유저가, 입력부를 이용하여 선택 영역의 변경 지시를 행할 때에 표시되는 GUI의 일례를 도시하는 도면.
도 16은 직교 좌표 모드가 선택되어 있을 때에 선택 영역의 절환 지시가 행하여진 경우를 설명하기 위한 도면.
도 17은 직교 좌표 모드가 선택되어 있는 경우에, 표시 모드가 차례로 절환될 때의 표시부(14)에 표시되는 표시 화상을 도시하는 도면.
도 18은 극좌표 모드가 선택되어 있을 때의, 표시부의 표시 화상을 도시하는 도면.
도 19는 극좌표 모드가 선택되어 있을 때의, 절환 지시 후의 표시 화상을 도시하는 도면.
도 20은 극좌표 모드가 선택되어 있을 때의, 표시부의 표시 화상을 도시하는 도면으로서, 분할 표시 모드의 표시를 상하 반대로 하는 경우를 설명하기 위한 도면.
도 21은 분할 표시 모드를 선택 가능하게 하였을 때의 표시 모드의 절환의 천이를 도시한 도면.
도 22는 선택 영역 표시 화상의 확대/축소 처리를 설명하기 위한 도면.
도 23은 회전의 조작 지시 전의 상태를 도시한 도면.
도 24는 선택 영역의 화상의 회전 처리를 설명하기 위한 도면.
도 25는 마찬가지로 선택 영역의 화상의 회전 처리를 설명하기 위한 도면.
도 26은 본 발명의 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도.
도 27은 도 26에서 도시한 화상 처리 시스템이 행하는 처리의 일례를 도시하는 플로우차트.
도 28은 도 26에서 도시한 화상 처리 시스템이 행하는 처리의 다른 예를 도시하는 플로우차트.
도 29는 위치 정보 또는 궤적 정보의 기억 처리를 도시하는 플로우차트.
도 30은 도 29에서 도시한 플로우로서, 표시 화상 상의 소정 범위의 궤적을 설명하기 위한 도면.
도 31은 본 발명의 또 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도.
도 32는 본 발명의 또 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도.
도 33은 도 32의 화상 처리 시스템에서, 촬상부(11)의 설치 방향에 따라서 영역 선택 모드 MS를 절환하는 모습을 개념적으로 도시한 도면.
도 34는 도 33의 상태 S0, S1, S2를 절환하기 위한 임계값의 설정 방법에 대하여 설명한 도면.
도 35는 도 32의 화상 처리 시스템(40)이 상태 S0, S1 및 S2를 절환하는 경우의 동작의 흐름을 도시한 플로우차트.
도 36은 도 32의 화상 처리 시스템이 직교 좌표 모드와 극좌표 모드를 각각 설정하는 경우의 좌표 계산 방법에 대하여 설명한 도면.
도 37은 도 32의 화상 처리 시스템이 직교 좌표 모드와 극좌표 모드를 각각 설정하는 경우의 좌표 계산 방법에 대하여 설명한 도면.
도 38은 도 32의 화상 처리 시스템이 직교 좌표 모드와 극좌표 모드를 각각 설정하는 경우의 좌표 계산 방법에 대하여 설명한 도면.
도 39는 도 32의 화상 처리 시스템이 직교 좌표 모드와 극좌표 모드를 각각 설정하는 경우의 좌표 계산 방법에 대하여 설명한 도면.
도 40은 접촉에 따라서 표시 모드를 절환하는 방법을 개념적으로 도시한 도면.
도 41은 촬상 광학부에서 270도의 시야를 얻은 경우를 도시한 도면.
도 42는 촬상 방향을 수평 방향에 대하여 45도 상향으로 한 상태를 도시한 도면.
도 43은 촬상부의 설치예를 도시한 도면.
도 44는 영역 선택 모드의 자동 절환을 설명하기 위한 도면.
도 45는 영역 선택 모드를 자동적으로 절환하는 경우의 GUI 표시와 화상 영역의 이동 방향을 도시한 도면.
도 46은 혼합 모드를 포함시킨 영역 선택 모드의 절환 동작을 설명하기 위한 도면.
도 47은 혼합 모드를 포함시킨 영역 선택 모드의 절환 동작을 도시하는 플로우차트.
도 48은 방향 버튼이 조작되었을 때의 동작을 도시하는 플로우차트.
도 49는 본 발명의 또 다른 실시 형태에서, 선택 영역의 절환에 따라서 표시 모드 MH를 변경하는 모습을 도시한 도면.
도 50은 본 발명의 또 다른 실시 형태에서, 영역 선택 모드 MS의 절환 변화에 따라서 표시 모드 MH를 변경하는 모습을 도시한 도면.
도 51은 표시 모드 절환 처리를 행하는 경우의 화상 처리 시스템의 동작의 흐름을 도시한 플로우차트.
도 52는 표시 모드 절환 처리를 행하는 경우의 화상 처리 시스템의 동작의 다른 흐름을 도시한 플로우차트.
도 53은 표시 모드 절환 처리의 다른 형태를 도시한 도면.
이하, 본 발명의 실시 형태를 도면에 기초하여 설명한다.
도 1은, 본 발명의 일 실시 형태에 따른 화상 처리 시스템의 구성을 도시하 는 블록도이다.
화상 처리 시스템(10)은, 촬상부(11), 입력부(12), 화상 처리부(13), 표시부(14)를 구비하고 있다. 또한, 촬상부(11)는, 촬상 광학부(111)와 촬상 소자(112)를 이용하여 구성되어 있다.
촬상 광학부(111)는, 피사체 화상을 촬상 소자(112)의 촬상면에 결상시키기 위한 것이다. 여기에서, 촬상 광학부(111)는, 광시야의 피사체 화상을 촬상 소자(112)의 촬상면에 결상시키기 위해 예를 들면 광각 렌즈를 이용한다. 광각 렌즈로서는, 화면 각도가 대략 45도 이상인 것이 이용되지만, 이것에 한정되는 것은 아니다. 또한, 촬상 광학부(111)는, 어안 렌즈나 PAL(Panoramic Annular Lens)(고리 형상의 렌즈) 등을 이용하여 구성하는 것으로 하여도 된다. 또한, 광각 렌즈를 이용하는 대신에, 통 형상, 주발 형상 혹은 원추 형상 등의 미러를 이용하여, 광시야의 피사체 화상이 미러의 반사를 이용하여 촬상 소자(112)의 촬상면에 결상되도록 하여도 된다. 또한, 렌즈나 미러 등을 복수 조합하여, 시야를 더욱 넓히도록 하여도 된다. 예를 들면, 화면 각도가 180° 정도인 어안 렌즈를 2개 이용함으로써, 전방위(구 공간(360°))의 시야의 피사체 화상을 얻을 수도 있다.
촬상 소자(112)는, 광을 전기 신호로 변환하는 예를 들면 CCD(Charge Coupled Device)나, CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 이용된다. 이 촬상 소자(112)는, 피사체 화상에 기초한 화상 데이터 DVa를 생성하여 화상 처리부(13)에 공급한다.
도 2는, 촬상 광학부(111)에 어안 렌즈를 이용하였을 때, 촬상 소자(112)에 형성되는 피사체 화상과 선택 영역의 관계를 도시하고 있다. 촬상 광학부(111)의 화면 각도가 예를 들면 180° 정도이며, 시야를 도 2의 반구 형상의 구면(51)으로서 나타낼 수 있을 때, 촬상 소자(112)에 형성되는 피사체 화상(이하 「광시야 화상」이라고 함) Gc는, 촬상 광학부(111)에 의해 왜곡을 발생시킨 화상 예를 들면 원 형상의 화상으로 된다. 이 때문에, 촬상 소자(112)에서 얻어진 화상 데이터 DVa에 기초하여 화상 표시를 행하면, 표시되는 화상은 촬상 광학부(111)에 의한 왜곡을 발생시킨 표시 화상으로 되게 된다. 여기에서, 화상 데이터 DVa로 표시되는 시야의 일부의 영역을 나타내는 선택 영역을 설정하였을 때, 이 선택 영역은, 촬상 광학부(111)의 화면 각도 내에서는 예를 들면 선택 영역(71)에 상당하는 것으로 되고, 광시야 화상 Gc에서는 화상 영역 ARs에 상당하는 것으로 된다. 따라서, 화상 처리부(13)는, 화상 영역 ARs의 화상에 대하여, 촬상 광학부(111)에 의해 생긴 왜곡을 보정하는 왜곡 보정 처리를 행함으로써, 왜곡이 없는 선택 영역의 화상을 표시하는 것이 가능하게 된다. 이 때문에, 예를 들면 촬상 광학부(111)의 화면 각도 내에서, 원하는 피사체가 포함되도록 선택 영역의 설정을 행함으로써, 왜곡이 없는 원하는 피사체의 화상을 표시하는 것이 가능하게 된다. 또한, 선택 영역의 위치를 새로운 위치로 절환하는 것으로 하거나, 선택 영역의 사이즈나 형상을 변경하면, 선택 영역에 대응하는 화상 영역 ARs의 위치나 사이즈, 형상도 변경된다. 따라서, 촬상 광학부(111)의 화면 각도 내에서의 임의의 위치나 영역의 화상을, 촬상 광학부(111)의 왜곡을 보정한 상태에서 표시하는 것이 가능하게 된다.
여기에서, 선택 영역은, 촬상 광학부(111)의 화면 각도 내에서의 선택 영 역(71)의 위치나 선택 영역(71)의 범위를 나타내는 각도 범위 등을 지정함으로써 설정할 수 있다. 또한, 광시야 화상 Gc 상에 설정되는 화상 영역 ARs는, 상술한 바와 같이 선택 영역과 대응하는 것이기 때문에, 화상 영역 ARs의 위치나 범위 등을 지정하는 것에 의해서도, 선택 영역을 설정할 수 있다.
또한, 어안 렌즈를 이용하였을 때에는, 선택 영역이 작을수록, 또한, 선택 영역이 시야의 중앙에 위치할수록, 화상 영역 ARs의 범위는 선택 영역의 형상에 가깝게 된다. 반대로, 선택 영역이 클수록, 또한, 선택 영역이 시야의 끝에 위치할수록, 화상 영역 ARs의 범위는 선택 영역에 대하여 왜곡된 형태로 된다.
입력부(12)는, 유저 조작에 따라서 선택 영역의 위치의 절환이나 선택 영역의 영역 사이즈나 영역 형상의 변경, 선택 영역의 절환을 행할 때의 동작 모드나, 화상의 표시 모드의 설정 등을 행하기 위한 것이다. 입력부(12)는, 유저가 조작할 수 있는 기기이면 무엇이라도 된다. 예를 들면 마우스, 키보드, 스위치 기기, 터치 센서, 게임 기기의 컨트롤러, 유저가 파지 가능한 스틱 형상의 조작 기기 등을 들 수 있다. 이 입력부(12)는, 유저 조작에 따른 입력 정보 PS를 생성하여 화상 처리부(13)에 공급한다.
화상 처리부(13)는, 촬상부(11)로부터 공급된 화상 데이터 DVa를 이용하여 왜곡 보정 처리를 행하고, 촬상 광학부(111)에 의해 생긴 왜곡이 보정되어 있는 선택 영역의 화상을 생성한다. 또한, 화상 처리부(13)는, 표시부(14)에 표시하는 화상의 표시 모드 설정을 행하고, 설정된 표시 모드에 따른 표시 화상의 화상 데이터 DVd를 생성하여 표시부(14)에 공급한다. 또한, 화상 처리부(13)는, 표시 화상으로 서 광시야 화상이나 왜곡이 보정되어 있는 선택 영역의 화상 등을 이용한다. 또한, 화상 처리부(13)는, 선택 영역의 위치를 절환할 때의 동작 모드인 영역 선택 모드의 설정을 행하고, 입력부(12)로부터의 입력 정보 PS에 기초하여, 설정된 영역 선택 모드에서 선택 영역의 절환 처리를 행한다. 또한, 화상 처리부(13)는, 최초의 동작 개시시에 미리 지정된 표시 모드나 영역 선택 모드로 설정하는 처리나, 동작 종료시의 표시 모드나 영역 선택 모드로 설정하여 동작을 개시하는 처리 등도 행한다.
표시부(14)는, 액정 표시 소자나 유기 EL 소자 등으로 구성되어 있고, 화상 처리부(13)로부터 공급된 화상 데이터 DVd에 기초하여 화상 표시를 행한다.
본 실시 형태에서 나타내는 화상 처리 시스템(10)에서, 촬상부(11), 입력부(12), 화상 처리부(13), 표시부(14)는 일체화하여 설치하는 것으로 하여도 되고, 개개로 분리하여 설치하는 것으로 하여도 된다. 또한, 일부만을 일체화하여도 된다. 예를 들면 입력부(12)와 표시부(14)를 일체화하여 설치하는 것으로 하면, 표시부(14)의 표시를 확인하면서 입력부(12)의 조작을 행하는 것이 용이하게 가능해진다. 또한, 촬상부(11)에서도, 촬상 광학부(111)와 촬상 소자(112)를 일체화하는 것으로 하거나, 분리하여 설치하도록 하여도 된다.
도 3은, 화상 처리부(13)의 기능 구성을 도시하는 블록도이다. 화상 처리부(13)는, 왜곡 보정부(13a), 영역 선택 모드 설정부(13b), 표시 모드 설정부(13c), 데이터 출력부(13d) 및 제어부(13e)를 갖는다.
왜곡 보정부(13a)는, 화상 데이터 DVa에서의 선택 영역에 상당하는 화상 데 이터를 이용하여, 촬상 광학부(111)의 왜곡을 보정하는 왜곡 보정을 행하고, 피왜곡 보정 데이터의 생성을 행한다.
영역 선택 모드 설정부(13b)는, 선택 영역의 설정이나 절환을 행할 때의 동작 모드인 영역 선택 모드를 설정한다. 이 영역 선택 모드 설정부(13b)는, 예를 들면 도 4에 도시하는 바와 같이, 영역 선택 모드 MS로서, 제1 영역 선택 모드인 직교 좌표 모드 MS1, 제2 영역 선택 모드인 극좌표 모드 MS2를 설정해 두고, 어느 한 쪽의 영역 선택 모드를 선택적으로 설정한다. 또한, 각 영역 선택 모드에 대해서는 후술한다.
표시 모드 설정부(13c)는, 표시부(14)에서 왜곡 보정이 이루어진 화상 등을 표시할 때의 표시 모드를 설정한다. 이 표시 모드 설정부(13c)에서는, 예를 들면 도 4에 도시하는 바와 같이, 표시 모드 MH로서, 전체 화상 표시 모드 MH1, 선택 화상 표시 모드 MH2, 양방 표시 모드 MH3, 분할 표시 모드 MH4를 설정해 두고, 어느 한 쪽의 표시 모드로 설정한다. 또한, 각 표시 모드에 대해서는 후술한다.
데이터 출력부(13d)는, 설정된 표시 모드에 따른 표시 화상의 화상 데이터를 출력한다. 여기에서, 촬상 광학부(111)의 왜곡이 보정되어 있는 선택 영역의 화상을 표시 화상으로서 표시하는 경우, 피왜곡 보정 데이터의 출력을 행한다. 또한, 광시야 화상을 표시 화상으로서 표시하는 경우, 촬상부(11)로부터 공급된 화상 데이터의 출력을 행한다. 또한, 촬상 광학부(111)의 왜곡이 보정되어 있는 선택 영역의 화상과 광시야 화상을 표시하는 경우에는, 피왜곡 보정 데이터와 촬상부(11)로부터 공급된 화상 데이터를 이용하여 새로운 화상 데이터를 생성하여 출력한다.
제어부(13e)는, 영역 선택 모드 설정부(13b)에서 설정된 영역 선택 모드 MS에 따라서 선택 영역의 설정이나 절환을 행한다.
도 5는, 화상 처리부(13)의 구체적 구성을 예시한 블록도이다. 화상 데이터 DVa는, 화상 추출 처리부(131)와 왜곡 보정 처리부(133)에 공급된다.
화상 추출 처리부(131)는, 화상 데이터 DVa로부터 광시야 화상(피사체 화상) Gc의 화상 데이터 DVc를 추출하여 선택 영역 강조 표시 처리부(132)에 공급한다. 여기에서, 광시야 화상 Gc는, 도 2에 도시하는 바와 같이, 촬상 소자(112)에서의 센서면 상의 일부의 영역을 나타내는 것으로서, 촬상 광학부(111)에 의해 결정된다. 이 때문에, 센서면 상의 광시야 화상 Gc의 영역이 고정되어 있는 경우에는, 화상 데이터 DVa로부터 소정의 화소 데이터 추출을 행하여 광시야 화상 Gc의 영역의 화소 데이터를 추출한다. 또한, 촬상 광학부(111)가 교환 가능하고 센서면 상의 광시야 화상 Gc의 영역이 변화하는 경우, 혹은 촬상 광학부(111)의 광학 특성을 변경할 수 있도록 이루어져 있기 때문에 센서면 상의 광시야 화상 Gc의 영역이 변화하는 경우, 센서면 상의 광시야 화상 Gc의 영역을 미리 판별해 두고, 판별되어 있는 광시야 화상 Gc의 영역의 화상 데이터를 추출한다. 광시야 화상 Gc의 영역의 판별은, 예를 들면 촬상 광학부(111)의 시야 내가 전부 백색의 피사체로 되도록 하여 촬상을 행하고, 화상 데이터 DVa가 백색의 레벨로 되는 화소 위치를 검출한다. 이와 같이 하면, 용이하게 광시야 화상 Gc의 영역을 판별할 수 있다.
선택 영역 강조 표시 처리부(132)는, 광시야 화상 Gc에서, 후술하는 처리 제어부(135)로부터 공급된 선택 영역 설정 정보 JA에 기초하여, 이 선택 영역 설정 정보 JA에 의해 나타내어진 선택 영역과 대응하는 화상 영역 ARs를, 유저가 용이하게 식별할 수 있도록 처리한다. 예를 들면 선택 영역 강조 표시 처리부(132)는, 화상 영역 ARs와 화상 영역 ARs가 아닌 영역의 경계를 나타내는 경계 표시를 설정하는 것으로 하거나, 화상 영역 ARs를 제외한 영역의 휘도나 색을 변경하여, 화상 영역 ARs가 식별 가능하게 되도록 표시 제어를 행한다. 이 화상 영역 ARs의 화상은, 식별 가능하게 강조된 화상으로서 강조 화상 Gs라고 부르기로 한다. 이러한 화상 처리를 행하고, 광시야 화상 Gc에서, 화상 영역 ARs가 강조 화상 Gs로서 식별 가능하게 되어 있는 화상(이하 「전체 화상 Gcp」라고 함)의 화상 데이터 DVcp를 생성하여 화상 출력 처리부(134)에 공급한다.
왜곡 보정 처리부(133)는, 도 3에 도시하는 왜곡 보정부(13a)에 상당하는 것으로서, 화상 데이터 DVa를 이용하여 촬상 광학부(111)의 왜곡 보정 처리를 행하고, 처리 제어부(135)로부터 공급된 선택 영역 설정 정보 JA에 의해 나타내어진 선택 영역의 왜곡 보정이 이루어진 피보정 화상 데이터 DVsc를 생성하여 화상 출력 처리부(134)에 공급한다.
화상 출력 처리부(134)는, 도 3에 도시하는 데이터 출력부(13d)에 상당하는 것으로서, 처리 제어부(135)로부터의 표시 제어 정보 JH에 기초하여, 화상 데이터 DVcp 및/또는 피보정 화상 데이터 DVsc를 이용하여 표시 화상의 화상 데이터 DVd를 생성한다.
처리 제어부(135)는, 도 3에 도시하는 영역 선택 모드 설정부(13b), 표시 모드 설정부(13c), 제어부(13e)에 상당하는 것이다. 처리 제어부(135)는, 영역 선택 모드의 설정을 행하고, 설정한 영역 선택 모드에 따라서, 입력부(12)로부터의 입력 정보 PS에 기초한 선택 영역의 설정이나 절환을 행하고, 설정한 선택 영역 혹은 새롭게 설정한 선택 영역을 나타내는 선택 영역 설정 정보 JA를 생성하여, 선택 영역 강조 표시 처리부(132)나 왜곡 보정 처리부(133)에 공급한다. 또한, 처리 제어부(135)는, 표시 모드의 설정을 행하고, 설정한 표시 모드에 따라서 표시 제어 정보 JH를 생성하여 화상 출력 처리부(134)에 공급한다. 또한, 처리 제어부(135)는, 표시 제어 정보 JH에 의해, 표시 화상에 메뉴 표시를 포함시키는 처리 등도 행하게 한다.
화상 처리부(13)는, 예를 들면 CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory) 등의 하드웨어, ROM 등에 저장된 소프트웨어, 혹은 펌웨어 등으로 구성된다. 또한, 화상 처리부(13)는, FPGA(Field Programmable Gate Array), 혹은 DSP(Digital Signal Processor) 등으로 구성하고, 그 밖에도 비디오 인코더, 사운드 인코더, 상기 입력 정보 PS를 취득하기 위한 인터페이스, 또는 상기 표시부(14)에 화상 데이터 DVd를 출력하기 위한 인터페이스 등을 구비하여도 된다. 또한, FPGA와 DSP가 모두 이용되고, 양자가 처리를 분담하도록 하여도 된다.
입력부(12)로부터 화상 처리부(13)에 공급하는 입력 정보 PS란, 상술한 바와 같이 표시 모드 MH나 영역 선택 모드 MS의 설정, 선택 영역의 절환 지시 등을 나타내는 정보이다. 또한, 선택 영역의 절환 지시를 나타내는 정보에는, 선택 영역을 소정 방향으로 소정량 단위로 이동시키기 위한 정보, 변경 후의 선택 영역의 위치 를 나타내는 정보 등을 포함시키는 것으로 하여도 된다. 또한, 입력 정보 PS에는, 선택 영역의 영역 사이즈를 변경하는 정보, 선택 영역을 회전시키는 정보, 선택 영역의 영역 형상을 설정하는 정보 등을 포함시키는 것으로 하여도 된다.
선택 영역은, 유저 조작에 따라서 절환 등이 행하여지는 형태에 한정되는 것은 아니다. 예를 들면, 상술한 바와 같이 미리 지정된 위치에 선택 영역을 설정하는 형태도 생각된다. 그 경우의 해당 선택 영역에 관한 정보는, 미리 도시하지 않은 ROM이나, 외부의 기억 장치 등에 저장되어 있으면 된다. 또한, 광시야 화상 Gc 내의 임의의 특정한 영역이 자동 인식되는 경우에, 그 자동 인식된 특정한 영역을 선택 영역에 대응하는 화상 영역 ARs로서 처리하는 형태도 생각된다. 예를 들면, 움직임이 있는 피사체가 자동 인식되는 경우에, 이 움직임이 있는 피사체의 화상을 포함하는 영역을 화상 영역 ARs로서 자동적으로 처리하는 형태도 생각된다. 혹은, 도시하지 않은 여러 가지의 센서에 의해, 광시야 화상 Gc 내에서 검출된 화상 영역을 선택 영역에 대응하는 화상 영역 ARs로서 처리하는 형태도 있다. 그 경우, 센서란, 예를 들면 온도 센서, 음 센서, 압력 센서, 광 센서, 습도 센서, 진동 센서, 가스 센서, 기타 여러 가지의 센서를 들 수 있다. 이들 센서에서 생성된 센서 신호는, 처리 제어부(135)에 공급되고, 처리 제어부(135)에서는 공급된 센서 신호를 이용하여 선택 영역의 절환이나 각 부의 제어를 행한다. 예를 들면, 이상한 온도나 이상한 음 등을 검출하였을 때에는, 이상한 온도나 이상한 음 등이 검출된 방향에 대응시켜 선택 영역을 자동적으로 절환하는 것으로 하면, 표시부(14)의 화면 상에, 이상이 검출된 방향의 촬상 화상을 왜곡 보정된 상태로 표시할 수 있다. 또 한, 이상의 검출에 따라서 표시 모드의 절환이나 영역 사이즈의 절환, 영역 형상의 절환 등을 행하는 것으로 하면, 이상의 확인을 유저가 용이하게 행할 수 있도록 하는 표시도 가능하게 된다.
또한, 도 5에 도시하는 구성은 예시적인 것으로서, 화상 처리부(13)는, 도 3에 도시하는 기능 구성을 갖는 것이면, 도 5에 도시하는 구성에 한정되는 것은 아니다. 예를 들면, 촬상부(11)로부터 공급되는 화상 데이터 DVa가 광시야 화상 Gc만을 나타내는 것일 때에는, 화상 추출 처리부(131)를 설치할 필요가 없다. 또한, 선택 영역 강조 표시 처리부(132)를 화상 출력 처리부(134)의 입력측 대신에 출력측에 설치하는 것으로 하여도 된다. 이 경우, 화상 데이터 DVa에 기초하는 화상에 광시야 화상이 포함될 때, 광시야 화상에서, 선택 영역과 대응하는 화상 영역을, 유저가 용이하게 식별할 수 있도록 처리한다.
도 6은, 전체 화상을 도시하고 있다. 화상 데이터 DVa에 대하여 화상 처리부(13)에서 왜곡 보정 처리를 행하지 않는 경우, 광시야 화상 Gc는, 촬상 광학부(111)에 의해 생긴 왜곡을 갖는 화상으로 된다. 여기에서, 처리 제어부(135)에 의해 선택 영역이 설정된 경우, 선택 영역 강조 표시 처리부(132)는, 상술한 바와 같이 선택 영역을 용이하게 식별할 수 있도록 화상 처리를 행한다. 즉, 표시되어 있는 광시야 화상 Gc에서, 선택 영역과 대응하는 화상 영역 ARs와 화상 영역 ARs가 아닌 영역의 경계를 나타내는 경계 표시(예를 들면 틀 표시)를 설정하는 것으로 하거나, 화상 영역 ARs를 제외한 영역의 휘도나 색을 변경하여 화상 영역 ARs를 강조한 강조 화상 Gs로 한다. 또한, 선택 영역을 전체 시야로 설정하였을 때, 선택 영 역에 대응하는 화상 영역 ARs는, 광시야 화상 Gc의 전체를 나타내는 것으로 된다.
또한, 처리 제어부(135)는, 표시 제어 정보 JH에 의해 화상 출력 처리부(134)의 동작을 제어하고, 전체 화상 표시 모드 MH1로 설정한 경우에는, 도 6에 도시하는 바와 같이 광시야 화상 Gc에서, 화상 영역 ARs가 강조 화상 Gs로서 식별 가능하도록 되어 있는 전체 화상 Gcp만을 표시 화상으로 한 화상 데이터 DVd를 생성시킨다. 또한, 처리 제어부(135)는, 선택 화상 표시 모드 MH2로 설정한 경우, 화상 영역 ARs의 화상에 대하여 촬상 광학부(111)에 의해 생긴 왜곡의 보정이 행하여지고 있는 화상(이하 「선택 영역 표시 화상」이라고 함) Gsc만을 표시 화상으로 한 화상 데이터 DVd를 생성시킨다. 또한, 처리 제어부(135)는, 양방 표시 모드 MH3으로 설정한 경우, 도 7에 도시하는 바와 같이 전체 화상 Gcp와 선택 영역 표시 화상 Gsc가 동시에 표시된 표시 화상의 화상 데이터 DVd를 생성시킨다. 또한, 선택 영역이 복수 설정되는 경우에는, 선택 영역에 대응하는 각 강조 화상의 왜곡이 보정된 화상을 선택 영역 표시 화상 Gsc로 하고, 전체 화상 Gcp와 함께 표시한 표시 화상의 화상 데이터 DVd를 생성시킨다. 여기에서, 도 7에 도시하는 바와 같이, 전체 화상 Gcp와 선택 영역 표시 화상 Gsc를 동시에 표시하는 경우, 화상 출력 처리부(134)는, 예를 들면 OSD(On Screen Display) 등의 기술을 이용하면 된다.
다음으로, 처리 제어부(135)의 동작을 도 8의 플로우차트를 이용하여 설명한다. 처리 제어부(135)는, 표시 모드나 영역 선택 모드의 초기 설정이나 선택 영역의 설정을 행한다(ST1001). 예를 들면, 최초의 동작 개시시에는, 미리 설정되어 있는 표시 모드나 영역 선택 모드로 설정한다. 또한, 선택 영역을 미리 설정되어 있는 시야 방향으로 소정 사이즈로 설정한다. 또한, 동작 종료시에 표시 모드나 영역 선택 모드의 설정 상태나 선택 영역의 설정 상태를 나타내는 정보를 기억해 두고, 이 정보를 차회의 동작 개시시에 이용하고, 전회의 동작 종료시의 상태에서 동작을 개시하는 것으로 하여도 된다.
처리 제어부(135)는, 입력부(12)로부터 공급된 입력 정보 PS가 설정 등의 변화를 발생시키는 정보인지의 여부를 판별한다(ST1002). 여기에서, 입력 정보 PS가 설정 등의 변화를 발생시키는 정보인 경우(ST1002의 예), 처리 제어부(135)는, 취득한 입력 정보 PS에 따라서, 표시 모드나 영역 선택 모드의 설정의 변경이나, 선택 영역의 변경을 행하고, 변경 후의 선택 영역의 화상에 대하여 왜곡 보정 처리가 행하여지도록, 왜곡 보정 처리부(133)의 동작을 제어한다. 또한, 변경 후의 선택 영역의 화상이 식별 가능하게 되도록 선택 영역 강조 표시 처리부(132)를 제어한다. 또한, 변경 후의 모드에 따른 화상 데이터 DVd가 생성되도록 화상 출력 처리부(134)의 동작을 제어한다(ST1003). 또한, 취득한 입력 정보 PS가 선택 영역의 사이즈나 형상을 변경시키는 것일 때에는, 변경 후의 선택 영역에 대응하여 왜곡 보정이나 강조 표시 처리가 행하여지도록 왜곡 보정 처리부(133)나 선택 영역 강조 표시 처리부(132)를 제어한다. 예를 들면, 선택 영역의 형상이, 원형, 타원형, 삼각형, 오각형 이상의 다각형, 직선과 곡선으로 구성되는 형상, 혹은 이들 이외의 복잡한 형상 등으로 설정되었을 때라도, 이들 형상의 선택 영역에 포함되는 화상의 왜곡 보정이 행하여지도록, 왜곡 보정 처리부(133)를 제어한다. 또한, 이들 형상의 선택 영역에 대응한 강조 화상으로 되도록 선택 영역 강조 표시 처리부(132)의 동작을 제어한다. 또한, 입력 정보 PS가 설정이나 선택의 변화를 발생시키는 정보가 아닌 경우(ST1002의 아니오) ST1002로 되돌아가서, 입력부(12)로부터 새롭게 공급된 입력 정보 PS가 설정이나 선택의 변화를 발생시키는 정보인지의 여부의 판별을 행한다.
이후, 처리 제어부(135)가, 입력 정보 PS를 취득하고, 그에 따라서 선택 영역의 화상을 왜곡이 보정되어 있는 상태에서 얻는 것을 전개 처리라고 한다.
다음으로, 도 9 및 도 10을 이용하여, 촬상 광학부(111)의 설치 상태의 양태에 대하여 설명한다. 시야를 도 9와 같이 삼차원 공간으로 표현하는 것으로 한 경우, 선택 영역은 구면(52) 상에 표현하는 것이 가능하게 된다. 또한, 화살표 OA를 광축으로 하였을 때 각도 θ는 입사각을 나타낸다.
여기에서, 촬상 광학부(111)가 예를 들면 180° 정도의 화면 각도인 어안 렌즈를 이용하여 구성되어 있는 경우, 시야는 구면(52) 중 반구 부분에 상당하는 것으로 된다. 이 때문에, 촬상 광학부(111)를 바로 위를 향하여 설치한 경우에는, 도 10의 (A)에 도시하는 바와 같이, 구면의 상반분이 촬상 광학부(111)의 시야로 된다. 또한, 구면의 상반분의 시야를 상반구 시야라고 한다. 또한, 촬상 광학부(111)를 바로 아래를 향하여 설치한 경우에는, 도 10의 (B)에 도시하는 바와 같이, 구면의 하반분이 촬상 광학부(111)의 시야로 된다. 또한, 구면의 하반분의 시야를 하반구 시야라고 한다. 또한, 촬상 광학부(111)를 수평 방향을 향하여 설치하여 전방을 촬상하는 경우에는, 도 10의 (C)에 도시하는 바와 같이, 구면의 전반분이 촬상 광학부(111)의 시야로 된다. 또한, 구면의 전반분의 시야를 전반구 시 야라고 한다. 또한, 전방을 촬상하는 대신에 좌방향이나 우방향을 촬상하는 경우의 시야는, 좌반구 시야 혹은 우반구 시야로 된다.
촬상 광학부(111)를 바로 위를 향하여 설치하는 경우로서는, 즉 촬상 광학부(111)의 광축을 연직선과 대략 일치시켜서 하는 것으로 되고, 촬상 방향이 상방으로 되는 경우로서는, 예를 들면, 지면, 마루 위, 책상 위로부터 상방향을 보는 경우가 상정된다. 촬상 광학부(111)를 바로 아래를 향하여 설치하는 경우로서는, 즉 촬상 광학부(111)의 광축이 연직선과 대략 일치하는 것으로 되고, 촬상 방향이 하방향으로 되는 경우로서는, 예를 들면, 천정이나 상공으로부터 하방향을 보는 경우가 상정된다. 촬상 광학부(111)를 수평 방향을 향하여 설치하는 경우로서는, 예를 들면 지면에 수직인 벽 등으로부터 수평 방향 혹은 가로 방향을 보는 경우가 상정된다.
이들 외에, 경사 상반분이나 경사 하반분의 시야도 생각된다. 이들과 같이, 촬상 광학부(111)의 설치 방향(촬상 광학부(111)와 촬상 소자(112)가 일체로 구성되어 있을 때에는 촬상부(11)의 설치 방향)에 따른 반구 형상의 시야가 얻어진다. 또한, 어안 렌즈를 이용한 경우에 한정되지 않고, 광각 렌즈나 미러 등을 이용한 경우에도 설치 방향에 따라서 시야의 방향이 변화한다. 또한, 시야가 넓을 때에는 일부의 시야 범위를 선택하고, 이 선택한 시야 범위를 이용하는 것으로 하여도 된다.
다음으로, 왜곡 보정 처리부(133)의 왜곡 보정 처리에 대하여 설명한다. 왜곡 보정 처리의 방법으로서, 기하학적 보정이 이용되고, 예를 들면 왜곡이 있는 계 의 이차원 좌표로부터 왜곡이 없는 이차원 직교 좌표계로 변환하도록 하는 일반적인 알고리즘이 이용되면 된다. 이 경우, 그 변환식이나 변환 테이블이 도시하지 않은 ROM이나 그 밖의 메모리 등에 보존되어 있으면 된다. 그러나, 그러한 왜곡 보정에 한정되지 않고, 다른 공지의 왜곡 보정이 이용되어도 된다.
도 11은, 렌즈의 상고 특성을 설명하기 위한 도면이다. 도 11의 (A)에서는, 점 O를 중심으로 하는 상반구 시야를 y축 방향으로부터 보아 이차원 표시로 한 것이다. 도면 중, 화살표 OPk는 예를 들면 피사체의 방향을 나타내고 있다. 이 화살표 OPk로 나타내는 방향에 위치하는 피사체의 결상점을 점 Q로 하였을 때, 점 O로부터 결상점 Q까지의 거리가 상고 Lh로 된다. 도 11의 (B)는, 해당 상고 특성을 예시한 그래프이다. 횡축이 각도(입사각) θ, 종축이 상고 Lh를 나타내고 있다. 해당 데이터는, 변환 테이블로서 미리 메모리에 기억되어 있으면 된다.
도 12는, 왜곡 보정 처리의 원리를 설명하기 위한 도면이다. 도 12의 (A)는, 표시부(14)에 표시하는 화상의 범위를 나타내는 표시 평면(81)이다. 도 12의 (B)는, 상반구 시야의 구면(51)에 대하여 표시 평면(81)을 설정한 상태를 도시하고 있다. 여기에서, 선택 영역의 화상을 표시부(14)의 표시 화상으로 하는 경우, 이 표시 화상의 범위를 나타내는 표시 평면(81)은 선택 영역에 상당하는 것으로 된다. 도 12의 (C)는, 도 12의 (B)에 도시하는 구면(51)을 x-y 평면 상에 투영한 상태를 도시하는 것으로서, 이 구면(51)이 투영된 영역이 전체 화상 Gcp의 영역에 상당한다.
상반구 시야의 구면(51)에 대하여 설정한 표시 평면(81) 상의 예를 들면 점 P에 대하여 설명한다. 이 점 P의 위치를 P(u, v, w)로 하면, OP=(u2+v2+w2)1/2이기 때문에, 각도 θ는 θ=arccos[w/((u2+v2+w2)1/2)]의 연산을 행함으로써 구할 수 있다. 또한, 표시 평면(81)의 중심은 HO로 한다. 또한, 상술한 상고 특성을 촬상 광학부(111)에 대하여 미리 구해 두고, 각도 θ와 상고 Lh의 변환 테이블을 기억시켜 두면, 각도 θ를 산출함으로써 점 P에 대한 상고 Lh를 얻을 수 있다.
또한, 점 P로부터 x-y 평면에 수선을 내렸을 때의 x-y 평면 상의 교점을 점 P'(u, v, 0)로 하면, OP'=OP×sin(θ)으로 된다. 따라서, 결상점 Q(xp, yp)는, xp=u×Lh/((u2+v2+w2)1/2×sin(θ), yp=v×Lh/((u2+v2+w2)1/2×sin(θ))의 위치로 되고, 이와 같이 하여 결상점 Q(xp, yp)를 구할 수 있다.
또한, 점 P에 대응한 x-y 평면 상의 점 P'의 방향과 x축의 각도 φ를 구하여, 각도 φ와 상고 Lh로부터 결상점 Q의 위치를 구하는 것으로 하여도 된다. 여기에서, 각도 φ는, φ=arccos[u/((u2+v2)1/2)]의 연산을 행함으로써 구할 수 있다. 따라서, 점 O로부터 x축에 대하여 각도 φ를 이루는 방향으로 상고 Lh만큼 떨어진 위치가 결상점 Q로 된다.
이와 같이 하여 구한 결상점 Q의 화소 신호를 촬상 소자(112)로부터 얻는 것으로 하고, 이 화소 데이터에 기초하여 도 12의 (D)에 도시하는 바와 같이 표시 평면(81) 상의 점 P의 묘화를 행한다. 또한, 표시 평면(81) 내의 모든 점(화소)에 대해서도 마찬가지의 처리를 행함으로써, 표시 평면(81) 상에, 촬상 광학부(111)에 의해 생긴 왜곡이 보정된 화상을 표시할 수 있다. 또한, 결상점 Q에 대응하는 화소 신호가 없는 경우에는, 결상점 Q의 주위에 위치하는 화소의 화소 신호를 이용하여 결상점 Q에 대응하는 화소 신호를 생성하면 된다. 예를 들면 결상점 Q의 주위에 위치하는 화소의 화소 신호를 이용하여 보간 등을 행함으로써, 결상점 Q에 대응하는 화소 신호를 생성할 수 있다.
이와 같이, 표시 평면(81) 상의 각 점에 대응하는 결상점 Q의 화소 데이터를 이용하여 묘화를 행함으로써, 왜곡 보정된 화상이 얻어지기 때문에, 처리 제어부(135)는, 선택 영역에 대응하는 결상점 즉 선택 영역에 대응하는 화상 영역 ARs를 판별 가능하게 하는 정보를 선택 영역 설정 정보 JA로서 생성한다. 예를 들면, 처리 제어부(135)는, 도 12의 (B)에 도시하는 각도 θ, φ를 이용하여 선택 영역을 나타낸 정보를 선택 영역 설정 정보 JA로 한다. 이 경우, 각도 θ에 대응하는 상고 Lh와 각도 φ로부터, 선택 영역에 대응한 화상 영역 ARs를 판별할 수 있기 때문에, 선택 영역 강조 표시 처리부(132)는, 선택 영역에 대응한 화상 영역 ARs를 강조 화상 Gs로 한 전체 화상 Gcp의 화상 데이터 DVcp를 생성할 수 있다. 또한, 왜곡 보정 처리부(133)는, 선택 영역에 상당하는 표시 평면 상의 각 화소를 나타내는 각도 θ, φ에 기초하여 각 화소에 대응한 화소 데이터를 얻음으로써, 왜곡 보정 처리가 이루어진 선택 영역 표시 화상 Gsc의 피보정 화상 데이터 DVsc를 생성할 수 있다. 또한, 선택 영역 설정 정보 JA로서, 선택 영역의 범위를 나타내는 좌표값을 이용하는 것으로 하여도, 상술한 바와 같은 연산 처리 등을 행함으로써, 전체 화상 Gcp의 화상 데이터 DVcp나 선택 영역 표시 화상 Gsc의 피보정 화상 데이터 DVsc를 생성할 수 있다. 또한, 좌표값을 이용하는 것으로 하면, 선택 영역의 형상이 복잡하게 되어도 선택 영역을 용이하게 나타내는 것이 가능하게 된다.
다음으로, 영역 선택 모드에 대하여 설명한다. 영역 선택 모드 MS로서는, 도 4에 도시하는 바와 같이, 제1 영역 선택 모드인 직교 좌표 모드 MS1과 제2 영역 선택 모드인 극좌표 모드 MS2가 설정되어 있다.
직교 좌표 모드 MS1이란, 예를 들면 도 10의 (C)에 도시하는 바와 같이, 전반구 시야로서 지면에 수직인 벽 등으로부터 수평 방향 혹은 가로 방향을 보는 경우 등에, 원하는 피사체의 왜곡 보정 처리가 이루어진 화상이 용이하게 얻어지는 모드이다. 구체적으로는, 입력부(12)로부터 선택 영역의 절환 지시를 나타내는 입력 정보 PS가 공급되었을 때, 처리 제어부(135)는 절환 지시에 기초하여 선택 영역(71)을 직교 좌표계의 축 방향으로 이동하는 연산 처리를 행하고, 새롭게 설정한 선택 영역을 나타내는 선택 영역 설정 정보 JA의 생성을 행한다.
도 13은, 영역 선택 모드 중, 직교 좌표 모드 MS1에서의 동작을 설명하기 위한 도면이다. 직교 좌표 모드 MS1에서는, 직교 좌표계를 이용하여 선택 영역(71)을 절환 지시에 따라서 절환한다. 절환 지시는, 예를 들면 절환 후의 선택 영역의 x좌표와 y좌표의 좌표값을 나타내는 것으로 하거나, 선택 영역의 x방향의 이동량이나 y방향의 이동량을 나타내는 것으로 하여, 선택 영역(71)을 직교 좌표 상에서 절환한다. 여기에서, x좌표 혹은 y좌표 중 어느 한 쪽만이 변경될 때, 선택 영역(71)은 직교 좌표계의 축 방향으로 이동한 새로운 위치로 된다. 또한, x좌표와 y좌표를 변경하면, 선택 영역(71)은 직교 좌표계의 축 방향에 대하여 경사 방향으 로 이동한 새로운 위치로 된다.
절환 지시에 기초하여 선택 영역(71)을 x방향으로 이동시켜 순차적으로 설정할 때, 선택 영역(71) 상의 임의의 점(예를 들면 중심 PO)의 궤적은 선(51x)으로 된다. 또한, 절환 지시에 기초하여 선택 영역(71)을 y방향으로 이동시켜 순차적으로 설정할 때, 선택 영역(71) 상의 중심 PO의 궤적은 선(51y)으로 된다. 또한, 선택 영역(71)이 이동됨으로써 화상 영역 ARs도 이동한다.
이와 같이, 직교 좌표 모드 MS1에서는, 직교 좌표계의 좌표값을 변경함으로써 상기 선택 영역의 절환을 행한다. 이 때문에, 시야가 예를 들면 전반구 시야로 되는 경우에 직교 좌표 모드 MS1을 선택하면, 선택 영역의 절환 지시에 의해, 선택 영역(71)을 수평 방향 혹은 수직 방향으로 이동한 위치에 용이하게 설정하는 것이 가능하게 되기 때문에, 표시부(14)에 표시되어 있는 화상을, 용이하게 원하는 방향의 화상으로 절환할 수 있다. 예를 들면 수평 방향으로 늘어서 있는 피사체로부터 원하는 피사체를 선택하여 표시시키는 것이 용이하게 된다.
다음으로, 극좌표 모드 MS2에 대하여 설명한다. 극좌표 모드 MS2란, 예를 들면 도 10의 (A)에 도시하는 바와 같이, 상반구 시야로서 지면, 마루 위, 책상 위로부터 상방향을 보는 경우, 혹은 도 10의 (B)에 도시하는 바와 같이, 하반구 시야로서 천정이나 상공으로부터 하방향을 보는 경우 등에, 원하는 피사체의 왜곡 보정 처리가 이루어진 화상이 용이하게 얻어지는 모드이다. 구체적으로는, 입력부(12)로부터 선택 영역의 절환 지시를 나타내는 입력 정보 PS가 공급되었을 때, 처리 제어부(135)는 절환 지시에 기초하여 선택 영역(71)을 극좌표계의 편각의 변화 방향 으로 이동하는 연산 처리를 행하고, 새롭게 설정한 선택 영역을 나타내는 선택 영역 설정 정보 JA의 생성을 행한다.
도 14는, 영역 선택 모드 중, 극좌표 모드 MS2에서의 동작을 설명하기 위한 도면이다. 극좌표 모드 MS2에서는, 극좌표계를 이용하여 선택 영역(71)을 절환 지시에 따라서 절환한다. 절환 지시는, 도 14에 도시하는 바와 같이, 시야를 삼차원 공간에서 표현하는 것으로 한 경우, 예를 들면 절환 후의 선택 영역의 편각 θag와 편각 φag를 나타내는 것으로 하거나, 편각 θag의 변화량이나 편각 φag의 변화량을 나타내는 것으로 하여, 선택 영역(71)을 극좌표 상에서 절환한다. 여기에서, 편각 θag 혹은 편각 φag 중 어느 한 쪽만이 변경될 때, 선택 영역(71)은 극좌표계의 편각 θag가 변화하는 방향(이하 「θag 변화 방향」이라고 함) 혹은 편각 φag가 변화하는 방향(이하 「φag 변화 방향」이라고 함)으로 이동한 새로운 위치로 된다. 또한, 편각 θag와 편각 φag를 변경하면, 선택 영역(71)은 극좌표계의 θag 변화 방향 혹은 φag 변화 방향에 대하여 경사 방향으로 이동한 새로운 위치로 된다.
절환 지시에 기초하여 선택 영역(71)을 θag 변화 방향으로 이동시켜 순차적으로 설정할 때, 선택 영역(71) 상의 임의의 점(예를 들면 중심 PO)의 궤적은 선(51r)으로 된다. 또한, 절환 지시에 기초하여 선택 영역(71)을 φag 변화 방향으로 이동시켜 순차적으로 설정할 때, 선택 영역(71) 상의 중심 PO의 궤적은 선(51s)으로 된다. 또한, 선택 영역(71)이 이동됨으로써 화상 영역 ARs도 이동한다.
또한, 이차원 공간으로 표현되는 화상에서 시야를 표현하는 경우, 절환 지시는, 예를 들면 절환 후의 선택 영역의 편각 φag와 동경(動徑)을 나타내는 것으로 하거나, 편각 φag의 변화량이나 동경의 변화량을 나타내는 것으로 하면, 시야를 이차원 공간으로 표현하는 경우에도, 선택 영역(71)을 극좌표 상에서 절환하는 것이 가능하게 된다.
이와 같이, 극좌표 모드 MS2에서는, 극좌표계의 편각 및/또는 동경을 변경함으로써 선택 영역의 절환을 행한다. 이 때문에, 시야가 상반구 시야 혹은 하반구 시야로 되는 경우에 극좌표 모드 MS2를 선택하면, 선택 영역의 절환 지시에 의해, 선택 영역(71)을 편각의 변화 방향으로 이동한 위치에 용이하게 설정하는 것이 가능하게 되기 때문에, 표시부(14)에 표시되어 있는 화상을, 용이하게 원하는 방향의 화상으로 절환할 수 있다. 예를 들면, 촬상 광학부(111)의 주위에 위치하는 피사체로부터 원하는 피사체를 선택하여 표시시키는 것이 용이하게 된다.
도 15는, 유저가 입력부(12)를 이용하여 선택 영역을 조작할 때에 표시되는 GUI(Graphical User Interface)의 일례를 도시하고 있다. 도 15의 (A), 도 15의 (B)에 도시하는 조작 입력 화면 Gu는, 도 7에 도시한 전체 화상 Gcp 및 선택 영역 표시 화상 Gsc와 함께 표시부(14)에 표시되면 된다. 혹은, 조작 입력 화면 Gu와, 전체 화상 Gcp 등은 각각의 표시부에 표시되도록 하여도 된다. 또한, 전체 화상 Gcp나 선택 영역 표시 화상 Gsc를 표시하는 표시부(14)와는 별개로 표시부를 설치하고, 예를 들면 입력부(12)에 표시부를 설치하고, 이 표시부에서 GUI 표시를 행하는 것으로 하여도 된다. 조작 입력 화면 Gu에는, 방향 버튼군 Gua 혹은 방향 버튼 군 Gub와, 「확대」 버튼 Guc1 및 「축소」 버튼 Guc2가 설치되어 있다. 도 15의 (A)에서는, 방향 버튼군 Gua로서, 예를 들면 중앙의 「선택」 버튼 Gua1의 주위에, 「Up」「Down」「Right」「Left」 버튼 등의 방향 버튼 Gua2가 있다. 또한, 도 15의 (B)에서는, 방향 버튼군 Gub로서, 예를 들면 중앙의 「선택」 버튼 Gub1의 주위에, 「North」 버튼이나 「SE(South East)」 버튼 등의 방위각 버튼 Gub2가 있다.
도 16은, 직교 좌표 모드 MS1이 선택되어 있을 때에 선택 영역의 절환 지시가 행하여진 경우를 설명하기 위한 것이다. 이 예에서는, 표시 모드 MH로서 양방 표시 모드 MH3으로 표시하는 경우를 예로 들고 있다. 또한, 여기에서는, 예를 들면 유저는 도 15의 (A)에 도시한 조작 입력 화면 Gu 등을 보면서 조작하는 예를 들어 설명한다.
도 16의 (A)에 도시하는 상태로부터, 유저가 마우스나 키보드 등에 의해, 방향 버튼 Gua2의 「Right」 버튼을 1회, 복수, 또는 연속하여 누르는 것으로 한다. 또한, 「연속하여 누른다」라는 것은, 1회 눌려진 상태가 해제되지 않은 채로의 상태를 말하며, 소위 「길게 누름」이다.
그와 같이 「Rght」 버튼이 눌려지면, 그 입력부(12)의 입력 정보 PS에 따라서, 화상 처리부(13)의 처리 제어부(135)는, 직교 좌표 모드 MS1에 따른 방향으로 선택 영역의 절환 처리를 행하고, 새롭게 설정한 선택 영역을 나타내는 선택 영역 설정 정보 JA를 생성한다. 또한, 처리 제어부(135)는, 생성한 선택 영역 설정 정보 JA를 선택 영역 강조 표시 처리부(132)에 공급하여, 강조 화상 Gs가 새롭게 설정한 선택 영역에 대응하는 화상 영역 ARs를 나타내도록, 강조 표시 영역의 변경을 행한다. 또한, 처리 제어부(135)는, 생성한 선택 영역 설정 정보 JA를 왜곡 보정 처리부(133)에 공급하여, 새롭게 설정한 선택 영역에 대응하는 화상 영역 ARs의 화상을, 촬상 광학부(111)에 의해 생긴 왜곡을 보정한 상태의 선택 영역 표시 화상 Gsc로 하는 처리를 행한다.
또한, 화상 출력 처리부(134)는, 선택 영역 표시 화상 Gsc를 포함하는 표시 화상의 화상 데이터 DVd를 표시 모드에 따라서 생성하여 표시부(14)에 공급한다.
이에 의해, 표시부(14)에서는, 도 16의 (B)에 도시하는 바와 같이, 선택 영역을 우측으로 이동하였을 때의 화상이 표시되게 된다. 또한, 전체 화상 Gcp에서도, 강조 화상 Gs의 위치가 갱신된다. 또한, 「Right」 버튼이 복수, 혹은 연속하여 눌려짐으로써, 처리 제어부(135)는, 「Right」 버튼의 조작 횟수나 눌려져 있는 기간에 따라서 선택 영역의 이동량을 설정하여, 선택 영역 표시 화상 Gsc를 갱신한다. 이와 같이, 처리 제어부(135)는, 도 13에서 도시한 직교 좌표계에서 전개 처리를 행하고, 선택 영역 표시 화상을 표시부(14)에 표시시킨다.
또한, 유저에 의해 예를 들면 「Up」 버튼이 눌려지면, 처리 제어부(135)는, 그 입력 정보 PS에 따라서 선택 영역의 절환 처리를 행하고, 선택 영역의 절환에 수반하여 이동하는 화상 영역 ARs의 강조 화상 Gs를, 촬상 광학부(111)에 의해 생긴 왜곡이 보정된 선택 영역 표시 화상 Gsc로서 표시부(14)에 표시시킨다.
도 15의 (A), (B)에서의 「선택」 버튼 Gua1, Gub1은, 다양한 이용 방법이 생각된다. 예를 들면 현재의 화상 영역 ARs 내의 선택 영역 표시 화상 Gsc를 녹화해 두기 위한 녹화 개시 버튼으로서 이용할 수 있다. 또한, 화상 영역 ARs가 강조 화상 Gs로서 표시되어 있지 않은 경우에, 이 화상 영역 ARs를 강조 화상 Gs로서 표시하여 유저가 영역 선택 동작을 행할 수 있도록 하는 영역 선택 동작의 개시 버튼으로서도 이용할 수 있다. 혹은, 표시 모드 MH의 절환 버튼, 기타, 여러 가지의 결정 버튼으로서도 이용할 수 있다.
또한, 촬상부(11)에서의 기준 위치가 미리 결정된 방향 예를 들면 북쪽 방향으로 되도록 올바르게 설정되어 있는 경우, 방위각 버튼 Gub2의 「East」 버튼이 조작된 것을 처리 제어부(135)가 판별하였을 때, 선택 영역을 「East」방향으로 새롭게 설정함으로써, 선택 영역 표시 화상 Gsc를 갱신한다. 또한, 「West」 버튼이 조작된 것을 처리 제어부(135)가 판별하였을 때, 선택 영역을 「West」 방향으로 새롭게 설정함으로써, 선택 영역 표시 화상 Gsc를 갱신한다. 이와 같이, 원하는 방위각을 나타내는 버튼을 조작함으로써, 선택 영역이 원하는 새로운 위치로 설정되어 있는 화상을 표시부(14)에 왜곡을 발생시키지 않고 표시할 수 있다.
또한, 도 15의 (A), (B)에 도시한 GUI 표시는 단순한 예이며, 이것에 한정되지 않는 것은 물론이다.
도 17은, 예를 들면 직교 좌표 모드가 선택되어 있는 경우에, 표시 모드가 차례로 절환될 때의 표시부(14)에 표시되는 표시 화상을 도시한다. 도 17의 (A)는, 전체 화상 표시 모드 MH1로 설정되었을 때의 표시 화상으로서, 전체 화상 Gcp만이 표시된다. 도 17의 (B)는, 선택 화상 표시 모드 MH2로 설정되었을 때의 표시 화상으로서, 선택 영역 표시 화상 Gsc만이 표시된다. 도 17의 (C)는, 양방 표시 모드 MH3으로 설정되었을 때의 표시 화상으로서, 전체 화상 Gcp와 선택 영역 표시 화상 Gsc의 양자가 표시된다. 또한, 표시 모드를 차례로 절환하였을 때에는, 전체 화상 표시 모드 MH1과 선택 화상 표시 모드 MH2와 양방 표시 모드 MH3이 사이클릭하게 절환된다.
도 18은, 극좌표 모드 MS2가 선택되어 있을 때의 표시부(14)에 표시되는 표시 화상을 도시하고 있다. 또한, 도 18에서는, 2개의 선택 영역을 설정한 경우를 도시하고 있다. 또한, 선택 영역은 1개 혹은 2개로 한정되는 것이 아니라, 유저가 자유롭게 설정할 수 있도록 하여도 된다. 예를 들면 도 15의 (A), (B)에 도시한 「Menu」 버튼 Guc3이 조작될 때마다, 증가하도록 하여도 되고, 다른 도시하지 않는 GUI 표시가 이용되어도 된다. 이 경우, 처리 제어부(135)는, 입력부(12)로부터의 입력 정보 PS에 따라서 선택 영역을 복수 설정하는 처리를 행한다. 혹은, 입력부(12)로부터의 입력 정보 PS에 상관없이, 미리 선택 영역을 복수 형성하도록 설정하여도 된다. 또한, 처리 제어부(135)는, 입력부(12)로부터의 입력 정보 PS에 따라서, 분할 표시 모드 MH4로 설정되었을 때, 각 선택 영역의 선택 영역 표시 화상을 개개로 생성하여 표시부(14)에서 동시에 표시시키는 것으로 하여도 된다.
극좌표 모드 MS2의 설명으로 되돌아간다. 도 18에서는, 설명을 알기 쉽게 하기 위해서, 예를 들면 인간이 들어갈 수 없는 배관 속을, 로봇이 주행한다고 하는 상태를 상정하고 있다. 또한, 이 로봇에는, 예를 들면 광각 렌즈를 이용한 촬상 광학부(111)가 설치되어 있는 것으로 한다. 또한, 배관의 내벽(91)의 상부에 균열(92)이 발생해 있는 것으로 한다. 선택 영역 표시 화상 Gsc1은, 제1 선택 영역의 화상이다. 즉 제1 선택 영역에 대응하는 화상 영역 ARs1의 강조 화상 Gs1이 왜곡 보정 처리되어 있는 화상이다. 또한, 선택 영역 표시 화상 Gsc2는, 제2 선택 영역에 대응하는 화상 영역 ARs2의 강조 화상 Gs2가 왜곡 보정 처리되어 있는 화상이다.
도 18의 (A)의 상태인 경우, 입력부(12)로부터 공급된 입력 정보 PS가 예를 들면 도 14에 도시하는 극좌표계의 φag 변화 방향으로 선택 영역을 절환하는 절환 지시일 때, 처리 제어부(135)는, 절환 지시에 따라서 φag 변화 방향으로 선택 영역을 절환하는 처리를 행하고, 처리 후의 선택 영역을 나타내는 선택 영역 설정 정보 JA를 선택 영역 강조 표시 처리부(132)와 왜곡 보정 처리부(133)에 공급한다. 선택 영역 강조 표시 처리부(132)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 강조 화상 Gs1, Gs2의 표시를 행한다. 왜곡 보정 처리부(133)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 화상 영역 ARs1, ARs2의 화상을, 촬상 광학부(111)에 의해 생긴 왜곡을 보정한 상태의 선택 영역 표시 화상 Gsc1, Gsc2로 하는 보정 처리를 행한다. 이 때문에, 절환 지시 후의 표시 화상은, 도 18의 (B)에 도시하는 바와 같이, 절환 지시 후의 선택 영역의 화상이 선택 영역 표시 화상 Gsc1, Gsc2로서 표시된다. 또한, 강조 화상 Gs1, Gs2는 선택 영역 표시 화상 Gsc1, Gsc2의 영역을 올바르게 나타내게 된다. 이 경우, 화상 영역 ARs1, ARs2는 전체 화상 Gcp 상에서 반시계 방향으로 이동한 것으로 되고, 절환 지시의 방향이 역방향일 때에는, 화상 영역 ARs1, ARs2가 시계 방향으로 이동한 것으로 된다.
또한, 도 18의 (A)의 상태인 경우, 입력부(12)로부터 공급된 입력 정보 PS가 예를 들면 도 14에 도시하는 극좌표계의 θag 변화 방향으로 선택 영역을 절환하는 절환 지시일 때, 처리 제어부(135)는, 절환 지시에 따라서 θag 변화 방향으로 선택 영역을 절환하는 처리를 행하고, 처리 후의 선택 영역을 나타내는 선택 영역 설정 정보 JA를 선택 영역 강조 표시 처리부(132)와 왜곡 보정 처리부(133)에 공급한다. 선택 영역 강조 표시 처리부(132)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 강조 화상 Gs1, Gs2의 표시를 행한다. 왜곡 보정 처리부(133)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 화상 영역 ARs1, ARs2의 화상을, 촬상 광학부(111)에 의해 생긴 왜곡을 보정한 상태의 선택 영역 표시 화상 Gsc1, Gsc2로 하는 보정 처리를 행한다. 이 때문에, 절환 지시 후의 표시 화상은, 도 19에 도시하는 바와 같이, 절환 지시 후의 선택 영역의 화상이 선택 영역 표시 화상 Gsc1, Gsc2로서 표시된다. 또한, 강조 화상 Gs1, Gs2는 선택 영역 표시 화상 Gsc1, Gsc2의 영역을 올바르게 나타내게 된다. 이 경우, 화상 영역 ARs1, ARs2는 전체 화상 Gcp 상에서 직경 방향으로 서로 근접하도록 이동한 것으로 되고, 절환 지시의 방향이 역방향일 때에는, 화상 영역 ARs1, ARs2가 전체 화상 Gcp 상에서 직경 방향으로 서로 떨어지도록 이동한 것으로 된다.
또한, 극좌표 모드 MS2에서는, 예를 들면, 선택 영역의 절환은, 마우스, 키보드, 터치 센서 등에 의해 실현할 수 있고, 그 때의 GUI는 어떠한 형태이어도 된다.
극좌표 모드 MS2에서는, 예를 들면 도 18의 (A)에 도시하는 표시 화상의 상 태로부터, 도 20에 도시하는 바와 같이, 입력부(12)로부터 취득하는 입력 정보 PS에 따라서, 선택 영역 표시 화상 Gsc1을 표시부(14)의 하측에 180도 회전시켜 표시하고, 선택 영역 표시 화상 Gsc2를 표시부(14)의 상측에 180도 회전시켜 표시하는 것도 가능하다. 이에 의해, 유저가 보기 쉬운 각도로 화상을 볼 수 있어 편리하다.
물론, 상기 직교 좌표 모드 MS1에서도, 선택 영역이 복수 설정되어 있고, 그에 따라서 분할 표시 모드 MH4가 적용되어도 된다. 혹은, 직교 좌표 모드 MS1 및 극좌표 모드 MS2에서, 화상 처리부(13)는, 선택 영역을 복수 설정하는 경우에도, 1화면의 합성 왜곡 보정 화상을 생성하지 않고, 1개의 선택 영역의 선택 영역 표시 화상을 생성하여 표시부(14)에 출력하도록 하여도 된다. 이 경우, 1개의 선택 영역에 대한 선택 영역 표시 화상을 1화면 표시로 하는 화상 데이터를 출력할지, 복수의 선택 영역의 선택 영역 표시 화상을 생성하여 각 선택 영역 표시 화상을 1화면 표시로 하는 화상 데이터를 출력할지는, 입력부(12)에 의한 입력 정보 PS에 따라서, 혹은 미리 설정된 설정 정보에 따라서 화상 처리부(13)의 처리 제어부(135)가 제어한다.
극좌표 모드 MS2에서는, 예를 들면 「Menu」 버튼 Guc3이 유저에 의해 조작될 때마다, 처리 제어부(135)는 표시 모드 MH의 절환을 직교 좌표 모드 MS1과 마찬가지로 행한다. 또한, 선택 영역이 복수 설정될 때에는, 분할 표시 모드 MH4를 선택 가능하게 한다.
도 21은, 분할 표시 모드 MH4를 선택 가능하게 하였을 때의 표시 모드의 절 환의 천이를 도시한 도면이다. 또한, 선택 영역은 4개 설정되어 있는 것으로 한다. 예를 들면 양방 표시 모드 MH3에서 1개의 선택 영역 보정 화상을 표시하는 모드(도 21의 (A)), 양방 표시 모드 MH3에서 1개의 선택 영역 표시 화상을 상하 반전시켜 표시하는 모드(도 21의 (B)), 분할 표시 모드 MH4에서 2개의 선택 영역 보정 화상을 표시하는 모드(도 21의 (C)), 분할 표시 모드 MH4에서 선택 영역 보정 화상이 2개 표시되어 있는 화상을 상하 반전시켜 표시하는 모드(도 21의 (D)), 분할 표시 모드 MH4에서 4개의 선택 영역 보정 화상을 표시하는 모드(도 21의 (E)), 분할 표시 모드 MH4에서 선택 영역 보정 화상이 4개 표시되어 있는 화상을 상하 반전시켜 표시하는 모드(도 21의 (F))를 절환하여 표시하는 것이 가능하다. 또한, 도 21에서는, 모든 선택 영역 보정 화상이 표시되어 있지 않기 때문에, 표시하는 선택 영역 보정 화상을 절환 가능하게 하면 된다. 또한, 전체 화상 표시 모드 MH1이나 선택 화상 표시 모드 MH2로의 절환을 가능하게 하여도 되는 것은 물론이다.
이상과 같이, 본 실시 형태에 의하면, 영역 선택 모드로서 직교 좌표 모드 MS1과 극좌표 모드 MS2를 설정하였기 때문에, 예를 들면 시야 방향에 따라서 영역 선택 모드를 절환함으로써, 직감적으로 알기 쉬운 조작이 가능하게 되어, 유저에게 있어서 편리하고 사용하기 쉬운 화상 처리 장치를 실현할 수 있다.
화상 처리부(13)는, 지금까지 설명해 온 바와 같은 처리 외에, 선택 영역 표시 화상을 확대하거나 축소나 회전시키거나 하는 처리를 행할 수 있다.
도 22를 참조하여, 선택 영역 표시 화상의 확대/축소 처리에 대하여 설명한다. 도 22의 (A)에 도시되는 상태에서, 유저가 예를 들면 도 15의 (A), (B)에 도 시하는 「확대」 버튼 Guc1을 조작하는 것으로 한다. 그렇게 하면, 이 때의 입력 정보 PS에 따라서 처리 제어부(135)는, 선택 영역의 범위를 확대하는 처리를 행하고, 처리 후의 선택 영역을 나타내는 선택 영역 설정 정보 JA를 선택 영역 강조 표시 처리부(132)와 왜곡 보정 처리부(133)에 공급한다. 선택 영역 강조 표시 처리부(132)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 강조 화상 Gs1, Gs2의 표시를 행한다. 왜곡 보정 처리부(133)는, 선택 영역 설정 정보 JA에 기초하여, 처리 후의 선택 영역에 대응한 화상 영역 ARs1, ARs2의 화상을, 촬상 광학부(111)에 의해 생긴 왜곡을 보정한 상태의 선택 영역 표시 화상 Gsc1, Gsc2로 하는 보정 처리를 행한다. 여기에서, 도 22의 (A)에 도시하는 바와 같이, 양방 표시 모드 MH3으로 되어 있는 경우, 축소 조작이 행하여진 후의 표시 화상은, 축소 후의 선택 영역에 대응한 선택 영역 표시 화상 Gsc가, 도 22의 (B)에 도시하는 바와 같이 전체 화상 Gcp의 표시 영역을 제외한 전체 화면에 표시되기 때문에, 화상 영역 ARs에 포함되어 있던 인물 화상 GM은, 도 22의 (A)에 비하여 확대되어 표시되게 된다. 또한, 선택 영역을 축소하기 때문에, 전체 화상 Gcp에서의 화상 영역 ARs는 좁아진다.
반대로, 유저가 「축소」 버튼 Guc2를 조작하면, 처리 제어부(135)는 그 입력 정보 PS에 따라서 선택 영역의 범위를 축소하는 처리를 행하고, 처리 후의 선택 영역을 나타내는 선택 영역 설정 정보 JA를 선택 영역 강조 표시 처리부(132)와 왜곡 보정 처리부(133)에 공급한다. 이 때문에, 처리 후의 선택 영역에 대응한 화상 영역 ARs의 강조 화상 Gs가 왜곡 보정 처리되어 선택 영역 표시 화상 Gsc로서 전체 화상 Gcp의 표시 영역을 제외한 전체 화면에 표시되기 때문에, 화상 영역 ARs에 포함되어 있던 인물 화상 GM은, 도 22의 (A)에 비하여 축소되어 표시되게 된다. 이와 같이 하여 확대/축소 처리가 가능하게 된다.
다음으로, 도 23, 도 24를 참조하여, 화상 처리부(13)에 의해 선택 영역의 화상을 회전하여 표시하는 경우에 대하여 설명한다. 도 23의 (A), (B)는 「회전」의 조작 지시 전의 상태를 도시하는 도면으로서, 도 23의 (A)는, 전체 화상 Gcp 중의 예를 들면 인물 화상 GM이 화상 영역 ARs에 포함되도록 선택 영역이 설정되어 있는 경우를 도시하고 있다. 또한, 도 23의 (B)는, 화상 영역 ARs의 강조 화상 Gs가 왜곡 보정 처리된 화상인 선택 영역 표시 화상 Gsc를 도시하고 있다. 유저로부터의 「회전」의 조작 지시가 있었던 경우, 도 24의 (A)에 도시하는 바와 같이, 처리 제어부(135)는 그 입력 정보 PS에 따라서, 화상 영역 ARs의 거의 중심점을 중심으로 하여 회전하도록 선택 영역의 변경 처리를 행한다. 이 경우, 변경 처리 후의 선택 영역에 대응하는 화상 영역 ARs에서는 인물 화상 GM이 역방향으로 회전된 상태로 된다. 따라서, 변경 처리 후의 선택 영역에 대응하는 화상 영역 ARs의 강조 화상 Gs에 대한 선택 영역 표시 화상 Gsc를 생성하면, 도 24의 (B)에 도시하는 바와 같이, 인물 화상 GM이 선택 영역의 회전 방향과는 역방향으로 회전된 화상을 얻을 수 있다. 이러한 회전 처리에 의해, 유저는 관찰 대상물을 보기 쉬운 각도로 볼 수 있어, 편리하다.
또한, 선택 영역을 회전시키는 것이 아니라, 전체 화상 Gcp를 회전시키도록 하여도 상관없다. 예를 들면, 도 25의 (A)에 도시하는 바와 같이, 직교 좌표 모드 MS1에서의 이동축으로서 x축(Pan축)이 수평 방향, y축(Tilt축)이 수직 방향으로 되는 상태로부터, 도 25의 (B)에 도시하는 바와 같이, 전체 화상 Gcp를, 상기 x축 및 y축, 강조 화상 Gs와 함께 예를 들면 반시계 방향으로 회전시킨다. 이 경우, 표시부(14)에 출력되는 선택 영역 표시 화상 Gsc에 변화는 없다. 이에 의해, 전체 화상 표시 모드 MH1에서, 상기 회전 방향에서의 카메라의 설치 각도의 기울기를 보정하거나, 전체 화상 Gcp를 의도적으로 회전시켜 특수 효과로서 표시시키거나 하는 것도 가능하게 된다.
도 26은, 본 발명의 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도이다. 이 이후의 설명에서는, 도 1에 도시한 화상 처리 시스템(10)이 구비하는 디바이스나 기능 등에 대하여 마찬가지의 것은 설명을 간략 또는 생략하고, 서로 다른 점을 중심으로 설명한다.
화상 처리 시스템(20)은, 도 1의 화상 처리 시스템(10)에 기억 장치(21)를 더 부가한 구성을 갖고 있다. 이 기억 장치(21)는, 예를 들면 촬상부(11)에서 생성된 화상 데이터 DVa나 화상 처리부(13)에서 생성된 각종 화상 데이터를 기억하는 장치이다. 기억 장치(21)에 이용되는 기억 매체로서는, 광 디스크, 자기 디스크, 반도체 메모리, 유전체 메모리, 테이프 형상의 기억 매체 등, 화상 데이터를 기억할 수 있는 매체이면 어느 것이어도 된다.
예를 들면 기억 장치(21)는, 화상 데이터 DVa를 기억해 두는 경우, 화상 처리부(13)는, 입력부(12)로부터의 입력 정보 PS에 따라서, 기억 장치(21)로부터 유저가 원하는 화상 데이터 DVa를 읽어내고, 표시부(14)에 표시시키는 것이 가능하게 된다. 구체적으로는, 유저 조작에 기초하는 입력 정보 PS에 따라서, 화상 처리부(13)가, 기억 장치(21)에 기억된 과거의 광시야 화상 Gc의 화상 데이터 DVa를 읽어내고, 이 읽어내어진 화상 데이터 DVa로 표시되는 시야에 대하여 선택 영역을 설정하고, 이 선택 영역의 왜곡이 보정된 화상인 선택 영역 표시 화상을 표시부(14)에 표시시킨다고 하는 형태가 생각된다. 혹은, 유저에 상관없이, 화상 처리부(13)는, 기억 장치(21)에 기억된 과거의 광시야 화상 중에서, 미리 설정된 선택 영역의 화상을 왜곡 보정 처리하여 표시부(14)에 표시시키는 형태도 생각된다.
그 경우의 보다 구체적인 예로서, 다음과 같은 형태도 생각된다. 예를 들면 유저가, 촬상부(11)로부터 리얼타임으로 얻어지는 광시야 화상 중에서 선택 영역을 선택하고, 리얼타임으로 전체 화상 Gcp 및 선택 영역 표시 화상 Gsc를 보거나, 기억 장치(21)에 기억해 두거나 한다. 그리고, 유저는, 그 후, 기억된 전체 화상 Gcp를 보면서, 상기 리얼타임시에 선택한 영역과는 다른 영역을 선택하여 그 선택 영역 표시 화상 Gsc를 보거나 하는 것도 가능하다.
혹은, 화상 처리부(13)는, 기억 장치(21)에 전체 화상 Gcp의 화상 데이터를 기억시키지 않고, 선택 영역 표시 화상 Gsc의 화상 데이터만을 기억시켜 두도록 할 수도 있다. 이 경우, 유저는, 그 선택 영역 표시 화상 Gsc를 나중에 볼 수 있다. 물론, 전체 화상 Gcp 및 선택 영역 표시 화상 Gsc의 양방을 나타내는 화상 데이터나 각각의 화상의 화상 데이터를 기억해 두도록 하여도 된다.
혹은, 화상 처리부(13)는, 도 27에 도시하는 플로우차트의 처리를 행할 수도 있다. 화상 처리부(13)는, 촬상부(11)로부터 리얼타임의 광시야 화상을 취득하 고(ST2401), 또한, 기억 장치(21)에 기억된 과거의 광시야 화상 또는 과거의 선택 영역 표시 화상을 취득한다(ST2402). 화상 처리부(13)는, 취득한 광시야 화상과, 과거의 광시야 화상 또는 과거의 선택 영역 표시 화상을 1화면의 화상 데이터로서 양자를 합성하는 처리를 행하고(ST2403), 합성된 화상 데이터를 표시부(14)에 출력할 수 있다(ST2404). 혹은, 화상 처리부(13)는, 취득한 광시야 화상과, 과거의 광시야 화상 또는 과거의 선택 영역 표시 화상을 각각의 표시부(14)에 각각 표시하여도 된다. 또한, ST2401과 2402가 역순인 형태도 생각된다.
혹은, 화상 처리부(13)는, 리얼타임으로 왜곡 보정 처리를 행하여 얻어지는 선택 영역 표시 화상 Gsc(이 선택 영역 표시 화상 Gsc는, 리얼타임의 광시야 화상으로부터 리얼타임으로 생성되는 화상이어도 되고, 기억 장치(21)에 기억된 과거의 광시야 화상으로부터 리얼타임으로 생성되는 화상이어도 됨)와, 과거의 선택 영역 표시 화상을 양방 출력하는 형태가 생각된다. 구체적으로는, 도 28에 도시하는 바와 같이, 화상 처리부(13)는, 촬상부(11)로부터 리얼타임으로 광시야 화상을 취득하거나, 또는, 기억 장치(21)로부터 과거의 광시야 화상을 취득한다(ST2501). 또한, 화상 처리부(13)는, 기억 장치(21)에 기억된 과거의 선택 영역 표시 화상을 취득한다(ST2502). 화상 처리부(13)는, ST2501에서 취득한 상기 광시야 화상 내의 선택 영역의 화상에 대한 왜곡 보정 처리를 행한다(ST2503). 화상 처리부(13)는, 그 왜곡 보정 처리에 의해 생성된 선택 영역 표시 화상과, ST2502에서 취득한 선택 영역 표시 화상을 1화면의 화상 데이터로서 합성 처리하고(ST2504), 이것을 선택 영역 표시 화상 Gsc로서 표시부(14)에 출력한다(ST2505). 또한, ST2501과 2502가 역순인 형태도 생각되며, ST2502와 2503이 역순인 형태도 생각된다.
도 28에 도시하는 처리의 경우, 또한, 화상 처리부(13)는, ST2503에서 왜곡 보정 처리를 행하여 얻어지는 선택 영역 표시 화상(이하, 리얼타임 선택 영역 표시 화상이라고 함)과, 과거의 선택 영역 표시 화상이, 인간이 표시부 상에서 구별할 수 있도록 하는 양태로 출력할 수도 있다. 구체적으로는, 화상 처리부(13)가, 예를 들면 리얼타임 선택 영역 표시 화상 및 과거의 선택 영역 표시 화상 중의 적어도 한 쪽에 식별자를 붙인 화상을 생성한다든가, 양 화상을 둘러싸는 틀을 생성하여 그 틀의 색을 변화시킨 화상을 생성하는 등이 생각된다.
또한, 기억 장치(21)에 기억된 화상 데이터가 동화상이라면, 기억 장치(21)의 기억 용량에 따라서, 임의의 일정 용량분의 동화상 데이터를 기억하고, 가장 오래된 화상 프레임으로부터 순차적으로, 자동적으로 소거되도록 하여도 된다.
기억 장치(21)를 이용한 형태로서, 또한 이하와 같은 형태도 생각된다. 예를 들면, 어떠한 임의의 시점에, 유저가, 리얼타임의 광시야 화상 내, 또는 기억 장치(21)로부터 읽어낸 화상 데이터에 기초하는 광시야 화상 내에 선택 영역을 설정하는 조작을 행하고, 화상 처리부(13)는, 그 조작에 따라서 기억 장치(21)에 선택 영역이 어떻게 설정되어 있는지를 나타내는 위치 정보만을 기억해 둔다. 또한, 상기 영역 선택 모드 MS에 따라서 선택 영역의 절환이 행하여진 경우, 화상 처리부(13)는, 선택 영역의 절환을 재현 가능하게 하는 궤적 정보를 기억 장치(21)에 기억해 두면 된다. 도 29는, 위치 정보 또는 궤적 정보의 기억 처리를 도시하는 플로우차트이다. 화상 처리부(13)는, 촬상부(11)로부터 리얼타임으로 취득되는 광 시야 화상 내, 또는, 기억 장치(21)로부터 읽어낸 화상 데이터에 기초하는 광시야 화상 내에 선택 영역을 설정할 때의 입력 정보를 취득한다(ST2601). 화상 처리부(13)의 처리 제어부(135)는, 입력 정보에 따라서 그 선택 영역의 위치 정보를 생성하거나, 또는 선택 영역의 절환 조작이 행하여졌을 때에는, 궤적 정보를 생성하여, 선택 영역의 절환을 재현 가능하게 한다(ST2602). 화상 처리부(13)의 처리 제어부(135)는, 생성한 위치 정보 또는 궤적 정보를 기억 장치(21)에 기억시킨다(ST2603).
이러한 형태는, 예를 들면 임의의 장소 중, 소정의 범위의 화상이나, 임의의 범위의 궤적에 의한 화상이 필요한 경우에 유효하다. 예를 들면, 촬상부(11)가 시큐러티용의 정점 감시 카메라에 탑재되는 경우, 광시야 화상 중에서, 임의의 소정의 범위의 화상이나, 임의의 범위의 궤적의 화상이 필요하게 되는 것이 생각된다. 그 경우에, 광시야 화상 중의 미리 정해진 범위, 혹은 미리 정해진 범위의 궤적에 대응시켜 선택 영역을 설정하면, 유저가, 그 범위나 그 범위의 궤적의 선택 영역 표시 화상을 항상 표시부(14)에서 표시 화상으로서 감시할 수 있다. 이러한 형태에서는, 예를 들면 기억 장치(21)에 소정 범위의 「궤적」의 선택 영역 표시 화상이 기억되는 경우, 선택 영역의 연속적인 움직임의 시점부터 종점까지의 움직임이 자동적으로 주기적으로 반복되도록 하면 된다. 그리고, 그 주기마다의 화상이 기억 장치(21)에 기억되면 된다. 또한, 물론, 본 형태는 시큐러티용에 한정되는 것은 아니다.
만약을 위해 설명해 두지만, 상기 소정의 범위의 화상은 정지 화상이어도 되 고, 동화상이어도 된다. 임의의 범위의 궤적의 화상에 대해서라도, 해당 궤적 상의 위치의 정지 화상이어도 되고, 궤적의 시점부터 종점까지의 동화상으로 기억할 수 있다. 이 경우, 화상 처리부(13)는, 왜곡 보정 처리 후의 화상을 정지 화상으로 출력하는 등의 처리도 생각된다.
도 30은, 기억 장치(21)를 이용한 형태로서, 상술한 바와 같은, 소정 범위의 궤적의 설정 방법을 설명하기 위한 도면이다.
유저가, 광시야 화상에 대하여 선택 영역을 설정하여 선택 영역의 위치를 절환하여 간다. 구체적으로는, 예를 들면 도 15의 (A), (B)에 도시한 방향 버튼 Gua2나 방위각 버튼 Gub2 중 어느 쪽의 버튼이 조작되었는지를 판별하고, 조작된 버튼의 방향으로 선택 영역을 이동하는 처리를 반복함으로써 실현되며, 화상 처리 시스템(20)의 내부 처리에서는, 도 29의 ST2602 및 ST2603에서 도시한 바와 같이, 화상 처리부(13)는, 「선택」 버튼 Gua1, Gub1의 조작을 나타내는 입력 정보에 따라서, 이 때의 선택 영역의 위치 정보를 기억 장치(21)에 기억한다. 예를 들면, 선택 영역에 대응한 화상 영역 ARs가 광시야 화상 Gc 상의 위치 a로 되었을 때에 「선택」 버튼 Gua1, Gub1이 조작된 경우, 이 때의 선택 영역의 위치 정보를 기억한다. 또한, 선택 영역이 절환되고, 절환 후의 선택 영역에 대응한 화상 영역 ARs가 광시야 화상 Gc 상의 위치 b로 되었을 때에 「선택」 버튼 Gua1, Gub1이 조작된 경우, 이 때의 선택 영역의 위치 정보를 기억한다. 이하 마찬가지로, 선택 영역에 대응한 화상 영역 ARs가 광시야 화상 Gc 상의 위치 c, d로 되었을 때의 선택 영역의 위치 정보를 기억한다.
혹은, 유저가 방향 버튼 Gua2 혹은 방위각 버튼 Gub2를 조작하지 않아도, 미리 프로그램에서 궤적이 설정되어 있어도 되고, 상술한 여러 가지의 센서에 의해 자동 인식으로 궤적이 생성되어도 된다. 그 경우, 궤적은, 도 30에 도시하는 위치 a, b, c, d와 같은 불연속인 점에 화상 영역 ARs가 설정되도록 선택 영역을 설정하는 것이어도 되고, 위치 a부터 위치 d까지 연속하도록 선택 영역을 설정하는 것이어도 된다. 혹은, 유저가 위치 a, b, c, d의 불연속점을 설정한 경우, 위치 a, b, c, d의 각 점을 보간하는 위치에 화상 영역 ARs가 설정되도록 선택 영역을 설정하도록 하는 프로그램을, 화상 처리부(13)가 구비하고 있어도 된다.
혹은, 미리 궤적 정보가 복수 있어, 유저가 그것을 선택할 수 있도록 하여도 상관없다.
도 31은, 본 발명의 또 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도이다. 이 화상 처리 시스템(30)은, 상술한 촬상부(11)가 없고, 기억 장치(21)를 구비하고 있다. 기억 장치(21)에는, 예를 들면 상술한 바와 같이 광시야 화상이 미리 기억되어 있다. 이러한 구성에 의하면, 화상 처리부(13)가 광시야 화상의 화상 데이터 DVm을 읽어내고, 그 광시야 화상으로부터 전개 처리에 의해 선택 영역 표시 화상을 얻을 수 있다.
그 밖에, 화상 처리 시스템(30)에서는, 화상 처리부(13)가, 미리 기억 장치(21)에 기억된 화상 데이터에 기초하는 광시야 화상으로부터 전개 처리를 행하여 선택 영역 표시 화상을 얻는 것으로 하고, 그 광시야 화상과 선택 영역 표시 화상을 대응지어 기억 장치(21)에 기억해 두는 것도 가능하다. 혹은, 화상 처리부(13) 는, 미리 기억된 화상 데이터에 기초하는 광시야 화상과, 그 광시야 화상으로부터 전개 처리를 행하는 영역인 선택 영역을 나타내는 정보를 대응지어 기억 장치(21)에 기억해 두는 것도 가능하다.
본 발명은 이상 설명한 실시 형태에 한정되는 것이 아니라, 여러 가지의 변형이 가능하다.
표시부(14)에 표시되는, 전체 화상 Gcp와 선택 영역 표시 화상 Gsc가, 소정의 시간마다 교대로 표시부(14)에 표시되도록 하는 것도 가능하다. 그 경우에 있어서, 유저로부터의 어떠한 조작 입력이 있었던 경우에, 전체 화상 Gcp와 선택 영역 표시 화상 Gsc가 양방 표시되도록 하여도 된다.
도 1, 도 26에서, 촬상부(11)의 촬상 소자(112), 입력부(12), 화상 처리부(13), 표시부(14), 기억 장치(21) 등은, 인터넷, LAN(Local Area Network), 혹은 전용 회선 등의 네트워크를 통하여 각각 접속되어 있어도 된다.
상기 각 실시 형태에 따른 화상 처리 시스템은, 예를 들면, 시큐러티 시스템, 텔레비전 회의 시스템, 기계나 설비 등의 검사, 관리, 시험 등의 시스템, 도로 교통 시스템, 이동 카메라(예를 들면 이동하는 차량, 비행체, 기타 이동체로부터 촬상하기 위한 카메라)가 이용되는 시스템, 간호나 의료 시스템 등, 다양한 용도가 있다.
도 26 및 도 31에 도시한 실시 형태가 조합된 화상 처리 시스템을 실현하는 것도 가능하다. 즉, 전단과 후단에 각각 기억 장치가 있는 시스템도 실현 가능하다.
다음으로, 본 발명의 또 다른 실시 형태에 대하여 설명한다. 본 실시 형태에서는, 화상 처리부(13)의 처리 제어부(135)가, 촬상부(11)의 설치 방향(설치 각도)에 따라서 영역 선택 모드 MS를 절환하는 것이 가능하다. 이하, 이 경우의 화상 처리 시스템(40)의 구성 및 동작에 대하여 설명한다.
도 32는, 본 발명의 또 다른 실시 형태에 따른 화상 처리 시스템의 구성을 도시하는 블록도이다. 도 32에 도시하는 바와 같이, 본 실시 형태에서, 화상 처리 시스템(40)은, 도 1에 도시한 화상 처리 시스템(10)의 각 구성 요소 외에, 촬상 광학부(111)에 입사하는 광학상의 입사 방향을 검출하는 방향 검출 센서, 예를 들면 자이로 센서(41)를 갖고 있다.
자이로 센서(41)는, 촬상 광학부(111)에 고정하여 설치되어 있고, 촬상 광학부(111)에 입사하는 광학상의 입사 방향을 검출하여, 방향 검출 결과를 나타내는 센서 신호 ES를 화상 처리부(13)의 처리 제어부(135)에 공급한다. 또한, 이하의 설명에서는, 촬상 광학부(111)와 촬상 소자(112)와 자이로 센서(41)를 일체로 하여 촬상부(11)를 구성하고 있는 것으로 한다.
도 33은, 본 실시 형태에서, 촬상부(11)의 설치 방향에 따라서 영역 선택 모드 MS를 절환하는 모습을 개념적으로 도시한 도면이다.
도 33에 도시하는 바와 같이, 촬상부(11)의 설치 양태는, 상기 도 10에서도 도시한 바와 같이, 지면이나 마루 위, 책상 위 등에 설치되어 원하는 피사체 HM을 촬상하는 경우(상반구 시야, 도 33의 (A)), 지면에 수직인 벽면 등에 설치되어 피사체 HM을 수평 방향으로부터 촬상하는 경우(전반구 시야, 도 33의 (B)), 천정에 고정하거나, 매달아서 피사체 HM을 촬상하는 경우(하반구 시야, 도 33의 (C))의 3개로 대별된다.
이 때문에, 화상 처리부(13)의 처리 제어부(135)는, 방향 검출 센서로부터의 센서 신호에 기초하여 판별한 촬상부(11)에서의 연직 방향의 각도에 따라서, 영역 선택 모드 MS의 설정이나 절환을 자동적으로 행한다.
구체적으로는, 촬상부(11)가 상반구 시야 및 하반구 시야에 있는 경우에는 영역 선택 모드 MS를 극좌표 모드 MS2로 절환하고, 전반구 시야에 있는 경우에는 직교 좌표 모드 MS1로 절환하는 것으로 한다. 이와 같이 절환하는 것으로 하면, 촬상부(11)가 상반구 시야나 하반구 시야에 있는 경우, 광시야 화상 Gc의 중심 부분의 피사체보다도 그 주위를 용이하게 또한 골고루 관찰하는 것이 가능하게 된다. 또한 촬상부(11)가 전반구 시야에 있는 경우에는, 직교 좌표 모드 MS1로 설정함으로써, 광시야 화상 Gc의 중심 부분의 피사체를 상세하게 관찰하면서, 해당 피사체의 상하 좌우 방향도 용이하게 관찰할 수 있다.
또한, 본 실시 형태에서, 도 33의 (A)와 같이 촬상부(11)가 상반구 시야로 되도록 설치되고, 영역 선택 모드 MS가 극좌표 모드 MS2로 되는 상태를 S0, 도 33의 (B)와 같이 촬상부(11)가 전반구 시야로 되도록 설치되고, 영역 선택 모드 MS가 직교 좌표 모드 MS1로 되는 상태를 S1, 도 33의 (C)와 같이 촬상부(11)가 하반구 시야로 되도록 설치되고, 영역 선택 모드 MS가 극좌표 모드 MS2로 되는 상태를 S2로 각각 칭하기로 한다.
도 34는, 상태 S0, S1 및 S2를 절환하기 위한 임계값의 설정 방법에 대하여 설명한 도면이다. 도 34에 도시하는 바와 같이, 본 실시 형태에서는, 예를 들면 촬상부(11)가 상반구 시야에 있는 상태를 기준 위치(φ=0도)로 하고, 우선 2개의 임계값(φ1, φ2)을 이용하여, 촬상부(11)의 설치 각도가 임계값 φ1 혹은 임계값 φ2를 초과하는지의 여부에 따라서 상기 3개의 상태 S0, S1 및 S2 중 어느 쪽의 상태인지 판별하고, 판별 결과에 기초하여 영역 선택 모드 MS를 설정한다. 또한, 영역 선택 모드 MS를 설정한 후에 촬상부(11)의 설치 각도에 변화가 있었던 경우에는, 상기 임계값 φ1 및 임계값 φ2와는 다른 임계값을 이용하여, 각 상태로부터 다른 상태로 절환할 때에 히스테리시스를 갖게 한다.
구체적으로는, 도 34의 (A)에 도시하는 바와 같이, 임계값 φ1, φ2와는 별도로, 예를 들면 임계값 φ1의 전후 ±10도의 값을 새로운 임계값 φ3, φ4로 하고, 또한 예를 들면 임계값 φ2의 전후 ±10도의 값을 새로운 임계값 φ5, φ6으로서 설정한다. 도 34의 (B)에 도시하는 바와 같이, 임계값 φ3은, 상태 S0으로부터 상태 S1로 절환할 때의 임계값이며, 임계값 φ4는, 상태 S1로부터 상태 S0으로 절환할 때의 임계값이다. 또한, 임계값 φ5는, 상태 S1로부터 상태 S2로 절환할 때의 임계값이며, 임계값 φ6은, 상태 S2로부터 상태 S1로 절환할 때의 임계값이다. 임계값 φ 1, φ2를 포함시킨 이들 각 임계값의 대소 관계는, 도 34의 (B)에 도시하는 바와 같이, φ4<φ1<φ3<φ6<φ2<φ5로 된다. 또한, 임계값 φ1은 예를 들면 45도, 임계값 φ2는 예를 들면 135도이지만, 이 수치에 한정되는 것은 아니다. 또한, 상기 임계값 φ3, φ4, φ5, φ6도 상기 ±10도의 값에 한정되는 것이 아니라, ±5도, ±15도 등, 다양한 값을 채용할 수 있고, 또한, 임계값 φ1과, 임계값 φ3 및 임계값 φ4의 각 차의 절대값이 서로 다르도록, 또한 임계값 φ2와, 임계값 φ5 및 임계값 φ6의 각 차의 절대값이 서로 다르도록 설정하여도 상관없다.
다음으로, 본 실시 형태에서 상기 상태 S0, S1, S2의 절환 동작에 대하여 설명한다. 도 35는, 화상 처리 시스템(40)이 상태 S0, S1 및 S2를 절환하는 경우의 동작을 도시한 플로우차트이다.
도 35에 도시하는 바와 같이, 우선, 촬상부(11)를 상기 기준 위치(φ=0도)의 위치로 한다. 화상 처리부(13)의 처리 제어부(135)는, 이 때의 자이로 센서(41)의 측정 결과를 취득한다(ST3201). 다음으로, 촬상부(11)를 원하는 위치에 설치한다. 처리 제어부(135)는, 이 때의 자이로 센서(41)의 측정 결과를 취득하고, 이 측정 결과와 ST3201에서 취득한 측정 결과로부터 현재 각도 φp를 측정한다(ST3202).
계속해서, 처리 제어부(135)는, 현재 각도 φp가 임계값 φ1 이하인지의 여부를 판정한다(ST3203). φp≤φ1인 경우(예), 처리 제어부(135)는, 상기 S0의 상 태인 것으로 판별하고, 영역 선택 모드 MS를 상반구 시야에서의 극좌표 모드 MS2로 설정한다(ST3204).
상기 ST3203에서, φp>φ1인 경우(아니오), 처리 제어부(135)는, 또한 현재 각도 φp가 임계값 φ2 이하인지의 여부를 판정한다(ST3207). φp≤φ2인 경우(예), 처리 제어부(135)는, 상기 S1의 상태인 것으로 판별하고, 영역 선택 모드 MS를 전반구 시야에서의 직교 좌표 모드 MS1로 설정한다(ST3208).
상기 ST3207에서, φp>φ2인 경우(아니오), 처리 제어부(135)는, 상기 S2의 상태인 것으로 판별하고, 영역 선택 모드 MS를 하반구 시야에서의 극좌표 모드 MS2로 설정한다(ST3212).
ST3204에서, 영역 선택 모드 MS를 극좌표 모드 MS2로 설정한 후, 처리 제어부(135)는, 자이로 센서(41)로부터 재차 현재 각도 φp를 읽어들이고(ST3205), 현재 각도 φp가 임계값 φ3 이상인지의 여부를 판정한다(ST3206). φp≥φ3인 경우(예), 처리 제어부(135)는, 상기 S1의 상태로 촬상부(11)가 변경되었다고 판별하고, 영역 선택 모드 MS를 직교 좌표 모드 MS1로 설정한다(ST3208). φp<φ3인 경우(아니오), 처리 제어부(135)는 극좌표 모드 MS2의 상태를 유지한다(ST3204).
ST3208에서, 영역 선택 모드 MS를 직교 좌표 모드 MS1로 설정한 후, 처리 제어부(135)는, 자이로 센서(41)로부터 재차 현재 각도 φp를 읽어들이고(ST3209), 현 재 각도 φp가 임계값 φ4 이하인지의 여부를 판정한다(ST3210). φp≤φ4인 경우(예), 처리 제어부(135)는, 상기 S0의 상태로 촬상부(11)가 변경되었다고 판별하고, 영역 선택 모드 MS를 극좌표 모드 MS2로 설정한다(ST3204).
ST3210에서, φp>φ4인 경우(아니오), 처리 제어부(135)는, 또한 상기 현재 각도 φp가 임계값 φ5 이상인지의 여부를 판정한다(ST3211). φp≥φ5인 경우(예), 처리 제어부(135)는, 상기 S2의 상태로 촬상부(11)가 변경되었다고 판별하고, 영역 선택 모드 MS를 극좌표 모드 MS2로 설정한다(ST3212). φp<φ5인 경우(아니오), 처리 제어부(135)는 직교 좌표 모드 MS1의 상태를 유지한다(ST3208).
ST3212에서, 영역 선택 모드 MS를 극좌표 모드 MS2로 설정한 후, 처리 제어부(135)는, 자이로 센서(41)로부터 재차 현재 각도 φp를 읽어들이고(ST3213), 현재 각도 φp가 임계값 φ6 이하인지의 여부를 판정한다(ST3214). φp<φ6인 경우(아니오), 처리 제어부(135)는, 상기 S1의 상태로 촬상부(11)가 변경되었다고 판별하고, 영역 선택 모드 MS를 직교 좌표 모드 MS1로 설정한다(ST3208).
ST3214에서, φp≥φ6인 경우(예), 처리 제어부(135)는 극좌표 모드 MS2의 상태를 유지한다(ST3212).
이와 같이, 처리 제어부(135)는, 이상의 동작을 반복하여 행함으로써, 촬상부(11)의 설치 각도에 따라서 영역 선택 모드 MS를 자동적으로 절환한다.
여기에서, 상태 S0 및 상태 S2에서의 극좌표 모드 MS2, 또는 상태 S1에서의 직교 좌표 모드 MS1로 설정하고, 각 모드에서 선택 영역 표시 화상 Gsc를 표시하는 경우의 좌표 계산 방법에 대하여 설명한다. 도 36, 도 37, 도 38, 도 39는, 해당 좌표 계산 방법에 대하여 도시한 도면이다.
우선, 도 36의 (A)에 도시하는 바와 같이, 상술한 극좌표 모드 MS2(상반구 시야)에서, 표시 평면(81)의 Pan(z축 중심의 회전)의 각도를 H(x축 방향을 0도), Tilt(x축 또는 y축 중심의 회전)의 각도를 V(x축 방향을 0도)로 한다.
다음으로, 직교 좌표 모드 MS1에서는, 극좌표 모드 MS2에 비하여 시야의 방향이 90도 기울어지기 때문에, 상기 도 36의 (A)에 도시한 좌표축을 교체하고, 상기 Pan 및 Tilt 값을 변환한다.
구체적으로는, 우선, 도 36의 (B)에 도시하는 바와 같이, 도 36의 (A)의 각 좌표축을, x축→y축, y축→z축, z축→x축과 같이 교체하고, 도 36의 (A)에서의 Pan각(H) 및 Tilt각(V)이 각각 회전한 각도를 Pan각(h) 및 Tilt각(v)으로 한다. 이 경우, 표시부(14)에 표시하는 화상에 대응한 영역인 선택 영역의 설정 방향을 나타내는 방향 벡터[D]는, 각 좌표계에서의 x축 방향의 단위 벡터의 회전에 의해, 도 37에 도시하는 행렬에 의해 구해진다. 이에 의해, 직교 좌표 모드 MS1에서의 상기 회전 후의 Pan각(h) 및 Tilt각(v)의 sin 값 및 cos 값은 이하와 같이 구해진다.
sin(v)=-cos(H)cos(V)
cos(v)=(1-sin(v)2)1/2
sin(h)=cos(H)cos(V)/cos(v)
cos(h)=-sin(V)/cos(v)
또한, 극좌표 모드 MS2에서는 h=H, v=V로 된다.
한편, 표시부(14)로서 예를 들면 VGA(Video Graphics Array) 디스플레이와 같은 고정 화소 출력으로 한 경우, 해당 출력에 맞추어 표시 평면 [a]의 좌표를 나타내면, 도 38의 (A)에 도시하는 바와 같이,
[a]=[a00=(0, 0), a01=(r, 0), …a10=(0, q), a11=(r, q), a12=(2r, q), amn=(nr, mq), …aMN=(Nr, Mq)]
로 된다.
해당 표시 평면 [a]을, 도 38의 (B)에 도시하는 바와 같이, x축에 수직으로 각 점렬이 y축 및 z축에 평행하게 되고, 또한, 중심을 x축이 통과하고 x좌표가 R(R=예를 들면 어안 반경)로 되도록 둔 3차원 상의 평면 [P0]으로 하면, 상기 평면 [a]는, 도 38의 (C)에도 도시하는 바와 같이, 이하와 같이 하여 3차원화된다.
[a]=[(x0, y0), (x1, y0), …(xN, yM)]
→[A]=[(x0, y0, 1), (x1, y0, 1), …(xN, yM, 1)]
해당 행렬 [A]에, 도 38의 (C)에서 도시하는 행렬 [K]를 곱한 행렬을 [P0]으로 한다([P0]=[K][A]).
계속해서, 해당 평면 [P0]을, 도 39의 (A)에서 도시하는 바와 같은, 상기 도 15의 (A), (B)의 조작 입력 화면 Gu에서 설정 가능한 파라미터에 의해, 도 39의 (B)에 도시하는 바와 같은 구면 상에 확대 이동한다. 이 경우, 해당 이동 후의 평 면을 평면 [P2]로 하면, 평면 [P0] 상의 점 Pj에 대응하는 평면 [P2] 상의 점은, 점 Pj2(x2, y2, z2)로 된다. 이 평면 [P2] 상의 각 점은, 도 39의 (C)에 도시하는 [P0], [P2], [X], [Y], [Z] 및 [M]의 각 행렬을 이용하여, 도 39의 (D)의 계산식에 의해 구해진다.
즉, 직교 좌표 모드 MS1일 때에는 [P2]=[Z][Y][X][M][P0]으로 되고, 극좌표 모드 MS2일 때에는 [P2]=[Z][Y][M][P0]으로 된다. 이와 같이 하여 산출한 평면 [P2]의 좌표값으로부터 점 Pj2에 대응하는 좌표값(x2, y2, z2)을 이용한다.
그리고, 도 39의 (B)에서, 상기 평면 [P2] 상의 점 Pj2(x2, y2, z2)로부터 상술한 도 12를 이용하여 설명한 왜곡 보정 처리의 원리와 마찬가지로 처리하면, 점 Pj2(x2, y2, z2)에 대응하는 결상점 Qj2를 구할 수 있다. 또한, 평면 [P2] 상의 각 점에 대해서도 마찬가지의 처리를 행함으로써, 직교 좌표 모드 MS1 및 극좌표 모드 MS2에서의 왜곡 보정 처리 후의 화상인 선택 영역 표시 화상 Gsc를 구성하는 촬상 소자(112) 상의 각 화소 위치가 구해지고, 이 구한 화소 위치의 화소 데이터를 이용함으로써, 왜곡을 발생하지 않는 선택 영역 표시 화상 Gsc가 표시 가능하게 된다.
이상 설명한 구성 및 동작에 의해, 본 실시 형태에서의 화상 처리 시스템(40)에 의하면, 촬상부(11)의 설치 각도를 자이로 센서(41)에 의해 검출하고, 해당 설치 각도에 따라서 영역 선택 모드 MS를 적절히 절환할 수 있어, 유저의 편리성이 향상된다.
또한, 히스테리시스를 갖게 하면서 영역 선택 모드 MS의 절환을 행하도록 하 고 있기 때문에, 상기 임계값 φ1 및 임계값 φ2 부근에서 설치 각도의 흔들림이 발생하였을 때, 흔들림에 따라서 영역 선택 모드 MS가 빈번하게 절환되게 되는 경우가 없어, 유저를 혼란시키게 되는 경우가 없다.
또한, 방향 검출 센서로서 상기 자이로 센서(41) 대신에 예를 들면 중력 센서 등의 다른 센서를 이용하여 촬상부(11)의 설치 각도를 검출하도록 하여도 상관없다.
또한, 본 실시 형태에서는, 촬상부(11)의 설치 각도에 따라서 영역 선택 모드 MS를 절환하도록 하고 있었지만, 예를 들면, 촬상부(11)가, 물체에 접촉하였는지의 여부에 따라서 영역 선택 모드 MS를 절환하도록 하여도 상관없다.
도 40은, 접촉에 따라서 표시 모드를 절환하는 방법을 개념적으로 도시한 도면이다. 예를 들면, 배관(95) 내를 촬상부(11)가 도 40의 화살표 T방향으로 이동하는 경우, 처리 제어부(135)는, 배관(95) 내에서는 예를 들면 극좌표 모드 MS2로 설정하여, 배관(95)의 주위를 촬상한다. 또한, 배관(95)의 단부에서 벽면(96)에 접촉한 경우, 처리 제어부(135)는, 해당 벽면을 촬상하기 위해 직교 좌표 모드 MS1로 절환하도록 하여도 상관없다. 이 경우, 화상 처리 시스템은, 접촉을 검지하기 위한 검지 센서를 설치하고, 검지 결과를 화상 처리부(13)의 처리 제어부(135)에 입력하면 된다. 그 검지 센서는, 메카니컬한 센서이어도 되고, 광 센서이어도 된다.
또한, 직교 좌표 모드 MS1과 극좌표 모드 MS2의 자동 절환은, 방향 검출 센 서나 검지 센서 등을 이용하지 않고 실시할 수도 있다. 다음으로, 센서를 이용하지 않고 직교 좌표 모드 MS1과 극좌표 모드 MS2의 자동 절환을 행하는 경우에 대하여 설명한다.
여기에서, 자동 절환 동작을 용이하게 이해할 수 있는 것으로 하기 위해서, 촬상부(11)의 시야를 예를 들면 270도로 하여 설명한다. 도 41은, 촬상 광학부(111)로서 초광각 렌즈를 이용함으로써 270도의 시야를 얻은 경우를 도시하고 있다. 촬상 광학부(111)에 입사된 광은 촬상 소자(112)의 방향으로 진행하고, 촬상 소자(112)의 센서면 상에 270도의 시야의 광시야 화상 Gc가 형성된다.
또한, 도 42에 도시하는 바와 같이, 270도의 시야를 가진 촬상부(11)를, 시야의 중심 방향인 화살표 OCt의 방향이 수평 방향에 대하여 45도 상향으로 되도록 설치하면, 전반구 시야(53h)와 상반구 시야(53u)가 얻어지는 상태로 된다.
도 43은, 270도의 시야를 가진 촬상부(11)의 설치예를 도시하고 있다. 예를 들면 배의 뱃머리에, 시야의 중심 방향이 수평 방향에 대하여 45도 상향으로 되도록 촬상부(11)를 설치한다. 또한, 촬상부(11)의 후방에는 좌석 FS가 설치된 상태로 되어 있다. 이와 같이 촬상부(11)를 설치한 경우, 전방의 경치를 표시부(14)에 표시시킬 때에는, 전반구 시야의 경우에 바람직한 모드인 직교 좌표 모드 MS1에서 동작을 행하는 것으로 하면, 원하는 방향의 풍경에 선택 영역을 설정하는 것이 용이하게 되고, 왜곡이 없는 원하는 방향의 풍경 화상을 표시부(14)에 표시시킬 수 있다. 또한, 후방의 좌석 FS에 앉아 있는 승객을 표시부(14)에 표시시킬 때에는, 상반구 시야나 하반구 시야의 경우에 바람직한 모드인 극좌표 모드 MS2에서 동작을 행하는 것으로 하면, 원하는 방향의 승객으로 선택 영역을 설정하는 것이 용이하게 되고, 왜곡이 없는 원하는 방향의 승객 화상을 표시부(14)에 표시시킬 수 있다. 이 때문에, 화상 처리부(13)는, 선택 영역을 어느 쪽의 방향으로 설정하는지에 따라서 영역 선택 모드 MS를 자동적으로 절환하여, 촬상 광학부(111)의 왜곡이 보정되어 있는 화상을 표시부(14)에 표시할 수 있도록 한다.
여기에서, 선택 영역의 방향이나 선택 영역의 범위를 나타내는 각도 범위 등을 입력 정보 PS 등에 의해 지정하여 선택 영역이 설정되는 경우, 선택 영역을 지정하는 입력 정보 등에 기초하여, 선택 영역의 방향을 판별할 수 있다. 또한, 상술한 바와 같이, 선택 영역과 화상 영역 ARs는 대응하고 있기 때문에, 왜곡 보정 처리를 행하는 화상 영역 ARs의 화상 위치로부터 선택 영역의 설정 방향을 판별할 수 있다.
도 44는, 선택 영역의 설정 방향에 따라서 영역 선택 모드 MS를 자동적으로 절환하는 경우를 도시하고 있다. 도 43에 도시하는 바와 같이 촬상부(11)를 설치하였을 때, 시야가 270도인 광시야 화상 Gc는, 도 44에 도시하는 것으로 된다. 또한, 광시야 화상 Gc의 중심은, 촬상 광학부(111)의 광축 방향이며, 시야의 중심 방향이 수평 방향에 대하여 45도 상향으로 되도록 촬상부(11)가 설치되어 있을 때, 수평 방향의 전방 정면 위치는 예를 들면 시야가 90도에 상당하는 화상 상의 점 Pf로 된다.
도 44의 (A)에서는, 전방 정면의 화상을 포함하도록 영역 AS1을 설정하고, 화상 영역 ARs(도시하지 않음)의 예를 들면 중앙 위치가 영역 AS1에 포함되도록 선 택 영역의 방향이 설정되어 있을 때에는, 직교 좌표 모드 MS1로 설정한다. 또한, 후방의 화상을 포함하도록 영역 AS2를 설정하고, 화상 영역 ARs의 예를 들면 중앙 위치가 영역 AS2에 포함되도록 선택 영역의 방향이 설정되어 있을 때에는, 극좌표 모드 MS2로 설정한다. 또한, 화상 영역 ARs의 중앙 위치가 영역 AS1, AS2에 포함되지 않을 때에는, 설정되어 있는 영역 선택 모드 MS를 유지한다.
또한, 도 44의 (B)에 도시하는 바와 같이, 광시야 화상 Gc의 영역을 미리 매트릭스 형상으로 분할하여 각 영역에 대하여 설정하는 영역 선택 모드 MS를 할당해 두고, 화상 영역 ARs의 예를 들면 중앙 위치가 어느 쪽의 영역에 포함되는지에 따라서 영역 선택 모드 MS를 설정하는 것으로 하여도 된다. 예를 들면, 전방의 화상을 포함하는 각 영역 ASm1에 대해서는, 설정하는 영역 선택 모드 MS로서 직교 좌표 모드 MS1을 할당해 둔다. 또한, 후방의 화상을 포함하는 각 영역 ASm2에 대해서는, 설정하는 영역 선택 모드 MS로서 극좌표 모드 MS2를 할당해 둔다. 여기에서, 선택 영역에 대응하는 화상 영역 ARs의 중앙 위치가 영역 ASm1에 해당할 때에는 직교 좌표 모드 MS1로 설정한다. 또한, 화상 영역 ARs의 중앙 위치가 영역 ASm2에 해당할 때에는 극좌표 모드 MS2로 설정한다.
이와 같이 하면, 어느 쪽의 시야 방향의 화상을 표시부(14)에 표시하고 있는지에 따라서, 영역 선택 모드 MS를 최적의 모드로 자동적으로 설정하는 것이 가능하게 되고, 원하는 방향에 위치하는 피사체의 화상을 용이하게 표시부(14)에 표시할 수 있다.
또한, 센서를 이용하고 있지 않기 때문에, 화상 처리 시스템(10, 20, 30)의 어느 쪽에도 적용하는 것이 가능하다. 또한, 센서를 이용하는 화상 처리 시스템(40)에 적용하여도 된다. 이 경우, 자이로 센서(41)로부터의 센서 신호 ES에 기초하여, 촬상부(11)의 기울기에 따라서 영역 AS1, AS2, ASm1, ASm2의 위치나 영역 사이즈를 자동적으로 조정하면, 촬상부(11)가 수평 방향에 대하여 45도 상향으로 되도록 설치되어 있지 않아도, 촬상부(11)가 수평 방향에 대하여 45도 상향으로 되어 있는 경우와 동등한 특성으로 영역 선택 모드 MS의 절환 처리를 행할 수 있다. 또한, 촬상부(11)의 기울기에 따라서 영역 AS1, AS2, ASm1, ASm2의 위치나 영역 사이즈를 설정할 수 있도록 해 두면, 영역 선택 모드 MS의 절환 특성을 자유롭게 설정하는 것도 가능하게 된다.
여기에서, 영역 선택 모드 MS를 자동적으로 절환하는 경우, 각 영역 선택 모드에 따른 GUI 표시로 하면, 어느 쪽의 영역 선택 모드 MS로 설정되어 있는지 용이하게 판별할 수 있다.
도 45는, 영역 선택 모드 MS를 자동적으로 절환하는 경우의 GUI 표시와 화상 영역 ARs의 이동 방향을 도시하고 있다. 직교 좌표 모드 MS1로 설정되었을 때에는, 도 45의 (A)에 도시하는 바와 같이, 방향 버튼 Gua2로서, 예를 들면 「Up」「Down」「Right」「Left」 버튼을 설치한다. 또한, 도 45의 (B)는, 방향 버튼 Gua2가 조작되었을 때의 전체 화상 Gcp에서의 화상 영역 ARs의 이동 방향을 예시하고 있다. 극좌표 모드 MS2로 설정되었을 때에는, 도 45의 (C)에 도시하는 바와 같이 방향 버튼 Gud2로서, 예를 들면 「Center」「Outer」「Right rotation」「Left rotation」 버튼을 설치한다. 또한, 도 45의 (D)는, 방향 버튼 Gud2가 조작되었을 때의 전체 화상 Gcp에서의 화상 영역 ARs의 이동 방향을 예시하고 있다.
이와 같이, 각 영역 선택 모드에 따른 GUI 표시로 하면, 유저는 어느 쪽의 영역 선택 모드로 설정되어 있는지 용이하게 판별할 수 있다. 또한, 원하는 방향에 위치하는 피사체의 화상을 표시부(14)에 표시할 때에, 유저는 방향 버튼의 선택을 용이하게 행할 수 있다.
또한, 촬상부(11)는 연직 방향(혹은 수평 방향)에 대한 기울기 각도에 따라서 자동 절환 동작을 정지하고, 직교 좌표 모드 MS1 혹은 극좌표 모드 MS2 중 어느 한 쪽으로 설정하는 것으로 하여도 된다. 도 46에 도시하는 바와 같이, 각도 φ가 「337.5도≤φ<22.5도」「157.5도≤φ<202.5도」일 때에는, 화상 영역 ARs의 위치에 관계없이 극좌표 모드 MS2로 설정한다. 각도 φ가 「67.5도≤φ<112.5도」「247.5도≤φ<292.5도」일 때에는, 화상 영역 ARs의 위치에 관계없이 직교 좌표 모드 MS1로 설정한다. 각도 φ가 「22.5도≤φ<67.5도」「112.5도≤φ<157.5도」「202.5도≤φ<247.5도」「292.5도≤φ<337.5도」일 때에는 혼합 모드로서, 상술한 바와 같이 화상 영역 ARs의 위치에 따라서 직교 좌표 모드 MS1 혹은 극좌표 모드 MS2로 자동적으로 설정한다.
도 47은, 혼합 모드를 포함시킨 영역 선택 모드의 절환 동작을 도시하는 플로우차트이다. 처리 제어부(135)는 각도 검출을 행하고, 촬상부(11)의 기울기 각도 φ를 검출한다(ST3301). 다음으로, 처리 제어부(135)는 검출한 기울기 각도 φ에 기초하여 혼합 모드로 설정할지의 여부를 판별한다(ST3302). 여기에서, 혼합 모드로 설정하지 않을 때(아니오), 처리 제어부(135)는, 각도 φ의 검출 결과에 기 초하여, 영역 선택 모드를 직교 좌표 모드 MS1 혹은 극좌표 모드 MS2 중 어느 쪽으로 설정할지 검출한다(ST3303). 또한, 혼합 모드로 설정할 때(ST3302의 예), 처리 제어부(135)는, 선택 영역의 위치에 기초하여, 영역 선택 모드를 직교 좌표 모드 MS1 혹은 극좌표 모드 MS2 중 어느 쪽으로 설정할지 검출한다(ST3304).
ST3303 혹은 ST3304에서 영역 선택 모드의 검출이 완료되면, 처리 제어부(135)는 영역 선택 모드를 검출한 좌표 모드로 설정한다(ST3305). 다음으로, 처리 제어부(135)는, ST3305에서 설정한 영역 선택 모드에 따라서 GUI 표시를 행하고 ST3301로 되돌아간다(ST3306). 이와 같이 영역 선택 모드를 절환함으로써, 유저에게 있어서 보다 사용하기 쉬운 인터페이스를 제공할 수 있다.
도 48은, 방향 버튼이 조작되었을 때의 동작을 도시하는 플로우차트이다. 처리 제어부(135)는, 영역 선택 모드 MS를 직교 좌표 모드 MS1로 설정하고 있는지의 여부를 판별한다(ST3401).
여기에서, 처리 제어부(135)는, 직교 좌표 모드 MS1로 설정하고 있을 때(예), 입력 정보 PS에 기초하여 방향 버튼 조작이 행하여졌는지의 여부를 판별한다(ST3402). 여기에서, 방향 버튼 조작이 행하여지고 있지 않다고 판별하였을 때(아니오)는 ST3401로 되돌아가고, 방향 버튼 조작이 행하여졌다고 판별하였을 때(예)는, 「Right」 버튼의 조작인지의 여부를 판별한다(ST3403).
처리 제어부(135)는, 「Right」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 우방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3404). 처리 제어부(135)는, 「Right」 버튼의 조작이 아니라고 판별하였을 때(ST3403의 아니오)에는 「Left」 버튼의 조작인지의 여부를 판별한다(ST3405).
처리 제어부(135)는, 「Left」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 좌방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3406). 처리 제어부(135)는, 「Left」 버튼의 조작이 아니라고 판별하였을 때(ST3405의 아니오)에는, 「Up」 버튼의 조작인지의 여부를 판별한다(ST3407).
처리 제어부(135)는, 「Up」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 상방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3408). 처리 제어부(135)는, 「Up」 버튼의 조작이 아니라고 판별하였을 때(ST3407의 아니오)에는, 「Down」 버튼의 조작인 것으로 하고, 선택 영역을 하방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3409).
처리 제어부(135)는, 극좌표 모드 MS2로 설정하고 있을 때(ST3401의 아니오), 입력 정보 PS에 기초하여 방향 버튼 조작이 행하여졌는지의 여부를 판별한다(ST3410). 여기에서, 방향 버튼 조작이 행하여지고 있지 않다고 판별하였을 때(아니오)에는 ST3401로 되돌아가고, 방향 버튼 조작이 행하여졌다고 판별하였을 때(예)에는, 「Right rotation」 버튼의 조작인지의 여부를 판별한다(ST3411).
처리 제어부(135)는, 「Right rotation」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 우방향으로 회전시키는 처리를 행하고 ST3401로 되돌아간다(ST3412). 처리 제어부(135)는, 「Right rotation」 버튼의 조작이 아니라고 판별하였을 때(ST3411의 아니오)에는, 「Left rotation」 버튼의 조작인지의 여부를 판별한다(ST3413).
처리 제어부(135)는, 「Left rotation」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 좌방향으로 회전시키는 처리를 행하고 ST3401로 되돌아간다(ST3414). 처리 제어부(135)는, 「Left rotation」 버튼의 조작이 아니라고 판별하였을 때(ST3413의 아니오)에는, 「Center」 버튼의 조작인지의 여부를 판별한다(ST3415).
처리 제어부(135)는, 「Center」 버튼의 조작이라고 판별하였을 때(예), 선택 영역을 중심 방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3416). 처리 제어부(135)는, 「Center」 버튼의 조작이 아니라고 판별하였을 때(ST3415의 아니오)에는, 「Outer」 버튼의 조작인 것으로 하고, 선택 영역을 중심 방향과는 역방향인 외방향의 위치로 절환하는 처리를 행하고 ST3401로 되돌아간다(ST3417).
이러한 처리를 행함으로써, 원하는 방향으로 선택 영역을 용이하게 절환할 수 있다. 즉, 원하는 방향에 위치하는 피사체의 화상을, 촬상 광학부(111)의 왜곡을 보정한 상태로 하여 표시부(14)의 화면 상에 표시할 수 있다.
그런데, 본 실시 형태의 화상 처리 시스템에서는, 표시 모드 MH로서 상술한 복수의 모드를 갖고 있고, 예를 들면 선택 화상 표시 모드 MH2로 설정되어 있는 상태에서는, 어느 쪽의 시야 방향에 선택 영역이 설정되어 있는지 판별할 수 없다. 따라서, 선택 영역이 어떻게 설정되어 있는지를 확인하기 위해서는, 표시 모드 MH를 전체 화상 표시 모드 MH1 혹은 양방 표시 모드 MH3으로 변경하는 조작이 필요하게 된다. 따라서, 선택 영역의 절환이나 영역 선택 모드 MS의 절환 등이 행하여졌 을 때에, 전체 화상 Gcp가 적어도 소정 시간 표시된 상태로 되도록 표시 모드의 변경을 행함으로써, 표시 모드의 변경 조작을 유저가 행하지 않아도 선택 영역의 확인을 용이하게 행할 수 있도록 한다. 또한, 본 실시 형태에서의 화상 처리 시스템의 구성은 상기 도 32에 도시한 화상 처리 시스템(40)과 마찬가지이기 때문에, 설명을 생략한다.
도 49 및 도 50은, 전체 화상 Gcp의 표시 동작을 도시하고 있고, 도 49는, 선택 영역의 절환에 따라서 표시 모드 MH를 변경하는 모습을 도시한 도면, 도 50은, 영역 선택 모드 MS의 절환에 따라서 표시 모드 MH를 변경하는 모습을 도시한 도면이다.
화상 처리 시스템의 화상 처리부(13)는, 전체 화상 Gcp가 표시되지 않는 표시 모드로의 표시 모드 절환이 행하여졌을 때, 또한, 전체 화상 Gcp가 표시되지 않는 표시 모드로 설정되어 있는 경우에, 영역 선택 모드 MS의 절환이나 선택 영역의 절환 지시가 행하여졌을 때, 설정되어 있는 표시 모드에 관계없이 자동적으로 전체 화상 Gcp가 표시되는 표시 모드로 소정 시간 변경된다.
도 49의 (A)는, 선택 화상 표시 모드 MH2에서 표시가 행하여지고 있는 경우를 도시하고 있다. 선택 영역의 절환 지시가 행하여져 선택 영역의 절환이 행하여진 경우, 설정되어 있는 표시 모드에 따른 표시 화상에 대하여 전체 화상 Gcp를 합성하는 처리를 행하고, 합성 처리 후의 화상을 새롭게 표시 화상으로서 표시시킨다. 예를 들면, 표시 모드 MH를 양방 표시 모드 MH3으로 변경하고, 도 49의 (B)에 도시하는 바와 같이 전체 화상 Gcp도 표시시킨다. 그 후, 소정 시간이 경과하였을 때에는, 전체 화상 Gcp의 합성 처리를 종료하고 전체 화상 Gcp를 표시 화면으로부터 소거한다. 예를 들면, 표시 모드 MH를 선택 화상 표시 모드 MH2로 되돌리고, 도 49의 (C)에 도시하는 바와 같이 전체 화상 Gcp를 소거시킨다. 또한, 선택 영역의 절환 지시가 행하여져 선택 영역이 원래의 위치로 되돌려진 경우, 표시 모드 MH를 소정 시간만큼 양방 표시 모드 MH3으로 변경하고, 도 49의 (C), 도 49의 (D) 및 도 49의 (A)의 순으로 표시를 행하게 한다.
도 50의 (A)는, 선택 화상 표시 모드 MH2에서 표시가 행하여지고 있고, 극좌표 모드 MS2로 설정되어 있는 경우를 도시하고 있다. 여기에서, 영역 선택 모드 MS가 직교 좌표 모드 MS1로 절환된 경우에는, 설정되어 있는 표시 모드에 따른 표시 화상에 대하여 전체 화상 Gcp를 합성하는 처리를 행하고, 합성 처리 후의 화상을 새롭게 표시 화상으로서 표시시킨다. 예를 들면, 표시 모드 MH를 양방 표시 모드 MH3으로 변경하고, 도 50의 (B)에 도시하는 바와 같이 전체 화상 Gcp도 표시시킨다. 그 후, 소정 시간이 경과하였을 때에는, 전체 화상 Gcp의 합성 처리를 종료하고 전체 화상 Gcp를 표시 화면으로부터 소거한다. 예를 들면, 표시 모드 MH를 선택 화상 표시 모드 MH2로 되돌리고, 도 50의 (C)에 도시하는 바와 같이 전체 화상 Gcp를 소거시킨다.
또한, 영역 선택 모드 MS가 직교 좌표 모드 MS1로부터 극좌표 모드 MS2로 절환된 경우에도, 표시 모드 MH를 소정 시간만큼 양방 표시 모드 MH3으로 변경하고, 도 50의 (C), 도 50의 (D) 및 도 50의 (A)의 순으로 표시를 행하게 한다. 또한, 소정 시간이란 예를 들면 3초, 5초 등의 몇 초이지만, 이것에 한정되는 것은 아니 다.
또한, 화상 처리부(13)는, 영역 선택 모드 MS의 절환시뿐만 아니라, 선택 영역의 절환 지시가 행하여졌을 때에도 전체 화상 Gcp를 표시하고, 소정 시간 경과 후에 선택 영역 표시 화상 Gsc만의 표시로 변경하는 것도 가능하다.
또한, 화상 처리부(13)는, 선택 영역의 절환 지시에 의해 선택 영역의 절환이 발생하는 경우나 영역 선택 모드 MS의 절환이 행하여졌을 때에 표시 모드를 소정 기간 변경할 뿐만 아니라, 촬상 방향이 변화하여 선택 영역에 대응하는 화상 영역 ARs의 화상이 변경된 경우에도, 표시 모드를 소정 기간 변경하도록 하여도 된다. 예를 들면 촬상부(11)에 의한 촬상 방향이 변화하면 광시야 화상 Gc의 화상이 변화하기 때문에, 촬상 소자(112)의 센서면 상에서의 화상 영역 ARs의 위치가 변화하고 있지 않아도 선택 영역 표시 화상 Gsc는 변화한 것으로 되게 된다. 즉, 선택 영역이 변경된 상태로 된다. 이 때문에, 예를 들면 자이로 센서(41)로부터의 센서 신호 ES에 기초하여 촬상 영역의 변경을 판별하였을 때에는, 소정 기간 표시 모드의 변경을 행하고 전체 화상 Gcp를 표시한다. 이와 같이 하면, 유저는, 원하는 방향에 위치하는 피사체의 화상을 표시부(14)에 표시하기 위해 선택 영역의 절환 지시를 어떻게 행하면 되는지 용이하게 판단할 수 있다.
도 51은, 도 49나 도 50에 도시한 표시 모드의 변경을 행하는 경우의, 화상 처리 시스템의 동작의 흐름을 도시한 플로우차트이다. 화상 처리부(13)의 처리 제어부(135)는, 선택 영역의 절환(이동)이 있었는지의 여부를 판별한다(ST3601). 즉, 선택 영역의 절환 지시를 행하기 위한 상기 방향 버튼 Gua2, Gud2나 방위각 버 튼 Gub2에 대한 유저 조작을 나타내는 입력 정보 PS가 입력부(12)로부터 공급되었는지의 여부, 혹은 상술한 궤적 정보에 기초하여 자동적으로 선택 영역을 절환하는 경우에 선택 영역의 절환이 발생하였는지의 여부를 판정한다. 여기에서, 선택 영역의 절환이 있었던 경우(예)에는, 화상 출력 처리부(134)에 표시 제어 정보 JH를 공급하고, 화상 출력 처리부(134)에 의해, 전체 화상 Gcp 및 선택 영역 표시 화상 Gsc를 합성한 합성 화상을 표시부(14)에서 표시시킨다(ST3606). 그리고, 처리 제어부(135)는, 해당 합성 화상의 출력으로부터 소정 시간이 경과하였는지의 여부를 판정하고(ST3607), 소정 시간이 경과한 경우(예)에는, 표시 제어 정보 JH를 화상 출력 처리부(134)에 공급하고, 합성 화상으로부터 전체 화상 Gcp가 소거된 1화면의 선택 영역 표시 화상 Gsc의 표시로 변경한다(ST3608). 즉, 처리 제어부(135)에 의해 화상 출력 처리부(134)를 제어하고, 도 49나 도 50에 도시하는 바와 같이, 소정 시간 경과 후에, 표시 모드 MH를 양방 표시 모드 MH3으로부터 선택 화상 표시 모드 MH2로 변경한다.
화상 처리부(13)의 처리 제어부(135)는, 선택 영역의 절환이 있었는지의 여부의 판별에 의해, 선택 영역의 절환이 없다고 판별한 경우(아니오), 처리 제어부(135)는, 상기 표시 모드 MH나 영역 선택 모드 MS의 모드 절환이 있는지의 여부, 즉, 모드를 절환하기 위한 상기 「선택」 버튼 Gua1, Gub1이나 「Menu」 버튼 Guc3에 대한 유저 조작을 나타내는 입력 정보 PS가 입력부(12)로부터 공급되었는지의 여부를 판정한다(ST3602). 여기에서, 모드 절환이 있었던 경우(예), 상기 ST3606 이후의 처리를 행한다. 또한, 화상 처리부(13)는, ST3602에서 모드의 절환이 없다고 판정한 경우(아니오), 촬상부(11)의 자세(설치 각도)에 변화가 있었는지의 여부를 판정한다(ST3603). 즉, 처리 제어부(135)는, 상기 도 32에서 도시한 자이로 센서(41)가 검지한 경사 각도를 나타내는 센서 신호 ES에 기초하여, 예를 들면 해당 검지 결과와, 미리 정한 초기 값의 상위를 판정한다. 촬상부(11)의 설치 각도에 변화가 있었던 경우(예), 화상 처리부(13)는, 상기 ST3606 이후의 처리를 행한다.
또한, 처리 제어부(135)는, ST3603에서 촬상부(11)의 설치 각도에 변화가 없다고 판정한 경우(아니오)에는, 입력부(12)에 대한 어떠한 유저 조작이 있는지의 여부를 판정하고, 유저 조작이 있는 경우(예)에는 상기 ST3606 이후의 처리를 행하고, 유저 조작이 없는 경우(아니오)에는 상기 ST3601 이후의 처리를 반복한다. 또한, 해당 유저 조작은, 상기 표시 모드 MH나 영역 선택 모드 MS를 절환하는 조작이나, 선택 영역을 절환하기 위한 조작인 경우에는, 상기 ST3601 또는 ST3602의 처리와 마찬가지로 되기 때문에, ST3604에서의 유저 조작은 그들 이외의 조작을 판정 대상으로 한다.
또한, 도 51에서는, 선택 영역의 절환이 없다고 판별한 경우에, 모드 절환이 있는지의 여부, 자세 변화가 있는지의 여부, 조작 입력이 있는지의 여부를 순서대로 판정하는 것으로 하였지만, 도 52에 도시하는 ST3605에서, 선택 영역의 절환, 모드 절환, 자세 변화, 조작 입력 중 어느 하나가 있는지의 여부를 판별하고, 어느 하나가 있다고 판별하였을 때 ST3606으로부터의 처리를 행하는 것으로 하여도, 전체 화상 Gcp를 소정 시간 표시하는 것이 가능하게 된다.
이상의 처리에 의해, 선택 영역의 절환, 표시 모드 MH나 영역 선택 모드 MS 의 절환, 촬상부(11)의 자세의 변화 및 유저로부터의 조작 입력이 있었던 경우, 전체 화상 Gcp가 적어도 소정 시간 표시된 상태로 되도록 표시가 행하여진다. 따라서, 유저는, 선택 영역의 절환이나 모드의 절환이 행하여진 경우에, 선택 영역이 어떻게 설정되어 있는지를 전체 화상 Gcp 중의 화상 영역 ARs의 강조 화상 Gs에 의해 용이하게 확인할 수 있음과 함께, 확인 후에는, 선택 영역 표시 화상 Gsc를 전체 화상 Gcp에 방해받지 않고 관찰할 수 있다.
또한, 화상 처리부(13)는, 우선 양방 표시 모드 MH3에서 전체 화상 Gcp를 표시하고나서 소정 시간 경과 후에 전체 화상 Gcp가 없는 선택 화상 표시 모드 MH2로 절환하는 것과는 반대로, 상기 표시 모드 MH나 영역 선택 모드 MS 등의 절환이 있었던 경우에는, 우선 선택 화상 표시 모드 MH2에서 선택 영역 표시 화상 Gsc만을 출력하고나서, 소정 시간 경과 후에, 전체 화상 Gcp가 합성된 양방 표시 모드 MH3에서 합성 화상을 표시하도록 화상 데이터 DVd를 생성하여도 상관없다. 이에 의해, 우선 표시부(14)에 표시된 선택 영역 표시 화상 Gsc를 사각 없이 확인하고나서, 소정 시간 경과 후에 표시되게 된 선택 영역 표시 화상 Gsc를 관찰하여, 현재의 선택 영역을 확인할 수 있다.
도 53은, 표시 모드 절환 처리의 다른 형태를 도시한 도면이다. 화상 처리부(13)는, 상기 합성 화상을 표시할 때에, 예를 들면 합성 화상으로서, 선택 영역 표시 화상 Gsc를 축소하여 전체 화상 Gcp와 중복되지 않도록 1화면에 배열하여 출력하도록 하여도 상관없다. 또한, 전체 화상 Gcp를 선택 영역 표시 화상 Gsc 상에 반투명 상태로 합성하여 출력하도록 하여도 상관없다. 어쨌든, 화상 처리부(13) 는, 전체 화상 Gcp를 표시하면서 유저가 선택 영역 표시 화상 Gsc를 사각 없이 관찰할 수 있도록 하는 처리를 행하면 된다.
또한, 화상 처리부(13)는, 상기 소정 시간을 일정 값으로 하지 않고, 동적으로 변화시키도록 하여도 상관없다. 예를 들면, 영역 선택 모드 MS가 절환된 경우에는, 선택 영역의 위치가 대폭 변화되는 경우가 있기 때문에, 그 경우에는, 상기 소정 시간을, 동일한 영역 선택 모드 MS에서의 선택 영역의 절환이나 촬상부(11)의 자세 등의 변화가 있었던 경우의 상기 소정 시간에 비하여 길게 하여, 유저가 선택 영역을 확실하게 확인할 수 있도록 하여도 된다. 또한 예를 들면, 분할 표시 모드 MH4에서 분할 영역이 증가하면, 복수의 선택 영역을 확인하는데에 시간을 필요로 하는 것이 생각되기 때문에, 분할 영역이 증가하도록 하는(전체 화상 Gcp 중의 강조 화상 Gs의 수가 증가하도록 하는) 조작을 유저가 행한 경우에는, 다른 모드 절환이나 자세 변화 등의 경우에 비하여 소정 시간을 길게 하여 유저가 확실하게 선택 영역을 확인할 수 있도록 하여도 된다.
본 발명에서는, 화상 데이터로 표시되는 시야에 대하여, 직교 좌표계를 이용하여 시야의 일부의 영역을 나타내는 선택 영역을 선택하는 제1 영역 선택 모드와, 화상 데이터로 표시되는 시야에 대하여, 극좌표계를 이용하여 시야의 일부의 영역을 나타내는 선택 영역을 선택하는 제2 영역 선택 모드가 설정되고, 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역에 상당하는 화상 데이터의 왜곡 보정이 행하여진다. 이 때문에, 촬상된 광 화면 각도 화상에 대하여 원하는 영역을 선 택 영역으로서 설정하고, 이 선택 영역의 화상의 확인 등을 행하는 경우에 바람직하다.

Claims (17)

  1. 화상 처리 장치로서,
    촬상 광학부를 통과할 때에 왜곡이 발생한 광학상(光學像)을 촬상함으로써 얻어지는, 상기 왜곡을 포함하는 광(廣)시야 화상으로부터, 직교 좌표계를 이용하여 상기 왜곡을 포함하는 광시야 화상의 일부인 선택 영역을 선택하는 제1 영역 선택 모드와, 상기 광시야 화상으로부터, 극좌표계를 이용하여 상기 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정하는 영역 선택 모드 설정부와,
    상기 영역 선택 모드 설정부에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역의 화상 데이터를 이용하여, 상기 왜곡이 보정된 선택 화상을 생성하는 왜곡 보정부와,
    상기 왜곡 보정부에서 생성된 왜곡 보정 후의 선택 화상의 데이터와, 상기 광시야 화상의 데이터를 이용하여, 상기 왜곡 보정 후의 선택 화상의 일부 영역에 상기 왜곡을 포함하는 광시야 화상의 전체가 합성 처리된 표시 화상을 생성하여 출력하는 데이터 출력부를 구비하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 영역 선택 모드에서 상기 선택 영역을 절환할 때, 상기 직교 좌표계의 좌표값을 변경함으로써 상기 선택 영역의 절환을 행하고, 상기 제2 영역 선택 모드에서 상기 선택 영역을 절환할 때, 상기 극좌표계의 편각 및 동경(動徑) 중 적어도 하나를 변경함으로써 상기 선택 영역의 절환을 행하는 제어부를 더 구비하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 촬상 광학부와, 해당 촬상 광학부를 통하여 입사하는 광학상의 화상 데이터를 생성하는 촬상 소자를 갖는 촬상부를 더 구비하는, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 촬상 광학부에 입사하는 광학상의 입사 방향을 검출하는 방향 검출 센서를 더 구비하고,
    상기 영역 선택 모드 설정부는, 상기 방향 검출 센서로부터의 센서 신호에 기초하여, 상기 제1 영역 선택 모드와 상기 제2 영역 선택 모드 중의 어느 한쪽을 선택하는, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 영역 선택 모드 설정부는, 상기 방향 검출 센서로부터의 센서 신호에 기초하여 판별한 연직 방향에 대한 각도에 따라서, 상기 제1 영역 선택 모드와 상기 제2 영역 선택 모드 중의 어느 한쪽을 선택하는, 화상 처리 장치.
  6. 제5항에 있어서,
    상기 영역 선택 모드 설정부는, 상기 각도가 제1 임계값을 초과하였는지의 여부에 따라서 상기 제1 영역 선택 모드로부터 상기 제2 영역 선택 모드로 절환하고, 상기 각도가 상기 제1 임계값과는 다른 제2 임계값을 초과하였는지의 여부에 따라서 상기 제2 영역 선택 모드로부터 상기 제1 영역 선택 모드로 절환을 행하는, 화상 처리 장치.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 촬상 광학부는 어안 렌즈를 이용하여 구성한, 화상 처리 장치.
  8. 제1항 또는 제2항에 있어서,
    물체와의 접촉을 검지하는 검지 센서를 더 구비하고,
    상기 영역 선택 모드 설정부에서는, 상기 검지 센서로부터의 센서 신호에 기초하여, 물체와의 접촉이 검지되었는지의 여부에 따라서, 상기 제1 영역 선택 모드와 상기 제2 영역 선택 모드 중의 어느 한쪽을 선택하는, 화상 처리 장치.
  9. 제1항 또는 제2항에 있어서,
    상기 영역 선택 모드 설정부에서는, 상기 선택 영역의 선택 위치에 따라서, 상기 제1 영역 선택 모드와 상기 제2 영역 선택 모드 중의 어느 한쪽을 선택하는, 화상 처리 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 선택 영역의 선택 지시를 포함하는 입력 정보의 생성을 행하는 입력부를 더 구비하고,
    상기 영역 선택 모드 설정부는, 상기 입력 정보에 포함되어 있는 상기 선택 지시에 기초하여 상기 선택 영역의 선택을 행하는, 화상 처리 장치.
  11. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 왜곡을 포함하는 광시야 화상의 데이터를 기억한 기억 장치를 더 구비하며,
    상기 기억 장치로부터 읽어낸 상기 왜곡을 포함하는 광시야 화상의 데이터에 대하여 처리를 행하는, 화상 처리 장치.
  12. 제1항 내지 제6항 중 어느 한 항에 있어서,
    그래픽 유저 인터페이스 표시를 행하는 표시부를 더 구비하고,
    상기 영역 선택 모드 설정부는, 상기 제1 영역 선택 모드와 상기 제2 영역 선택 모드에서 상기 그래픽 유저 인터페이스 표시의 절환을 행하는, 화상 처리 장치.
  13. 촬상 광학부를 통과할 때에 왜곡이 발생한 광학상을 촬상함으로써 얻어지는 화상 데이터로부터 상기 왜곡을 포함하는 광시야 화상을 추출하고, 상기 왜곡을 포함하는 광시야 화상으로부터, 직교 좌표계를 이용하여 상기 왜곡을 포함하는 광시야 화상의 일부인 선택 영역을 선택하는 제1 영역 선택 모드와, 상기 광시야 화상으로부터, 극좌표계를 이용하여 상기 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정하는 영역 선택 모드 설정 단계와,
    상기 영역 선택 모드 설정 단계에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역의 화상 데이터를 이용하여, 상기 왜곡이 보정된 선택 화상을 생성하는 왜곡 보정 단계와,
    상기 왜곡 보정 단계에서 생성된 왜곡 보정 후의 선택 화상의 데이터와, 상기 왜곡을 포함하는 광시야 화상의 데이터를 이용하여, 상기 왜곡 보정 후의 선택 화상의 일부 영역에 상기 왜곡을 포함하는 광시야 화상의 전체가 합성 처리된 표시 화상을 생성하여 출력하는 데이터 출력 단계를 구비하는, 화상 처리 방법.
  14. 촬상 광학부를 통과할 때에 왜곡이 발생한 광학상을 촬상함으로써 얻어지는 화상 데이터로부터 상기 왜곡을 포함하는 광시야 화상을 추출하고, 상기 왜곡을 포함하는 광시야 화상으로부터, 직교 좌표계를 이용하여 상기 왜곡을 포함하는 광시야 화상의 일부인 선택 영역을 선택하는 제1 영역 선택 모드와, 상기 광시야 화상으로부터, 극좌표계를 이용하여 상기 선택 영역을 선택하는 제2 영역 선택 모드를 선택적으로 설정하는 영역 선택 모드 설정 단계와,
    상기 영역 선택 모드 설정 단계에서 설정된 제1 또는 제2 영역 선택 모드에서 선택된 선택 영역의 화상 데이터를 이용하여, 상기 왜곡이 보정된 선택 화상을 생성하는 왜곡 보정 단계와,
    상기 왜곡 보정 단계에서 생성된 왜곡 보정 후의 선택 화상의 데이터와, 상기 왜곡을 포함하는 광시야 화상의 데이터를 이용하여, 상기 왜곡 보정 후의 선택 화상의 일부 영역에 상기 왜곡을 포함하는 광시야 화상의 전체가 합성 처리된 표시 화상을 생성하여 출력하는 데이터 출력 단계
    를 컴퓨터에 실행시키기 위한 프로그램을 기록한, 컴퓨터 판독 가능한 기록 매체.
  15. 삭제
  16. 삭제
  17. 삭제
KR1020087011221A 2005-11-11 2006-11-10 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체 KR101329470B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00327749 2005-11-11
JP2005327749 2005-11-11
JP2006176915 2006-06-27
JPJP-P-2006-00176915 2006-06-27
PCT/JP2006/322498 WO2007055335A1 (ja) 2005-11-11 2006-11-10 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20080068697A KR20080068697A (ko) 2008-07-23
KR101329470B1 true KR101329470B1 (ko) 2013-11-13

Family

ID=38023329

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020087011221A KR101329470B1 (ko) 2005-11-11 2006-11-10 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
KR1020087011223A KR101270893B1 (ko) 2005-11-11 2008-05-09 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087011223A KR101270893B1 (ko) 2005-11-11 2008-05-09 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치

Country Status (6)

Country Link
US (2) US8254713B2 (ko)
EP (2) EP1950954B1 (ko)
JP (2) JP5136060B2 (ko)
KR (2) KR101329470B1 (ko)
DE (2) DE602006021225D1 (ko)
WO (2) WO2007055336A1 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288354A (ja) 2006-04-13 2007-11-01 Opt Kk カメラ装置、画像処理装置および画像処理方法
JP2008225522A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5349839B2 (ja) * 2007-06-22 2013-11-20 キヤノン株式会社 生体情報イメージング装置
JP4940050B2 (ja) * 2007-08-09 2012-05-30 キヤノン株式会社 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体
JP5067336B2 (ja) * 2007-12-26 2012-11-07 大日本印刷株式会社 画像変換装置および画像変換方法
JP5124835B2 (ja) * 2008-02-05 2013-01-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
US8018353B2 (en) * 2008-05-09 2011-09-13 Omron Scientic Technologies, Inc. Method and apparatus for zone selection in area monitoring devices
US20100026855A1 (en) * 2008-08-04 2010-02-04 Todd Conard Portable Multi Position Magnifier Camera
US8264598B2 (en) 2008-09-22 2012-09-11 Freedom Scientific, Inc. Multiposition handheld electronic magnifier
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
JP5049300B2 (ja) 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
WO2011114610A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 全方位画像処理装置および全方位画像処理方法
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP5720134B2 (ja) * 2010-04-20 2015-05-20 株式会社リコー 画像検査装置及び画像形成装置
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9055205B2 (en) 2010-09-03 2015-06-09 Canon Kabushiki Kaisha Imaging control system, control apparatus, control method, and storage medium
EP2442549B1 (en) 2010-10-14 2015-10-14 Sony Corporation Image capturing device, system and method
JPWO2012081400A1 (ja) * 2010-12-14 2014-05-22 コニカミノルタ株式会社 画像処理方法、画像処理装置及び撮像装置
TWI516119B (zh) * 2011-01-25 2016-01-01 華晶科技股份有限公司 電子裝置、影像擷取裝置及其方法
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5866146B2 (ja) * 2011-05-20 2016-02-17 東芝テリー株式会社 全方位監視画像表示処理システム
JP5920863B2 (ja) 2011-06-03 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
WO2013114848A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 画像処理装置及び画像処理方法
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5925579B2 (ja) * 2012-04-25 2016-05-25 ルネサスエレクトロニクス株式会社 半導体装置、電子装置、及び画像処理方法
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
JP6186775B2 (ja) * 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
JP6071364B2 (ja) * 2012-09-19 2017-02-01 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP5949501B2 (ja) * 2012-11-29 2016-07-06 ブラザー工業株式会社 作業補助システムおよびプログラム
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
CN103049175B (zh) 2013-01-22 2016-08-10 华为终端有限公司 预览画面呈现方法、装置及终端
JP6104010B2 (ja) * 2013-03-26 2017-03-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6229283B2 (ja) * 2013-03-26 2017-11-15 株式会社リコー 画像処理装置、表示端末及び画像表示システム、並びに、画像処理方法、表示端末の制御方法、画像表示システムの制御方法及びそれらの方法のプログラム
JP6446766B2 (ja) * 2013-07-08 2019-01-09 株式会社リコー プログラム、表示制御装置、記録媒体及び表示制御システム
USD768644S1 (en) * 2013-11-21 2016-10-11 Nikon Corporation Display screen with transitional graphical user interface
USD760785S1 (en) * 2014-01-13 2016-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
JP5835384B2 (ja) 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP6335701B2 (ja) * 2014-07-22 2018-05-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6381353B2 (ja) * 2014-08-08 2018-08-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
JP2016025639A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 撮像装置、画像信号転送制御方法およびプログラム
JP6205067B2 (ja) * 2014-09-05 2017-09-27 富士フイルム株式会社 パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
KR20160045441A (ko) * 2014-10-17 2016-04-27 삼성전자주식회사 동영상 재생 방법 및 장치
CN104994288B (zh) * 2015-06-30 2018-03-27 广东欧珀移动通信有限公司 一种拍照方法及用户终端
CN105141827B (zh) 2015-06-30 2017-04-26 广东欧珀移动通信有限公司 一种畸变校正方法及终端
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
KR102111425B1 (ko) * 2016-02-24 2020-06-04 가부시키가이샤 리코 화상 처리 장치, 화상 처리 시스템 및 프로그램
JP6145738B2 (ja) * 2016-03-03 2017-06-14 パナソニックＩｐマネジメント株式会社 表示装置及びコンピュータプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP6942940B2 (ja) * 2016-03-14 2021-09-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017158718A1 (ja) * 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末
KR20170124811A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
JP2017208658A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2018030319A1 (ja) * 2016-08-12 2018-08-09 パナソニックＩｐマネジメント株式会社 測距システム、および、移動体システム
KR102536945B1 (ko) * 2016-08-30 2023-05-25 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10845942B2 (en) * 2016-08-31 2020-11-24 Sony Corporation Information processing device and information processing method
CN109792554B (zh) * 2016-10-06 2022-10-11 索尼公司 再现装置、再现方法和计算机可读存储介质
JP7020024B2 (ja) * 2016-11-30 2022-02-16 株式会社リコー 情報処理装置およびプログラム
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
KR102697559B1 (ko) * 2016-12-22 2024-08-23 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
JP6786378B2 (ja) * 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6826481B2 (ja) * 2017-03-31 2021-02-03 キヤノン株式会社 映像表示装置、映像表示装置の制御方法及びプログラム
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP2018206205A (ja) * 2017-06-07 2018-12-27 村田機械株式会社 魚眼画像補正方法、魚眼画像補正プログラム及び魚眼画像補正装置。
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
JP6857088B2 (ja) * 2017-06-20 2021-04-14 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP2019054322A (ja) * 2017-09-12 2019-04-04 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
JP6933566B2 (ja) * 2017-11-24 2021-09-08 キヤノンメディカルシステムズ株式会社 医用画像表示装置
JP6688277B2 (ja) * 2017-12-27 2020-04-28 本田技研工業株式会社 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US11202014B2 (en) * 2018-07-06 2021-12-14 Medos International Sari Camera scope electronic variable angle of view
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
JP7419723B2 (ja) 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法
KR102715161B1 (ko) * 2019-11-28 2024-10-08 삼성전자주식회사 영상 복원 방법 및 장치
US20230075347A1 (en) * 2020-03-12 2023-03-09 BSH Hausgeräte GmbH Setting desired browning on a domestic cooking appliance

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103063A1 (en) * 2001-12-03 2003-06-05 Tempest Microsystems Panoramic imaging and display system with canonical magnifier

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63205233A (ja) * 1987-02-21 1988-08-24 Photo Composing Mach Mfg Co Ltd 写真植字機
AU703173B2 (en) * 1995-07-27 1999-03-18 Sensormatic Electronics Corporation Image splitting, forming and processing device and method for use with no moving parts camera
US6304284B1 (en) 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US7046275B1 (en) * 1998-10-15 2006-05-16 Ricoh Company, Ltd. Digital camera and imaging method
JP2000132673A (ja) 1998-10-28 2000-05-12 Sharp Corp 画像システム
JP2000324386A (ja) 1999-05-07 2000-11-24 Sony Corp 魚眼レンズを用いた録画再生装置
JP4340358B2 (ja) * 1999-08-02 2009-10-07 富士フイルム株式会社 画像撮影装置
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US7194699B2 (en) * 2003-01-14 2007-03-20 Microsoft Corporation Animating images to reflect user selection
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
JP2005063141A (ja) 2003-08-12 2005-03-10 D Link Corp 画像変換システム及び画像変換方法
JP2005086279A (ja) 2003-09-04 2005-03-31 Equos Research Co Ltd 撮像装置、及び撮像装置を備えた車両
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
US20050058360A1 (en) 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
US7839446B2 (en) * 2005-08-30 2010-11-23 Olympus Corporation Image capturing apparatus and image display apparatus including imparting distortion to a captured image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103063A1 (en) * 2001-12-03 2003-06-05 Tempest Microsystems Panoramic imaging and display system with canonical magnifier

Also Published As

Publication number Publication date
US8254713B2 (en) 2012-08-28
EP1950954A4 (en) 2010-03-03
WO2007055336A1 (ja) 2007-05-18
US20090160996A1 (en) 2009-06-25
KR20080068697A (ko) 2008-07-23
JPWO2007055335A1 (ja) 2009-04-30
WO2007055335A1 (ja) 2007-05-18
EP1954029A4 (en) 2010-02-24
DE602006021225D1 (de) 2011-05-19
JPWO2007055336A1 (ja) 2009-04-30
US20090041378A1 (en) 2009-02-12
KR101270893B1 (ko) 2013-06-05
JP5136060B2 (ja) 2013-02-06
DE602006021219D1 (de) 2011-05-19
KR20080068698A (ko) 2008-07-23
EP1954029A1 (en) 2008-08-06
EP1950954A1 (en) 2008-07-30
JP5136059B2 (ja) 2013-02-06
US8169527B2 (en) 2012-05-01
EP1950954B1 (en) 2011-04-06
EP1954029B1 (en) 2011-04-06

Similar Documents

Publication Publication Date Title
KR101329470B1 (ko) 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
JP6587113B2 (ja) 画像処理装置及び画像処理方法
CN101305595B (zh) 图像处理设备以及图像处理方法
US6031941A (en) Three-dimensional model data forming apparatus
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US9485421B2 (en) Method and apparatus for operating camera function in portable terminal
EP2849439B1 (en) Display image formation device and display image formation method
KR20010072917A (ko) 전방위 영상출력방법과 장치
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
CN110610531A (zh) 图像处理方法、图像处理装置和记录介质
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP7335335B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR100585822B1 (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
JP6685814B2 (ja) 撮像装置およびその制御方法
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2008028778A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP2019139697A (ja) 表示装置、映像表示システム、及び映像表示方法
JP2005005816A (ja) 広角カメラおよび広角カメラシステム
KR20180013196A (ko) 뷰 모드를 추천하는 모니터링 시스템
JP2022182840A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021131501A (ja) 撮影装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 6