KR20070005573A - 영상 종류 판정 시스템, 영상 가공 시스템, 영상 가공 방법및 영상 가공 프로그램 - Google Patents

영상 종류 판정 시스템, 영상 가공 시스템, 영상 가공 방법및 영상 가공 프로그램 Download PDF

Info

Publication number
KR20070005573A
KR20070005573A KR1020067015012A KR20067015012A KR20070005573A KR 20070005573 A KR20070005573 A KR 20070005573A KR 1020067015012 A KR1020067015012 A KR 1020067015012A KR 20067015012 A KR20067015012 A KR 20067015012A KR 20070005573 A KR20070005573 A KR 20070005573A
Authority
KR
South Korea
Prior art keywords
image
landmark
video
moving
scene
Prior art date
Application number
KR1020067015012A
Other languages
English (en)
Other versions
KR100801827B1 (ko
Inventor
유스께 다까하시
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20070005573A publication Critical patent/KR20070005573A/ko
Application granted granted Critical
Publication of KR100801827B1 publication Critical patent/KR100801827B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T82/00—Turning
    • Y10T82/18—Lathe for wheel or axle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

영상 씬의 종류를 판정하여, 영상 씬의 종류에 따른 가공 방법에 따라 영상을 가공할 수 있는 영상 가공 시스템이 제공된다. 랜드마크 특징량 취득부는, 촬영 방위, 촬영 위치 및 랜드마크 정보에 기초하여, 랜드마크 특징량을 산출한다. 이동 특징량 취득부는, 촬영 위치, 이동 속도 및 경로 정보에 기초하여, 이동 특징량을 산출한다. 영상 종류 판정부는, 랜드마크 특징량 및 이동 특징량에 기초하여, 영상 씬의 종류를 판정한다. 영상 가공부는, 영상 씬의 종류 및 이용 용도에 기초하여, 영상의 가공 방법을 결정한다. 또한, 영상 가공부는, 결정된 가공 방법에 따라 영상을 가공한다. 표시부는, 가공된 영상을 표시한다.
영상, 씬, 랜드마크, 영상 종류, 화면, 이동 속도, 촬영 위치, 각도차

Description

영상 종류 판정 시스템, 영상 가공 시스템, 영상 가공 방법 및 영상 가공 프로그램{VlDEO TYPE JUDGMENT SYSTEM, VlDEO PROCESSlNG SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM}
본 발명은, 이동 카메라의 영상을 가공하는 기술에 관한 것이다. 특히, 본 발명은, 영상 콘텐츠의 종류를 판정하여 영상을 가공하는 영상 가공 시스템, 영상 가공 방법 및 영상 가공 프로그램에 관한 것이다. 또한, 본 발명은, 영상 콘텐츠의 종류를 판정하는 영상 종류 판정 시스템, 영상 종류 판정 방법 및 영상 종류 판정 프로그램에 관한 것이다. 또한, 본 발명은, 영상 가공 시스템의 서버 및 단말기에 관한 것이다.
유비쿼터스 카메라 등의 이동 카메라는, 항상 인간이 휴대하거나, 차량에 탑재되거나 한다. 이 경우, 촬영자가 의식적으로 영상을 찍는 것은 아니고, 촬영자의 통상 행동의 영상이 연속적이고 무의식적으로 촬영된다. 그 때문에, 이동 카메라에 의한 영상은, 유저에게 있어서 중요하다고 생각되지 않는 씬을 포함하는 경우가 많다. 이동 카메라에 의한 영상을 효율적으로 열람하는 시스템을 실현하는 것이 기대된다.
일본 특개2000-92386호 공보에는, 이동 카메라 영상의 열람 시스템이 개시되 어 있다. 도 1은, 이 종래 기술에 따른 이동 카메라 영상의 열람 시스템의 구성예를 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 이 열람 시스템은, 영상 재생부(902)와, 현재 위치 관리부(903)와, 영역 중요도 관리부(904)와, 영상 생략부(905)와, 영상 표시부(906)를 포함하고 있다. 영상 재생부(902)는, 이동 카메라 영상을 재생한다. 현재 위치 관리부(903)는, 재생되어 있는 영상의 현재 위치가 이동 공간의 어떤 장소인지를 관리한다. 이동 공간은 몇개의 에리어로 분할되어, 에리어마다 미리 중요도가 부여된다. 영역 중요도 관리부(904)는, 각 에리어가 어느 만큼 중요한가를 관리하여, 현재 위치가 속하는 영역의 중요도를 산출한다. 영상 생략부(905)는, 영상을 재생할 때에 단위 영역의 중요도에 따라 영상을 생략한다. 영상 표시부(906)는, 통상 재생 또는 생략하여 재생된 영상을 표시한다.
또한, 다른 열람 시스템이, 「T. Ueda et al. ,"Digest Creation of Video Data recorded by Wearab1e Cameras using Locational and Geographical Inoformation", Technical Repot of the Institute of Electronics, Information and Communication Engineers, Vol. 101, No. 193(DE2001-101), pp. 175-182, July, 2001」에 개시되어 있다. 이 영상 처리 시스템에 의하면, 촬영 위치와 랜드마크와의 거리 및 방향에 의해 씬의 중요도가 산출되어, 중요도가 미리 정해진 임계값보다도 큰 씬만이 잘려 제공된다.
이상에 기술된 종래의 열람 시스템에 따르면, 영상의 중요도가 촬영 위치에 기초하여 검출된다. 그리고, 중요도가 높은 씬만이 잘라내어지거나, 중요도의 높이에 따라 재생 속도가 변화된다.
유비쿼터스 카메라 등이 사용되는 경우, 촬영자가 의식적으로 영상을 찍는 것은 아니라, 촬영자의 통상 행동의 영상이 연속적이고 무의식적으로 촬영된다. 그 때문에, 촬영 영상이 그대로 재생된 경우, 열람자는 불쾌한 인상을 받는 경우가 있다. 예를 들면, 촬영자가 크게 좌우로 시선을 바꾸거나, 자동차가 우회전이나 좌회전을 하거나 하는 경우에 촬영된 영상에서는, 화상이 크게 좌우로 흔들린다. 이러한 영상 씬은, 고속으로 재생되어 표시되면, 열람자에게 불쾌한 인상을 부여하는 수가 있다. 또한, 정체 속을 주행하고 있는 씬 등의 변화가 없는 씬은, 저속 재생된 경우 등에는, 열람자에게 지루함을 느끼게 하는 수가 있다.
또한, 이동 카메라에 의한 영상에서의 중요한 씬은, 오브젝트와의 상대 위치에 의해서만 결정되는 것은 아니다. 촬영 장치 자체가 스스로 이동하고 있기 때문에, 이동 정보 그 자체가 중요 씬과 깊은 상관이 있는 경우가 있다. 길을 돌거나 멈추거나 하는 행동은, 보행자나 자동차 운전수의 의도가 담겨 있기 때문에, 길을 돌거나 멈추거나 하는 경우의 영상도 중요도가 높아진다.
그러나, 전술한 종래의 열람 시스템에서는, 촬영 위치나 랜드마크와의 거리/방향에 기초하여 중요도가 결정되어 있는 것에 지나지 않는다. 따라서, 종래의 열람 시스템에서, 영상 씬이 어떠한 종류의 것인지 적절하게 판단할 수는 없다. 또한, 영상 씬의 종류에 따라 영상을 적절하게 재생할 수는 없다.
또한, 이동 영상에서의 중요도의 기준은, 열람자의 영상을 열람하는 목적에 따라 변화한다. 종래의 열람 시스템에서는 중요도의 판정 기준이 고정되어 있기 때문에, 열람자가 원하는 변화에 대응하는 것이 곤란하다. 예를 들면, 어떤 목적 지까지의 가는 방법의 확인이 목적인 경우에는, 전 행정의 영상이 중요하고, 특히 전환점이라고 하는 씬이 가장 중요하게 된다. 한편, 과거에 갔던 드라이브의 영상을 되돌아 보고 싶다고 하는 목적의 경우에는, 길을 따라 보인 산이나 빌딩 등의 랜드마크가 중요하게 된다.
또한, 화상 처리에 관련된 일반적인 기술로서 이하의 것이 알려져 있다.
일본 특개2002-142189호 공보에 개시된 화상 처리 장치는, 입력 수단과, 평가 수단과, 처리 수단을 포함하고 있다. 입력 수단은, 동화상 데이터를 갖는 데이터 스트림을 입력한다. 평가 수단은, 동화상 데이터를 복수의 씬으로 분할하여, 상호 상이한 복수의 조건에 따라, 씬마다 동화상 데이터를 평가한다. 처리 수단은, 평가 수단에 의한 평가의 결과에 기초하여, 씬을 선택한다.
일본 특개2002-271733호 공보에는, 축구의 시합의 다이제스트 영상을 작성하는 장치가 개시되어 있다. 이 다이제스트 작성 장치는, 축구의 시합 영상을 복수의 시간대에 분할하여, 각각의 시간대에 있어서의 각 팀의 상태(공세, 열세등)를 판정함으로써, 시합의 흐름을 설명하는 정보를 생성한다. 그리고, 다이제스트 작성 장치는, 생성된 정보와 중요도를 이용하여 영상 씬의 추출을 행한다.
일본 특개2002-330393호 공보에는, 프로그램 영상 상의 어느 시점에서의 의미적인 중요도를 판정하여, 프로그램 부가 정보를 수신하면서 중요도를 동적으로 산출하기 위한 영상 다이제스트 생성 방법이 개시되어 있다. 또한, 일본 특개2003-87712호 공보에는, 시합의 경과를 취득하여 사상의 중요도를 판정할 수 있는 스포츠 영상의 다이제스트 작성 방법이 개시되어 있다.
일본 특개평8-95596호 공보에는, 음 정보를 이용하여 영상이나 음의 외곽이나 분위기를 단시간 동안에 파악할 수 있는 방법이 개시되어 있다. 이 방법은, 화상 정보와 음 정보로 이루어지는 영상 정보를 입력하는 스텝과, 입력된 영상 정보 중 음 정보로부터 다양한 특징량을 추출하는 스텝과, 추출된 특징량에 기초하여 영상 정보를 가공하는 스텝과, 가공에 의해 생성된 영상 정보를 출력하는 스텝을 갖는다.
<발명의 개시>
본 발명의 목적은, 영상 씬의 종류를 판정할 수 있는 영상 종류 판정 시스템, 영상 종류 판정 방법 및 영상 종류 판정 프로그램을 제공하는 것에 있다.
본 발명의 다른 목적은, 영상 씬의 종류를 판정하여, 영상 씬의 종류에 따른 가공 방법에 따라 영상을 가공할 수 있는 영상 가공 시스템, 영상 가공 방법, 영상 가공 프로그램, 영상 가공 시스템의 서버 및 단말기를 제공하는 것에 있다.
본 발명의 제1 관점에서, 영상 종류 판정 시스템은, 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 영상 입력부와, 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 이동 특징량 취득부와, 이동 특징량에 기초하여 영상에 포함되는 영상 씬의 종류를 판정하는 영상 종류 판정부를 포함한다.
본 발명의 제2 관점에서, 영상 가공 시스템은, 영상 입력부와, 이동 특징량 취득부와, 영상 종류 판정부와, 영상 가공부를 포함한다. 영상 입력부는, 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력한다. 이동 특징량 취득부는, 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득한다. 영상 종류 판 정부는, 이동 특징량에 기초하여, 영상에 포함되는 영상 씬의 종류를 판정한다. 영상 가공부는, 영상 종류 판정부에 의해서 판정된 영상 씬의 종류에 기초하여 영상의 가공 방법을 결정하고, 결정된 가공 방법에 따라 영상을 가공한다.
이 영상 가공 시스템은, 영상 가공부에 의해서 가공된 영상을 표시하는 표시부를 더 포함하여도 된다. 이에 의해, 가공된 영상을 재생하여 표시하는 것이 가능하게 된다.
이동 특징량 취득부는, 영상 촬영 장치의 이동 속도를 취득하는 속도 입력부와, 영상 촬영 장치의 촬영 위치를 취득하는 제1 위치 입력부와, 촬영 위치 및 이동 속도에 기초하여, 영상 씬에 대응하는 이동 특징량을 산출하는 이동 특징량 산출부를 포함해도 된다.
또한, 이 영상 가공 시스템은, 이동 중에 통과할 수 있는 경로의 속성 정보인 경로 정보가 저장된 경로 정보 기억부를 더 포함하여도 된다. 이때, 이동 특징량 산출부는, 경로 정보와 영상 촬영 장치의 촬영 위치 및 이동 속도에 기초하여, 영상 씬에 대응하는 이동 특징량을 산출한다. 미리 기억된 경로 정보를 이용함으로써, 용이하게 이동 특징량을 구할 수 있다.
상기 경로 정보는, 경로의 위치, 종류, 차선의 수, 교차점의 위치, 분기점의 위치, 및 신호의 유무 중 적어도 하나를 포함한다.
상기 이동 특징량은, 영상 촬영 장치의 현재 위치와 설정 루트와의 편차량, 주행 속도, 및 주행 직진도 중 적어도 하나를 포함한다.
또한, 영상 가공 시스템은, 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 랜드마크 특징량 취득부를 더 포함하여도 된다. 이때, 영상 종류 판정부는, 랜드마크 특징량과 이동 특징량에 기초하여, 영상 씬의 종류를 판정한다. 이 경우, 이동 특징량뿐만 아니라 랜드마크 특징량도 이용되기 때문에, 보다 많은 영상 씬의 종류를 판정하는 것이 가능하게 된다.
랜드마크 특징량 취득부는, 영상 촬영 장치의 촬영 방위를 취득하는 방위 입력부와, 영상 촬영 장치의 촬영 위치를 취득하는 제2 위치 입력부와, 랜드마크의 속성 정보인 랜드마크 정보가 저장된 랜드마크 정보 기억부와, 랜드마크 특징량 산출부를 포함한다. 랜드마크 특징량 산출부는, 랜드마크 정보, 촬영 위치, 및 촬영 방위에 기초하여, 영상 씬에 대응하는 랜드마크 특징량을 산출한다. 이 경우, 영상 방위 및 촬영 위치를 이용함으로써, 용이하게 랜드마크 특징량을 구하는 것이 가능하게 된다.
랜드마크 정보는, 랜드마크의 위치 및 형상을 포함한다. 랜드마크 특징량은, 랜드마크의 화면 상에서의 사이즈 및 화면 중심으로부터의 편차량 중 적어도 하나를 포함한다.
영상 종류 판정부는, 이동 특징량 및 랜드마크 특징량이 임계값보다 큰지의 여부를 판단함으로써, 영상 씬의 종류를 판정하여도 된다. 임계값 판정을 행함으로써, 용이하게 영상 씬의 종류를 판정하는 것이 가능하게 된다. 이동 특징량 및 랜드마크 특징량에 대한 임계값은, 이용 용도에 의해 변경되어도 된다.
영상 종류 판정부는, 이동 특징량 및 랜드마크 특징량 중 적어도 하나의 값에 기초하여, 영상 씬의 중요도를 산출하여도 된다. 이때, 영상 종류 판정부는, 산출된 중요도가 임계값보다 큰 경우에만, 영상 씬의 종류를 판정한다. 이에 의해, 중요한 영상 씬에 대해서만 화상 처리를 행하는 것이 가능하게 된다.
영상 가공부는, 특정한 영상 씬의 영상만을 가공하여도 된다.
표시부는, 영상을 표시함과 함께, 그 영상이 촬영된 위치를 포함하는 지도를 표시하여도 된다.
또한, 표시부는, 영상의 이용 용도를 유저가 설정 입력하기 위한 유저 인터페이스를 포함하고 있어도 된다. 영상 열람의 이용 용도란, 예를 들면, 드라이브 시뮬레이션이나 관광 드라이브 안내의 용도인 것을 의미한다. 또한, 유저 인터페이스는, 예를 들면, 이용 용도를 설정 입력하기 위한 슬라이드 바가 표시부에 표시됨으로써 실현된다.
영상 씬의 종류는, 전환점 씬, 랜드마크 씬, 정체 씬, 신호 대기 씬, 및 그 밖의 씬 중 적어도 하나를 포함한다. 이 경우, 영상 가공부는, 전환점 씬으로 판정된 영상 씬이 슬로우 재생되도록 영상을 가공하고, 랜드마크 씬으로 판정된 영상 씬에, 랜드마크 정보의 텔롭이 표시되도록 영상을 가공하고, 정체 씬으로 판정된 영상 씬이 삭제되도록 영상을 가공하고, 신호 대기 씬으로 판정된 영상 씬이 삭제되도록 영상을 가공하고, 그 밖의 씬으로 판정된 영상 씬이 고속 재생되도록 영상을 가공한다.
본 발명의 제3 관점에서, 영상 촬영 장치에 의해 촬영된 영상을 가공하는 영상 가공 시스템의 서버가 제공된다. 이 서버는, 랜드마크 정보 기억부와, 랜드마크 특징량 산출부와, 경로 정보를 기억하는 경로 정보 기억부와, 이동 특징량 산출 부와, 영상 종류 판정부와, 영상 가공부와, 서버측 송신부를 포함한다. 랜드마크 정보 기억부는, 랜드마크의 속성 정보인 랜드마크 정보를 기억한다. 랜드마크 특징량 산출부는, 랜드마크 정보와, 단말기로부터 수신한 영상 촬영 장치의 촬영 위치 및 촬영 방위에 기초하여, 영상 씬에 대응하는 랜드마크 특징량을 산출한다. 이동 특징량 산출부는, 경로 정보와, 단말기로부터 수신한 영상 촬영 장치의 촬영 위치 및 이동 속도에 기초하여, 영상 씬에 대응하는 이동 특징량을 산출한다. 영상 종류 판정부는, 랜드마크 특징량과 이동 특징량에 기초하여, 영상 씬의 종류를 판정한다. 영상 가공부는, 영상 씬의 종류에 기초하여 영상의 가공 방법을 결정하고, 결정된 가공 방법에 따라 영상을 가공한다. 서버측 송신부는, 영상 가공부에 의해 가공된 영상을, 통신 네트워크를 통하여 단말기에 송신한다.
본 발명의 제4 관점에서, 영상 촬영 장치에 의해 촬영된 영상을 가공하는 영상 가공 시스템의 서버가 제공된다. 이 서버는, 랜드마크 정보 기억부와, 랜드마크 특징량 산출부와, 경로 정보를 기억하는 경로 정보 기억부와, 이동 특징량 산출부와, 영상 종류 판정부와, 서버측 송신부를 포함한다. 랜드마크 정보 기억부는, 랜드마크의 속성 정보인 랜드마크 정보를 기억한다. 랜드마크 특징량 산출부는, 랜드마크 정보와, 단말기로부터 수신한 영상 촬영 장치의 촬영 위치 및 촬영 방위에 기초하여, 영상 씬에 대응하는 랜드마크 특징량을 산출한다. 이동 특징량 산출부는, 경로 정보와, 단말기로부터 수신한 영상 촬영 장치의 촬영 위치 및 이동 속도에 기초하여, 영상 씬에 대응하는 이동 특징량을 산출한다. 영상 종류 판정부는, 랜드마크 특징량과 이동 특징량에 기초하여, 영상 씬의 종류를 판정한다. 서 버측 송신부는, 영상 씬의 종류를, 통신 네트워크를 통하여 단말기에 송신한다. 이 경우, 영상이 서버에 송신되는 경우와 비교하여, 통신 네트워크 상의 통신량을 대폭 저감할 수 있다.
본 발명의 제5 관점에서, 영상 가공 시스템의 단말기는, 영상을 입력하는 영상 입력부와, 영상 촬영 장치의 촬영 방위를 입력하는 방위 입력부와, 영상 촬영 장치의 촬영 위치를 입력하는 위치 입력부와, 영상 촬영 장치의 이동 속도를 입력하는 속도 입력부와, 영상을 가공하는 서버에, 영상, 촬영 방위, 촬영 위치 및 이동 속도를, 통신 네트워크를 통하여 송신하는 단말기측 송신부와, 서버로부터 수신하는 가공 후의 영상을 표시하는 영상 표시부를 포함한다.
본 발명의 제6 관점에서, 영상 가공 시스템의 단말기는, 영상을 입력하는 영상 입력부와, 영상 촬영 장치의 촬영 방위를 입력하는 방위 입력부와, 영상 촬영 장치의 촬영 위치를 입력하는 위치 입력부와, 영상 촬영 장치의 이동 속도를 입력하는 속도 입력부와, 단말기측 송신부와, 영상 가공부와, 영상 표시부를 포함한다. 단말기측 송신부는, 영상 씬의 종류를 판정하는 서버에, 촬영 방위, 촬영 위치 및 이동 속도를, 통신 네트워크를 통하여 송신한다. 영상 가공부는, 서버로부터 수신하는 영상 씬의 종류에 기초하여, 영상의 가공 방법을 결정하고, 결정된 가공 방법에 따라 영상을 가공한다. 영상 표시부는, 영상 가공부에 의해 가공된 영상을 표시한다. 이 경우, 영상이 서버에 송신되는 경우와 비교하여, 통신 네트워크 상의 통신량을 대폭 저감할 수 있다.
본 발명의 제7 관점에서, 영상 종류 판정 방법은, (A) 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 스텝과, (B) 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 스텝과, (C) 이동 특징량에 기초하여, 영상에 포함되는 영상 씬의 종류를 판정하는 스텝을 포함한다.
본 발명의 제8 관점에서, 영상 가공 방법은, (A) 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 스텝과, (B) 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 스텝과, (C) 이동 특징량에 기초하여, 영상에 포함되는 영상 씬의 종류를 판정하는 스텝과, (D) 영상 씬의 종류에 기초하여 영상의 가공 방법을 결정하고, 결정된 가공 방법에 따라 영상을 가공하는 스텝을 포함한다.
이 영상 가공 방법은, 또한, (B') 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 스텝을 포함해도 된다. 이 경우, 상기 (C) 스텝에서, 랜드마크 특징량과 이동 특징량에 기초하여, 영상 씬의 종류가 판정된다.
본 발명의 제9 관점에서, 영상 종류 판정 프로그램은, (A) 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 스텝과, (B) 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 스텝과, (C) 이동 특징량에 기초하여, 영상에 포함되는 영상 씬의 종류를 판정하는 스텝을 컴퓨터에 실행시킨다.
본 발명의 제10 관점에서, 영상 가공 프로그램은, (A) 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 스텝과, (B) 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 스텝과, (C) 이동 특징량에 기초하여, 영 상에 포함되는 영상 씬의 종류를 판정하는 스텝과, (D) 영상 씬의 종류에 기초하여 영상의 가공 방법을 결정하고, 결정된 가공 방법에 따라 영상을 가공하는 스텝을 컴퓨터에 실행시킨다.
이 영상 가공 프로그램은, 또한, (B') 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 스텝을 컴퓨터에 실행시켜도 된다. 이 경우, 상기 (C) 스텝에서, 랜드마크 특징량과 이동 특징량에 기초하여, 영상 씬의 종류가 판정된다.
본 발명에 따르면, 이동 특징량에 기초하여, 영상 씬의 종류를 판정할 수 있다. 또한, 본 발명에 따르면, 판정된 영상 씬의 종류에 따른 가공 방법에 따라 영상을 가공할 수 있다.
도 1은, 종래의 이동 카메라 영상의 열람 시스템의 구성예를 도시하는 블록도.
도 2는, 본 발명의 제1 실시예에 따른 영상 가공 시스템의 구성예를 도시하는 블록도.
도 3은, 랜드마크 특징량 취득부의 구성의 일례를 도시하는 블록도.
도 4는, 이동 특징량 취득부의 구성의 일례를 도시하는 블록도.
도 5는, 본 발명의 제2 실시예에 따른 영상 가공 시스템의 구성예를 도시하는 블록도.
도 6은, 본 발명의 제3 실시예에 따른 영상 가공 시스템의 구성예를 도시하 는 블록도.
도 7은, 본 발명에 따른 영상 가공 시스템의 동작을 도시하는 플로우 차트.
도 8은, 본 발명에 따른 영상 가공 처리를 설명하기 위한 도면.
도 9는, 본 발명에 따른 영상 가공 처리를 설명하기 위한 도면.
도 10은, 본 발명에 따른 영상 가공 처리를 설명하기 위한 도면.
도 11은, 직진도의 산출 방법의 예를 도시하는 설명도.
도 12는, 영상 가공 처리에 있어서의 설정 정보예를 도시하는 설명도.
도 13은, 표시 화면의 일례를 도시하는 개념도.
도 14는, 본 발명에 따른 영상 가공 시스템의 동작을 도시하는 플로우 차트.
도 15는, 본 발명에 따른 영상 가공 처리를 설명하기 위한 도면.
도 16은, 표시 화면의 다른 예를 도시하는 개념도.
(제1 실시예)
이하, 본 발명의 제1 실시예를 도면을 참조하여 설명한다. 도 2는, 본 발명의 제1 실시예에 따른 영상 가공 시스템의 구성의 일례를 도시하는 블록도이다. 도 2에 도시하는 바와 같이, 영상 가공 시스템은, 영상을 취득하는 영상 취득부(1)와, 랜드마크 특징량 취득부(2)와, 이동 특징량 취득부(3)와, 영상 종류 판정부(4)와, 영상 가공부(5)와, 표시부(6)를 포함한다.
도 3은, 랜드마크 특징량 취득부(2)의 구성의 일례를 도시하는 블록도이다. 도 3에 도시하는 바와 같이, 랜드마크 특징량 취득부(2)는, 영상 촬영 장치의 방위 를 취득하는 방위 취득부(201)와, 영상 촬영 장치의 위치를 취득하는 위치 취득부(202)와, 랜드마크 정보를 기억하는 랜드마크 정보 기억 장치(203)와, 방위 취득부(201)가 취득한 방위, 위치 취득부(202)가 취득한 위치 및 랜드마크 정보에 기초하여 랜드마크 특징량을 산출하는 랜드마크 특징량 산출부(204)를 포함한다.
또한, 랜드마크 정보란, 랜드마크의 위치, 높이, 형상 등 랜드마크의 속성 정보이다. 또한, 랜드마크 특징량이란, 영상 중의 랜드마크의 특징을 나타내는 특징량이다.
도 4는, 이동 특징량 취득부(3)의 구성의 일례를 도시하는 블록도이다. 도 4에 도시하는 바와 같이, 이동 특징량 취득부(3)는, 영상 촬영 장치의 속도를 취득하는 속도 취득부(301)와, 영상 촬영 장치의 위치를 취득하는 위치 취득부(302)와, 경로 정보를 기억하는 경로 정보 기억 장치(303)와, 속도 취득부(301)가 취득한 방위, 위치 취득부(302)가 취득한 위치 및 경로 정보에 기초하여 이동 특징량을 산출하는 이동 특징량 산출부(304)를 포함한다.
또한, 경로 정보란, 경로의 위치, 종류, 차선의 수, 교차점/분기점의 위치 및 신호의 유무 등, 영상 촬영 장치가 이동 중에 통과할 수 있는 경로의 속성 정보이다. 또한, 이동 특징량이란, 영상 촬영 장치의 이동 상태의 특징을 나타내는 특징량이다.
영상 취득부(1)는, 예를 들면, 컴퓨터의 연산 처리 장치(도시하지 않음), 프로그램 및 입력 인터페이스(도시하지 않음)에 의해 실현된다. 영상 취득부(1)는, 이동 촬영 장치(영상 촬영 장치)에 의해 촬영된 영상을 입력한다. 이동 촬영 장치 는, 예를 들면, CCD 디지털 카메라나 비디오 카메라 등의 영상 기기이다. 이동 촬영 장치는, 차량, 인물, 선박, 항공기 등의 이동 수단의 위치나 방향에 의해, 촬영 위치나 촬영 방향이 변화한다.
랜드마크 특징량 취득부(2)는, 영상을 촬영한 영상 촬영 장치의 방위 및 위치와, 랜드마크 정보 기억 장치(203)에 미리 등록되어 있는 랜드마크의 위치나 높이의 정보(랜드마크 정보)에 기초하여, 랜드마크 특징량을 산출한다.
랜드마크 특징량 취득부(2)는, 랜드마크 특징량으로서, 랜드마크의 화면 상의 위치(화면 중심으로부터의 편차량)나 사이즈를 구한다. 랜드마크란, 빌딩, 다리, 탑과 같은 인공 건축물이나, 산이나 호수와 같은 자연 구조물 등, 위치 및 형상을 기술할 수 있는 물체이다. 또한, 이동 위치 및 시각이 이미 알려져 있으면, 시각과 위치 데이터와의 조합 집합에 의해 기술하는 것이 가능한 전철 등의 이동 물체를 랜드마크로서 이용해도 된다.
랜드마크를 기술하기 위해, 랜드마크의 대표점이 이용된다. 예를 들면, 랜드마크를 기술하기 위해, 랜드마크의 무게 중심점의 위도, 경도 및 높이가 이용된다. 또한, 예를 들면, 랜드마크를 구성하는 폴리곤 등의 각 점의 위치의 위도, 경도 및 높이를 나타낸 데이터군이 이용되어도 된다.
랜드마크 정보 기억 장치(203)는, 예를 들면, 자기 디스크 장치에 의해 실현된다. 랜드마크 정보 기억 장치(203)는, 랜드마크 정보로서, 랜드마크의 위치, 높이 및 형상을 미리 기억한다. 또한, 랜드마크 정보 기억 장치(203)는, 랜드마크의 위치, 높이 및 형상 외에, 랜드마크의 역사, 이용 요금, 유명도 등의 부수 정보를 랜드마크 정보로서 기억하여도 된다.
위치 취득부(202)는, 예를 들면, 컴퓨터의 연산 처리 장치, 프로그램 및 입력 인터페이스에 의해 실현된다. 여기서, 영상 촬영 장치의 위치는, 위도, 경도 및 높이를 이용하여 기술된다. 위치 취득부(202)는, 영상 촬영 장치의 위도, 경도 및 높이의 정보를, 예를 들면, GPS(Global Positioning system) 장치로부터 입력한다.
방위 취득부(201)는, 예를 들면, 컴퓨터의 연산 처리 장치 및 입력 인터페이스에 의해 실현된다. 방위 취득부(201)는, 영상 촬영 장치의 촬영 방향(방위)을, 자기 나침반, 전자 나침반 또는 자이로 센서로부터 입력한다.
랜드마크 특징량 산출부(204)는, 예를 들면, 컴퓨터의 연산 처리 장치 및 프로그램에 의해 실현된다. 시야각은, 영상 촬영 장치의 카메라의 촛점 거리 및 CCD 소자의 사이즈로부터 계산되어, 미리 기지인 것으로 한다. 랜드마크 특징량 산출부(204)는, 랜드마크 정보 기억 장치(203)에 미리 등록되어 있는 랜드마크의 위치를 이용하여, 영상 촬영 장치의 위치로부터 본 경우의 랜드마크의 각 점의 방향과 거리를 산출한다. 랜드마크 특징량 산출부(204)는, 촬영 방향 및 시야각에 기초하여, 랜드마크의 상대 위치를 카메라의 화면 상의 위치로 변환하여 랜드마크 특징량으로서 산출한다. 또한, 랜드마크 특징량 산출부(204)는, 랜드마크의 화면 상의 사이즈를 랜드마크 특징량으로서 산출한다.
이동 특징량 취득부(3)는, 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 산출한다. 이동 특징량 취득부(3)는, 영상 촬영 장치의 위치, 이동 속도, 및 경로 정보 기억 장치(303)에 미리 등록되어 있는 경로 정보에 기초하여, 이동 특징량으로서, 주행 상태나 직진도(주행 직진도), 경유도, 주행 속도를 산출한다.
경로 정보 기억 장치(303)는, 예를 들면, 자기 디스크 장치에 의해 실현된다. 경로 정보 기억 장치(303)는, 경로 정보로서, 경로의 위치, 종류(국도나 사도등), 차선의 수, 교차점/분기점의 위치 및 신호의 유무 등을 미리 기억한다.
위치 취득부(302)는, 예를 들면, 컴퓨터의 연산 처리 장치, 프로그램 및 입력 인터페이스에 의해 실현된다. 위치 취득부(302)는, 영상 촬영 장치의 위도, 경도 및 높이의 정보를, 예를 들면, GPS로부터의 입력에 의해 취득한다. 또한, 위치 취득부(302)는, 랜드마크 특징량 취득부(2)에 포함되는 위치 취득부(202)와 같은 것이어도 된다.
속도 취득부(301)는, 예를 들면, 컴퓨터의 연산 처리 장치, 프로그램 및 입력 인터페이스에 의해 실현된다. 속도 취득부(301)는, 영상 촬영 장치의 이동 속도를, 예를 들면, 스피드 미터나 카 네비게이션 장치로부터 입력한다. 이에 의해, 속도 취득부(301)는, 영상 촬영 장치의 이동 속도를 취득한다.
이동 특징량 산출부(304)는, 예를 들면, 컴퓨터의 연산 처리 장치 및 프로그램에 의해 실현된다. 「주행 상태」를 구하는 경우, 이동 특징량 산출부(304)는, 영상 촬영 장치의 이동 속도와, 경로의 위치, 종류(국도나 사도 등), 차선의 수, 교차점/분기점의 위치 및 신호의 유무 등의 경로 정보를 이용하여, 신호 또는 정체로 정지하고 있는 상태인지, 저속 주행 상태인지, 통상 주행 상태인지를 판정한다. 또한, 경로 정보를 이용할 수 없는 경우에는, 이동 특징량 산출부(304)는, 영상 촬영 장치의 이동 속도만을 이용하여 상태 판정을 행한다.
「직진도」를 구하는 경우, 이동 특징량 산출부(304)는, 연속하는 위치에서의 속도 벡터가 이루는 각도의 크기에 기초하여 직선도를 산출한다. 이동 특징량 산출부(304)는, 직진도와, 경로 정보에 포함되는 교차점 위치 정보를 이용한 임계값 판정에 의해서, 교차점을 우회전하는 상태인지 좌회전하는 상태인지의 상태 판정을 행할 수도 있다. 또한, 이동 수단이 자동차 등인 경우에는, 이동 특징량 산출부(304)는, 연속하는 위치를 이용함과 함께, 핸들이나 차륜의 회전 각도를 이용하여 직진도를 구해도 된다.
또한, 이동 특징량 산출부(304)는, 네비게이션 시스템 등에 의해 목표 지점에의 루트가 설정되어 있는 경우에는, 영상 촬영 장치의 현재 위치와 루트(설정 이동 루트)와의 거리의 편차(이하, 루트 편차량이라고 기재함)를, 「경유도」로서 구한다.
영상 종류 판정부(4)는, 예를 들면, 컴퓨터의 연산 처리 장치 및 프로그램에 의해 실현된다. 영상 종류 판정부(4)는, 영상 콘텐츠의 종류(영상 씬의 종류)를, 각 영상 씬에서의「랜드마크 특징량」 및 「이동 특징량」에 기초하여 판정한다. 영상 종류 판정부(4)는, 랜드마크 특징량에서의 시야각 내의 랜드마크의 수, 화면 상의 위치 및 사이즈와, 이동 특징량에서의 주행 상태, 직진도 및 루트 편차량을 각각 임계값 판정함으로써, 영상 씬의 종류를 판정한다.
또한, 본 실시예에서, 랜드마크 특징량 취득부(2)는 반드시 필수적인 구성 요소는 아니다. 영상 가공 시스템이 랜드마크 특징량 취득부(2)를 포함하지 않는 경우에는, 영상 종류 판정부(4)는, 이동 특징량 취득부(3)가 구한 이동 특징량에만 기초하여, 영상 씬의 종류를 판정한다.
또한, 모든 영상 씬의 종류를 판정하는 것은 아니고, 영상 종류 판정부(4)는, 중요한 영상 씬에 대해서만 영상 씬의 종류를 판정하도록 하여도 된다. 이 경우, 영상 종류 판정부(4)는, 「이동 특징량」 및 「랜드마크 특징량」에 기초하여 영상 씬의 중요도를 구한다. 그리고, 영상 종류 판정부(4)는, 구한 중요도에 기초하여 중요하다고 판단된 영상 씬에 대해서만, 영상 씬의 종류를 판정한다.
영상 가공부(5)는, 예를 들면, 컴퓨터의 연산 처리 장치, 프로그램 및 기억 장치(도시하지 않음)에 의해 실현된다. 영상 가공부(5)는, 영상 종류 판정부(4)가 종류를 판정한 영상 씬에 대한 가공 방법을, 영상 콘텐츠의 이용 용도(관광 안내, 드라이브 루트 파악, 감시 등)에 따라 결정한다. 또한, 「감시」의 예로서, 이동형 로봇에 탑재된 카메라를 이용하여 병원이나 공장 내의 감시하는 것을 예로 들 수 있다. 또한, 영상 가공부(5)는, 영상 취득 장치(1)가 취득한 영상을, 영상 콘텐츠의 이용 용도에 따라 결정한 가공 방법에 따라 가공하여 출력한다.
또한, 이용 용도에 대해서는, 유저가 지시/선택해도 되며, 영상의 촬영 장소 및 추출한 랜드마크에 의해 자동적으로 선택되도록 하여도 된다.
영상 콘텐츠의 이용 용도에 대한 가공 방법은 미리 설정된다. 예를 들면, 영상 가공부(5)는, 가공 방법의 설정 정보를 미리 기억하고 있다. 영상 가공부(5)는, 가공 방법 설정으로서 미리 범용인 가공 방법의 패턴을 사용해도 되며, 유저가 기호에 따라 작성 및 변경한 것을 이용해도 된다.
특히, 랜드마크가 존재하는 것을 이유로 추출된 씬에서는, 그 랜드마크의 존재를 유저에게 알리기 위해서, 랜드마크명이 텔롭으로 표시되면 효과적이다. 그 때문에, 영상 가공부(5)는, 화면 상에 텔롭 표시시키는 가공을 행한다. 또한, 전환점인 것을 이유로 추출된 씬에서는, 화면에 비치는 풍경이 크게 좌우로 흐르기 때문에, 영상 가공부(5)는, 통상 또는 슬로우 재생을 시키는 가공을 행함과 함께, 굴곡하는 방향을 표시시키는 가공을 행한다.
표시부(6)는, 예를 들면, 컴퓨터의 표시 장치(도시하지 않음)에 의해 실현된다. 표시부(6)는, 영상 가공부(5)에 의해 가공된 영상 콘텐츠를 표시한다. 또한, 표시부(6)는, 영상과 함께 지도 상에서의 촬영 위치 및 촬영 방향을 동기시켜 표시하여도 된다.
본 실시예에서, 영상 입력부는, 영상 취득부(1)에 대응한다. 속도 입력부는, 속도 취득부(301)에 대응한다. 제1 위치 입력부는, 위치 취득부(302)에 대응한다. 경로 정보 기억부는, 경로 정보 기억 장치(303)에 대응한다. 방위 입력부는, 방위 취득부(201)에 대응한다. 제2 위치 입력부는, 위치 취득부(202)에 대응한다. 랜드마크 정보 기억부는, 랜드마크 정보 기억 장치(203)에 대응한다.
또한, 본 실시예에서, 영상 가공 시스템을 실현하기 위한 컴퓨터의 기억 장치는, 영상 종류 판정의 처리나 영상 가공의 처리를 실행시키기 위한 각종 프로그램을 기억하고 있다. 예를 들면, 영상 가공 시스템을 실현하는 컴퓨터의 기억 장치에는, 컴퓨터에, 영상 촬영 장치가 촬영한 영상을 입력하는 영상 입력 처리와, 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 이동 특징량 취득 처리와, 이동 특징량에 기초하여, 입력한 영상의 영상 씬의 종류를 판정하는 영상 종류 판정 처리를 실행시키기 위한 영상 종류 판정 프로그램이 저장되어 있다.
또한, 예를 들면, 영상 가공 시스템을 실현하는 컴퓨터의 기억 장치에는, 컴퓨터에, 영상 촬영 장치가 촬영한 영상을 입력하는 영상 입력 처리와, 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 이동 특징량 취득 처리와, 이동 특징량에 기초하여, 입력한 영상의 영상 씬의 종류를 판정하는 영상 종류 판정 처리와, 판정한 영상 씬의 종류에 기초하여 영상의 가공 방법을 결정하고, 결정한 가공 방법에 따라 영상을 가공하는 영상 가공 처리를 실행시키기 위한 영상 가공 프로그램이 저장되어 있다.
이상과 같이, 본 실시예에 따르면, 영상 가공 시스템은, 이동 특징량 및/혹은 랜드마크 특징량에 기초하여, 영상 씬의 종류를 판정할 수 있다. 또한, 영상 가공 시스템은, 영상 씬의 종류 및 이용 용도에 따른 가공 방법에 따라 영상을 가공할 수 있다.
또한, 본 실시예에 따르면, 영상 씬의 종류를 판정할 수 있기 때문에, 용장의 영상 씬인 것이나, 시야각이 크게 변동하는 영상 씬인 것을 판정하는 것이 가능하게 된다. 그 경우, 각 영상 씬에 대하여 고속 재생이나 슬로우 재생의 가공을 실시함에 따라, 용장성이 높고 변화가 많은 이동 영상을 보기 쉽도록 가공하는 것이 가능하게 된다. 또한, 본 실시예에 따르면, 이용 목적에 따라, 각 영상 씬에 대응하는 가공 방법을 절환함으로써, 이용 목적에 따른 가공 영상을 제공하는 것이 가능하게 된다.
(제2 실시예)
다음으로, 본 발명의 제2 실시예를 도면을 참조하여 설명한다. 도 5는, 본 실시예에 따른 영상 가공 시스템의 구성예를 도시하는 블록도이다. 도 5에 도시하는 바와 같이, 본 실시예에서, 영상 가공 시스템은, 단말기(40a)와 서버(50a)를 포함한다. 또한, 도 5에 도시하는 바와 같이, 단말기(40a)와 서버(50a)는, 통신 네트워크(100)를 통하여 접속되어 있다. 또한, 본 실시예에서는, 통신 네트워크(100)가 무선 통신 네트워크인 것으로 한다.
단말기(40a)는, 인물이 휴대하거나, 차량, 선박, 항공기 등의 이동 수단에 탑재되는 단말기이다. 도 5에 도시하는 바와 같이, 단말기(40a)는, 영상 취득부(1), 방위 취득부(201), 위치 취득부(402), 속도 취득부(301) 및 표시부(6)를 포함한다.
영상 취득부(1), 방위 취득부(201), 위치 취득부(402) 및 속도 취득부(301)는, 단말기(40a)의 연산 처리 장치(도시하지 않음), 연산 처리 장치에 의해 실행되는 프로그램, 입력 인터페이스(도시하지 않음) 및 네트워크 인터페이스(도시하지 않음)에 의해 실현된다. 또한, 표시부(6)는, 단말기(40a)의 연산 처리 장치, 표시 장치(도시하지 않음) 및 네트워크 인터페이스에 의해 실현된다.
또한, 영상 취득부(1)가 영상을 취득하는 수순, 방위 취득부(201)가 영상 촬영 장치의 방위를 취득하는 수순, 속도 취득부(301)가 영상 촬영 장치의 이동 속도 를 취득하는 수순, 및 표시부(6)가 영상 콘텐츠를 표시하는 수순은, 제1 실시예와 마찬가지이다. 또한, 위치 취득부(402)가 영상 촬영 장치의 위치를 취득하는 수순은, 제1 실시예에서 설명한 위치 취득부(202) 및 위치 취득부(302)가 영상 촬영 장치의 위치를 취득하는 수순과 마찬가지이다.
서버(50a)는, 도 5에 도시하는 바와 같이, 랜드마크 정보 기억 장치(203), 랜드마크 특징량 산출부(204), 경로 정보 기억 장치(303), 이동 특징량 산출부(304), 영상 종류 판정부(4) 및 영상 가공부(5)를 포함한다.
랜드마크 정보 기억 장치(203) 및 경로 정보 기억 장치(303)는, 예를 들면, 자기 디스크 장치에 의해 실현된다. 랜드마크 특징량 산출부(204), 이동 특징량 산출부(304) 및 영상 가공부(5)는, 서버(50a)의 연산 처리 장치(도시하지 않음), 프로그램 및 네트워크 인터페이스(도시 생략)에 의해 실현된다. 영상 종류 판정부(4)는, 서버(50a)의 연산 처리 장치 및 프로그램에 의해 실현된다.
랜드마크 정보 기억 장치(203)가 기억하는 랜드마크 정보, 및 경로 정보 기억 장치(303)가 기억하는 경로 정보의 내용에 대해서는, 제1 실시예와 마찬가지이다. 또한, 랜드마크 특징량 산출부(204)가 랜드마크 특징량을 산출하는 수순, 이동 특징량 산출부(304)가 이동 특징량을 산출하는 수순, 영상 종류 판정부(4)가 영상 종류를 판정하는 수순, 및 영상 가공부(5)가 영상을 가공하는 수순은, 제1 실시예와 마찬가지이다.
본 실시예에서는, 단말기(40a)는, 영상, 영상 촬영 장치의 방위, 위치 및 속도 정보를, 통신 네트워크(100)를 통하여 서버(50a)(영상 가공부(5), 랜드마크 특 징량 산출부(204), 이동 특징량 산출부(304))에 송신한다. 서버(50a)는, 수신한 영상 촬영 장치의 방위 및 위치에 기초하여 랜드마크 특징량을 산출한다. 또한, 서버(50a)는, 수신한 영상 촬영 장치의 위치 및 속도 정보에 기초하여 이동 특징량을 산출한다.
서버(50a)(영상 종류 판정부(4))는, 랜드마크 특징량 및 이동 특징량에 기초하여 영상의 종류를 판정한다. 또한, 서버(50a)(영상 가공부(5))는, 수신한 영상을, 영상의 종류에 따라 가공한다. 그리고, 서버(50a)는, 가공한 영상을, 통신 네트워크(100)를 통하여 단말기(40a)에 송신한다. 그러면, 단말기(40a)(표시부(6))는, 수신한 가공 후의 영상을 표시한다.
본 실시예에서, 랜드마크 정보 기억부는, 서버(50a)의 랜드마크 정보 기억 장치(203)에 대응한다. 경로 정보 기억부는, 서버(50a)의 경로 정보 기억 장치(303)에 대응한다. 서버측 송신부는, 서버(50a)의 제어부 및 네트워크 인터페이스부에 대응한다.
또한, 본 실시예에서, 영상 입력부는, 단말기(40a)의 영상 취득부(1)에 대응한다. 방위 입력부는, 단말기(40a) 방위 취득부(201)에 대응한다. 위치 입력부는, 단말기(40a)의 위치 취득부(402)에 대응한다. 속도 입력부는, 단말기(40a)의 속도 취득부(301)에 대응한다. 단말기측 송신부는, 단말기(40a)의 연산 처리 장치 및 네트워크 인터페이스에 대응한다. 영상 표시부는, 단말기(40a)의 표시부(6)에 대응한다.
본 실시예에 따르면, 인물이 휴대하거나, 차량, 선박, 항공기 등의 이동 수 단에 탑재되는 단말기는, 영상, 촬영 방위, 촬영 위치 및 이동 속도를 취득하여 서버에 송신한다. 이에 의해, 제1 실시예와 마찬가지로, 영상 씬 및 이용 용도에 따른 가공 방법에 따라 가공된 영상을 표시하는 것이 가능하게 된다.
(제3 실시예)
다음으로, 본 발명의 제3 실시예를 도면을 참조하여 설명한다. 도 6은, 본 실시예에 따른 영상 가공 시스템의 구성예를 도시하는 블록도이다. 도 6에 도시하는 바와 같이, 본 실시예에서, 영상 가공 시스템은, 단말기(40b)와 서버(50b)를 포함한다. 또한, 도 6에 도시하는 바와 같이, 단말기(40b)와 서버(50b)는, 통신 네트워크(100)를 통하여 접속된다. 또한, 본 실시예에서는, 제2 실시예와 마찬가지로, 통신 네트워크(100)가 무선 통신 네트워크인 것으로 한다.
단말기(40b)는, 인물이 휴대하거나, 차량, 선박, 항공기 등의 이동 수단에 탑재되는 단말기이다. 도 6에 도시하는 바와 같이, 단말기(40b)는, 영상 취득부(1), 방위 취득부(201), 위치 취득부(402), 속도 취득부(301), 영상 가공부(5) 및 표시부(6)를 포함한다.
영상 취득부(1)는, 단말기(40b)의 연산 처리 장치(도시하지 않음), 프로그램 및 입력 인터페이스(도시하지 않음)에 의해 실현된다. 또한, 방위 취득부(201), 위치 취득부(402) 및 속도 취득부(301)는, 단말기(40b)의 연산 처리 장치, 프로그램, 입력 인터페이스 및 네트워크 인터페이스(도시하지 않음)에 의해 실현된다. 또한, 영상 가공부(5)는, 단말기(40b)의 연산 처리 장치, 프로그램 및 네트워크 인터페이스에 의해 실현된다. 또한, 표시부(6)는, 단말기(40b)의 연산 처리 장치 및 표시 장치(도시하지 않음)에 의해 실현된다.
또한, 영상 취득부(1)가 영상을 취득하는 수순, 방위 취득부(201)가 영상 촬영 장치의 방위를 취득하는 수순, 속도 취득부(301)가 영상 촬영 장치의 이동 속도를 취득하는 수순, 영상 가공부(5)가 영상을 가공하는 수순, 및 표시부(6)가 영상 콘텐츠를 표시하는 수순은, 제1 실시예와 마찬가지이다. 또한, 위치 취득부(402)가 영상 촬영 장치의 위치를 취득하는 수순은, 제1 실시예에서 설명한 위치 취득부(202) 및 위치 취득부(302)가 영상 촬영 장치의 위치를 취득하는 수순과 마찬가지이다.
서버(50b)는, 도 6에 도시하는 바와 같이, 랜드마크 정보 기억 장치(203), 랜드마크 특징량 산출부(204), 경로 정보 기억 장치(303), 이동 특징량 산출부(304) 및 영상 종류 판정부(4)를 포함한다.
랜드마크 정보 기억 장치(203) 및 경로 정보 기억 장치(303)는, 예를 들면, 자기 디스크 장치에 의해 실현된다. 랜드마크 특징량 산출부(204), 이동 특징량 산출부(304) 및 영상 종류 판정부(4)는, 서버(50b)의 연산 처리 장치(도시하지 않음), 프로그램 및 네트워크 인터페이스(도시하지 않음)에 의해 실현된다.
또한, 랜드마크 정보 기억 장치(203)가 기억하는 랜드마크 정보, 및 경로 정보 기억 장치(303)가 기억하는 경로 정보의 내용에 대해서는, 제1 실시예와 마찬가지이다. 또한, 랜드마크 특징량 산출부(204)가 랜드마크 특징량을 산출하는 수순, 이동 특징량 산출부(304)가 이동 특징량을 산출하는 수순, 및 영상 종류 판정부(4)가 영상 종류를 판정하는 수순은, 제1 실시예와 마찬가지이다.
본 실시예에서는, 단말기(40b)는, 영상 촬영 장치의 방위, 위치 및 속도 정보만을, 통신 네트워크(100)를 통하여 서버(50b)(랜드마크 특징량 산출부(204), 이동 특징량 산출부(304))에 송신한다. 서버(50b)(랜드마크 특징량 산출부(204))는, 수신한 영상 촬영 장치의 방위 및 위치에 기초하여 랜드마크 특징량을 산출한다. 또한, 서버(50b)(이동 특징량 산출부(304))는, 수신한 영상 촬영 장치의 위치 및 속도 정보에 기초하여 이동 특징량을 산출한다.
서버(50b)(영상 종류 판정부(4))는, 랜드마크 특징량 및 이동 특징량에 기초하여 영상의 종류를 판정한다. 그리고, 서버(50b)는, 영상 종류의 판정 결과를, 통신 네트워크(100)를 통하여 단말기(40b)에 송신한다.
단말기(40b)(영상 가공부(5))는, 수신한 영상 종류의 판정 결과에 기초하여, 영상 취득부(1)에 의해 취득된 영상을 가공한다. 그리고, 단말기(40b)(표시부(6))는, 가공된 영상을 표시한다.
본 실시예에서, 랜드마크 정보 기억부는, 서버(50b)의 랜드마크 정보 기억 장치(203)에 대응한다. 경로 정보 기억부는, 서버(50b)의 경로 정보 기억 장치(303)에 대응한다. 서버측 송신부는, 서버(50b)의 연산 처리 장치 및 네트워크 인터페이스에 대응한다.
또한, 본 실시예에서, 영상 입력부는, 단말기(40b)의 영상 취득부(1)에 대응한다. 방위 입력부는, 단말기(40b)의 방위 취득부(201)에 대응한다. 위치 입력부는, 단말기(40b)의 위치 취득부(402)에 대응한다. 속도 입력부는, 단말기(40b)의 속도 취득부(301)에 대응한다. 단말기측 송신부는, 단말기(40b)의 연산 처리 장치 및 네트워크 인터페이스에 대응한다. 영상 표시부는, 단말기(40b)의 표시부(6)에 대응한다.
본 실시예에 따르면, 인물이 휴대하거나, 차량, 선박, 항공기 등의 이동 수단에 탑재되는 단말기는, 촬영 방위, 촬영 위치 및 이동 속도를 취득하여 서버에 송신한다. 이에 의해, 영상 씬의 판정 결과를 얻는 것이 가능하게 된다. 또한, 촬영 방위, 촬영 위치 및 이동 속도 외에 영상을 서버에 송신하는 경우(제2 실시예)와 비교하여, 통신 네트워크 상의 통신량이 대폭 저감된다.
제1 동작예:
다음으로, 제1 실시예에서 설명한 영상 가공 시스템의 동작예를 도면을 참조하여 설명한다. 도 7은, 영상 가공 시스템의 동작예를 나타내는 플로우 차트이다. 이하, 이 플로우 차트를 이용하여, 영상 가공 시스템의 동작예를 설명한다.
영상 취득부(1)는, CCD 카메라 등의 영상 촬영 장치로부터 화상을 취득하고 기록한다(스텝 S1). 방위 취득부(201)는 영상 촬영 장치의 촬영 방향을 취득하고, 위치 취득부(202)는 영상 촬영 장치의 촬영 위치를 취득한다(스텝 S2). 이하, 방위 취득부(201)에 의해 취득되는 촬영 방향 및 위치 취득부(202)에 의해 취득되는 촬영 위치는, 「촬영 정보」로서 참조된다.
또한, 이 동작예에서는, 위치 취득부(202)와 위치 취득부(302)가 동일한 것인 경우가 나타내어진다. 따라서, 스텝 S2에서 취득된 촬영 위치는, 랜드마크 특징량을 구하기 위해서 이용될 뿐만 아니라, 이동 특징량 취득부(3)가 이동 특징량을 구하는 경우에도 이용된다.
랜드마크 특징량 취득부(2)는, 영상 취득부(1)가 취득한 영상에 관련지어 촬영 정보를 기록한다. 예를 들면, 영상의 1 코마의 기록 방법으로서 JPEG가 이용되는 경우이면, 헤더에 촬영 정보가 기록되어도 된다. 또한, 취득 시간이 타임 스탬프로서, 영상이나 촬영 정보에 기록되어도 된다. 이에 의해, 영상과 촬영 정보가 일 대 일로 대응한다.
일반적으로, 비디오 카메라 등의 영상 촬영 장치는, 일초 동안에 30코마 정도의 영상의 기록을 행한다. 그러나, GPS 등이, 위치 정보(위도, 경도)를, 매초 일회 이상 취득하는 것은 곤란하다. 그 때문에, 이동 방향 및 속도를 이용하여, 직근의 위치 정보를 보정함으로써, 현재의 위치 정보가 추정되면 된다. 또한, 영상의 취득 및 위치 정보의 취득을 리얼 타임으로 동시에 행할 수 있는 경우에는, 시간 정보의 동기를 행할 필요는 없다.
랜드마크 특징량 산출부(204)는, 랜드마크 정보 기억 장치(203)에 저장된 랜드마크 정보를 추출하고 취득한다(스텝 S3). 여기서, 각 랜드마크를 Oi(i=1-N)로 한다. 랜드마크가 K 개의 정점을 갖는 다각형 기둥으로서 정의되며, 각 정점의 위치가 경도, 위도 및 높이를 이용하여 (x, y, z)로 나타낸다. 이 경우, 랜드마크 Oi의 k 개째의 상부의 정점은, (OiLonk, OiLatk, hi)로 나타낸다.
랜드마크 특징량 산출부(204)는, 촬영 위치, 촬영 방위, 랜드마크의 위치 및 미리 구한 시야각에 기초하여, 랜드마크 특징량을 산출한다(스텝 S4). 랜드마크 특징량으로서, 본 동작예에서는, 화면 상의 랜드마크의 위치(LF1), 화면 상의 랜드 마크의 사이즈(LF2), 화면 상에 랜드마크가 비치는 비율(LF3) 및 시야각 내에 존재하는 랜드마크의 수(LF0)가 이용된다. 이하, 랜드마크 특징량 산출부(204)가 랜드마크 특징량을 산출하는 수순을 설명한다.
랜드마크 특징량 산출부(204)는, 촬영 위치로부터의 각 랜드마크 Oi(i=1∼N)의 상대 위치를 카메라 시야각으로 변환한다. 이에 의해, 랜드마크가 시야각 내에 존재하는지의 여부의 판정이 행해지고, 또한, 랜드마크의 화면 상의 위치 및 사이즈가 산출된다. 또한, 카메라 시야각으로 변환한다는 것은, 랜드마크가 화면 상의 어떤 위치에 비치는가를 계산하는 것을 말한다.
랜드마크 특징량 산출부(204)는, 앞처리로서, 랜드마크 정보 기억 장치(203)에 저장된 모든 랜드마크 정보에 대응하는 랜드마크 중, 시야각 내에 존재할 가능성이 있는 랜드마크를 선택한다. 그리고, 랜드마크 특징량 산출부(204)는, 선택된 랜드마크에 대하여, 카메라 시야각으로의 변환 처리를 행한다.
현 프레임에서의 촬영 위치의 위도 및 경도를(CarLon, CarLat), 촬영 방위를 dir, 랜드마크 Oi의 다각형의 정점의 수를 K=4라 가정한다. 이하, 랜드마크가 시야각 내에 존재하는지의 여부의 판정 수순을 도면을 이용하여 설명한다. 또한, 본 예에서, 촬영 방위는, 북을 0도로 한 경우의 시계 방향 주위의 각도로 나타낸다.
도 8은, 랜드마크가 수평 시야각 내에 존재하는지의 여부를 판정하는 처리를 설명하기 위한 도면이다. 랜드마크 특징량 산출부(204)는, 촬영 위치로부터 랜드마크 Oi(본 예에서는, 랜드마크 A)의 각 정점에의 방각 ObjDirk와 이동 방향(촬영 방향)과의 각도차 diffk를 이하의 수학식 1을 이용하여 구한다.
Figure 112006053254559-PCT00001
랜드마크 특징량 산출부(204)는, 수학식 1을 이용하여 구한 각도차 diffk가 시야각 내인지의 여부를, 하기 수학식 2를 이용하여 판정한다. 예를 들면, 도 8에 도시하는 바와 같이, 카메라의 수평 시야각 Camera Angle H가 50도라고 하면, 각도차 diffk가 시야각 내이기 위해서는, 각도차 diffk가 ± 25도 이내 이면 된다.
Figure 112006053254559-PCT00002
도 9는, 랜드마크가 수직 시야각 내에 존재하는지의 여부를 판정하는 처리를 설명하기 위한 도면이다. 랜드마크 특징량 산출부(204)는, 촬영 위치로부터 랜드마크까지의 거리 disti와 랜드마크의 높이 hi에 기초하여, 촬영 위치로부터 랜드마크의 정점을 올려다 본 각도 lookupi 을 수학식 3을 이용하여 산출한다.
Figure 112006053254559-PCT00003
랜드마크 특징량 산출부(204)는, 수학식 3을 이용하여 구한 각도 lookupi 이 시야각 내에 있는지의 여부를 수학식 4를 이용하여 판정한다. 예를 들면, 도 9에 도시하는 바와 같이, 카메라의 수직 시야각 Camera Angle V가 38도인 것으로 한다. 각도 lookupi 이 수학식 4를 만족시킬 경우에, 랜드마크 특징량 산출부(204)는, 랜드마크 전체가 보일 가능성이 있다고 판정한다.
Figure 112006053254559-PCT00004
또한, 전술한 수학식 1∼수학식 4에서, 촬영 위치로부터 랜드마크 Oi의 각 정점에의 방각 ObjDirk나 촬영 위치로부터 랜드마크까지의 거리 disti가 이용되었지만, 2 지점 사이의 거리 및 방위는, 이하의 방법에 의해 구할 수 있다.
측점1의 좌표를 (x1, y1), 측점 2의 좌표를 (x2, y2)로 한다. 또한, 평균 곡율 반경을 R0, 좌표계의 원점에서의 축척 계수를 m0으로 한다. 이 경우, 2지점 사이의 측지선 길이(S)는, 이하의 수학식 5에 의해 구해진다.
Figure 112006053254559-PCT00005
또한, 측점 1에서의 측점 2의 방향각을 T1, 및 측점 2에서의 측점 1의 방향 각을 T2는, 이하의 수학식 6에 의해 구해진다.
Figure 112006053254559-PCT00006
또한, 수학식 5 및 수학식 6로 표현된 계산식은, 일본의 국토지리원의 홈 페이지(http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/xy2st/xy2st.htm)에 기재되어 있다.
이상의 수순에 따라, 랜드마크 특징량 산출부(204)는, 랜드마크 Oi가 시야각 내에 존재하는지의 여부를, 수학식 2를 만족시키는 정점(k)이 존재하는지의 여부에 의해 판정할 수 있다. 또한, 랜드마크 특징량 산출부(204)는, 정점(k)에 관한 각도차 diffk의 부호(+ 또는 -)에 의해, 그 랜드마크 0i가 영상의 우측에 존재하는지 좌측에 존재하는 것인지를 판정할 수 있다. 또한, 랜드마크 특징량 산출부(204)는, 모든 정점(k)가 수학식 2 및 수학식 4를 만족시키는지의 여부에 의해, 랜드마크 전체가 시야각에 존재하는 것인지, 일부가 시야각으로부터 벗어나 있는 것인지를 판정할 수 있다.
랜드마크 특징량 산출부(204)는, 수학식 2 및 수학식 4를 만족시키는 랜드마크 Oi에 대해서만, 화면 상에서의 랜드마크의 위치나 사이즈의 산출을 행한다. 랜드마크 특징량 산출부(204)는, 시야각 내에 존재하는 랜드마크 Oi의 각 정점 k(=1∼4)에 대하여, 각각 화면 상의 위치(xk, yk)를 산출한다. 그리고, 랜드마크 특징량 산출부(204)는, 이들 정점을 포함하는 외접 사각형(xmin, ymin)-(xmax, ymax)를, 수학식 7을 이용하여 추출한다. 또한, 수학식 7에서, "Min"은 최소값을 추출하는 함수이며, "Max"는 최대값을 추출하는 함수이다.
Figure 112006053254559-PCT00007
또한, 랜드마크 특징량 산출부(204)는, 각도차 diff 및 각도 lookup에 대응하는 점 P의 화면 상에서의 위치(x, y)를 구한다. 도 10은, 점 P의 화면 상에서의 위치(x, y)를 구하는 처리를 설명하기 위한 도면이다. 화면은, 예를 들면 640 x 480 화소를 가지는 것으로 한다. 랜드마크 특징량 산출부(204)는, 점 P의 화면 상에서의 위치(x, y)를 수학식 8을 이용하여 구한다.
Figure 112006053254559-PCT00008
다음으로, 랜드마크 특징량 산출부(204)는, 랜드마크가 시야각 내에 비치는 비율 및 사이즈를 산출한다. 랜드마크 특징량 산출부(204)는, 화상 밖의 영역을 포함한 랜드마크 전체의 크기 Size를 하기의 수학식 9를 이용하여 구한다. 또한, 랜드마크 특징량 산출부(204)는, 랜드마크 중 화상 내에 비치고 있는 부분의 크기 Size'를 수학식 10을 이용하여 구한다.
Figure 112006053254559-PCT00009
Figure 112006053254559-PCT00010
또한, 랜드마크 특징량 산출부(204)는, 랜드마크가 시야각 내에 비치는 비율(Pt)을 수학식 11을 이용하여 산출한다.
Figure 112006053254559-PCT00011
랜드마크 특징량 산출부(204)는, 각 랜드마크에 대하여 랜드마크 특징량(LF1, LF2, LF3)을 산출한다. 이 경우, 랜드마크 특징량 산출부(204)는, 랜드마크 Oi의 위치의 특징량 LF1i로서, (xmin, ymin, xmax, ymax)를 이용해도 된다. 또한, 간략화를 위해, 랜드마크 특징량 산출부(204)는, 랜드마크 Oi의 중심점을 이용하여, LF1i=(xmin+ xmax)/2, (ymin+ ymax)/2)로 해도 된다.
또한, 랜드마크 특징량 산출부(204)는, 랜드마크 Oi의 랜드마크 특징량 LF2 및 LF3의 각각을, LF2i=Size 및 LF3i=Pt로서 결정한다.
또한, 랜드마크 특징량 산출부(204)는, 시야각 내에 존재한다고 판정된 랜드마크의 수를 구한다. 랜드마크 특징량 산출부(204)는, 랜드마크 특징량 LF0으로서, 수학식 2 및 수학식 4를 만족시키는 랜드마크의 수를 구한다.
또한, 랜드마크 특징량 산출부(204)는, 그 밖의 랜드마크 특징량으로서, 랜드마크의 장르(LF4), 랜드마크의 유명도(LF5), 동일한 랜드마크가 비치고 있는 적산 시간을 구해도 된다.
이동 특징량 산출부(304)는, 속도 취득부(301)로부터의 입력에 의해서 이동 속도를 취득한다(스텝 S5). 속도 취득부(301)는, 영상 촬영 장치의 이동 속도를, 예를 들면, 자동차이면 스피드 메타나 카 네비게이션 장치로부터 취득한다. 또한, 이동 특징량 산출부(304)는, 이동 속도를, 위치 취득부(302)가 연속하여 취득한 영상 촬영 장치의 위치를 시간 미분함으로써 구해도 된다.
이동 특징량 산출부(304)는, 경로 정보 기억 장치(303)에 저장된 경로 정보를 취득한다(스텝 S6). 이동 특징량 산출부(304)는, 경로 정보로서 경도/위도의 점 열, 도로의 종류(국도나 사도 등), 길 폭, 차선의 수, 교차점의 유무, 신호의 유무 및 제한 속도 등을 추출한다. 이 경우, 이동 특징량 산출부(304)는, 상기 스텝 S2에서 취득된 촬영 위치에 기초하여, 경로 정보 기억 장치(303)에 저장된 경로 정보 중, 영상 촬영 장치의 이동 루트의 부근에 대응하는 경로 정보를 추출한다.
이동 특징량 산출부(304)는, 영상 촬영 장치의 위치, 이동 속도 및 경로 정보에 기초하여 이동 특징량을 산출한다(스텝 S7). 또한, 이 경우, 이동 특징량 산출부(304)는, 스텝 S2에서 취득된 영상 촬영 장치의 촬영 위치(이동 위치)를 이용한다. 또한, 본 동작예에서는, 이동 특징량으로서, 주행 상태(DF1), 직진도(DF2) 및 경유도 특징량(DF3)이 이용된다.
이동 특징량 산출부(304)는, 주행 상태의 특징량 DF1을, 경로 정보, 이동 속도 Sp[km/hour] 및 제한 속도 LS[km/hour]를 이용하여 이하의 수순에 의해서 구한다. 이동 특징량 산출부(304)는, 이동 속도 Sp가 0이면 주행 상태를 "정지"로 하고, Sp가 (LS-10)보다 작으면 주행 상태를 "저속"으로 하고, Sp가 (LS-10) 이상이면 주행 상태를 "통상"으로 한다. 여기서, 정지 상태는 WDF1=0, 저속 주행 상태는 WDF1=1, 통상 주행 상태는 WDF=2로 표현하기로 한다.
예를 들면, 「교차점=무 또는 유」, 「신호=유」 및 「WDF=0」의 조건이 만족되는 경우, 이동 특징량 산출부(304)는, 특징량 DF1을 「DF1=0」이라고 결정한다. 또한, 「교차점=무 또는 유」, 「신호=무」 및 「WDF1=0」의 조건이 만족되는 경우, 이동 특징량 산출부(304)는, 특징량 DF1을「DF1=1」이라고 결정한다. 또한, 그 이외의 경우, 이동 특징량 산출부(304)는, 특징량 DF1을 「DF1=2」라고 결정한다.
또한, 이동 특징량 산출부(304)는, 직진도 DF2를 산출한다. 이동 특징량 산출부(304)는, 직진도를, 현 프레임의 촬영 위치와, 소정의 일정 간격 전의 프레임에서의 촬영 위치를 이용하여 산출한다. 도 11은, 직진도의 산출 방법을 설명하기 위한 도면이다. 도 11에서는, 주목 프레임(현 프레임) 시를 포함하는 5초 전까지의 촬영 위치(P1-P5)의 궤적이 나타나 있다.
이동 특징량 산출부(304)는, 1초마다 얻어진 5점의 자차 위치(촬영 위치) P1∼P5로부터 속도 벡터 V1∼V4를 산출한다. 구해진 속도 벡터가 이루는 각도의 크기가 직진 계수 direct라고 정의된다. 이 때, 이동 특징량 산출부(304)는, 직진 계수 direct를 하기 수학식 12를 이용하여 산출한다.
Figure 112006053254559-PCT00012
교차점이 떨어져 있으며 또한 직진 계수가 작은 경우, 이동 특징량 산출부(304)는, 차는 커브 주행 시라고 판단하고, 특징량 DF2를 중간 정도의 값으로 설정한다. 또한, 직진 계수가 작고 또한 교차점이 가까운 경우, 이동 특징량 산출부(304)는, 차는 우회전 또는 좌회전을 행하고 있다고 판단하여, 특징량 DF2를 큰 값으로 설정한다. 그 이외의 경우, 이동 특징량 산출부(304)는, 특징량 DF2를 작은 값으로 설정한다.
예를 들면, 미리 소정의 임계값 thresdir가 설정되어 있다고 한다. 이동 특징량 산출부(304)는, 「direct<thresdir」 또한「교차점=무」의 조건이 만족되는 경우에는, 특징량 DF2를 DF2=2로서 설정한다. 또한, 이동 특징량 산출부(304)는, 「direct<thresdir」 또한 「교차점=유」의 조건이 만족되는 경우에는, 특징량 DF2를 DF2=3으로서 설정한다. 그 이외의 경우, 이동 특징량 산출부(304)는, 특징량 DF2를 DF2=1로서 설정한다.
또한, 이동 특징량 산출부(304)는, 경유도 특징량 DF3을, 영상 촬영 장치의 현재 위치와 네비게이션 시스템의 안내 루트와의 루트 편차량(Rd), 및 교차점의 유무에 기초하여 산출한다. 또한, 이동 특징량 산출부(304)는, 루트 편차량(Rd) 그자체를 이동 특징량으로서 구해도 된다.
예를 들면, 미리 소정의 임계값 thresRd가 설정되어 있다고 한다. 이동 특징량 산출부(304)는, 「Rd<thresRd」 또한 「교차점=무 또는 유」의 조건이 만족되는 경우에, 특징량 DF3을 DF3=1로서 결정한다. 또한, 이동 특징량 산출부(304)는, 「Rd>thresRd」 또한 「교차점=유」의 조건이 만족되는 경우에, 특징량 DF3을 DF3=2로서 결정한다. 또한, 이동 특징량 산출부(304)는, 「Rd>thresRd」 또한 「교차점=무」의 조건이 만족되는 경우에는 특징량 DF3을 DF3=3으로서 결정한다. 단, 이동 특징량 산출부(304)는, 루트 편차량(Rd)을 수학식 13을 이용하여 산출한다.
Figure 112006053254559-PCT00013
수학식 13에서, x, y는 촬영 위치를 나타내는 경도 및 위도이며, Rdx, Rdy는 네비게이션 시스템의 안내 루트를 구성하는 1점의 경도 및 위도이다. 또한, 수학식 13에서, Min은 최소값을 추출하는 함수이다.
이동 특징량 산출부(304)는, 이상의 수순에 따라 구한 이동 특징량=(DF1, DF2, DF3)을 출력한다.
또한, 이동 특징량 산출부(304)는, 상기 DF1, DF2 및 DF3 이외에, 도로 사이즈의 변화를 나타내는 양을, 이동 특징량 DF4로서 이용해도 된다. 예를 들면, 국도에 대하여 "값 2"가 할당되고, 사도에 대하여 "값 1"이 할당되어 있는 경우를 생각한다. 차가 국도로부터 사도로 들어갔을 때, 이동 특징량 산출부(304)는, DF4=-1을 이동 특징량 DF4로서 산출한다. 또한, 차가 사도로부터 사도에 들어갔을 때, 이동 특징량 산출부(304)는, DF4=0을 이동 특징량 DF4로서 산출한다. 또한, 차가 사도로부터 국도에 들어갔을 때, 이동 특징량 산출부(304)는, DF4=1을 이동 특징량 DF4로서 산출한다.
다음으로, 영상 종류 판정부(4)는, 랜드마크 특징량 및 이동 특징량에 기초하여, 영상 콘텐츠의 종류를 판정한다(스텝 S8). 본 동작예에서는, 영상 종류 판정부(4)는, 영상 씬을 카테고리로 분류함으로써, 영상 콘텐츠의 종류를 판정한다. 영상 씬을 카테고리로 분류하기 위해, 영상 종류 판정부(4)는, 각 영상 씬에 대하 여 이하에 설명되는 처리를 행한다. 또한, 본 예에서는, 이동 특징량으로서 주행 상태(DF1) 및 직진도(DF2)가, 랜드마크 특징량으로서 시야각 내에 존재하는 랜드마크의 수(LF0)가 이용되는 경우를 나타낸다.
본 동작예에서는, 영상 종류 판정부(4)는, DF2=3이면 「전환점/분기점 카테고리」, DF1=1이면 「정체 카테고리」, DF1=0이면「신호 대기 카테고리」를, 영상의 카테고리로서 결정한다. 또한, 영상 종류 판정부(4)는, LF0=0이 아니면, 「랜드마크 카테고리」를 영상의 카테고리로서 결정한다. 또한, 어떠한 조건에도 합치하지 않은 경우, 영상 종류 판정부(4)는, 「기타 카테고리」를 영상의 카테고리로서 결정한다. 영상 종류 판정부(4)는, 결정된 카테고리를 출력한다. 또한, 영상 종류 판정부(4)는, 1개의 영상 씬을 1개의 카테고리로 분류해도 되며, 1개의 영상 씬을 복수의 카테고리로 분류하여도 된다.
또한, 본 동작예에서는, 이동 특징량 DF1 및 DF2와, 랜드마크 특징량 LF0을 이용함으로써, 영상 씬의 종류를 판정하는 경우가 설명되었다. 그러나, 영상 씬의 종류의 판정 방법은, 이것에 한정되지 않는다. 예를 들면, 영상 종류 판정부(4)는, 랜드마크 특징량으로서, LFO∼LF3을 이용하여 영상 씬의 종류를 판정하여도 된다. 이 경우, 영상 종류 판정부(4)는, 각 영상 씬을, 화면 내에 랜드마크 전체가 비치고 있는 경우의 「전체 랜드마크 씬」, 랜드마크가 화면 중앙에 비치고 있는 경우의 「전방 랜드마크 씬」, 및 화면 내에 랜드마크가 크게 비치고 있는 경우의「크게 비침 랜드마크 씬」 등으로 분류한다.
예를 들면, 영상 종류 판정부(4)는, 「LF0≠0 또한 LF3>0.9」이면「전체 랜 드마크 씬」을 선택하여도 된다. 「LF0≠0 또한 |LF1의 좌표(x, y)-화면의 중심 좌표|<소정의 임계값」이면, 영상 종류 판정부(4)는, 「전방 랜드마크 씬」을 선택하여도 된다. 「LFO≠0 또한 LF2>소정의 임계값」이면 「크게 비침 랜드마크 씬」을 선택하여도 된다. 또한, 영상 종류 판정부(4)는, 더욱 랜드마크 특징량 LF4 및 LF5를 이용하여, 예를 들면, 각 영상 씬을, 「산 씬」, 「건물 씬」 또는 「유명 랜드마크 씬」으로 분류하여도 된다.
또한, 각 이동 특징량 및 각 랜드마크 특징량에 대한 임계값이, 이용 용도에 의해 변경되어도 된다. 영상 종류 판정부(4)는, 임계값을 이용 용도에 의해 변경시켜 영상 씬의 종류를 판정하여도 된다.
영상 가공부(5)는, 스텝 S8에서 결정된 영상 씬의 종류(카테고리)와 유저에 의해서 지정된 이용 용도에 기초하여, 영상 씬에 적용하는 영상의 가공 방법을, 소정의 룰에 따라 추출한다. 도 12는, 영상의 가공 방법에 관한 설정 정보(룰)의 예를 도시하고 있다. 본 동작예에서는, 영상 가공부(5)는, 기억 장치를 가지며, 도 12에 도시되는 설정 정보는 미리 기억 장치에 기억되어 있다. 영상 가공부(5)는, 도 12에 도시되는 설정 정보에 따라 영상의 가공 방법을 추출한다. 또한, 도 12에 도시되는 설정 정보는, 유저의 입력에 의해 갱신할 수 있다.
도 12에 도시하는 룰에 따라, 영상 가공부(5)는, 영상의 가공의 방법을 이하와 같이 설정한다. 예를 들면, 영상 종류가 랜드마크 씬(랜드마크 카테고리)이며, 이용 용도가 루트 파악인 경우에는, 영상 가공부(5)는, 가공 방법으로서 「텔롭 부가」를 선택한다. 또한, 영상 종류가 코너링 씬(전환점/분기점 카테고리)이며, 이 용 용도가 루트 파악인 경우에는, 영상 가공부(5)는, 가공 방법으로서 「슬로우 재생」 및 「안내 지시 표시」를 선택한다. 또한, 영상 종류가 정지 씬(정체 카테고리 또는 신호 대기 카테고리)이며, 이용 용도가 루트 파악인 경우에는, 영상 가공부(5)는, 가공 방법으로서 「스킵 (신 컷트)」을 선택한다.
또한, 영상 종류가 그 밖의 비중요 씬 (기타 카테고리)이며, 이용 용도가 루트 파악인 경우에는, 영상 가공부(5)는, 가공 방법으로서 「빨리감기 재생(고속 재생))」을 선택한다. 또한, 영상 종류가 그 밖의 비중요 씬이며, 이용 용도가 관광인 경우에는, 영상 가공부(5)는, 가공 방법으로서 「신 컷트」를 선택한다.
영상 가공부(5)는, 선택된 가공 방법에 따라 영상을 가공한다(스텝 S9). 슬로우 재생 가공을 행하는 경우에는, 영상 가공부(5)는, 슬로우 재생 배율에 따라 영상 프레임 사이에 보간 프레임을 삽입한다. 예를 들면, 슬로우 재생 배율이 2배인 경우, 영상 가공부(5)는, 연속하는 제1 프레임 및 제2 프레임 사이에, 보간 프레임을 삽입한다. 여기서, 영상 가공부(5)는, 예를 들면, 양 프레임의 화소값의 평균을 구함으로써 보간 프레임을 작성할 수 있다.
텔롭 부가 가공을 행하는 경우에는, 영상 가공부(5)는, 시야각 내에 존재할 가능성이 있는 랜드마크명을 화상 상에 중첩시킨다. 영상 가공부(5)는, 랜드마크 존재 영역의 상변 중앙에 표시하는 랜드마크에 피복되지 않도록 텔롭을 표시할 수 있도록 가공한다. 또한, 텔롭 부가 루트의 지시 정보의 표시인 경우에는, 영상 가공부(5)는, 화면 중앙에 표시하도록 가공한다. 단, 표시 스페이스에 랜드마크 존재 영역이 중첩되어 있는 경우에는, 영상 가공부(5)는, 랜드마크 존재 영역의 하변 과 화면 하단과의 중앙 위치에 표시하도록 가공한다. 그와 같이 하면, 랜드마크에 피복되지 않도록, 도로 영역 상에 중첩하여 표시할 수 있다.
신 컷트 가공을 행하는 경우에는, 영상 가공부(5)는, 프레임을 스킵함으로써 가공을 행한다. 고속 재생 가공을 행하는 경우에는, 영상 가공부(5)는, 고속 배율에 따라 전후 프레임 사이에서 프레임의 씨닝을 행한다. 예를 들면, 2 배속의 경우, 영상 가공부(5)는, 연속하는 2 프레임에서, 제2 프레임째를 스킵함으로써 2 배속 재생을 행한다.
랜드마크명의 텔롭이나 랜드마크의 부수 정보 및 루트의 지시 정보 등이 영상에 중첩되는 경우, 화면 상의 정보량이 증가한다. 그 때문에, 고속 재생이나 통상 속도 재생이 행하여지면, 유저가 정보를 전부 파악할 수 없는 경우가 있다. 따라서, 영상에 중첩되는 정보량에 따라 재생 속도가 느리게 설정되어도 된다. 예를 들면, 영상 가공부(5)는, 이하의 수학식 14에 기초하여, 재생 속도를 설정하여도 된다.
Figure 112006053254559-PCT00014
영상 가공부(5)는, 모든 영상 프레임에 대하여 판정 처리가 종료하였는지의 여부를 판단한다(스텝 S10). 판정 처리가 종료하지 않은 프레임이 존재하는 경우에는, 영상 가공 시스템은, 미처리 프레임에 대하여, 스텝 S1 이후의 처리를 반복하여 행한다. 모든 프레임에 대하여 판정 처리가 행하여진 경우, 영상 가공부(5)는, 가공 처리에 의해 생성된 프레임군을 출력한다. 또한, 영상 가공부(5)는, 결 정한 가공 방법에 따라, 특정한 종류의 영상 씬만을 가공하여 출력하도록 하여도 된다.
표시부(6)는, 출력된 프레임군을 재생하고, 영상을 표시한다(스텝 S11). 도 13은, 표시부(6)가 영상을 표시하는 표시 화면의 일례를 도시하고 있다. 도 13에 도시하는 바와 같이, 표시부(6)는, 재생하는 영상을 촬영 위치 주변의 지도와 동기하여 표시한다. 또한, 표시 화면에는, 유저의 이용 용도(예를 들면, 드라이브 루트 시뮬레이션이나 관광 드라이브 안내)를 지정 입력할 수 있는 유저 인터페이스로서, 용도 선택 버튼(1200) 등이 포함된다.
제2 동작예:
다음으로, 제1 실시예에서 설명한 영상 가공 시스템의 제2 동작예를 도면을 참조하여 설명한다. 도 14는, 영상 가공 시스템의 동작예를 도시하는 플로우 차트이다. 이하, 이 플로우 차트를 이용하여, 영상 가공 시스템의 동작예를 설명한다.
도 14에 도시하는 바와 같이, 본 동작예에서는, 제1 동작예에서 설명한 각 처리 외에 중요도 판정의 처리를 행한다. 이하, 새롭게 추가된 중요도 판정의 처리(스텝 S7b)에 대하여 설명한다. 또한, 중요도 판정 이외의 처리에 대해서는, 제1 동작예에 나타낸 경우와 마찬가지이다.
영상 종류 판정부(4)는, 랜드마크 특징량(LF1, LF2, LF3)을 이용하여, 랜드마크 씬 중요도(f1)를 산출한다. 랜드마크 씬 중요도(f1)는, 처리 대상의 영상 씬에서의 랜드마크에 관한 중요도를 나타낸다. 또한, 영상 종류 판정부(4)는, 이동 특징량(DF1, DF2, DF3)을 이용하여, 드라이브 정보 씬 중요도(fd)를 산출한다. 드라이브 정보 씬 중요도(fd)는, 처리 대상의 영상 씬에서의 드라이빙에 관한 중요도를 나타낸다.
영상 종류 판정부(4)는, 랜드마크 씬 중요도(fd)를, 수학식 15로 표현한 바와 같이, 랜드마크마다 특징량과 가중 부여 파라미터와의 곱의 합에 의해 구한다. 또한, 영상 종류 판정부(4)는, 드라이브 정보 씬 중요도(fd)를, 수학식 16으로 표현한 바와 같이, 각 요소(특징량 및 가중 부여 파라미터)의 곱에 의해 구한다. 또한, 본 동작예에서는, 랜드마크 특징량으로서 LF1, LF2, LF3이 이용되고, 이동 특징량으로서 DF1, DF2가 이용되는 경우가 나타내어진다.
Figure 112006053254559-PCT00015
Figure 112006053254559-PCT00016
단, 수학식 15에서, dist(LF1, DispCenter)는, 수학식 17로 표현된 바와 같이, LF1(=(LF1x, LF1y))과 화면 중앙(DispCenterX, DispCenterY)과의 거리(픽셀)를 구하는 함수이다.
Figure 112006053254559-PCT00017
각 특징량의 가중 부여 파라미터 WLFi(i=1 ∼3) 및 WDFi(i=1, 2)는, 이하의 룰에 따라 결정된다. 즉, 교차점에서의 직진도가 작을수록 중요도가 높아지도록 가중 부여가 정해진다. 또한, 교차점에서의 이동 속도가 작을수록 중요도가 낮아지도록 가중 부여가 정해진다. 또한, 경유도가 높을수록 중요도가 높아지도록 가중 부여가 정해진다. 또한, 우측 좌회전 시의 도로 사이즈 차가 클수록 중요도가 높아지도록 가중 부여가 정해진다.
또한, 랜드마크 전체가 화면 중앙에 크게 비치고 있는 경우에 중요도가 높아지도록 가중 부여가 정해진다. 또한, 유명도가 높은 랜드마크일수록 중요도가 높아지도록 가중 부여가 정해진다. 또한, 안정도가 높은 (화면 상에서 흔들림이 적음) 랜드마크일수록 중요도가 높아지도록 가중 부여가 정해진다. 또한, 이미 출현이 완료된 랜드마크는 중요도가 낮아지도록 가중 부여가 정해진다. 또한, 랜드마크의 수가 많을 수 록 중요도가 높아지도록 가중 부여가 정해진다. 또한, 길게 비치고 있는 랜드마크일수록 중요도가 높아지도록 가중 부여가 정해진다.
영상 종류 판정부(4)는, 랜드마크 씬의 중요도(fl)와 드라이브 정보 씬 중요도(fd)를 이용하여, 종합적인 영상 씬의 중요도를 결정한다. 이하, 이 종합적인 영상 씬의 중요도는, 종합 중요도(ft)로 참조된다. 영상 종류 판정부(4)는, 미리 정 해진 랜드마크 씬과 드라이브 정보 씬과의 배분 비율에 따라, 종합 중요도(ft)를 구해도 된다. 또한, 영상 종류 판정부(4)는, 유저에 의해 설정되는 커스터 마이즈축(후술됨)에 따른 배분 비율에 따라, 종합 중요도(ft)를 구해도 된다. 영상 종류 판정부(4)는, 영상 씬에서의 종합 중요도(ft)를, 수학식 18 및 수학식 19를 이용하여 결정한다.
Figure 112006053254559-PCT00018
Figure 112006053254559-PCT00019
본 동작예에 의하면, 미리 정해진 소정의 임계값보다 큰 종합 중요도(ft)를 갖는 영상 씬이, 중요 씬으로서 선택되어, 영상 가공의 대상으로서 이용된다. 즉, 영상 종류 판정부(4)는, 종합 중요도(ft)가 소정의 임계값보다 큰지의 여부를 판정한다(스텝 S7b). 그리고, 종합 중요도(ft)가 소정의 임계값보다 크다고 판정된 경우, 영상 종류 판정부(4)는, 그 영상 씬에 대하여 영상 종류 판정 처리를 행한다(스텝 S8). 종합 중요도(ft)가 소정의 임계값보다 작다고 판단된 경우, 영상 가공 시스템은, 스텝 S1 이후의 처리를 반복하여 실행한다.
도 15는, 유저에 의해 설정되는 커스터 마이즈 축에 의해 계산의 가중 배분 을 결정하는 방법을 설명하기 위한 도면이다. 도 15에 도시하는 바와 같이, 유저는, 커스터 마이즈 축을 조정함으로써, 루트 시뮬레이션 용도와 관광 드라이브 용도와의 정도(통합 가중 부여 비율)를 자유롭게 설정한다. 즉, 유저의 이용 용도에 따라, 루트 시뮬레이션계와 관광 드라이브계와의 가중 부여가 변경될 수 있다. 따라서, 각 이용 용도에 적합한 중요도의 판정을 행하는 것이 가능하게 된다.
또한, 유저의 이용 용도(예를 들면, 드라이브 루트 시뮬레이션이나, 관광 드라이브 안내)를 결정할 수 있는 유저 인터페이스로서, 슬라이드 바 등이 이용되어도 된다. 도 16은, 표시 화면의 다른 예를 도시하고 있다. 도 16에 도시하는 바와 같이, 표시 화면에는, 이용 용도를 설정하기 위한 절환 슬라이드 바(1500)가 포함되어 있어도 된다.
본 발명에 따른 영상 가공 시스템은, 예를 들면, 카 네비게이션 등의 드라이브 루트 시뮬레이션 시스템이나, 드라이브 루트 시뮬레이션을 실현하기 위한 프로그램이라고 하는 용도에 적용 가능하다. 또한, 본 발명에 따른 영상 가공 시스템은, 영상 콘텐츠를 효과적으로 열람하기 위한 자동 요약 시스템이나, 자동 요약을 실현하기 위한 프로그램이라고 하는 용도에도 적용 가능하다.

Claims (31)

  1. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 영상 입력부;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 이동 특징량 취득부; 및
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 영상 종류 판정부
    를 포함하는 영상 종류 판정 시스템.
  2. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 영상 입력부;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 이동 특징량 취득부;
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 영상 종류 판정부; 및
    상기 영상 종류 판정부에 의해서 판정된 상기 영상 씬의 종류에 기초하여 상기 영상의 가공 방법을 결정하고, 상기 결정된 가공 방법에 의해 상기 영상을 가공하는 영상 가공부
    를 포함하는 영상 가공 시스템.
  3. 제2항에 있어서,
    상기 영상 가공부에 의해 가공된 영상을 표시하는 표시부를 더 포함하는 영상 가공 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 이동 특징량 취득부는,
    상기 영상 촬영 장치의 이동 속도를 취득하는 속도 입력부와,
    상기 영상 촬영 장치의 촬영 위치를 취득하는 제1 위치 입력부와,
    상기 촬영 위치 및 상기 이동 속도에 기초하여, 상기 영상 씬에 대응하는 상기 이동 특징량을 산출하는 이동 특징량 산출부
    를 포함하는 영상 가공 시스템.
  5. 제4항에 있어서,
    경로 정보가 저장된 경로 정보 기억부를 더 포함하고,
    상기 이동 특징량 산출부는, 상기 경로 정보와 상기 영상 촬영 장치의 상기 촬영 위치 및 상기 이동 속도에 기초하여, 상기 영상 씬에 대응하는 상기 이동 특징량을 산출하는 영상 가공 시스템.
  6. 제5항에 있어서,
    상기 경로 정보는, 경로의 위치, 종류, 차선의 수, 교차점의 위치, 분기점의 위치, 및 신호의 유무 중 적어도 하나를 포함하는 영상 가공 시스템.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서,
    상기 이동 특징량은, 상기 영상 촬영 장치의 현재 위치와 설정 루트와의 편차량, 주행 속도, 및 주행 직진도 중 적어도 하나를 포함하는 영상 가공 시스템.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 랜드마크 특징량 취득부를 더 포함하고,
    상기 영상 종류 판정부는, 상기 랜드마크 특징량과 상기 이동 특징량에 기초하여, 상기 영상 씬의 종류를 판정하는 영상 가공 시스템.
  9. 제8항에 있어서,
    상기 랜드마크 특징량 취득부는,
    상기 영상 촬영 장치의 촬영 방위를 취득하는 방위 입력부와,
    상기 영상 촬영 장치의 촬영 위치를 취득하는 제2 위치 입력부와,
    상기 랜드마크의 속성 정보인 랜드마크 정보가 저장된 랜드마크 정보 기억부와,
    상기 랜드마크 정보, 상기 촬영 위치, 및 상기 촬영 방위에 기초하여, 상기 영상 씬에 대응하는 상기 랜드마크 특징량을 산출하는 랜드마크 특징량 산출부를 포함하는 영상 가공 시스템.
  10. 제9항에 있어서,
    상기 랜드마크 정보는, 상기 랜드마크의 위치 및 형상을 포함하는 영상 가공 시스템.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 랜드마크 특징량은, 상기 랜드마크의 화면 상에서의 사이즈 및 화면 중심으로부터의 편차량 중 적어도 하나를 포함하는 영상 가공 시스템.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 영상 종류 판정부는, 상기 이동 특징량 및 상기 랜드마크 특징량이 임계값보다 큰지의 여부를 판단함으로써, 상기 영상 씬의 종류를 판정하는 영상 가공 시스템.
  13. 제12항에 있어서,
    상기 이동 특징량 및 상기 랜드마크 특징량에 대한 상기 임계값은, 이용 용도에 의해 변경되는 영상 가공 시스템.
  14. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 영상 종류 판정부는,
    상기 이동 특징량 및 상기 랜드마크 특징량 중 적어도 하나의 값에 기초하여, 상기 영상 씬의 중요도를 산출하고, 상기 산출된 중요도가 임계값보다 큰 경우에, 상기 영상 씬의 종류를 판정하는 영상 가공 시스템.
  15. 제2항 내지 제14항 중 어느 한 항에 있어서,
    상기 영상 가공부는, 특정한 영상 씬의 상기 영상만을 가공하는 영상 가공 시스템.
  16. 제3항에 있어서,
    상기 표시부는, 상기 영상을 표시함과 함께, 상기 영상이 촬영된 위치를 포함하는 지도를 표시하는 영상 가공 시스템.
  17. 제3항에 있어서,
    상기 표시부는, 상기 영상의 이용 용도를 유저가 설정 입력하기 위한 유저 인터페이스를 포함하는 영상 가공 시스템.
  18. 제2항 내지 제17항 중 어느 한 항에 있어서,
    상기 영상 씬의 종류는, 전환점(turning corner) 씬, 랜드마크 씬, 정체 씬, 신호 대기 씬, 및 그 밖의 씬 중 적어도 하나를 포함하는 영상 가공 시스템.
  19. 제18항에 있어서,
    상기 영상 가공부는,
    상기 전환점 씬으로 판정된 상기 영상 씬이 슬로우 재생되도록, 상기 영상을 가공하고,
    상기 랜드마크 씬으로 판정된 상기 영상 씬에, 랜드마크 정보의 텔롭이 표시되도록, 상기 영상을 가공하고,
    상기 정체 씬으로 판정된 상기 영상 씬이 삭제되도록, 상기 영상을 가공하고,
    상기 신호 대기 씬으로 판정된 상기 영상 씬이 삭제되도록, 상기 영상을 가공하고,
    상기 그 밖의 씬으로 판정된 상기 영상 씬이 고속 재생되도록, 상기 영상을 가공하는 영상 가공 시스템.
  20. 영상 촬영 장치에 의해 촬영된 영상을 가공하는 영상 가공 시스템의 서버로서,
    랜드마크의 속성 정보인 랜드마크 정보를 기억하는 랜드마크 정보 기억부;
    상기 랜드마크 정보와, 단말기로부터 수신한 상기 영상 촬영 장치의 촬영 위치 및 촬영 방위에 기초하여, 영상 씬에 대응하는 랜드마크 특징량을 산출하는 랜드마크 특징량 산출부;
    경로 정보를 기억하는 경로 정보 기억부;
    상기 경로 정보와, 상기 단말기로부터 수신한 상기 영상 촬영 장치의 촬영 위치 및 이동 속도에 기초하여, 상기 영상 씬에 대응하는 이동 특징량을 산출하는 이동 특징량 산출부;
    상기 랜드마크 특징량과 상기 이동 특징량에 기초하여, 상기 영상 씬의 종류를 판정하는 영상 종류 판정부;
    상기 영상 씬의 종류에 기초하여 상기 영상의 가공 방법을 결정하고, 상기 결정된 가공 방법에 따라 상기 영상을 가공하는 영상 가공부; 및
    상기 영상 가공부에 의해 가공된 영상을, 통신 네트워크를 통하여 상기 단말기에 송신하는 서버측 송신부
    를 포함하는 서버.
  21. 영상 촬영 장치에 의해 촬영된 영상을 가공하는 영상 가공 시스템의 서버로서,
    랜드마크의 속성 정보인 랜드마크 정보를 기억하는 랜드마크 정보 기억부;
    상기 랜드마크 정보와, 단말기로부터 수신한 상기 영상 촬영 장치의 촬영 위치 및 촬영 방위에 기초하여, 영상 씬에 대응하는 랜드마크 특징량을 산출하는 랜드마크 특징량 산출부;
    경로 정보를 기억하는 경로 정보 기억부;
    상기 경로 정보와, 상기 단말기로부터 수신한 상기 영상 촬영 장치의 촬영 위치 및 이동 속도에 기초하여, 상기 영상 씬에 대응하는 이동 특징량을 산출하는 이동 특징량 산출부;
    상기 랜드마크 특징량과 상기 이동 특징량에 기초하여, 상기 영상 씬의 종류를 판정하는 영상 종류 판정부; 및
    상기 영상 씬의 종류를, 통신 네트워크를 통하여 상기 단말기에 송신하는 서버측 송신부
    를 포함하는 서버.
  22. 영상 촬영 장치에 의해서 촬영된 영상을 가공하는 영상 가공 시스템의 단말기로서,
    상기 영상을 입력하는 영상 입력부;
    상기 영상 촬영 장치의 촬영 방위를 입력하는 방위 입력부;
    상기 영상 촬영 장치의 촬영 위치를 입력하는 위치 입력부;
    상기 영상 촬영 장치의 이동 속도를 입력하는 속도 입력부;
    상기 영상을 가공하는 서버에, 상기 영상, 상기 촬영 방위, 상기 촬영 위치 및 상기 이동 속도를, 통신 네트워크를 통하여 송신하는 단말기측 송신부; 및
    상기 서버로부터 수신하는 가공 후의 영상을 표시하는 영상 표시부
    를 포함하는 단말기.
  23. 영상 촬영 장치에 의해서 촬영된 영상을 가공하는 영상 가공 시스템의 단말기로서,
    상기 영상을 입력하는 영상 입력부;
    상기 영상 촬영 장치의 촬영 방위를 입력하는 방위 입력부;
    상기 영상 촬영 장치의 촬영 위치를 입력하는 위치 입력부;
    상기 영상 촬영 장치의 이동 속도를 입력하는 속도 입력부;
    영상 씬의 종류를 판정하는 서버에, 상기 촬영 방위, 상기 촬영 위치 및 상기 이동 속도를, 통신 네트워크를 통하여 송신하는 단말기측 송신부;
    상기 서버로부터 수신하는 상기 영상 씬의 종류에 기초하여, 상기 영상의 가공 방법을 결정하고, 상기 결정된 가공 방법에 따라, 상기 영상을 가공하는 영상 가공부; 및
    상기 영상 가공부에 의해 가공된 영상을 표시하는 영상 표시부
    를 포함하는 단말기.
  24. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 단계;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 단계; 및
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 단계
    를 포함하는 영상 종류 판정 방법.
  25. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 단계;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 단계;
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 단계; 및
    상기 영상 씬의 종류에 기초하여 상기 영상의 가공 방법을 결정하고, 상기 결정된 가공 방법에 따라 상기 영상을 가공하는 단계
    를 포함하는 영상 가공 방법.
  26. 제25항에 있어서,
    가공된 영상을 표시하는 단계를 더 포함하는 영상 가공 방법.
  27. 제25항 또는 제26항에 있어서,
    상기 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 단계를 더 포함하고,
    상기 판정하는 단계에서, 상기 랜드마크 특징량과 상기 이동 특징량에 기초하여, 상기 영상 씬의 종류가 판정되는 영상 가공 방법.
  28. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 단계;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 단계; 및
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 단계
    를 컴퓨터에 실행시키기 위한 영상 종류 판정 프로그램.
  29. 이동하는 영상 촬영 장치에 의해 촬영된 영상을 입력하는 단계;
    상기 영상 촬영 장치의 이동 상태의 특징을 나타내는 이동 특징량을 취득하는 단계;
    상기 이동 특징량에 기초하여, 상기 영상에 포함되는 영상 씬의 종류를 판정하는 단계; 및
    상기 영상 씬의 종류에 기초하여 상기 영상의 가공 방법을 결정하고, 상기 결정된 가공 방법에 따라 상기 영상을 가공하는 단계
    를 컴퓨터에 실행시키기 위한 영상 가공 프로그램.
  30. 제29항에 있어서,
    가공된 영상을 표시하는 단계를 컴퓨터에 더 실행시키는 영상 가공 프로그램.
  31. 제29항 또는 제30항에 있어서,
    상기 영상의 시야각 내에 존재하는 랜드마크의 특징을 나타내는 랜드마크 특징량을 취득하는 단계를 컴퓨터에 더 실행시키고,
    상기 판정하는 단계에서, 상기 랜드마크 특징량과 상기 이동 특징량에 기초하여, 상기 영상 씬의 종류가 판정되는 영상 가공 프로그램.
KR1020067015012A 2004-01-26 2005-01-07 영상 종류 판정 시스템, 영상 가공 시스템과 그 서버 및 단말기, 영상 가공 방법 및 영상 가공 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR100801827B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004016946 2004-01-26
JPJP-P-2004-00016946 2004-01-26

Publications (2)

Publication Number Publication Date
KR20070005573A true KR20070005573A (ko) 2007-01-10
KR100801827B1 KR100801827B1 (ko) 2008-02-11

Family

ID=34857588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067015012A KR100801827B1 (ko) 2004-01-26 2005-01-07 영상 종류 판정 시스템, 영상 가공 시스템과 그 서버 및 단말기, 영상 가공 방법 및 영상 가공 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US7730814B2 (ko)
EP (1) EP1711006B1 (ko)
JP (1) JP4645905B2 (ko)
KR (1) KR100801827B1 (ko)
CN (1) CN100448270C (ko)
WO (1) WO2005076751A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166084A (ja) * 2005-12-12 2007-06-28 Olympus Imaging Corp カメラ及びカメラの表示方法
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP2008269178A (ja) * 2007-04-18 2008-11-06 Traffic Plus:Kk 交通情報表示装置
US7912637B2 (en) * 2007-06-25 2011-03-22 Microsoft Corporation Landmark-based routing
EP2214122B1 (en) 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
KR20110131247A (ko) 2009-02-27 2011-12-06 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
CN102419506A (zh) * 2010-09-27 2012-04-18 李中和 照相机除湿盖
US20150029214A1 (en) * 2012-01-19 2015-01-29 Pioneer Corporation Display device, control method, program and storage medium
JP5393927B1 (ja) * 2012-02-16 2014-01-22 パナソニック株式会社 映像生成装置
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
WO2014162419A1 (ja) * 2013-04-01 2014-10-09 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP2014220604A (ja) * 2013-05-07 2014-11-20 三菱電機株式会社 撮影位置情報表示装置
DE102014212781A1 (de) * 2014-07-02 2016-01-07 Continental Automotive Gmbh Verfahren zum Ermitteln und Bereitstellen einer Landmarke zur Positionsbestimmung für ein Fahrzeug
DE102016205866A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
JP6959024B2 (ja) * 2017-03-24 2021-11-02 パイオニア株式会社 情報処理装置
CN110068328B (zh) * 2018-01-22 2022-08-26 腾讯科技（深圳）有限公司 导航路线生成方法、装置、计算机可读存储介质和计算机设备
JP7192704B2 (ja) * 2018-08-31 2022-12-20 株式会社デンソー 地図生成装置及び地図生成プログラム
CN111284325B (zh) * 2018-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法
US11409279B1 (en) * 2019-09-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with remote control
KR102316720B1 (ko) * 2019-12-30 2021-10-25 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치
US20220388507A1 (en) * 2021-06-04 2022-12-08 Telenav, Inc. Vehicle system with mechanism for determining clear path and method of operation thereof

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
JP3505199B2 (ja) 1992-06-30 2004-03-08 株式会社リコー ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JPH07288725A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd ビデオ装置
JPH0895596A (ja) 1994-09-22 1996-04-12 Nippon Telegr & Teleph Corp <Ntt> 速見速聴き装置及び方法
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP2000092386A (ja) 1998-09-09 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> 映像調整方法および装置およびこの方法を記録した記録媒体
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
AU2001259640A1 (en) * 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP2002142189A (ja) 2000-11-06 2002-05-17 Canon Inc 画像処理装置、画像処理方法及び記憶媒体
JP4452418B2 (ja) 2001-03-08 2010-04-21 株式会社リコー サッカー映像ダイジェスト作成方法
JP4511761B2 (ja) 2001-05-02 2010-07-28 株式会社リコー 映像ダイジェスト生成方法
JP4275326B2 (ja) * 2001-05-16 2009-06-10 富士フイルム株式会社 撮像装置および位置情報検出システム
JP2003087712A (ja) 2001-09-14 2003-03-20 Jisedai Joho Hoso System Kenkyusho:Kk スポーツ映像のダイジェスト作成方法およびダイジェスト作成装置
JP3937832B2 (ja) 2001-12-20 2007-06-27 ソニー株式会社 データ記録装置及びデータ記録方法
JP2003199085A (ja) 2001-12-28 2003-07-11 Sony Corp コンテンツ配信システム，事業者サーバ装置，端末装置，プログラム，記録媒体，コンテンツ配信方法
JP2003323430A (ja) 2002-04-26 2003-11-14 Navitime Japan Co Ltd 地図情報配信システム、情報端末
JP2003333586A (ja) * 2002-05-17 2003-11-21 Pioneer Electronic Corp 撮像装置、撮像装置の制御方法

Also Published As

Publication number Publication date
EP1711006A2 (en) 2006-10-11
EP1711006B1 (en) 2018-12-12
KR100801827B1 (ko) 2008-02-11
CN1910909A (zh) 2007-02-07
EP1711006A4 (en) 2010-01-20
US20070160291A1 (en) 2007-07-12
JPWO2005076751A1 (ja) 2008-09-18
WO2005076751A3 (ja) 2005-10-27
WO2005076751A2 (ja) 2005-08-25
JP4645905B2 (ja) 2011-03-09
CN100448270C (zh) 2008-12-31
US7730814B2 (en) 2010-06-08

Similar Documents

Publication Publication Date Title
KR100801827B1 (ko) 영상 종류 판정 시스템, 영상 가공 시스템과 그 서버 및 단말기, 영상 가공 방법 및 영상 가공 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5435306B2 (ja) 画像処理システム及び位置測位システム
US9858717B2 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
JP5057184B2 (ja) 画像処理システム及び車両制御システム
US7626596B2 (en) Image reproducing method and apparatus for displaying annotations on a real image in virtual space
JP4320032B2 (ja) 経路案内システム及び方法
US8532924B2 (en) Method and apparatus for displaying three-dimensional terrain and route guidance
JP2011238242A (ja) ナビゲーション及びインスペクションシステム
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
CN112907678B (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
US10110817B2 (en) Image processing device and method, and program for correcting an imaging direction
US20100250116A1 (en) Navigation device
WO2006098311A1 (ja) 道路景観地図作成装置、方法及びプログラム
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
JP2011215974A (ja) 画像処理システム
JP2019087969A (ja) 走行現調支援装置
JP5232380B2 (ja) 地図表示装置
JP5177579B2 (ja) 画像処理システム及び位置測位システム
JP5333861B2 (ja) 風景画像認識を用いた自車位置検出システム
KR980010935A (ko) 위성항법장치를 이용한 컴퓨터 수치지도상에의 동영상의 지원방법과 디스플레이방법 및 그 동영상의 지원 시스템
JP3909752B2 (ja) 描画装置および描画方法
JP2004325240A (ja) ナビゲーション装置
CN116643651A (zh) 基于ar的叠加模式导航方法、装置、设备和ar眼镜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
LAPS Lapse due to unpaid annual fee