KR102593633B1 - 영상 송신 장치 및 영상 수신 장치 - Google Patents

영상 송신 장치 및 영상 수신 장치 Download PDF

Info

Publication number
KR102593633B1
KR102593633B1 KR1020197021733A KR20197021733A KR102593633B1 KR 102593633 B1 KR102593633 B1 KR 102593633B1 KR 1020197021733 A KR1020197021733 A KR 1020197021733A KR 20197021733 A KR20197021733 A KR 20197021733A KR 102593633 B1 KR102593633 B1 KR 102593633B1
Authority
KR
South Korea
Prior art keywords
image
images
interest
area
transmission
Prior art date
Application number
KR1020197021733A
Other languages
English (en)
Other versions
KR20190117498A (ko
Inventor
타츠야 스기오카
토모히로 타카하시
히로키 우이
요시아키 이나다
마사츠구 코바야시
마사루 타카모토
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190117498A publication Critical patent/KR20190117498A/ko
Application granted granted Critical
Publication of KR102593633B1 publication Critical patent/KR102593633B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Telephone Function (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

본 발명은 영상 송신 장치, 영상 수신 장치 화상 송신 장치, 화상 수신 장치 및 시스템에 관한 것이다. 본 발명의 화상 송신 장치는, 촬상 화상에서 2 이상의 주목 영역을 정의하는 복수의 위치 정보에 기초하여 상기 2 이상의 주목 영역에 의해 공유되는 상기 촬상 화상 내의 겹침 영역을 검출하도록 구성된 검출 회로와; 상기 복수의 위치 정보로부터 제1 위치 정보에 기초하여, 상기 겹침 영역을 포함하며 상기 2 이상의 주목 영역 중 제1의 주목 영역에 대응하는 제1 화상을 생성하고, 상기 겹침 영역 및 상기 복수의 위치 정보에 기초하여, 상기 겹침 영역 이외이며 상기 2 이상의 주목 영역 중의 상기 제1 주목 영역을 제외한 주목 영역에 대응하는 1 이상의 제2 화상을 생성하고, 상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보를 포함하는 송신 데이터를 생성하는 생성회로와; 상기 송신 데이터를 출력하도록 구성된 송신 회로를 포함한다.

Description

영상 송신 장치 및 영상 수신 장치
본 개시는, 영상 송신 장치 및 영상 수신 장치에 관한 것이다.
근래, 데이터량이 큰 데이터를 대량으로 송신하는 용도가 증가하여 오고 있다. 전송 시스템에 큰 부하가 걸리기 쉽고, 최악의 경우에는, 전송 시스템이 다운하고, 데이터 전송을 행할 수 없게 될 우려가 있다.
종래에서는, 전송 시스템의 다운을 피하기 위해, 예를 들면, 촬영한 화상을 전부 송신하는 것은 아니고, 촬영 대상의 물체를 특정하고, 특정한 물체를 절출한 일부의 화상만을 송신하는 것이 행하여지고 있다. 또한, 촬영한 화상으로부터 일부의 화상을 절출하는 것에 대해는, 예를 들면, 하기한 특허 문헌에 기재되어 있다.
특허 문헌 1 : 특개2016-201756호 공보 특허 문헌 2 : 특개2014-39219호 공보 특허 문헌 3 : 특개2013-164834호 공보 특허 문헌 4 : 특개2012-209831호 공보
요즘, 영상 데이터의 고정밀화에 의한 전송 데이터량의 증대, 또한 그것을 받아서 처리하는 신호 처리 장치의 부하 저감이나 시스템 전체의 소비 전력 저감이 요망되고 있다. 따라서, 전송 데이터량을 삭감하는 것이 가능한 영상 송신 장치 및 영상 수신 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시 형태에 관한 영상 송신 장치는, 검출부, 생성부 및 송신부를 구비하고 있다. 검출부는, 촬상 화상에서의 복수의 주목 영역의 위치 정보에 의거하여, 2 이상의 주목 영역끼리가 맞겹치는 겹침 영역을 검출한다. 생성부는, 복수의 주목 영역의 제1 화상에서 겹침 영역의 제2 화상이 중복되어 포함되지 않도록, 복수의 제1 화상으로부터 제2 화상을 할애한 것인 복수의 제3 화상과, 복수의 위치 정보를 포함하는 전송 데이터를 생성한다. 송신부는, 전송 데이터를 출력한다.
본 개시의 한 실시 형태에 관한 영상 송신 장치에서는, 복수의 제1 화상에서 겹침 영역의 제2 화상이 중복되어 포함되지 않도록, 복수의 제1 화상으로부터 제2 화상을 할애한 것인 복수의 제3 화상과, 복수의 위치 정보를 포함하는 전송 데이터가 생성된다. 이에 의해, 촬상 화상을 전부 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있고, 또한, 촬상 화상으로부터 절출한 각 화상을 그대로 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있다.
본 개시의 한 실시 형태에 관한 영상 수신 장치는, 수신부 및 화상 처리부를 구비하고 있다. 수신부는, 복수의 제3 화상과, 복수의 위치 정보를 포함하는 전송 데이터를 수신한다. 화상 처리부는, 수신한 복수의 제3 화상에서의 1 또는 복수의 제3 화상과, 수신한 복수의 위치 정보에서의 복수의 위치 정보로부터 얻어지는 1 또는 복수의 겹침 영역의 위치 정보에 의거하여, 1 또는 복수의 겹침 영역의 제2 화상을 생성한다. 화상 처리부는, 또한, 수신한 복수의 제3 화상과, 1 또는 복수의 제2 화상에 의거하여, 촬상 화상에서의 복수의 주목 영역의 제1 화상을 생성한다.
본 개시의 한 실시 형태에 관한 영상 수신 장치에서는, 수신한 전송 데이터에 포함되는 복수의 제3 화상과, 수신한 전송 데이터에 의거하여 생성한 1 또는 복수의 겹침 영역의 제2 화상에 의거하여, 촬상 화상에서의 복수의 주목 영역의 제1 화상이 생성된다. 이에 의해, 촬상 화상을 전부 수신하지 않아도, 촬상 대상인 각 주목 영역의 제1 화상을 얻을 수 있다. 또한, 촬상 화상으로부터 절출한 각 화상을 그대로 수신하지 않아도, 촬상 대상인 각 주목 영역의 제1 화상을 얻을 수 있다. 따라서, 촬상 화상을 전부 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있고, 또한, 촬상 화상으로부터 절출한 각 화상을 그대로 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있다.
본 개시의 한 실시 형태에 관한 영상 송신 장치에 의하면, 복수의 제1 화상에서 겹침 영역의 제2 화상이 중복되어 포함되지 않도록, 복수의 제1 화상으로부터 제2 화상을 할애한 것인 복수의 제3 화상과, 복수의 위치 정보를 포함하는 전송 데이터를 생성하도록 하였기 때문에, 전송 데이터량을 삭감할 수 있다.
본 개시의 한 실시 형태에 관한 영상 수신 장치에 의하면, 수신한 전송 데이터에 포함되는 복수의 제3 화상과, 수신한 전송 데이터에 의거하여 생성한 1 또는 복수의 겹침 영역의 제2 화상에 의거하여, 촬상 화상에서의 복수의 주목 영역의 제1 화상을 생성하도록 하였기 때문에, 전송 데이터량을 삭감할 수 있다.
또한, 본 개시의 효과는, 여기에 기재된 효과로 반드시 한정되지 않고, 본 명세서중에 기재된 어느 하나의 효과라도 좋다.
도 1은 영상 전송 시스템의 개략 구성례를 도시하는 도면.
도 2는 도 1의 영상 송신 장치에서, 촬상 화상에 2개의 ROI(Region Of Interest)가 포함되어 있을 때의, 전송 데이터의 생성 순서의 한 예를 도시하는 도면.
도 3은 도 2의 프레임의 구성례를 도시하는 도면.
도 4는 도 1의 영상 수신 장치에서, 전송 데이터에 2개의 화상이 포함되어 있을 때의, 촬상 화상에 포함되는 2개의 ROI 화상의 생성 순서의 한 예를 도시하는 도면.
도 5는 도 1의 영상 송신 장치에서, 촬상 화상에 3개의 ROI가 포함되어 있을 때의, 전송 데이터의 생성 순서의 한 예를 도시하는 도면.
도 6은 도 5에 계속된 전송 데이터의 생성 순서의 한 예를 도시하는 도면.
도 7A는 도 6의 프레임의 구성례를 도시하는 도면.
도 7B는 도 6의 프레임의 구성례를 도시하는 도면.
도 8은 도 1의 영상 수신 장치에서, 전송 데이터에 3개의 화상이 포함되어 있을 때의, 촬상 화상에 포함되는 3개의 ROI 화상의 생성 순서의 한 예를 도시하는 도면.
도 9는 2개의 ROI가 포함되어 있는 촬상 화상의 한 예를 도시하는 도면.
도 10은 도 1의 영상 송신 장치에서, 도 9의 촬상 화상으로부터 전송 데이터를 생성할 때에 얻어지는 프레임의 구성례를 도시하는 도면.
도 11은 도 1의 영상 전송 시스템의 한 변형례를 도시하는 도면.
도 12는 도 11의 영상 송신 장치에서, 도 5의 촬상 화상으로부터 전송 데이터를 생성할 때에 얻어지는 프레임의 구성례를 도시하는 도면.
도 13은 도 11의 영상 송신 장치에서, 도 5의 촬상 화상으로부터 전송 데이터를 생성할 때에 얻어지는 프레임의 구성례를 도시하는 도면.
도 14는 도 1의 영상 전송 시스템의 한 변형례를 도시하는 도면.
도 15는 도 1의 영상 전송 시스템의 한 변형례를 도시하는 도면.
도 16은 MIPI(Mobile Industry Processor Interface)(등록상표) 규격으로 규정된 로우 레벨 프로토콜로의 패킷의 개요의 한 예를 도시하는 도면.
도 17은 MIPI 규격으로 규정된 프레임 포맷의 한 예를 도시하는 도면.
이하, 본 개시를 실시하기 위한 형태에 관해, 도면을 참조하여 상세히 설명한다. 이하의 설명은 본 개시의 한 구체례이고, 본 개시는 이하의 상태로 한정되는 것이 아니다.
<실시의 형태>
[구성]
본 개시의 한 실시의 형태에 관한 영상 송신 장치 및 영상 수신 장치를 구비한 영상 전송 시스템(1)에 관해 설명한다. 도 1는, 영상 전송 시스템(1)의 개략 구성례를 도시한 것이다. 영상 전송 시스템(1)은, 전송로(300)를 통하여 상호 접속된 영상 송신 장치(100) 및 영상 수신 장치(200)를 구비하고 있다. 영상 전송 시스템(1)은, 촬상 화상(111)에 대해 소정의 처리가 이루어짐에 의해 생성된 전송 데이터(120A)를, 전송로(300)를 통하여 영상 송신 장치(100)로부터 영상 수신 장치(200)에 송신한다. 도 2는, 전송 데이터(120A)의 생성 순서의 한 예를 도시한 것이다.
전송로(300)는, 예를 들면, 인터넷에서 표준적으로 이용되고 있는 통신 프로토콜(TCP/IP)을 이용하여 통신을 행하는 네트워크이다. 전송로(300)는, 예를 들면, 그 네트워크 독자의 통신 프로토콜을 이용하여 통신을 행하는 시큐어한 네트워크라도 좋다. 전송로(300)는, 예를 들면, 인터넷, 인트라넷, 또는, 로컬에어리어 네트워크이다. 전송로(300)와, 영상 송신 장치(100) 및 영상 수신 장치(200)의 접속은, 예를 들면, 유선 LAN(Local Area Network)이라도 좋고, Wi-Fi 등의 무선 LAN이나, 휴대 전화 회선 등이라도 좋다.
(영상 송신 장치(100))
영상 송신 장치(100)는, 예를 들면, 촬상부(110), 화상 처리부(120) 및 송신부(130)를 갖고 있다. 촬상부(110)는, 예를 들면, 광학 렌즈 등을 통하여 얻어진 광학적인 화상 신호를 화상 데이터로 변환한다. 촬상부(110)는, 아날로그-디지털 변환 회로를 갖고 있고, 아날로그의 화상 데이터를 디지털의 화상 데이터로 변환한다. 변환한 후의 데이터 형식은, 각 화소의 색을 휘도성분(Y) 및 색차성분(Cb, Cr)으로 표현하는 YCbCr 형식이라도 좋고, RGB 형식 등이라도 좋다. 촬상부(110)는, 촬상에 의해 얻어진 촬상 화상(111)(디지털의 화상 데이터)을 화상 처리부(120)에 출력한다.
화상 처리부(120)는, 촬상부(110)로부터 입력된 촬상 화상(111)에 대해 소정의 처리를 행함에 의해, 전송 데이터(120A)를 생성하고, 송신부(130)에 출력한다. 송신부(130)는, 입력된 전송 데이터(120A)를, 전송로(300)를 통하여 영상 수신 장치(200)에 송신한다. 화상 처리부(120)는, 예를 들면, ROI 절출부(121), ROI 해석부(122), 겹침 검출부(123), 우선도 설정부(124) 및 인코드부(125)를 갖고 있다.
ROI 절출부(121)는, 촬상부(110)로부터 입력된 촬상 화상(111)에 포함되는 촬영 대상의 1 또는 복수의 물체를 특정하고, 특정한 물체마다 주목 영역(ROI)을 설정한다. 주목 영역(ROI)은, 예를 들면, 특정한 물체를 포함하는 사각형상의 영역이다. ROI 절출부(121)는, 촬상 화상(111)으로부터, 각 주목 영역(ROI)의 화상(ROI 화상(112))을 절출한다. ROI 절출부(121)는, 또한, 설정한 주목 영역(ROI)마다, 식별자로서 영역 번호를 부여한다. ROI 절출부(121)는, 예를 들면, 촬상 화상(111)에서, 2개의 주목 영역(ROI)을 설정한 경우에는, 일방의 주목 영역(ROI)(예를 들면 도 2 중의 주목 영역(ROI1))에 대해, 영역 번호 1을 부여하고, 타방의 주목 영역(ROI)(예를 들면 도 2 중의 주목 영역(ROI2))에 대해, 영역 번호 2를 부여한다. ROI 절출부(121)는, 예를 들면, 부여한 식별자(영역 번호)를 기억부에 격납한다. ROI 절출부(121)는, 예를 들면, 촬상 화상(111)으로부터 절출한 각 ROI 화상(112)을 기억부에 격납한다. ROI 절출부(121)는, 또한, 예를 들면, 각 주목 영역(ROI)에 부여한 식별자(영역 번호)를, ROI 화상(112)과 관련시켜서, 기억부에 격납한다.
ROI 해석부(122)는, 주목 영역(ROI)마다, 촬상 화상(111)에서의 주목 영역(ROI)의 위치 정보(113)를 도출한다. 위치 정보(113)는, 예를 들면, 주목 영역(ROI)의 좌상단(左上端) 좌표(Xa, Ya)와, 주목 영역(ROI)의 X축방향의 길이와, 주목 영역(ROI)의 Y축방향의 길이에 의해 구성되어 있다. 주목 영역(ROI)의 X축방향의 길이는, 예를 들면, 주목 영역(ROI)의 X축방향의 물리영역길이(物理領域長さ)(XLa)이다. 주목 영역(ROI)의 Y축방향의 길이는, 예를 들면, 주목 영역(ROI)의 Y축방향의 물리영역길이(YLa)이다. 물리영역길이란, 주목 영역(ROI)의 물리적인 길이를 가리키고 있다. 위치 정보(113)에서, 주목 영역(ROI)의 좌상단과는 다른 위치의 좌표가 포함되어 있어도 좋다. ROI 해석부(122)는, 예를 들면, 도출한 위치 정보(113)를, 주목 영역(ROI)에 대해 부여된 식별자(영역 번호)와 관련시켜서, 기억부에 격납한다.
ROI 해석부(122)는, 주목 영역(ROI)마다, 위치 정보(113)로서, 또한, 예를 들면, 주목 영역(ROI)의 X축방향의 출력영역길이(XLc)나, 주목 영역(ROI)의 Y축방향의 출력영역길이(YLc)를 도출하여도 좋다. 출력영역길이란, 예를 들면, 주목 영역(ROI)에 대해 솎아냄(間引き) 처리나 화소 가산 등에 의한 해상도 변경이 이루어진 후의 주목 영역(ROI)의 길이이다. ROI 해석부(122)는, 주목 영역(ROI)마다에, 위치 정보(113)외에, 예를 들면, 센싱 인포메이션, 노광 정보, 게인 정보, AD(Analog-Digital) 워드 길이 등을 도출하여도 좋다. 센싱 인포메이션이란, 주목 영역(ROI)에 포함되는 물체에 관한 연산 내용이나, ROI 화상(112)에 대한 후단 신호 처리를 위한 보충 정보 등을 가리키고 있다. 노광 정보란, 주목 영역(ROI)의 노광 시간을 가리키고 있다. 게인 정보란, 주목 영역(ROI)의 게인 정보를 가리키고 있다. AD 워드 길이(word length)란, 주목 영역(ROI) 내에서 AD 변환된 1화소당 데이터의 워드 길이를 가리키고 있다.
겹침 검출부(123)는, 촬상 화상(111)에서, 촬영 대상의 복수의 물체가 특정된 때에는, 촬상 화상(111)에서의 복수의 주목 영역(ROI)의 위치 정보(113)에 의거하여, 2 이상의 주목 영역(ROI)끼리가 맞겹치는 겹침 영역(ROO(Region Of Overlap))을 검출한다. 즉, 겹침 검출부(123)는, 겹침 영역(ROO)마다, 촬상 화상(111)에서의 겹침 영역(ROO)의 위치 정보(114)를 도출한다. 겹침 영역(ROO)은, 예를 들면, 서로 맞겹쳐진 2 이상의 주목 영역(ROI)에서 가장 작은 주목 영역(ROI)과 같은 크기나, 그보다도 작은 사각형상의 영역이다. 위치 정보(114)는, 예를 들면, 겹침 영역(ROO)의 좌상단 좌표(Xb, Yb)와, 겹침 영역(ROO)의 X축방향의 길이와, 겹침 영역(ROO)의 Y축방향의 길이에 의해 구성되어 있다. 겹침 영역(ROO)의 X축방향의 길이는, 예를 들면, 물리영역길이(XLb)이다. 겹침 영역(ROO)의 Y축방향의 길이는, 예를 들면, 물리영역길이(YLb)이다. 위치 정보(114)에서, 주목 영역(ROI)의 좌상단과는 다른 위치의 좌표가 포함되어 있어도 좋다.
우선도 설정부(124)는, 촬상 화상(111)에서, 주목 영역(ROI)마다 우선도(115)를 부여한다. 우선도 설정부(124)는, 주목 영역(ROI)마다 부여되어 있는 영역 번호와는 별도로, 우선도(115)를 주목 영역(ROI)마다 부여하여도 좋고, 주목 영역(ROI)마다 부여되어 있는 영역 번호를, 우선도(115)의 대신으로 하여도 좋다.
우선도(115)는, 각 주목 영역(ROI)의 식별자이고, 촬상 화상(111)에서의 복수의 주목 영역(ROI)의 어느 것에 대해 겹침 영역(ROO)의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보이다. 우선도 설정부(124)는, 예를 들면, 각각이 겹침 영역(ROO)을 포함하는 2개의 주목 영역(ROI)에서, 일방의 주목 영역(ROI)에 대해 우선도(115)로서 1을 부여하고, 타방의 주목 영역(ROI)에 대해 우선도(115)로서 2를 부여한다. 이 경우에는, 후술하는 전송 화상(116)의 작성에 즈음하여, 우선도(115)의 수치가 큰 쪽의 주목 영역(ROI)에 대해, 겹침 영역(ROO)의 할애가 행하여진다. 또한, 우선도 설정부(124)는, 주목 영역(ROI)마다 부여되어 있는 영역 번호와 같은 번호를, 주목 영역(ROI)에 대해 우선도(115)로서 부여하여도 좋다. 우선도 설정부(124)는, 예를 들면, 각 주목 영역(ROI)에 부여한 우선도(115)를, ROI 화상(112)과 관련시켜서, 기억부에 격납한다.
인코드부(125)는, 각 전송 화상(116)을, 인코드하여 압축화상 데이터를 생성한다. 인코드부(125)는, 예를 들면, 압축화상 데이터의 형식으로서, JPEG(Joint Photographic Experts Group) 규격에 준거한 압축 형식 등에 의해 각 전송 화상(116)을 압축한다. 인코드부(125)는, 상기한 압축 처리를 행하기 전에, 각 전송 화상(116)을 생성한다. 인코드부(125)는, 촬상 화상(111)으로부터 얻어진 복수의 ROI 화상(112)(제1 화상)에서 겹침 영역(ROO)의 화상(118)(제2 화상)이 중복되어 포함되지 않도록, 촬상 화상(111)으로부터 얻어진 복수의 ROI 화상(112)으로부터 화상(118)을 할애한 것인 복수의 전송 화상(116)(제3 화상)과, 복수의 위치 정보(113)를 포함하는 전송 데이터(120A)를 생성한다.
인코드부(125)는, 예를 들면, 주목 영역(ROI)마다 부여되어 있는 우선도(115)에 의거하여, 복수의 ROI 화상(112)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정한다. 또한, 인코드부(125)는, 예를 들면, 주목 영역(ROI)마다 부여되어 있는 영역 번호를 우선도(115)로서 이용함에 의해, 복수의 ROI 화상(112)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정하여도 좋다. 인코드부(125)는, 상기한 바와 같이 하여 특정된 ROI 화상(112)에서 화상(118)을 할애한 것을, 전송 화상(116)(예를 들면 도 2의 전송 화상(116a2)으로 한다. 인코드부(125)는, 겹침 영역(ROO)을 포함하지 않는 ROI 화상(112)이나, 상기한 결정에 의해 화상(118)이 할애되지 않은 것으로 된 ROI 화상(112)에 관해서는, ROI 화상(112) 그 자체를 전송 화상(116)(예를 들면 도 2의 전송 화상(116a1)으로 한다.
인코드부(125)는, 또한, 복수의 위치 정보(113)와, 복수의 전송 화상(116)을 서로 관계시킨 프레임(117)을 생성한다. 이때, 인코드부(125)는, 또한, 프레임(117)을 포함하는 전송 데이터(120A)를 생성한다. 도 3은, 프레임(117)의 구성례를 도시한 것이다. 프레임(117)은, 예를 들면, 헤더 영역(R1), 패킷 영역(R2) 및 푸터 영역(R3)을 포함하고 있다.
헤더 영역(R1)에는, 예를 들면, 프레임(117)의 식별자로서의 프레임 번호가 포함되어 있다. 헤더 영역(R1)은, 패킷 영역(R2)에 포함되는 각 전송 화상(116)에 관한 정보를 포함하고 있다. 헤더 영역(R1)은, 예를 들면, 패킷 영역(R2)에 포함되는 전송 화상(116)의 수(ROI 수)와, 패킷 영역(R2)에 포함되는 각 전송 화상(116)에 대응하는 ROI 화상(112)의 위치 정보(113)(ROI 정보)를 포함하고 있다. 푸터 영역(R3)에는, 예를 들면, 헤더 영역(R1)에 기재되는 정보와 같은 내용의 정보 등이 포함된다.
인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 각 전송 화상(116)을 전송 화상(116)의 화소행마다 나누어서 배치한다. 따라서, 프레임(117)의 패킷 영역(R2)에는, 겹침 영역(ROO)의 화상(118)이 중복되어 포함되지 않는다. 또한, 인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 촬상 화상(111) 중 각 전송 화상(116)과 대응하지 않는 화소행을 할애하고 있다. 따라서, 프레임(117)의 패킷 영역(R2)에는, 촬상 화상(111) 중 각 전송 화상(116)에 대응하지 않는 화소행은 포함되어 있지 않다. 또한, 도 3의 패킷 영역(R2)에서, 파선으로 둘러싼 개소가, 겹침 영역(ROO)의 화상(118)에 상당한다. 또한, 인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 각 전송 화상(116)을 전송 화상(116)의 소정의 에어리어마다 나누어서 배치하여도 좋다.
인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 화소행마다 패킷 헤드를 마련하고, 패킷 헤드에는, 예를 들면, 대응하는 화소행에 포함되는 전송 화상(116)에 대응하는 ROI 화상(112)의 영역 번호(또는 우선도(115))를 기술한다. 도 3의 패킷 영역(R2)에서, 좌단의 둘러싼 부분이 패킷 헤드이다. 예를 들면, 어느 화소행에서, 영역 번호(또는 우선도(115))가 1인 전송 화상(116)이 포함되어 있는 경우, 패킷 헤드에는, 1이 기술되어 있다. 또한, 예를 들면, 어느 화소행에서, 영역 번호(또는 우선도(115))가 1인 전송 화상(116)과, 영역 번호(또는 우선도(115))가 2인 전송 화상(116)이 포함되어 있는 경우, 패킷 헤드에는, 1, 2가 기술되어 있다.
또한, 패킷 헤드에 1, 2로 기술되어 있는 경우에는, 패킷 헤드 가까이의 패킷군(예를 들면 도 3 중의 1(n))이, 영역 번호(또는 우선도(115))가 1인 전송 화상(116)의 패킷인 것을 의미하고 있고, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 3 중의 2(1))이, 영역 번호(또는 우선도(115))가 2인 전송 화상(116)의 패킷인 것을 의미하고 있다. 패킷 헤드 가까이의 패킷군(예를 들면 도 3 중의 1(n))과, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 3 중의 2(1))과의 경계는, 패킷 헤드 가까이의 패킷군(예를 들면 도 3 중의 1(n))의 전송 화상(116)에 대응하는 ROI 화상(112)의 물리영역길이(XLa1)에 의해 특정된다. 패킷 헤드 가까이의 패킷군(예를 들면 도 3 중의 1(n))에 포함되는 겹침 영역(ROO)의 화상(118)에서, 패킷의 시작 위치는, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 3 중의 2(1))에 대응하는 ROI 화상(112)의 물리영역길이(XLa2)에 의해 특정된다.
(영상 수신 장치(200))
다음에, 영상 수신 장치(200)에 관해 설명한다. 도 4는, 영상 수신 장치(200))에서의 ROI 화상(119)의 생성 순서의 한 예를 도시한 것이다. 영상 수신 장치(200)는, 예를 들면, 수신부(210) 및 화상 처리부(220)를 갖고 있다. 수신부(210)는, 영상 송신 장치(100)로부터 출력된 전송 데이터(120A)를, 전송로(300)를 통하여 수신한다. 수신부(210)는, 수신한 전송 데이터(120A)를 화상 처리부(220)에 출력한다. 화상 처리부(220)는, 예를 들면, 디코드부(221), 정보 추출부(222) 및 ROI 화상 생성부(223)를 갖고 있다.
디코드부(221)는, 전송 데이터(120A)를 디코드하여, 복수의 전송 화상(116)과, 복수의 위치 정보(113)를 생성한다. 정보 추출부(222)는, 디코드에 의해 얻어진 복수의 위치 정보(113) 중에서, 예를 들면, 각 전송 화상(116)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표), 길이(예를 들면 물리영역길이) 및 영역 번호(또는 우선도(115))를 추출한다. 즉, 전송 데이터(120A)는, 당해 전송 데이터(120A)에 포함되는 복수의 전송 화상(116)의 어느 것에 대해 겹침 영역(ROO)의 화상(118)의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보로서, 각 전송 화상(116)에 대응하는 주목 영역(ROI)의 영역 번호(또는 우선도(115))를 포함하고 있다.
예를 들면, 전송 데이터(120A)의 디코드에 의해, 2개의 전송 화상(116)이 생성되었다고 한다. 이때, 정보 추출부(222)는, 일방의 전송 화상(116)(116a1)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa1, Ya1)), 길이(예를 들면 물리영역길이(XLa1, YLa1)) 및 영역 번호 1(또는 우선도(115)(=1))을 추출한다. 정보 추출부(222)는, 또한, 타방의 전송 화상(116)(116a2)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa2, Ya2)), 길이(예를 들면 물리영역길이(XLa2, YLa2)) 및 영역 번호 2(또는 우선도(115)(=2))를 추출한다.
ROI 화상 생성부(223)는, 수신한 복수의 전송 화상(116)에서의 1 또는 복수의 전송 화상(116)과, 수신한 복수의 위치 정보(113)에서의 복수의 위치 정보(113)로부터 얻어지는 1 또는 복수의 겹침 영역(ROO)의 위치 정보(114)에 의거하여, 1 또는 복수의 겹침 영역(ROO)의 화상(118)을 생성한다.
예를 들면, 전송 데이터(120A)의 디코드에 의해, 2개의 전송 화상(116)과, 2개의 위치 정보(113)가 생성되었다고 한다. 이때, ROI 화상 생성부(223)는, 일방의 전송 화상(116)(116a1)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa1, Ya1)) 및 길이(예를 들면 물리영역길이(XLa1, YLa1))와, 타방의 전송 화상(116)(116a2)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa2, Ya2)) 및 길이(예를 들면 물리영역길이(XLa2, YLa2))에 의거하여, 겹침 영역(ROO)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는, 상기한 겹침 영역(ROO)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO)의 좌표(예를 들면 좌상단 좌표(Xb1, Yb1)) 및 길이(예를 들면 물리영역길이(XLb1, YLb1))를 도출한다. ROI 화상 생성부(223)는, 2개의 전송 화상(116) 중 어느 것에, 도출한 위치 정보(114)가 포함되는지의 여부를 판정한다. 그 결과, 도출한 위치 정보(114)가 전송 화상(116)(116a1)에 포함되어 있는 경우에는, ROI 화상 생성부(223)는, 전송 화상(116)(116a1)으로부터, 도출한 위치 정보(114)에 대응하는 영역의 화상을 절출하여, 겹침 영역(ROO)의 화상(118)을 얻는다.
ROI 화상 생성부(223)는, 또한, 전송 데이터(120A)로부터 판독한 복수의 전송 화상(116)과, 1 또는 복수의 겹침 영역(ROO)의 화상(118)에 의거하여, 촬상 화상(111))에서의 복수의 주목 영역(ROI)의 화상(ROI 화상(112))을 생성한다. ROI 화상 생성부(223)는, 예를 들면, 전송 데이터(120A)로부터 판독한 영역 번호(또는 우선도(115))를 이용함에 의해, 당해 전송 데이터(120A)에 포함되는 복수의 전송 화상(116)의 어느 것에 대해 겹침 영역(ROO)의 화상(118)을 부가하는지를 결정한다. ROI 화상 생성부(223)는, 예를 들면, 영역 번호(또는 우선도(115)가 가장 큰 전송 화상(116)(예를 들면 도 4 중의 전송 화상(116a2))에 대해 겹침 영역(ROO)의 화상(118)을 부가함에 의해, ROI 화상(119)(예를 들면 도 4 중의 ROI 화상(119a2))을 생성한다. ROI 화상 생성부(223)는, 예를 들면, 겹침 영역(ROO)을 포함하지 않는 전송 화상(116)이나, 상기한 결정에 의해 화상(118)이 부가되지 않게 된 전송 화상(116)에 관해서는, 전송 화상(116) 그 자체를 ROI 화상(119)(예를 들면 도 4의 ROI 화상(119a1))으로 한다. 또한, 수신부(210)에서 수신한 복수의 위치 정보(113)는, 상기한 바와 같이 하여 얻어진 복수의 ROI 화상(119)의 위치 정보에 상당하고, 촬상 화상(111))에서의 복수의 ROI 화상(112)의 위치 정보에 상당한다. 따라서, 상기한 바와 같이 하여 얻어진 복수의 ROI 화상(119)은, 촬상 화상(111)에서의 복수의 ROI 화상(112)과 같다.
[순서]
다음에, 도 2, 도 4를 참고로 하여, 영상 전송 시스템(1)에서의 데이터 전송의 순서의 한 예에 관해 설명한다.
우선, 촬상부(110)는, 촬상에 의해 얻어진 촬상 화상(111)(디지털의 화상 데이터)을 화상 처리부(120)에 출력한다. ROI 절출부(121)는, 촬상부(110)로부터 입력된 촬상 화상(111)에 포함되는 2개의 주목 영역(ROI1, ROI2)을 특정한다. ROI 절출부(121)는, 촬상 화상(111)으로부터, 각 주목 영역(ROI1, ROI2)의 화상(ROI 화상(112a1, 112a2))을 절출한다. ROI 절출부(121)는, 주목 영역(ROI1)에 대해 식별자로서 영역 번호 1을 부여하고, 주목 영역(ROI2)에 대해 식별자로서 영역 번호 2를 부여한다.
ROI 해석부(122)는, 주목 영역(ROI)마다, 촬상 화상(111))에서의 주목 영역(ROI)의 위치 정보(113)를 도출한다. ROI 해석부(122)는, 주목 영역(ROI1)에 의거하여, 주목 영역(ROI1)의 좌상단 좌표(Xa1, Ya1)와, 주목 영역(ROI1)의 X축방향의 길이(XLa1)와, 주목 영역(ROI1)의 Y축방향의 길이(YLa1)를 도출한다. ROI 해석부(122)는, 주목 영역(ROI2)에 의거하여, 주목 영역(ROI2)의 좌상단 좌표(Xa2, Ya2)와, 주목 영역(ROI2)의 X축방향의 길이(XLa2)와, 주목 영역(ROI2)의 Y축방향의 길이(YLa2)를 도출한다.
겹침 검출부(123)는, 촬상 화상(111)에서의 2개의 주목 영역(ROI1, ROI2)의 위치 정보(113)에 의거하여, 2개의 주목 영역(ROI1, ROI2)끼리가 맞겹치는 겹침 영역(ROO)을 검출한다. 즉, 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO)의 위치 정보(114)를 도출한다. 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO)의 위치 정보(114)로서, 겹침 영역(ROO)의 좌상단 좌표(Xb1, Yb1)와, 겹침 영역(ROO)의 X축방향의 길이(XLb1)와, 겹침 영역(ROO)의 Y축방향의 길이(YLb1)를 도출한다.
우선도 설정부(124)는, 2개의 주목 영역(ROI1, ROI2)에서, 일방의 주목 영역(ROI1)에 대해 우선도(115)로서 1을 부여하고, 타방의 주목 영역(ROI2)에 대해 우선도(115)로서 2를 부여한다.
인코드부(125)는, 2개의 주목 영역(ROI1, ROI2))에서 겹침 영역(ROO)의 화상(118)이 중복되어 포함되지 않도록, 촬상 화상(111)으로부터 얻어진 2개의 ROI 화상(112a1, 112a2)으로부터 화상(118)을 할애한 것인 2개의 전송 화상(116a1, 116a2)과, 2개의 주목 영역(ROI1, ROI2)의 위치 정보(113)를 포함하는 전송 데이터(120A)를 생성한다.
인코드부(125)는, 2개의 주목 영역(ROI1, ROI2)의 영역 번호(또는 우선도(115))에 의거하여, 2개의 ROI 화상(112a1, 112a2)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정한다. 인코드부(125)는, 2개의 주목 영역(ROI1, ROI2)에서, 영역 번호(또는 우선도(115))가 큰 쪽인 주목 영역(ROI2)에 대응하는 ROI 화상(112a2)에 대해 화상(118)의 할애를 행하고, 이에 의해, 전송 화상(116a2)을 생성한다. 인코드부(125)는, 2개의 주목 영역(ROI1, ROI2)에서, 영역 번호(또는 우선도(115))가 작은 쪽인 주목 영역(ROI1)에 대응하는 ROI 화상(112a1)에 관해서는, ROI 화상(112a1) 그 자체를 전송 화상(116a1)으로 한다.
인코드부(125)는, 또한, 2개의 주목 영역(ROI1, ROI2)의 위치 정보(113)와, 2개의 전송 화상(116a1, 116a2)을 서로 관계시킨 프레임(117)을 생성한다. 인코드부(125)는, 또한, 생성한 프레임(117)을 포함하는 전송 데이터(120A)를 생성하고, 전송로(300)를 통하여 영상 수신 장치(200)에 송신한다.
수신부(210)는, 영상 송신 장치(100)로부터 출력된 전송 데이터(120A)를, 전송로(300)를 통하여 수신한다. 수신부(210)는, 수신한 전송 데이터(120A)를 화상 처리부(220)에 출력한다. 디코드부(221)는, 전송 데이터(120A)를 디코드하고, 2개의 전송 화상(116a1, 116a2)과, 2개의 주목 영역(ROI1, ROI2)의 위치 정보(113)를 생성한다. 정보 추출부(222)는, 전송 화상(116a1)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa1, Ya1)), 길이(예를 들면 물리영역길이(XLa1, YLa1)) 및 영역 번호 1(또는 우선도(115)(=1))를 추출한다. 정보 추출부(222)는, 또한, 전송 화상(116a2)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa2, Ya2)), 길이(예를 들면 물리영역길이(XLa2, YLa2)) 및 영역 번호 2(또는 우선도(115)(=2))를 추출한다.
ROI 화상 생성부(223)는, 수신한 2개의 전송 화상(116a1, 116a2)과, 수신한 2개의 위치 정보(113)로부터 얻어지는 겹침 영역(ROO)의 위치 정보(114)에 의거하여, 겹침 영역(ROO)의 화상(118)을 생성한다.
ROI 화상 생성부(223)는, 전송 화상(116a1)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa1, Ya1)) 및 길이(물리영역길이(XLa1, YLa1))와, 전송 화상(116a2)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa2, Ya2)) 및 길이(물리영역길이(XLa2, YLa2))에 의거하여, 겹침 영역(ROO)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는, 상기한 겹침 영역(ROO)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO)의 좌표(좌상단 좌표(Xb1, Yb1)) 및 길이(물리영역길이(XLb1, YLb1))를 도출한다. ROI 화상 생성부(223)는, 2개의 전송 화상(116) 중 어느 것에, 도출한 위치 정보(114)가 포함되는지의 여부를 판정한다. 그 결과, 도출한 위치 정보(114)가 전송 화상(116a1)에 포함되어 있기 때문에, ROI 화상 생성부(223)는, 전송 화상(116a1)으로부터, 도출한 위치 정보(114)에 대응하는 영역의 화상을 절출하고, 겹침 영역(ROO)의 화상(118)을 얻는다.
ROI 화상 생성부(223)는, 또한, 전송 데이터(120A)로부터 판독한 2개의 전송 화상(116a1, 116a2)과, 1 또는 복수의 겹침 영역(ROO)의 화상(118)에 의거하여, 촬상 화상(111)에서의 2개의 주목 영역(ROI)의 화상(ROI 화상(112a1, 112a2))을 생성한다. ROI 화상 생성부(223)는, 전송 데이터(120A)로부터 판독한 영역 번호(또는 우선도(115))를 이용함에 의해, 당해 전송 데이터(120A)에 포함되는 2개의 전송 화상(116a1, 116a2)의 어느 것에 대해 겹침 영역(ROO)의 화상(118)을 부가하는지를 결정한다.
ROI 화상 생성부(223)는, 영역 번호(또는 우선도(115))가 가장 큰 전송 화상(116a2)에 대해 겹침 영역(ROO)의 화상(118)을 부가함에 의해, ROI 화상(119a2)을 생성한다. ROI 화상 생성부(223)는, 화상(118)이 부가되지 않게 된 전송 화상(116a1)에 관해서는, 전송 화상(116a1) 그 자체를 ROI 화상(119a1)으로 한다. 또한, 수신부(210)로 수신한 2개의 위치 정보(113)는, 상기한 바와 같이 하여 얻어진2개의 ROI 화상(119a1, 119a2)의 위치 정보에 상당하고, 촬상 화상(111)에서의 2개의 ROI 화상(112a1, 112a2)의 위치 정보(113)에 상당한다. 따라서 상기한 바와 같이 하여 얻어진 복수의 ROI 화상(119a1, 119a2)은, 촬상 화상(111)에서의 2개의 ROI 화상(112a1, 112a2)과 같다.
여기까지는, 영상 송신 장치(100)에서, 촬상 화상(111)에 2개의 ROI 화상(112)이 포함되어 있을 때의, 전송 데이터(120A)의 생성 순서를 예시하여 왔다. 또한, 영상 수신 장치(200)에서, 전송 데이터(120A)에 2개의 화상(전송 화상(116))이 포함되어 있을 때의, 촬상 화상(111)에 포함되는 2개의 ROI 화상(112)의 생성 순서를 예시하여 왔다. 이하에서는, 영상 송신 장치(100)에서, 촬상 화상(111)에 3개의 ROI 화상(112)이 포함되어 있을 때의, 전송 데이터(120A)의 생성 순서례나, 영상 수신 장치(200)에서, 전송 데이터(120A)에 3개의 화상(전송 화상(116))이 포함되어 있을 때의, 촬상 화상(111)에 포함되는 3개의 ROI 화상(112)의 생성 순서례에 관해 설명한다.
다음에, 도 5, 도 6, 도 7A, 도 7B, 도 8을 참고로 하여, 영상 전송 시스템(1))에서의 데이터 전송의 순서의 한 예에 관해 설명한다. 도 5, 도 6은, 영상 송신 장치(100)에서, 촬상 화상(111)에 3개의 ROI 화상(112)(112a4, 112a5, 112a6)이 포함되어 있을 때의, 전송 데이터(120A)의 생성 순서의 한 예를 도시한 것이다. 도 7A, 도 7B는, 도 6의 프레임(117)의 구성례를 도시한 것이다. 도 8은, 영상 수신 장치(200)에서, 전송 데이터(120A)에 3개의 전송 화상(116a4, 116a5, 116a6)이 포함되어 있을 때의, 촬상 화상(111)에 포함되는 3개의 ROI 화상(112)(112a4, 112a5, 112a6)의 생성 순서의 한 예를 도시한 것이다.
우선, 촬상부(110)는, 촬상에 의해 얻어진 촬상 화상(111)(디지털의 화상 데이터)를 화상 처리부(120)에 출력한다. ROI 절출부(121)는, 촬상부(110)로부터 입력된 촬상 화상(111)에 포함되는 3개의 주목 영역(ROI4, ROI5, ROI6)을 특정한다. ROI 절출부(121)는, 촬상 화상(111)으로부터, 각 주목 영역(ROI4, ROI5, ROI6)의 화상(ROI 화상(112a4, 112a5, 112a6))을 절출한다. ROI 절출부(121)는, 주목 영역(ROI4)에 대해 식별자로서 영역 번호 1을 부여하고, 주목 영역(ROI5)에 대해 식별자로서 영역 번호 2를 부여하고, 주목 영역(ROI6)에 대해 식별자로서 영역 번호 3을 부여한다.
ROI 해석부(122)는, 주목 영역(ROI)마다, 촬상 화상(111))에서의 주목 영역(ROI)의 위치 정보(113)를 도출한다. ROI 해석부(122)는, 주목 영역(ROI4)에 의거하여, 주목 영역(ROI1)의 좌상단 좌표(Xa4, Ya4)와, 주목 영역(ROI4)의 X축방향의 길이(XLa4)와, 주목 영역(ROI4)의 Y축방향의 길이(YLa4)를 도출한다. ROI 해석부(122)는, 주목 영역(ROI5)에 의거하여, 주목 영역(ROI5)의 좌상단 좌표(Xa5, Ya5)와, 주목 영역(ROI5)의 X축방향의 길이(XLa5)와, 주목 영역(ROI5)의 Y축방향의 길이(YLa5)를 도출한다. ROI 해석부(122)는, 주목 영역(ROI6)에 의거하여, 주목 영역(ROI6)의 좌상단 좌표(Xa6, Ya6)와, 주목 영역(ROI6)의 X축방향의 길이(XLa6)와, 주목 영역(ROI6)의 Y축방향의 길이(YLa6)를 도출한다.
겹침 검출부(123)는, 촬상 화상(111)에서의 3개의 주목 영역(ROI4, ROI5, ROI6)의 위치 정보(113)에 의거하여, 3개의 주목 영역(ROI4, ROI5, ROI6) 중의 2개가 서로 맞겹치는 겹침 영역(ROO1, ROO2, R003)을 검출한다. 즉, 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO1, ROO2, R003)의 위치 정보(114)를 도출한다. 겹침 영역(ROO1)은, 주목 영역(ROI4)과 주목 영역(ROI5)이 서로 맞겹치는 영역이다. 겹침 영역(ROO2)은, 주목 영역(ROI4)과 주목 영역(ROI6)이 서로 맞겹치는 영역이다. 겹침 영역(ROO3)은, 주목 영역(ROI5)과 주목 영역(ROI6)이 서로 맞겹치는 영역이다. 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO1)의 위치 정보(114)로서, 겹침 영역(ROO1)의 좌상단 좌표(Xb2, Yb2)와, 겹침 영역(ROO1)의 X축방향의 길이(XLb2)와, 겹침 영역(ROO1)의 Y축방향의 길이(YLb2)를 도출한다. 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO2)의 위치 정보(114)로서, 겹침 영역(ROO2)의 좌상단 좌표(Xb3, Yb3)와, 겹침 영역(ROO2)의 X축방향의 길이(XLb3)와, 겹침 영역(ROO2)의 Y축방향의 길이(YLb3)를 도출한다. 겹침 검출부(123)는, 촬상 화상(111))에서의 겹침 영역(ROO3)의 위치 정보(114)로서, 겹침 영역(ROO3)의 좌상단 좌표(Xb4, Yb4)와, 겹침 영역(ROO3)의 X축방향의 길이(XLb4)와, 겹침 영역(ROO3)의 Y축방향의 길이(YLb4)를 도출한다.
우선도 설정부(124)는, 3개의 주목 영역(ROI4, ROI5, ROI6)에서, 1번째의 주목 영역(ROI4)에 대해 우선도(115)로서 1을 부여하고, 2번째의 주목 영역(ROI5)에 대해 우선도(115)로서 2를 부여하고, 3번째의 주목 영역(ROI6)에 대해 우선도(115)로서 3을 부여한다.
인코드부(125)는, 3개의 주목 영역(ROI4, ROI5, ROI6))에서 겹침 영역(ROO1, ROO2, ROO3)의 화상(118)이 중복되어 포함되지 않도록, 촬상 화상(111)으로부터 얻어진 3개의 ROI 화상(112a4, 112a5, 112a6)으로부터 화상(118)을 할애한 것인 3개의 전송 화상(116a4, 116a5, 116a6)과, 3개의 주목 영역(ROI4, ROI5, ROI6)의 위치 정보(113)를 포함하는 전송 데이터(120A)를 생성한다.
인코드부(125)는, 2개의 주목 영역(ROI4, ROI5)의 영역 번호(또는 우선도(115))에 의거하여, 2개의 ROI 화상(112a4, 112a5)의 어느 것에 대해 겹침 영역(ROO1)의 화상(118)의 할애를 행하는지를 결정한다. 인코드부(125)는, 2개의 주목 영역(ROI4, ROI5)에서, 영역 번호(또는 우선도(115))가 큰 쪽인 주목 영역(ROI5)에 대응하는 ROI 화상(112a5)에 대해 겹침 영역(ROO1)의 화상(118)의 할애를 행하고, 이에 의해, 전송 화상(116a5)을 생성한다.
인코드부(125)는, 2개의 주목 영역(ROI5, ROI6)의 영역 번호(또는 우선도(115))에 의거하여, 2개의 ROI 화상(112a5, 112a6)의 어느 것에 대해 겹침 영역(ROO3)의 화상(118)의 할애를 행하는지를 결정한다. 인코드부(125)는, 2개의 주목 영역(ROI5, ROI6)에서, 영역 번호(또는 우선도(115))가 큰 쪽인 주목 영역(ROI6)에 대응하는 ROI 화상(112a6)에 대해 겹침 영역(ROO3)의 화상(118)의 할애를 행한다. 또한, 인코드부(125)는, 2개의 주목 영역(ROI4, ROI6)의 영역 번호(또는 우선도(115))에 의거하여, 2개의 ROI 화상(112a4, 112a6)의 어느 것에 대해 겹침 영역(ROO2)의 화상(118)의 할애를 행하는지를 결정한다. 인코드부(125)는, 2개의 주목 영역(ROI4, ROI6)에서, 영역 번호(또는 우선도(115))가 큰 쪽인 주목 영역(ROI6)에 대응하는 ROI 화상(112a6)에 대해 겹침 영역(ROO2)의 화상(118)의 할애를 행한다. 이와 같이 하여, 인코드부(125)는, 전송 화상(116a6)을 생성한다.
인코드부(125)는, 또한, 3개의 주목 영역(ROI4, ROI5, ROI6)의 위치 정보(113)와, 3개의 전송 화상(116a4, 116a5, 116a6)을 서로 관계시킨 프레임(117)을 생성한다. 인코드부(125)는, 또한, 생성한 프레임(117)을 포함하는 전송 데이터(120A)를 생성하고, 전송로(300)를 통하여 영상 수신 장치(200)에 송신한다.
프레임(117)은, 예를 들면, 도 7A, 도 7B에 도시한 바와 같이, 헤더 영역(R1), 패킷 영역(R2) 및 푸터 영역(R3)을 포함하고 있다.
헤더 영역(R1)에는, 예를 들면, 프레임(117)의 식별자로서의 프레임 번호가 포함되어 있다. 헤더 영역(R1)은, 패킷 영역(R2)에 포함되는 각 전송 화상(116)에 관한 정보를 포함하고 있다. 헤더 영역(R1)은, 예를 들면, 패킷 영역(R2)에 포함되는 전송 화상(116)의 수(ROI 수)와, 패킷 영역(R2)에 포함되는 각 전송 화상(116)에 대응하는 ROI 화상(112)의 위치 정보(113)(ROI 정보)를 포함하고 있다. 푸터 영역(R3)에는, 예를 들면, 헤더 영역(R1)과 같은 내용의 정보 등이 포함된다.
인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 각 전송 화상(116)을 전송 화상(116)의 화소행마다 나누어서 배치한다. 따라서, 프레임(117)의 패킷 영역(R2)에는, 겹침 영역(ROO1, ROO2, ROO3)의 화상(118)이 중복되어 포함되어 있지 않다. 또한, 인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 촬상 화상(111) 중 각 전송 화상(116)과 대응하지 않는 화소행을 할애하고 있다. 따라서, 프레임(117)의 패킷 영역(R2)에는, 촬상 화상(111) 중 각 전송 화상(116)에 대응하지 않는 화소행은 포함되어 있지 않다. 또한, 도 7B의 패킷 영역(R2)에서, 파선으로 둘러싼 부분이, 겹침 영역(ROO1, ROO2, ROO3)의 화상(118)에 상당한다.
인코드부(125)는, 예를 들면, 프레임(117)의 패킷 영역(R2)에서, 화소행마다 패킷 헤드를 마련하고, 패킷 헤드에는, 예를 들면, 대응하는 화소행에 포함되는 전송 화상(116)에 대응하는 ROI 화상(112)의 영역 번호(또는 우선도(115))를 기술한다. 도 7B의 패킷 영역(R2)에서, 좌단의 둘러싼 부분이 패킷 헤드이다. 예를 들면, 어느 화소행에서, 영역 번호(또는 우선도(115))가 4인 전송 화상(116)이 포함되어 있는 경우, 패킷 헤드에는, 4가 기술되어 있다. 또한, 예를 들면, 어느 화소행에서, 영역 번호(또는 우선도(115))가 4인 전송 화상(116)과, 영역 번호(또는 우선도(115))가 5인 전송 화상(116)이 포함되어 있는 경우, 패킷 헤드에는, 4, 5 또는 5, 4가 기술되어 있다. 또한, 예를 들면, 어느 화소행에서, 영역 번호(또는 우선도(115))가 5인 전송 화상(116)과, 영역 번호(또는 우선도(115))가 6인 전송 화상(116)이 포함되어 있는 경우, 패킷 헤드에는, 5, 6 또는 6, 5가 기술되어 있다.
또한, 패킷 헤드에 4, 5로 기술되어 있는 경우에는, 패킷 헤드 가까이의 패킷군(예를 들면 도 7B 중의 4(i))가, 영역 번호(또는 우선도(115))가 4인 전송 화상(116)의 패킷인 것을 의미하고 있고, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 7B 중의 5(1))가, 영역 번호(또는 우선도(115))가 5인 전송 화상(116)의 패킷인 것을 의미하고 있다. 패킷 헤드 가까이의 패킷군(예를 들면 도 7B 중의 4(i))과, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 7B 중의 5(1))과의 경계는, 패킷 헤드 가까이의 패킷군(예를 들면 도 7B 중의 4(i))의 전송 화상(116)에 대응하는 ROI 화상(112)의 물리영역길이(XLa4)에 의해 특정된다. 패킷 헤드 가까이의 패킷군(예를 들면 도 7B 중의 4(i))에 포함되는 겹침 영역(ROO1)의 화상(118)에서, 패킷의 시작 위치는, 패킷 헤드로부터 떨어진 패킷군(예를 들면 도 7B 중의 5(1))에 대응하는 ROI 화상(112)의 물리영역길이(XLa5)에 의해 특정된다.
수신부(210)는, 영상 송신 장치(100)로부터 출력된 전송 데이터(120A)를, 전송로(300)를 통하여 수신한다. 수신부(210)는, 수신한 전송 데이터(120A)를 화상 처리부(220)에 출력한다. 디코드부(221)는, 전송 데이터(120A)를 디코드하여, 3개의 전송 화상(116a4, 116a5, 116a6)과, 3개의 주목 영역(ROI4, ROI5, ROI6)의 위치 정보(113)를 생성한다. 정보 추출부(222)는, 전송 화상(116a4)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa4, Ya4)), 길이(예를 들면 물리영역길이(XLa4, YLa4)) 및 영역 번호 4(또는 우선도(115))를 추출한다. 정보 추출부(222)는, 또한, 전송 화상(116a5)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa5, Ya5)), 길이(예를 들면 물리영역길이(XLa5, YLa5)) 및 영역 번호 5(또는 우선도(115))를 추출한다. 정보 추출부(222)는, 또한, 전송 화상(116a6)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa6, Ya6)), 길이(예를 들면 물리영역길이(XLa6, YLa6)) 및 영역 번호6(또는 우선도(115))를 추출한다.
ROI 화상 생성부(223)는, 수신한 3개의 전송 화상(116a4, 116a5, 116a6)과, 수신한 3개의 위치 정보(113)로부터 얻어지는 겹침 영역(ROO1, ROO2, ROO3)의 위치 정보(114)에 의거하여, 겹침 영역(ROO1, ROO2, ROO3)의 화상(118)을 생성한다. 이때, ROI 화상 생성부(223)는, 겹침 영역(ROO2)의 화상(118)과, 겹침 영역(ROO3)의 화상(118)에 관해, 하나의 화상(118b1)에 정리한다. 또한, ROI 화상 생성부(223)는, 겹침 영역(ROO1)의 화상(118)과, 겹침 영역(ROO3)의 화상(118)에 관해, 1개의 화상(118b2)에 정리한다.
ROI 화상 생성부(223)는, 전송 화상(116a4)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa4, Ya4)) 및 길이(물리영역길이(XLa4, YLa4))와, 전송 화상(116a5)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa5, Ya5)) 및 길이(물리영역길이(XLa5, YLa5))에 의거하여, 겹침 영역(ROO1)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는, 상기한 겹침 영역(ROO1)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO1)의 좌표(좌상단 좌표(Xb2, Yb2)) 및 길이(물리영역길이(XLb2, YLb2))를 도출한다.
ROI 화상 생성부(223)는, 전송 화상(116a5)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa5, Ya5)) 및 길이(물리영역길이(XLa5, YLa5))와, 전송 화상(116a6)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa6, Ya6)) 및 길이(물리영역길이(XLa6, YLa6))에 의거하여, 겹침 영역(ROO3)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는, 상기한 겹침 영역(ROO3)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO3)의 좌표(좌상단 좌표(Xb3, Yb3)) 및 길이(물리영역길이(XLb3, YLb3))를 도출한다.
ROI 화상 생성부(223)는, 전송 화상(116a4)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa4, Ya4)) 및 길이(물리영역길이(XLa4, YLa4))와, 전송 화상(116a6)에 대응하는 주목 영역(ROI)의 좌표(좌상단 좌표(Xa6, Ya6)) 및 길이(물리영역길이(XLa6, YLa6))에 의거하여, 겹침 영역(ROO2)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는, 상기한 겹침 영역(ROO2)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO2)의 좌표(좌상단 좌표(Xb4, Yb4)) 및 길이(물리영역길이(XLb4, YLb4))를 도출한다.
ROI 화상 생성부(223)는, 또한, 전송 데이터(120A)로부터 판독한 3개의 전송 화상(116a4, 116a5, 116a6)과, 3개의 겹침 영역(ROO1, ROO2, ROO3)의 화상(118)에 의거하여, 촬상 화상(111)에서의 3개의 주목 영역(ROI)의 화상(ROI 화상(112a4, 112a5, 112a6))를 생성한다. 구체적으로는, ROI 화상 생성부(223)는, 3개의 전송 화상(116a4, 116a5, 116a6)과, 합성에 의해 얻어진 화상(118b1, 118b2)에 의거하여, 촬상 화상(111)에서의 3개의 주목 영역(ROI)의 화상(ROI 화상(112a4, 112a5, 112a6))를 생성한다. ROI 화상 생성부(223)는, 전송 데이터(120A)로부터 판독한 영역 번호(또는 우선도(115))를 이용함에 의해, 당해 전송 데이터(120A)에 포함되는 3개의 전송 화상(116a4, 116a5, 116a6)의 어느 것에 대해 화상(118b1, 118b2)를 부가하는지를 결정한다.
ROI 화상 생성부(223)는, 영역 번호(또는 우선도(115))가 가장 큰 전송 화상(116a6)에 대해 화상(118b2)를 부가함에 의해, ROI 화상(119a6)을 생성한다. ROI 화상 생성부(223)는, 영역 번호(또는 우선도(115))가 2번째로 큰 전송 화상(116a5)에 대해 화상(118b1)을 부가함에 의해, ROI 화상(119a5)을 생성한다.
ROI 화상 생성부(223)는, 화상(118b1, 118b2)이 부가되지 않게 된 전송 화상(116a4)에 관해서는, 전송 화상(116a4) 그 자체를 ROI 화상(119a4)으로 한다. 또한, 수신부(210)에서 수신한 3개의 위치 정보(113)는, 상기한 바와 같이 하여 얻어진 3개의 ROI 화상(119a4, 119a5, 119a6)의 위치 정보에 상당하고, 촬상 화상(111)에서의 3개의 ROI 화상(112a4, 112a5, 112a6)의 위치 정보(113)에 상당한다. 따라서 상기한 바와 같이 하여 얻어진 복수의 ROI 화상(119a4, 119a5, 119a6)은, 촬상 화상(111))에서의 복수의 ROI 화상(112a4, 112a5, 112a6)과 동등하다.
도 9는, 2개의 주목 영역(ROI7, ROI8)이 포함되어 있는 촬상 화상(111)의 한 예를 도시한 것이다. 도 9에 도시한 바와 같이, 일방의 주목 영역(ROI7) 중에, 타방의 주목 영역(ROI8)이 포함되어 있는 경우, 프레임(117)은, 예를 들면, 도 10에 도시한 바와 같이 된다. 도 10에 도시한 프레임(117)의 헤더 영역(R1)에서, 주목 영역(ROI8)의 우선도(115)가 2가 되어 있고, 주목 영역(ROI7)의 우선도(115)(=1)보다도 큰 값으로 되어 있다. 그때문에, 도 10에 도시한 패킷 영역(R2)에서, 주목 영역(ROI8)에 대응하는 ROI 화상(112)이 전부 할애되어 있다.
[효과]
다음에, 영상 전송 시스템(1)의 효과에 관해 설명한다.
근래, 데이터량이 큰 데이터를 대량으로 송신하는 용도가 증가하여 오고 있다. 전송 시스템에 큰 부하가 걸리기 쉽고, 최악의 경우에는, 전송 시스템이 다운하고, 데이터 전송이 행할 수 없게 될 우려가 있다.
종래에는, 전송 시스템의 다운을 피하기 위해, 예를 들면, 촬영한 화상을 전부 송신하는 것이 아니라, 촬영 대상의 물체를 특정하고, 특정한 물체를 절출한 일부의 화상만을 송신하는 것이 행하여지고 있다. 그러나, 데이터 전송의 분야에서는, 전송 데이터량의 더한층의 삭감이 요망되고 있다.
한편, 본 실시의 형태에서는, 복수의 주목 영역(ROI)의 화상(ROI 화상(112)))에서 겹침 영역(ROO)의 화상(118)이 중복되어 포함되지 않도록, 복수의 ROI 화상(112)으로부터 화상(118)을 할애한 것인 복수의 전송 화상(116)과, 복수의 위치 정보(113)를 포함하는 전송 데이터(120A)가 생성된다. 이에 의해, 촬상 화상(111)을 전부 송신하는 경우에 비하여, 전송 데이터량을 적게 할 수 있고, 또한, 촬상 화상(111)으로부터 절출한 각 화상을 그대로 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 촬상 화상(111))에서의 복수의 주목 영역(ROI)의 어느 것에 대해 겹침 영역(ROO)의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보로서의 주목 영역(ROI)의 영역 번호(또는 우선도(115))가 전송 데이터(120A)에 포함된다. 이에 의해, 전송 데이터(120A)로부터, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 때의 연산량을 삭감할 수 있다. 또한, 상기한 연산량을 적게 하기 위한 데이터량이 매우 적기 때문에, 전송 데이터(120A)의 데이터량에 거의 영향을 주는 일 없이, 상기한 연산량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 주목 영역(ROI)마다 부여되어 있는 영역 번호를 우선도(115)로서 이용함에 의해, 복수의 ROI 화상(112)의 어느 것에 대해 화상(118)의 할애를 행하는지가 결정된다. 이에 의해, 전송 데이터(120A)에, 영역 번호 및 우선도(115)의 쌍방을 포함할 필요가 없어지기 때문에, 전송 데이터량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 위치 정보(113)가, 각 주목 영역(ROI))에서의 소정의 위치의 좌표와, 각 주목 영역(ROI)의 크기에 관한 정보를 포함하고 있다. 이에 의해, 위치 정보(113)의 데이터량은 매우 작기 때문에, 전송 데이터(120A)에 위치 정보(113)를 포함한 경우라도, 전송 데이터(120A)의 데이터량에 거의 영향을 주지 않는다. 따라서, 적은 전송 데이터량으로, 전송 데이터(120A)로부터, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 때의 연산량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 복수의 위치 정보(113)와, 복수의 전송 화상(116)을 서로 관계시킨 프레임(117)이 전송 데이터(120A)에 포함된다. 이에 의해, 전송 데이터(120A)로부터, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 때의 연산량을 줄일 수 있다. 또한, 상기한 연산량을 줄이기 위한 데이터량이 매우 적기 때문에, 전송 데이터(120A)의 데이터량에 거의 영향을 주는 일 없이, 상기한 연산량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 프레임(117)에서, 각 전송 화상(116)이 전송 화상(116)의 화소행마다, 또는, 전송 화상(116)의 소정의 에어리어마다 나누어서 배치되어 있다. 이에 의해, 전송 데이터(120A)로부터, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 때의 연산량을 적게 할 수 있다. 또한, 상기한 연산량을 줄이기 위한 데이터량이 매우 적기 때문에, 전송 데이터(120A)의 데이터량에 거의 영향을 주는 일 없이, 상기한 연산량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 수신한 전송 데이터(120A)에 포함되는 복수의 전송 화상(116)과, 수신한 전송 데이터(120A)에 의거하여 생성한 1 또는 복수의 겹침 영역(ROO)의 화상(118)에 의거하여, 촬상 화상(111))에서의 복수의 주목 영역(ROI)의 화상(ROI 화상(112))이 생성된다. 이에 의해, 촬상 화상(111)을 전부 수신하지 않아도, 촬상 대상인 각 주목 영역(ROI)의 화상(ROI 화상(112))을 얻을 수 있다. 또한, 촬상 화상(111)으로부터 절출한 각 화상을 그대로 수신하지 않아도, 촬상 대상인 각 주목 영역(ROI)의 화상(ROI 화상(112))을 얻을 수 있다. 따라서, 촬상 화상을 전부 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있고, 또한, 촬상 화상으로부터 절출한 각 화상을 그대로 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 촬상 화상(111)에서의 복수의 주목 영역(ROI)의 어느 것에 대해 겹침 영역(ROO)의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보로서의 주목 영역(ROI)의 영역 번호(또는 우선도(115))를 이용함에 의해, 전송 데이터(120A)에 포함되는 복수의 전송 화상(116)의 어느 것에 대해 화상(118)을 부가하는지가 결정된다. 이에 의해, 전송 데이터(120A)로부터, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 때의 연산량을 삭감할 수 있다. 또한, 상기한 연산량을 적게 하기 위한 데이터량이 매우 적기 때문에, 전송 데이터(120A)의 데이터량에 거의 영향을 주는 일 없이, 상기한 연산량을 삭감할 수 있다.
또한, 본 실시의 형태에서는, 수신부(210)에서 수신한 복수의 위치 정보(113)는, 촬상 화상(111))에서의 복수의 주목 영역(ROI)의 위치 정보에 상당한다. 이와 같이, 촬상 화상(111))에서의 복수의 주목 영역(ROI)의 위치 정보에 상당하는 복수의 위치 정보(113)가 영상 수신 장치(200)에 전송됨에 의해, 영상 수신 장치(200)에서, 복수의 위치 정보(113)를 이용하여, 촬상 화상(111))에서의 복수의 주목 영역(ROI)을 복원할 수 있다. 따라서, 촬상 화상으로부터 절출한 각 화상을 그대로 송신하는 경우에 비하여, 전송 데이터량을 삭감할 수 있다.
<변형례>
이하에, 상기 실시의 형태에 관한 영상 전송 시스템(1)의 변형례에 관해 설명한다.
[변형례 A]
도 11는, 상기 실시의 형태에 관한 영상 전송 시스템(1)의 한 변형례를 도시한 것이다. 본 변형례에 관한 영상 전송 시스템(1)은, 상기 실시의 형태의 영상 수신 장치(200) 대신에, 상기 실시의 형태의 영상 수신 장치(200)와 동일한 구성 요소를 포함하는 2개의 영상 수신 장치(200A, 200B)를 구비하고 있다. 영상 수신 장치(200A)에서, 수신부(210A)는, 상기 실시의 형태의 수신부(210)와 동일한 구성 요소를 갖고 있고, 화상 처리부(220A)는, 상기 실시의 형태의 화상 처리부(220)와 동일한 구성 요소를 갖고 있다. 영상 수신 장치(200B)에서, 수신부(210B)는, 상기 실시의 형태의 수신부(210)와 동일한 구성 요소를 갖고 있고, 화상 처리부(220B)는, 상기 실시의 형태의 화상 처리부(220)와 동일한 구성 요소를 갖고 있다.
본 변형례에서, 화상 처리부(120)는, 인코드부(125) 대신에, 2개의 인코드부(125A, 125B)를 갖고 있다. 2개의 인코드부(125A, 125B)는, 각 전송 화상(116)을, 인코드하여 압축상 데이터를 생성한다. 또한, 본 변형례에서, 영상 송신 장치(100)는, 송신부(130) 대신에, 2개의 송신부(130A, 130B)를 갖고 있다. 본 변형례에서, 화상 처리부(120)는, ROI 절출부(121)와, 인코드(125)(125A, 125B)와의 사이에, 분배부(126)를 갖고 있다. 화상 처리부(120)에서, 우선도 설정부(124)의 출력이 분배부(126)에 입력되어 있다. 또한, 본 변형례에서, 송신부(130A)는, 인코드부(125A)로부터 출력된 전송 데이터를, 전송로(300A)를 통하여, 영상 수신 장치(200A)에 송신한다. 또한, 본 변형례에서, 송신부(130B)는, 인코드부(125B)로부터 출력된 전송 데이터를, 전송로(300A)를 통하여, 영상 수신 장치(200B)에 송신한다.
분배부(126)는, 상기 실시의 형태에서의 인코드부(125)에서 행하고 있던, 복수의 전송 화상(116)의 생성을 행한다. 분배부(126)는, 생성한 복수의 전송 화상(116)을, 인코드부(125A)에 입력하는 1 또는 복수의 전송 화상(116)과, 인코드부(125B)에 입력하는 1 또는 복수의 전송 화상(116)으로 분배한다. 분배부(126)는, 생성한 복수의 전송 화상(116), 및 복수의 위치 정보(113)를 복수의 그룹으로 나누고, 그룹마다, 복수의 전송 화상(116)과, 1 또는 복수의 위치 정보(113)를 서로 관계시킨 프레임(117)을 생성하고, 인코드부(125A, 125B)에 출력한다. 인코드부(125A, 125B)는, 입력된 프레임(117)마다 전송 데이터(120A)를 생성한다.
인코드부(125A)는, 분배부(126)로부터 입력된 1 또는 복수의 전송 화상(116)에 의거하여 전송 데이터를 생성한다. 인코드부(125A)에 의해 생성된 전송 데이터는, 상기 실시의 형태에서의 인코드부(125)에 의해 생성된 전송 데이터(120A)와 기본적으로는 같은 구성으로 되어 있다. 인코드부(125B)는, 분배부(126)로부터 입력된 1 또는 복수의 전송 화상(116)에 의거하여 전송 데이터를 생성한다. 인코드부(125B)에 의해 생성된 전송 데이터는, 상기 실시의 형태에서의 인코드부(125)에 의해 생성된 전송 데이터(120A)와 기본적으로는 같은 구성으로 되어 있다.
분배부(126)는, 예를 들면, 화상 처리부(220A)에서 처리하는 데이터로서 설정된 정보(제1 설정 정보)와, 화상 처리부(220B)에서 처리하는 데이터로서 설정된 정보(제2 설정 정보)를 갖고 있다. 따라서, 분배부(126)는, 예를 들면, 이들의 정보(제1 설정 정보 및 제2 설정 정보)에 의거하여, 상기 분배를 행한다.
예를 들면, 도 5에 도시한 바와 같이, 촬상 화상(111)으로부터 3개의 주목 영역(ROI112)(112a4, 112a5, 112a6)이 포함되어 있다)이 절출되었다고 한다. 이 경우, 분배부(126)는, 예를 들면, 작은 겹침 영역(ROO3)을 포함하는 전송 화상(116a4, 116a6)을 인코드부(125A)에 분배한다. 또한, 분배부(126)는, 예를 들면, 겹침 영역(ROO3)보다도 큰 겹침 영역(ROO1)을 갖는 전송 화상(116a5)을 인코드부(125B)에 분배한다. 그 결과, 인코드부(125A)는, 도 12에 도시한 바와 같은 프레임(117A)을 생성하고, 인코드부(125B)는, 도 13에 도시한 바와 같은 프레임(117B)을 생성한다. 프레임(117A)에는, 도 7B에 도시한 겹침 영역(ROO1, R003)이 존재하지 않기 때문에, 영상 수신 장치(200A))에서의 연산량을, 상기 실시의 형태의 영상 수신 장치(200)에 비하여 적게 할 수 있다. 또한, 프레임(117B)에는, 도 7B에 도시한 겹침 영역(ROO1, ROO2, R003)이 존재하지 않기 때문에, 영상 수신 장치(200B))에서의 연산량을, 상기 실시의 형태의 영상 수신 장치(200)와 비교하여 적게 할 수 있다.
또한, 상기 실시의 형태에 관한 영상 전송 시스템(1)에서, 인코드부(125)의 후에, 송신부(130A, 130B)에 대한 분배 처리를 행하여도 좋다. 단, 이 경우, 인코드부(125)는, 상기 분배 처리를 행하는 섹션에 대해, 상기 분배 처리를 행하는 것이 가능한 상태의 데이터를 출력할 필요가 있다. 상기 분배 처리를 행하는 섹션에서, 본 변형례와 마찬가지의 분리 처리를 행함에 의해, 영상 수신 장치(200B))에서의 연산량을, 상기 실시의 형태의 영상 수신 장치(200)에 비하여 적게 할 수 있다.
[변형례 B]
도 14는, 상기 변형례 A에 관한 영상 전송 시스템(1)의 한 변형례를 도시한 것이다. 본 변형례에 관한 영상 전송 시스템(1)은, 상기 변형례 A에 관한 영상 전송 시스템(1)에서, 영상 수신 장치(200A)에 분배 정보 전송부(230A)를 마련하고, 영상 수신 장치(200B)에 분배 정보 전송부(230B)를 마련한 것이다. 분배 정보 전송부(230A, 230B)의 출력이, 모두, 분배부(126)에 연결되어 있다.
분배 정보 전송부(230A)는, 예를 들면, 영상 수신 장치(200A)에서 처리하는 데이터로서 설정된 정보(설정 정보)를 분배부(126)에 송신한다. 분배 정보 전송부(230B)는, 예를 들면, 영상 수신 장치(200B)에서 처리하는 데이터로서 설정된 정보(설정 정보)를 분배부(126)에 송신한다. 여기서, 설정 정보는, 영상 송신 장치(100)로부터 출력되는 전송 데이터의 송신처(送信先)의 정보인 송신처 정보에 상당한다. 분배부(126)는, 예를 들면, 영상 수신 장치(200A, 200B)로부터 입력되는 설정 정보에 의거하여, 상기 분배를 행한다. 이에 의해, 변형례 A와 마찬가지로, 영상 수신 장치(200A, 200B))에서의 연산량을, 상기 실시의 형태의 영상 수신 장치(200)에 비하여 적게 할 수 있다.
[변형례 C]
도 15는, 상기 변형례 A에 관한 영상 전송 시스템(1)의 한 변형례를 도시한 것이다. 본 변형례에 관한 영상 전송 시스템(1)은, 상기 변형례 B에 관한 영상 전송 시스템(1)에서, 영상 수신 장치(200A, 200B) 대신에, 영상 수신 장치(200C)를 구비한 것이다. 영상 수신 장치(200C)는, 예를 들면, 수신부(210C), 화상 처리부(220C, 220D), 분배 제어부(240) 및 분배 정보 전달부(230C)를 갖고 있다.
수신부(210C)는, 영상 송신 장치(100)로부터 출력된 2종류의 전송 데이터를, 전송로(300A, 300B)를 통하여 수신한다. 수신부(210C)는, 수신한 2종류의 전송 데이터 중, 화상 처리부(220C)에 적합한 쪽의 데이터를 화상 처리부(220C)에 출력하고, 수신한2 종류의 전송 데이터 중, 화상 처리부(220D)에 적합한 쪽의 데이터를 화상 처리부(220D)에 출력한다. 화상 처리부(220C)는, 수신부(210C)로부터 입력된 전송 데이터를 처리한다. 화상 처리부(220D)는, 수신부(210C)로부터 입력된 전송 데이터를 처리한다. 화상 처리부(220C, 220D)는, 모두, 상기 실시의 형태의 화상 처리부(220)와 같은 구성을 갖고 있다. 화상 처리부(220C, 220D)는, 각각, 예를 들면, IC 칩에 의해 구성되어 있다. 화상 처리부(220C, 220D)는, 각각, 예를 들면, 연산 처리 능력에 관한 리얼타임 데이터를 분배 제어부(240)에 출력한다. 분배 제어부(240)는, 화상 처리부(220C, 220D)로부터 입력된 데이터에 의거하여, 분배부(126)를 제어하는 제어 데이터를 생성하고, 분배 정보 전달부(230C)에 출력한다. 분배 정보 전달부(230C)는, 분배 제어부(240)로부터 입력된 제어 데이터를 분배부(126)에 출력한다. 분배부(126)는, 분배 정보 전달부(230C)로부터 입력된 제어 데이터에 의거하여, 분배 처리를 조정한다.
예를 들면, 도 5에 도시한 바와 같이, 촬상 화상(111)으로부터 3개의 주목 영역(ROI112)(112a4, 112a5, 112a6)이 포함되어 있다)이 절출되었다고 한다. 이 경우에, 분배부(126)는, 예를 들면, 작은 겹침 영역(ROO3)을 포함하는 전송 화상(116a4, 116a6)을 인코드부(125A)에 분배한다. 또한, 분배부(126)는, 예를 들면, 겹침 영역(ROO3)보다도 큰 겹침 영역(ROO1)을 갖는 전송 화상(116a5)을 인코드부(125B)에 분배한다. 그 결과, 인코드부(125A)는, 도 12에 도시한 바와 같은 프레임(117A)을 생성하고, 인코드부(125B)는, 도 13에 도시한 바와 같은 프레임(117B)을 생성한다.
그 후, 리얼타임 데이터에 변화가 생겨서, 분배 제어부(240)가, 예를 들면, 화상 처리부(220C)에 입력하는 전송 데이터와, 화상 처리부(220D)에 입력하는 전송 데이터를 서로 교체하는 제어 신호를 생성하고, 분배 정보 전달부(230C)에 출력한다. 분배 정보 전달부(230C)는, 분배 제어부(240)로부터 입력된 제어 신호를 분배부(126)에 입력한다. 그러면, 분배부(126)는, 분배 정보 전달부(230C)로부터 입력된 제어 신호에 의거하여, 인코드부(125A)에 입력하고 있던 데이터를 인코드부(125B)에 입력하고, 인코드부(125B)에 입력하고 있던 데이터를 인코드부(125A)에 입력한다. 인코드부(125A)는, 분배부(126)로부터 입력된 데이터에 의거하여 전송 데이터를 생성하고, 인코드부(125B)는, 분배부(126)로부터 입력된 데이터에 의거하여 전송 데이터를 생성한다. 송신부(130A)는, 인코드부(125A)로부터 입력된 데이터를, 전송로(300A)를 통하여, 수신부(210C)에 출력한다. 송신부(130B)는, 인코드부(125B)로부터 입력된 데이터를, 전송로(300B)를 통하여, 수신부(210C)에 출력한다. 수신부(210C)는, 전송로(300A)를 통하여 입력된 전송 데이터를 화상 처리부(220C)에 입력하고, 전송로(300B)를 통하여 입력된 전송 데이터를 화상 처리부(220D)에 입력한다.
이처럼, 본 변형례에서는, 분배 제어부(240)에 의한 화상 처리부(220C, 220D)의 리얼타임의 모니터링에 의해 적절한 분배 처리가 행하여진다. 따라서, 영상 수신 장치(200C))에서의 효율 좋게 데이터 처리를 행할 수가 있다.
<적용례>
다음에, 상기 실시의 형태 및 그 변형례에 관한 영상 전송 시스템(1)의 MIPI 규격에의 적용례에 관해 설명한다. 도 16는, MIPI 규격으로 규정된 로우 레벨 프로토콜로의 패킷의 개요의 한 예를 도시한 것이다. 도 17는, MIPI 규격으로 규정된 프레임 포맷의 한 예를 도시한 것이다.
도 16에서, 「SP」(Short Packet)로 기재되어 있는 개소(흑색의 화살표로 도시한 개소)에, 패킷 헤더의 정보(예를 들면 우선도 정보 등)를 기록하는 것이 생각된다. 그러나, 「SP」에서, 16bit는 이미 MIPI 규격으로 다른 용도로 정의되고 사용되고 있기 때문에, 패킷 헤더의 정보 중, 16bit를 초과하는 내용에 대해서는, 새로운 패킷 헤더 영역을 추가하여 정의한 필요가 있다.
도 17에서, 「embedded data」로 기재되어 있는 개소(흑색의 화살표로 도시한 개소)에, 프레임(117, 117A, 117B)의 헤더 영역(R1)에 포함되는 내용을 기록하는 것이 생각된다. 「embedded data」에는, 어느 정도의 데이터량의 내용을 기록하는 것이 가능하다. 따라서, 「embedded data」로 기재되어 있는 개소(흑색의 화살표로 도시한 개소)에, 프레임(117, 117A, 117B)의 헤더 영역(R1)에 포함되는 내용을 기록하여도 좋다.
이상, 실시의 형태 및 그 변형례를 들어서 본 개시를 설명하였지만, 본 개시는 상기 실시의 형태 등으로 한정되는 것이 아니고, 여러가지 변형이 가능하다. 또한, 본 명세서 중에 기재된 효과는, 어디까지나 예시이다. 본 개시의 효과는, 본 명세서중에 기재된 효과로 한정되는 것이 아니다. 본 개시가, 본 명세서 중에 기재된 효과 이외의 효과를 갖고 있어도 좋다.
또한, 예를 들면, 본 개시는 이하와 같은 구성을 취할 수 있다.
(1) 촬상 화상에서의 복수의 주목 영역의 위치 정보에 의거하여, 2 이상의 상기 주목 영역끼리가 맞겹치는 겹침 영역을 검출하는 검출부와,
복수의 상기 주목 영역의 제1 화상에서 상기 겹침 영역의 제2 화상이 중복되어 포함되지 않도록, 복수의 상기 제1 화상으로부터 상기 제2 화상을 할애한 것인 복수의 제3 화상과, 복수의 상기 위치 정보를 포함하는 전송 데이터를 생성하는 생성부와,
상기 전송 데이터를 출력하는 송신부를 구비한 영상 송신 장치.
(2) 상기 생성부는, 복수의 상기 제1 화상의 어느 것에 대해 상기 제2 화상의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보를 생성하고, 상기 전송 데이터에 포함하는 (1)에 기재된 영상 송신 장치.
(3) 상기 생성부는, 상기 주목 영역마다 식별자를 부여하고, 상기 식별자를 상기 판별 정보로서 이용함에 의해, 복수의 상기 제1 화상의 어느 것에 대해 상기 제2 화상의 할애를 행하는지를 결정하는 (2)에 기재된 영상 송신 장치.
(4) 상기 위치 정보는, 각 상기 주목 영역에서의 소정의 위치의 좌표와, 각 상기 주목 영역의 크기에 관한 정보를 포함하는 (1) 내지 (3)의 어느 하나에 기재된 영상 송신 장치.
(5) 상기 생성부는, 복수의 상기 위치 정보와, 복수의 상기 제3 화상을 서로 관계시킨 프레임을 생성함과 함께, 상기 프레임을 포함하는 상기 전송 데이터를 생성하는 (1) 내지 (4)의 어느 하나에 기재된 영상 송신 장치.
(6) 상기 생성부는, 상기 프레임에서, 각 상기 제3 화상을 상기 제3 화상의 화소행마다, 또는, 상기 제3 화상의 소정의 에어리어마다 나누어서 배치하는 (5)에 기재된 영상 송신 장치.
(7) 상기 생성부는, 복수의 상기 위치 정보 및 복수의 상기 제3 화상을 복수의 그룹으로 나누고, 상기 그룹마다, 1 또는 복수의 상기 위치 정보와, 1 또는 복수의 상기 제3 화상을 서로 관계시킨 프레임을 생성하고, 상기 프레임마다 상기 전송 데이터를 생성하는 (1) 내지 (6)의 어느 하나에 기재된 영상 송신 장치.
(8) 상기 생성부는, 상기 전송 데이터의 송신처의 정보인 송신처 정보에 의거하여, 복수의 상기 위치 정보 및 복수의 상기 제3 화상의 그룹 나눔을 행하는 (7)에 기재된 영상 송신 장치.
(9) 복수의 제3 화상과, 복수의 위치 정보를 포함하는 전송 데이터를 수신하는 수신부와,
수신한 복수의 상기 제3 화상에서의 1 또는 복수의 상기 제3 화상과, 수신한 복수의 상기 위치 정보에서의 복수의 상기 위치 정보로부터 얻어지는 1 또는 복수의 겹침 영역의 위치 정보에 의거하여, 1 또는 복수의 상기 겹침 영역의 제2 화상을 생성하고, 수신한 복수의 상기 제3 화상과, 1 또는 복수의 상기 제2 화상에 의거하여, 촬상 화상에서의 복수의 주목 영역의 제1 화상을 생성하는 화상 처리부를 구비한 영상 수신 장치.
(10) 상기 전송 데이터는, 당해 전송 데이터에 포함되는 복수의 상기 제3 화상의 어느 것에 대해 상기 제2 화상의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보를 포함하고,
상기 화상 처리부는, 상기 판별 정보를 이용함에 의해, 당해 전송 데이터에 포함되는 복수의 상기 제3 화상의 어느 것에 대해 상기 제2 화상을 부가하는지를 결정하는 (9)에 기재된 영상 수신 장치.
(11) 상기 수신부에서 수신한 복수의 상기 위치 정보는, 상기 촬상 화상에서의 복수의 상기 제1 화상의 위치 정보에 상당하는 (9) 또는 (10)에 기재된 영상 수신 장치.
(12) 상기 화상 처리부는, 복수의 화상 처리 IC를 포함하고,
당해 화상 수신 장치는,
복수의 상기 화상 처리 IC의 중에서, 각 상기 제3 화상의 처리 담당을 결정하는 분배 제어부와,
상기 분배 제어부에서 결정된, 각 상기 제3 화상의 처리 담당에 관한 분배 정보를, 상기 전송 데이터의 송신원(送信元)에 송신하는 분배 정보 전송부를 또한 구비한 (9) 내지 (11)의 어느 하나에 기재된 영상 수신 장치.
(13) 촬상 화상에서 2 이상의 주목 영역을 정의하는 복수의 위치 정보에 기초하여 상기 2 이상의 주목 영역에 의해 공유되는 상기 촬상 화상 내의 겹침 영역을 검출하도록 구성된 검출 회로와;
상기 복수의 위치 정보로부터 제1 위치 정보에 기초하여, 상기 겹침 영역을 포함하며 상기 2 이상의 주목 영역 중 제1의 주목 영역에 대응하는 제1 화상을 생성하고,
상기 겹침 영역 및 상기 복수의 위치 정보에 기초하여, 상기 겹침 영역 이외이며 상기 2 이상의 주목 영역 중의 상기 제1 주목 영역을 제외한 주목 영역에 대응하는 1 이상의 제2 화상을 생성하고,
상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보를 포함하는,
송신 데이터를 생성하는 생성회로와;
상기 송신 데이터를 출력하도록 구성된 송신 회로;
를 포함하는 것을 특징으로 하는 화상 송신 장치.
(14) 상기 겹침 영역을 검출하기 위해,
상기 검출 회로는,
상기 촬상 화상으로부터 상기 2 이상의 주목 영역에 대응하는 2 이상의 서브 화상을 추출하고,
추출된 2 이상의 상기 서브 화상으로부터 복수의 위치 정보를 결정하고,
상기 복수의 위치 정보로부터 상기 겹침 영역을 도출함으로써 상기 겹침 영역을 검출하는 것,
을 특징으로 하는 (13)에 기재된 화상 송신 장치.
(15) 상기 생성 회로는 상기 1 이상의 제2 화상 각각으로부터 상기 겹침 영역의 배제를 나타내는 배제 정보를 생성하도록 구성되며, 상기 송신 데이터는 상기 배제 정보를 더 포함하는 것을 특징으로 (13)에 기재된 화상 송신 장치.
(16) 상기 배제 정보를 생성하기 위해,
상기 생성 회로는,
상기 제1 화상 및 상기 1 이상의 제2 화상 각각에 식별자를 할당하도록 더 구성되고,
상기 1 이상의 제2 화상 각각에 할당되는 식별자는 상기 1 이상의 제2 화상으로부터 상기 겹침 영역의 배제를 나타내는,
것을 특징으로 하는 (15)에 기재된 화상 송신 장치.
(17) 상기 2 이상의 주목 영역 각각과 관련된 위치 정보는 미리 결정된 위치의 좌표 및 크기 정보를 포함하는 것을 특징으로 하는 (1)에 기재된 화상 송신 장치.
(18) 상기 생성 회로는 상기 제1 화상 및 상기 복수의 위치 정보 중 대응하는 위치정보와 관련된 상기 1 이상의 제2 화상을 포함하는 프레임을 생성하도록 더 구성되고, 상기 송신 데이터는 상기 프레임을 포함하는 것을 특징으로 하는 (1)d r기재된 화상 송신 장치.
(19) 상기 생성 회로는 상기 1 이상의 제2 화상의 각 화소 행에 대해 또는 상기 1 이상의 제2 화상의 각각의 미리 결정된 영역에 대해 상기 프레임 내에서 상기 1 이상의 제2 화상 각각을 분리 및 정렬하도록 구성되며, 상기 복수의 위치 정보 중 대응하는 위치 정보에 기초하는 것을 특징으로 하는 (18)에 기재된 화상 송신 장치.
(20) 생성 회로는,
상기 복수의 위치 정보 및 상기 1 이상의 제2 화상을 복수의 그룹으로 분리하고,
상기 복수의 그룹 중 하나와 각각 관련되며, 상기 1 이상의 프레임 중 적어도 하나와 관련된 상기 복수의 위치 정보 중 적어도 하나를 각각 포함하는, 복수의 프레임을 생성하고,
상기 복수의 프레임 각각에 대한 송신 데이터를 생성하도록,
더 구성되는 것을 특징으로 하는 (13)에 기재된 화상 송신 장치.
(21) 상기 생성 회로는 상기 송신 데이터의 송신 목적지에 기초하여, 상기 복수의 위치 정보 및 상기 1 이상의 제2 화상을 그룹화하도록 더 구성되는 것을 특징으로 하는 (20)에 기재된 화상 송신 장치.
(22) 생성 회로는,
상기 겹침 영역 및 상기 복수의 위치 정보에 기초하여, 상기 겹침 영역의 제1 부분을 제외하고 상기 겹침 영역의 제2 부분을 포함하며 상기 2 이상의 주목 영역 중 상기 제1 주목 영역 이외의 주목 영역에 대응하는 1 이상의 제3 화상을 생성하고,
상기 제1 화상, 상기 1 이상의 제2 화상, 상기 1 이상의 제3 화상, 및 상기 복수의 위치 정보를 포함하는 송신 데이터를 생성하도록 더 구성된 것을 특징으로 하는 (2)에 기재된 화상 송신 장치.
(23) 제1 화상, 1 이상의 제2 화상, 및 복수의 위치 정보를 포함하는 송신 데이터를 수신하도록 구성된 수신 회로와;
촬상 화상에서 2 이상의 주목 영역과 관련되며, 상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보에 기초하여 복수의 제3 화상을 생성하도록 구성된 화상 처리 회로;
를 포함하는 것을 특징으로 하는 화상 수신 장치.
(24) 송신 데이터는 배제 정보를 더 포함하고,
상기 화상 처리 회로부는 상기 배제 정보에 기초하여 상기 1 이상의 제2 화상을 서로 및 상기 제1 화상으로부터 식별하는 것을 특징으로 하는 (23)에 기재된 화상 송신 장치.
(25) 상기 수신 회로에 의해 수신 된 상기 복수의 위치 정보는 상기 촬상 화상 내의 상기 복수의 제3 화상와 관련된 복수의 위치 정보에 대응하는 것을 특징으로 하는 (23)에 기재된 화상 송신 장치.
(26) 분배 제어 회로와;
분배 정보 송신 회로와;
상기 화상 처리 회로는 복수의 화상 처리 집적 회로를 포함하고,
상기 분배 제어 회로는 상기 복수의 화상 처리 집적 회로 중에서 상기 1 이상의 제2 화상 각각의 처리부를 결정하고,
상기 분배 정보 송신 회로는 상기 분배 제어 회로에 의해 결정된 상기 1 이상의 제2 화상 각각의 상기 처리 부분을 나타내는 분배 정보를 상기 송신 데이터의 송신원에 송신하도록 구성되는 것을 특징으로 하는 정보 분배 시스템.
(27) 화상 송신 장치와,
화상 수신 장치를 포함하고,
상기 화상 송신 장치는,
촬상 화상에서 2 이상의 주목 영역을 정의하는 복수의 위치 정보에 기초하여 상기 2 이상의 주목 영역에 의해 공유되는 상기 촬상 화상 내의 겹침 영역을 검출하도록 구성된 검출 회로와;
상기 복수의 위치 정보로부터 제1 위치 정보에 기초하여, 상기 겹침 영역을 포함하며 상기 2 이상의 주목 영역 중 제1의 주목 영역에 대응하는 제1 화상을 생성하고,
상기 겹침 영역 및 상기 복수의 위치 정보에 기초하여, 상기 겹침 영역 이외이며 상기 2 이상의 주목 영역 중 상기 제1 주목 영역을 제외한 주목 영역에 대응하는 1 이상의 제2 화상을 생성하고,
상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보를 포함하는 송신 데이터를 생성하는 생성회로와;
상기 송신 데이터를 출력하도록 구성된 송신 회로를 포함하고,
상기 화상 수신 장치는,
상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보를 포함하는 상기 송신 데이터를 수신하도록 구성된 수신 회로와;
촬상 화상에서 상기 2 이상의 주목 영역과 관련되며, 상기 제1 화상, 상기 1 이상의 제2 화상, 및 상기 복수의 위치 정보에 기초하는 복수의 제3 화상을 생성하도록 구성된 화상 처리 회로를 포함하는 것을 특징으로 하는 시스템.
(28) 상기 겹침 영역을 검출하기 위해,
상기 검출 회로는,
상기 촬상 화상으로부터 상기 2 이상의 주목 영역에 대응하는 2 이상의 서브 화상을 추출하고,
추출된 2 이상의 상기 서브 화상으로부터 복수의 위치 정보를 결정하고,
상기 복수의 위치 정보로부터 상기 겹침 영역을 도출함으로써 상기 겹침 영역을 검출하는 것을 특징으로 하는 (27)에 기재된 시스템.
(29) 생성 회로는,
상기 겹침 영역 및 상기 복수의 위치 정보에 기초하여, 상기 겹침 영역의 제1 부분을 제외하고 상기 겹침 영역의 제2 부분을 포함하며 상기 2 이상의 주목 영역 중 상기 제1 주목 영역 이외의 주목 영역에 대응하는 1 이상의 제4 화상을 생성하고,
상기 제1 화상, 상기 1 이상의 제2 화상, 상기 1 이상의 제4 화상, 및 상기 복수의 위치 정보를 포함하는 송신 데이터를 생성하도록 더 구성되고,
상기 화상 처리 회로는 상기 제1 화상, 상기 1 이상의 제2 화상, 상기 1 이상의 제4 화상, 및 상기 복수의 위치 정보에 기초하여 상기 촬상 화상에서 상기 2 이상의 주목 영역과 관련된 상기 복수의 제3 화상을 생성하도록 더 구성되는 것을특징으로 하는 (27)에 기재된 시스템.
(30) 상기 생성 회로는 상기 복수의 위치 정보의 대응하는 위치 정보와 관련된 상기 1 이상의 제2 화상을 포함하는 프레임을 생성하도록 더 구성되고, 상기 송신 데이터는 상기 프레임을 포함하는 것을 특징으로 하는 (27)에 기재된 시스템.
(31) 상기 송신 데이터는 배제 정보를 더 포함하고,
상기 화상 처리 회로는 상기 배제 정보에 기초하여, 상기 1 이상의 제2 화상을, 서로 및 상기 제1 화상으로부터 식별하는 것을 특징으로 하는 (27)에 기재된 시스템.
(32) 상기 화상 수신 장치는,
분배 제어 회로와;
분배 정보 송신 회로를 더 포함하고,
상기 화상 처리 회로는 복수의 화상 처리 집적 회로를 포함하고,
상기 분배 제어 회로는 상기 복수의 화상 처리 집적 회로 중에서 상기 1 이상의 제2 화상 각각의 처리부를 결정하도록 구성되고,
상기 분배 정보 송신 회로는 상기 분배 제어 회로에 의해 결정된 상기 1 이상의 제2 화상 각각의 처리를 나타내는 분배 정보를 상기 화상 송신 장치에 송신하도록 구성되는 것을 특징으로 하는 (27)에 기재된 시스템.
1 : 영상 전송 시스템
100 : 영상 송신 장치
110 : 촬상부
111 : 촬상 화상
112, 112a1, 112a2, 112a4, 112a5, 112a6, 119, 119a1, 119a2, 119a4, 119a5, 119a6 : ROI 화상
113, 114 : 위치 정보
115 : 우선도
116, 116a1, 116a2, 116a4, 116a5, 116a6 : 전송 화상
117, 117A, 117B : 프레임
118, 118b1, 118b2 : 화상
120 : 화상 처리부
120A : 전송 데이터
121 : ROI 절출부
122 : ROI 해석부
123 : 겹침 검출부
124 : 우선도 설정부
125, 125A, 125B : 인코드부
126 : 분배부
130, 130A, 130B : 송신부
200, 200A, 200B, 200C : 영상 수신 장치
210, 210A, 210B, 210C : 수신부
220, 220A, 220B, 220C, 220D : 화상 처리부
221 : 디코드부
222 : 정보 추출부
223 : ROI 화상 생성부
230A, 230B, 230C : 분배 정보 전송부
240 : 분배 제어부
300, 300A, 300B : 전송로
R1 : 헤더 영역
R2 : 패킷 영역
R3 : 푸터 영역
ROI, ROI1, ROI2, ROI4, ROI5, ROI6, ROI7, ROI8 : 주목 영역
ROO, ROO1, ROO2, ROO3 : 겹침 영역.

Claims (20)

  1. 촬상 화상에서의 복수의 주목 영역의 위치 정보에 의거하여, 2 이상의 상기 주목 영역끼리가 맞겹치는 겹침 영역을 검출하는 검출부와,
    복수의 상기 주목 영역의 제1 화상 중, 상기 겹침 영역을 갖는 하나 또는 복수의 상기 제1 화상으로부터 상기 겹침 영역의 제2 화상을 할애한 하나 또는 복수의 제3 화상과, 복수의 상기 제1 화상 중, 상기 하나 또는 복수의 제3 화상에 대응하지 않는 하나 또는 복수의 제4 화상과, 복수의 상기 위치 정보와, 상기 주목 영역마다 부여된 영역 번호와, 상기 주목 영역마다 설정된 AD 변환의 데이터의 워드 길이를 포함하는 전송 데이터를 생성하는 생성부와,
    상기 전송 데이터를 출력하는 송신부를 구비하는 것을 특징으로 하는 영상 송신 장치.
  2. 제1항에 있어서,
    상기 생성부는 복수의 상기 제1 화상의 어느 것에 대해 상기 제2 화상의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보를 생성하고, 상기 전송 데이터에 포함시키는 것을 특징으로 하는 영상 송신 장치.
  3. 제2항에 있어서,
    상기 생성부는 상기 판별 정보를 이용함에 의해, 복수의 상기 제1 화상의 어느 것에 대해 상기 제2 화상의 할애를 행하는지를 결정하는 것을 특징으로 하는 영상 송신 장치.
  4. 제1항에 있어서,
    상기 위치 정보는 각 상기 주목 영역에서의 소정의 위치의 좌표와, 각 상기 주목 영역의 크기에 관한 정보를 포함하는 것을 특징으로 하는 영상 송신 장치.
  5. 제1항에 있어서,
    상기 생성부는 복수의 상기 위치 정보와, 상기 하나 또는 복수의 제3 화상 및 상기 하나 또는 복수의 제4 화상을 서로 관계시킨 프레임을 생성하는 것과 함께, 상기 프레임을 포함하는 상기 전송 데이터를 생성하는 것을 특징으로 하는 영상 송신 장치.
  6. 제5항에 있어서,
    상기 생성부는 상기 프레임에서, 각 상기 제3 화상 및 각 상기 제4 화상을 상기 제3 화상 및 상기 제4 화상의 화소행마다, 또는, 상기 제3 화상 및 상기 제4 화상의 소정의 에어리어마다 나누어서 배치하는 것을 특징으로 하는 영상 송신 장치.
  7. 제1항에 있어서,
    상기 생성부는 복수의 상기 위치 정보, 및 상기 하나 또는 복수의 제3 화상 및 상기 하나 또는 복수의 제4 화상을 복수의 그룹으로 나누고, 상기 그룹마다, 하나 또는 복수의 상기 위치 정보와, 상기 하나 또는 복수의 제3 화상 및 상기 하나 또는 복수의 제4 화상을 서로 관계시킨 프레임을 생성하고, 상기 프레임마다 상기 전송 데이터를 생성하는 것을 특징으로 하는 영상 송신 장치.
  8. 제7항에 있어서,
    상기 생성부는 상기 전송 데이터의 송신처의 정보인 송신처 정보에 의거하여, 복수의 상기 위치 정보 및 복수의 상기 제3 화상의 그룹 나눔을 행하는 것을 특징으로 하는 영상 송신 장치.
  9. 복수의 전송 화상과, 복수의 위치 정보와, 주목 영역마다 부여된 영역 번호와, 상기 주목 영역마다 설정된 AD 변환의 데이터의 워드 길이를 포함하는 전송 데이터를 수신하는 수신부와,
    수신된 복수의 상기 전송 화상에서의 하나 또는 복수의 상기 전송 화상과, 수신된 복수의 상기 위치 정보에서의 복수의 상기 위치 정보로부터 얻어지는 하나 또는 복수의 겹침 영역의 위치 정보와, 수신된 상기 주목 영역마다 부여된 영역 번호와, 상기 워드 길이에 의거하여, 하나 또는 복수의 상기 겹침 영역의 화상인 겹침 화상을 생성하고, 수신된 복수의 상기 전송 화상과, 하나 또는 복수의 상기 겹침 화상에 의거하여, 촬상 화상에서의 복수의 주목 영역의 화상인 주목 영역 화상을 생성하는 화상 처리부를 구비하는 것을 특징으로 하는 영상 수신 장치.
  10. 제9항에 있어서,
    상기 전송 데이터는 해당 전송 데이터에 포함되는 복수의 상기 전송 화상의 어느 것에 대해 상기 겹침 화상의 할애가 행하여졌는지를 판별하는 것이 가능한 판별 정보를 포함하고,
    상기 화상 처리부는 상기 판별 정보를 이용함에 의해, 해당 전송 데이터에 포함되는 복수의 상기 전송 화상의 어느 것에 대해 상기 겹침 화상을 부가하는지를 결정하는 것을 특징으로 하는 영상 수신 장치.
  11. 제9항에 있어서,
    상기 수신부에서 수신된 복수의 상기 위치 정보는 상기 촬상 화상에서의 복수의 상기 주목 영역 화상의 위치 정보에 상당하는 것을 특징으로 하는 영상 수신 장치.
  12. 제9항에 있어서,
    상기 화상 처리부는 복수의 화상 처리 IC를 포함하고,
    해당 영상 수신 장치는,
    복수의 상기 화상 처리 IC 중에서, 각 상기 전송 화상의 처리 담당을 결정하는 분배 제어부와,
    상기 분배 제어부에서 결정된 각 상기 전송 화상의 처리 담당에 관한 분배 정보를 상기 전송 데이터의 전송원에 송신하는 분배 정보 전송부를 구비하는 것을 특징으로 하는 영상 수신 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197021733A 2017-02-21 2018-02-13 영상 송신 장치 및 영상 수신 장치 KR102593633B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017029809A JP6936018B2 (ja) 2017-02-21 2017-02-21 映像送信装置および映像受信装置
JPJP-P-2017-029809 2017-02-21
PCT/JP2018/004918 WO2018155258A1 (en) 2017-02-21 2018-02-13 Video transmission apparatus and video reception apparatus

Publications (2)

Publication Number Publication Date
KR20190117498A KR20190117498A (ko) 2019-10-16
KR102593633B1 true KR102593633B1 (ko) 2023-10-25

Family

ID=61563449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021733A KR102593633B1 (ko) 2017-02-21 2018-02-13 영상 송신 장치 및 영상 수신 장치

Country Status (7)

Country Link
US (2) US11323617B2 (ko)
EP (1) EP3586516A1 (ko)
JP (1) JP6936018B2 (ko)
KR (1) KR102593633B1 (ko)
CN (1) CN110301137B (ko)
TW (1) TWI812609B (ko)
WO (1) WO2018155258A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
CN113170044B (zh) 2018-12-06 2023-10-24 索尼半导体解决方案公司 接收装置和发送装置
EP3993390A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM
WO2021039011A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法
JP7439556B2 (ja) * 2020-02-14 2024-02-28 オムロン株式会社 画像処理装置、画像センサ、画像処理装置の制御方法
WO2021260970A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 ネットワークの制御方法、および、データ処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194144B1 (en) 1999-01-18 2007-03-20 Fujitsu Limited Document image processing device, document image merging method, and storage medium recording a document image merging program
KR100800653B1 (ko) 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
US20160080664A1 (en) 2014-09-12 2016-03-17 Seek Thermal, Inc. Selective color display of a thermal image

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542613B2 (en) * 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
KR100728222B1 (ko) * 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
CN101313578B (zh) * 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8077977B2 (en) * 2006-08-15 2011-12-13 Fuji Xerox Co., Ltd. Image processing system, image processing method, computer readable medium and computer data signal
JP5410663B2 (ja) 2007-08-27 2014-02-05 東洋機械金属株式会社 射出成形機
JP4623196B2 (ja) * 2008-10-08 2011-02-02 富士ゼロックス株式会社 画像処理装置、画像処理システム、及びプログラム
JP2011146833A (ja) * 2010-01-13 2011-07-28 Seiko Epson Corp 光学読取装置、光学読取装置の制御方法、及び、プログラム
JP5658552B2 (ja) 2010-12-20 2015-01-28 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
EP2688283B1 (en) 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2014135013A (ja) * 2013-01-11 2014-07-24 Fujitsu Ltd 画像転送方法、サーバ機器及びプログラム
KR101926490B1 (ko) 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
US9898837B2 (en) 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system
EP3562170A1 (en) * 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
CN105979216A (zh) 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194144B1 (en) 1999-01-18 2007-03-20 Fujitsu Limited Document image processing device, document image merging method, and storage medium recording a document image merging program
KR100800653B1 (ko) 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
US20160080664A1 (en) 2014-09-12 2016-03-17 Seek Thermal, Inc. Selective color display of a thermal image

Also Published As

Publication number Publication date
TWI812609B (zh) 2023-08-21
CN110301137A (zh) 2019-10-01
JP2018137567A (ja) 2018-08-30
TW201838396A (zh) 2018-10-16
JP6936018B2 (ja) 2021-09-15
CN110301137B (zh) 2022-11-15
EP3586516A1 (en) 2020-01-01
WO2018155258A1 (en) 2018-08-30
US11323617B2 (en) 2022-05-03
KR20190117498A (ko) 2019-10-16
US20200053281A1 (en) 2020-02-13
US20220247925A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
KR102593633B1 (ko) 영상 송신 장치 및 영상 수신 장치
KR102636747B1 (ko) 영상 송신 장치 및 영상 수신 장치
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
US20220217310A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
US8971647B2 (en) Image compression apparatus, image compression method, and storage medium
US20120121176A1 (en) Image compression apparatus and image compression method
US20220239825A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
US20220279110A1 (en) Imaging device, processing device, data transmission system, and data transmission method
US20110135199A1 (en) Coding apparatus and method for simultaneous transmission of image processing information and color information
US9268998B2 (en) Image determining apparatus, image processing system, and recording medium
US11900572B2 (en) Transmission device, reception device, and transmission system
US11695883B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
JP2015088989A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right