KR101164365B1 - 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 - Google Patents
차량용 영상 모니터링 장치의 4채널 화면 분할 방법 Download PDFInfo
- Publication number
- KR101164365B1 KR101164365B1 KR1020110029958A KR20110029958A KR101164365B1 KR 101164365 B1 KR101164365 B1 KR 101164365B1 KR 1020110029958 A KR1020110029958 A KR 1020110029958A KR 20110029958 A KR20110029958 A KR 20110029958A KR 101164365 B1 KR101164365 B1 KR 101164365B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- video
- camera
- vehicle
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000010295 mobile communication Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 4
- 239000000872 buffer Substances 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 3
- 230000003139 buffering effect Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 101000934888 Homo sapiens Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Proteins 0.000 description 8
- 102100025393 Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Human genes 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003795 desorption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 차량용 영상 모니터링 장치의 4채널 화면 분할 방법에 관한 것이다. CDMA 모뎀을 장착한 차량의 영상 모니터링 장치에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라로 촬영된 4 채널의 동영상과 음성 데이타를 각각 SD 메모리 카드에 저장하고, 타임 라인이 맞게 수직 동기(V.SYNC) 및 수평동기(H.SYNC)에 따라 4채널 각각의 동영상과 음성 데이타를 MPEG2-TS 전송 스트림으로 이동통신사 기지국(BS), 기지국 제어기(BSC)를 경유하여 이동통신망의 스트리밍 서버로 실시간으로 전송하며, 유무선 인터넷을 통해 이동통신 단말기의 뷰어 또는 컴퓨터 단말기의 뷰어로 2채널 또는 4채널의 동영상과 음성 데이타를 스트리밍 방식으로 전송한다. 또한, 차량용 영상 모니터링 장치의 뷰어, 이동통신 단말기 또는 컴퓨터 단말기의 멀티미디어 뷰어는 전방 카메라 및 후방카메라의 2채널 카메라로 촬영한 동영상과 음성 데이타를 메인 화면과 부화면(PIP:Picture in Picture)으로 동영상을 표시하거나, 또는 전방, 후방, 좌측, 우측 카메라의 4채널 카메라로 촬영된 스케일링 비율(scaling ratio)에 따라 수직 및 수평 동기가 맞춰진 동영상과 음성 데이타를 클리핑(잘라내기)하지 않고, 4채널 영상을 미리 설정된 사면체 크기의 표시 화면의 스케일링(부분 확대축소)으로 실시간으로 레코딩되는 동영상을 화면에 출력하는 기능을 제공한다.
Description
본 발명은 차량용 영상 모니터링 장치의 4채널 화면 분할 방법에 관한 것으로, 특히 CDMA 모뎀을 장착한 차량의 영상 모니터링 장치(black box)에 부착된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영된 각 채널의 동영상과 음성 데이타를 CDMA 모뎀을 통해 이동통신망의 스트리밍 서버로 전송하고, 이동통신 단말기 또는 컴퓨터 단말기로 원격으로 4채널 차량 모니터링 서비스를 제공하며, 차량의 영상 모니터링 장치의 뷰어, 이동통신 단말기 뷰어 또는 컴퓨터 단말기의 뷰어(Viewer)에 4채널의 각각에 미리 설정된 사면체로 표시 화면의 크기에 맞게 스케일링 비율(scaling ration, 부분 확대축소)에 따라 스케일러에 의해 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)를 각각 분할된 4채널 스케일링(부분 확대 축소) 화면으로 출력하는, 차량용 영상 모니터링 장치의 4채널 화면 분할 방법에 관한 것이다.
최근, 항공기의 성능과 상태를 기록하는 비행기록계의 블랙박스(black box)와 마찬가지로 자동차의 주행 동영상을 정확하게 모니터링하는 차량용 영상 모니터링 장치로 사용되는 차량용 블랙박스 시스템이 많이 사용되고 있다.
차량용 블랙박스 시스템은 자체 내장된 카메라, 또는 전방 카메라 또는 후방 카메라로 촬영된 자동차의 주행 동영상과 음성 데이타를 SD카드 슬롯에 탈착식으로 부착된 SD/SDHC 메모리 카드로 기록하고, 자동차의 주행상태, 주차 및 사고상황 정보를 시각 정보와 함께 정확하게 기록으로 보존한다. 또한, 자동차의 주차 또는 충돌 사고 발생시, 자동차의 블랙박스에 보존된 동영상과 음성 데이타의 기록은 주차 테러나 사고 상황에 따른 객관적인 판단하는 자료로 사용된다.
차량용 블랙박스 시스템은 자동차의 전방을 촬영하도록 룸미러의 일측에 설치된 전방 카메라, 자동차의 후방을 촬영하도록 차량의 실내 브레이크등이나 후면에 구비된 후방 카메라, 및 상기 전방 및 후방 카메라들에 의해 촬영된 비디오신호의 입출력이 제어되고, 입출력되는 비디오신호를 디코딩 및 인코딩하는 비디오신호를 압축과 복원하기 위한 A/V 코덱과, 차량의 속도 및 외부 충격 등을 감지하기 위한 각각의 3축 G 센서로 구성된다.
차량용 영상 모니터링 장치(블랙박스)에 부착된 전방카메라와 상기 후방카메라는 차량의 전방상황과 후방 상황의 영상을 촬영함으로써 상기 전방 및 후방 카메라들에 의해 촬영된 비디오 및 음성 신호의 입력 및 출력이 제어되고, 입출력되는 비디오 및 오디오 신호를 디코딩 및 인코딩하여 저장되는 차량용 블랙박스를 사용하여, 타이머에 의해 정확한 시각 정보를 제공하고, 자동차의 주행 동영상, 주차 상태 및 사고상황 등의 정보를 정확하게 제공한다.
그러나, 기존 차량의 영상 모니터링 장치로 사용되는 블랙박스 시스템은 전방 카메라 및 후방카메라를 사용하여 2채널로 촬영된 동영상과 음성 데이타를 좌우 화면으로 동영상과 음성 데이타를 출력하였고 메인 화면과 부화면(PIP:Picture in Picture)으로 표시하는 기능을 제공하지 않았다. 또한, 차량용 영상 모니터링 장치의 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영된 각 채널의 동영상과 음성 데이타를 CDMA 모뎀을 통해 이동통신망의 스트리밍 서버(Streaming Server)로 전송하고, 이동통신 단말기(스마트폰) 또는 컴퓨터(노트북) 단말기로 4채널 원격 모니터링 서비스를 제공하지 않았다.
또한, 차량의 영상 모니터링 장치의 4채널 카메라로 촬영되는 경우, 뷰어(Viewer)로 직사각형 방식의 4 분활 화면으로 출력하였으며, 4채널 영상 표시 화면의 스케일에 따라 스케일링(부분 확대축소)으로 실시간으로 레코딩되는 동영상을 화면에 출력하는 기능을 제공하지 않았다.
상기 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 CDMA 모뎀을 장착한 차량의 영상 모니터링 장치(black box)에 부착된 전방 카메라 및 후방카메라를 사용하여 촬영된 동영상과 음성 데이타를 메인 화면과 부화면(PIP:Picture in Picture)으로 표시하거나, 또는 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영된 각 채널의 동영상과 음성 데이타를 CDMA 모뎀을 통해 이동통신망의 스트리밍 서버로 전송하고, 이동통신 단말기 또는 컴퓨터 단말기로 4채널 원격 차량 모니터링 서비스를 제공하며, 차량의 영상 모니터링 장치의 뷰어 또는 이동통신 단말기 뷰어 및 컴퓨터 단말기의 뷰어(Viewer)에 4분할 화면 표시 방식으로 클리핑(잘라내기)하지 않고, 4채널의 각각에 미리 설정된 사면체 화면의 크기에 맞게 스케일링 비율(scaling ration, 부분 확대축소)에 따라 스케일러에 의해 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)를 각각 분할된 4채널 스케일링(부분 확대 축소) 화면으로 출력하는 기능을 제공하는, 차량용 영상 모니터링 장치의 4채널 화면 분할 방법을 제공하는 것이다.
상기 본 발명의 목적을 달성하기 위해, 차량용 영상 모니터링 장치의 4채널 화면 분할 방법은 (a) CDMA 모뎀을 장착한 차량용 영상 모니터링 장치에 연결된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라로부터 각각 A/D 변환된 4채널 동영상과 음성 데이타의 인코딩시에, 채널별 SVC(Scalable Video Coding) 비트스트림을 부호화된 동영상 데이타의 비트 스트림 중에서 베이스 계층(base layer) 및 향상 계층(enhancement layer)을 추출하고, 상기 향상 계층의 SVC 적응변환 파라미터(1. 공간 해상도 스케일링(미리 설정된 사면체 화면의 크기의 변경), 2. 시간적 스케일링(프레임률 감소), 3. 화질(SNR) 스케일링(양자화 단계 감소, 색차 감소, DCT 계수 감소)를 적응적으로 조정하는 단계; (b) 채널 분류 후, 4채널 카메라로 레코딩된 동영상 데이타(연속되는 GOP 프레임)을 클리핑(잘라내기) 되지 않고, 각 채널마다 프레임 버퍼에 저장된 인코딩된 직사각형 크기의 영상 데이타의 GOP 프레임의 각 프레임을 각각 스케일러에 의해 4채널의 각각 미리 설정된 사면체 화면의 크기의 프레임으로 화면의 형상 크기를 조정하고, SVC 적응변환 파라미터의 공간적 해상도 스케일링 비율(scaling ratio, 부분 확대축소)에 따라 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)의 각 프레임을 기 설정된 사면체의 화면 크기로 변경하는 공간적 스케일링(부분 확대 축소)을 실시하여 각 채널의 프레임 버퍼들에 저장하는 단계; 및 (c) 차량의 영상 모니터링 장치에 부착된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영한 동영상과 음성 데이타를 보통 직사각형 크기의 4분할 화면방식으로 출력하거나, 또는 실시간으로 상기 각 채널의 프레임 버퍼들로부터 읽어들인 각각의 스케일링된 비디오 프레임들을 채널별로 상기 각각 미리 설정된 사면체 화면 크기로 분할된 4채널 화면으로 출력하는 단계;를 포함한다.
본 발명에 따른 차량용 영상 모니터링 장치의 4채널 화면 분할 방법은 CDMA 모뎀을 장착한 차량의 영상 모니터링 장치에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라로 촬영된 4 채널의 동영상과 음성 데이타를 각각 SD 메모리 카드에 저장하고, 타임 라인이 맞게 수직 동기(V.SYNC) 및 수평동기(H.SYNC)에 따라 4채널 각각의 동영상과 음성 데이타를 MPEG2-TS 전송 스트림으로 생성하여 이동통신망의 스트리밍 서버로 실시간으로 전송하며, 유무선 인터넷을 통해 이동통신 단말기의 뷰어(Viewer) 또는 컴퓨터 단말기의 뷰어(Viewer)로 2채널 또는 4채널의 동영상과 음성 데이타를 스트리밍 방식으로 전송한다.
또한, 이동통신 단말기 또는 컴퓨터 단말기의 멀티미디어 뷰어(Viewer) 또는 차량용 영상 모니터링 장치(black box)의 뷰어(Viewer)는 전방 카메라 및 후방카메라의 2채널 카메라를 사용하여 촬영한 동영상과 음성 데이타를 메인 화면과 부화면(PIP:Picture in Picture)으로 표시하거나, 또는 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영된 타임라인에 따라 수직 및 수평 동기가 맞춰진 동영상과 음성 데이타를 클리핑(잘라내기)하지 않고, 4채널의 각각에 미리 설정된 사면체 화면의 크기에 맞게 스케일링 비율(scaling ration, 부분 확대축소)에 따라 스케일러에 의해 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)를 각각 분할된 4채널 화면에 스케일링(부분 확대 축소) 화면으로 출력하는 기능을 제공한다.
도 1은 본 발명에 따른 이동통신망의 스트리밍 서버를 사용한 차량용 영상 모니터링 장치로부터 실시간으로 전송된 4채널 화면 영상을 이동통신 단말기 또는 컴퓨터로 출력하는 4채널 차량 영상 모니터링 시스템 구성도이다.
도 2는 차량용 영상 모니터링 장치의 내부 구성도이다.
도 3은 본 발명의 실시예에 따른 차량용 영상 모니터링 장치의 4채널 화면 분할 표시 방식을 도시한 도면이다.
도 4는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법을 설명한 순서도 이다.
도 2는 차량용 영상 모니터링 장치의 내부 구성도이다.
도 3은 본 발명의 실시예에 따른 차량용 영상 모니터링 장치의 4채널 화면 분할 표시 방식을 도시한 도면이다.
도 4는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법을 설명한 순서도 이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 구성 및 동작을 상세하게 설명한다.
도 1은 본 발명에 따른 이동통신망의 스트리밍 서버를 사용한 차량용 영상 모니터링 장치로부터 실시간으로 전송된 4채널 화면 영상을 이동통신 단말기 또는 컴퓨터로 출력하는 4채널 차량 영상 모니터링 시스템 구성도이다.
차량의 영상 모니터링 장치(201)에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라로 촬영된 4 채널의 동영상과 음성 데이타의 정규화된 직사각형 스트림 또는 스케일링 비율(scaling ratio)에 따라 조정된 스케일링된 스트림을 각각 SD 메모리 카드(또는 SDHC 메모리 카드)에 저장하고, 타임 라인이 맞게 수직 동기(V.SYNC) 및 수평동기(H.SYNC)에 따라 4채널 각각의 동영상과 음성 데이타를 MPEG2-TS 전송 스트림으로 RTP/UDP/IP 패킷을 CDMA 신호로 전송하여 이동통신사 기지국(BS:Base Station)(203), 기지국 제어기(BSC:Base Station Controller)(204)를 경유하여 이동통신망을 통해 스트리밍 서버(205)로 실시간으로 전송하며, 유무선 인터넷을 통해 원격 동영상 모니터링 요청시에 모니터링 이동통신 단말기의 뷰어 또는 컴퓨터 단말기의 뷰어로 2채널 또는 4채널의 동영상과 음성 데이타를 스트리밍 방식으로 전송한다.
즉, CDMA 모뎀(202)을 장착한 차량용 영상 모니터링 장치(블랙박스)(201)는 IPv4 주소 또는 IPv6 주소가 할당되며, 멀티미디어 패킷 전송 서비스를 위한 멀티미디어 세션(multimedia session)을 설정한 후, 차량의 영상 모니터링 장치(201)에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라의 4대의 카메라로 촬영되어 SD 메모리 카드에 저장되는 4채널 동영상과 음성 데이타의 정규화된 직사각형 스트림 또는 스케일링 비율에 따라 조정된 스케일링된 스트림을 타임 라인이 맞춰 수직 동기(V.SYNC) 및 수평동기(H.SYNC)와 함께 4채널의 각 채널별 송신 버퍼(Send Buffer)별로 버퍼링된 데이타를 Video, Audio, Data, PSI(Program Specific Information)로 멀티플렉싱(multiplexing)하고 패키타이징(packetizing)하며, 각 채널별로 MPEG2-TS 데이타를 RTP/UDP/IP/CDMA 통신 프로토콜에 따라 이동통신사 기지국(BS:Base Station)(203), 기지국 제어기(BSC:Base Station Controller)(204)를 경유하여 이동통신망(CDMA모뎀에 따른 CDMA2000망, 또는 W-CDMA망)의 패킷망 경로를 통해 스트리밍 서버(205)로 실시간으로 전송한다.
RTP(Realtime Transport Protocol)는 영상 촬영 모니터링 응용 소프트웨어로부터 보내온 데이터를 RTP 헤더에 캡슐화되며(Encapsulation), RTP 헤더는 12 bytes의 고정 헤더와 전송할 데이터의 페이로드 타입(payload type)에 따라 가변적인 길이의 확장 헤더를 추가할 수 있다.
RTCP(Realtime Transport Control Protocol)는 수신장치 및 발신 장치간에 RTP 세션을 제어하고 관리하는 프로토콜로써, 현재 활성 상태에 있는 발신자 Session 참가자들의 전송하고 수신한 통계정보를 보내는 Sender Report(송신자 보고), RTP 패킷을 송신하지 않고 수신만 하는 참가자들의 수신한 통계 정보를 보내는 Receiver Report(수신자 보고), 발신자를 식별하는 정보를 제공하는 Source Description(송신자 기술), 세션을 탈퇴할 때 사용하는 BYE, 새로운 응용이나 추가된 새로운 기능 시험을 위해 사용하는 Application의 5가지 패킷 유형이 존재한다.
스트리밍 서버(205)는 4채널별로 각 채널의 MPEG2-TS 스트림 데이타를 수신하여 IP/UDP/RTP 계층을 경유하여 실시간으로 각 채널별 수신 버퍼(Receive Buffer)에 저장하고 디패킷타이징(depacketizing)하고, 각각 채널별 A/V 데이타의 Video, Audio, Data, PSI(Program Specific Information)로 디멀티플렉싱(demultiplexing)하여 서버의 저장장치에 저장하고, 이동통신 단말기(206) 또는 컴퓨터(노트북) 단말기(207)로 서버 연결 요청(Connection Request)한 후 IPv4 주소 또는 IPv6 주소가 할당된 차량용 영상 모니터링 장치의 원격 비디오 모니터링 요청(Request) 데이타를 수신시 차량 영상 모니터링 장치(201)로부터 촬영한 4채널 동영상과 음성 데이타의 정규화된 직사각형 스트림 또는 영상 디코더에 연결된 스케일러에 의해 스케일링 비율(scaling ratio)에 따라 각 채널별 사면체 화면 크기가 조정된 스케일링된 스트림을 전송하여 실시간 스트리밍 서비스를 제공한다.
이동통신 단말기(206) 또는 컴퓨터 단말기(207)로부터 차량용 영상 모니터링 장치의 원격 모니터링 서비스를 스트리밍 서버(205)로 요청한 경우, 상기 스트리밍 서버(205)로부터 4채널 카메라로 촬영된 영상과 음성 데이타의 정규화된 직사각형 스트림 또는 스케일링 비율(scaling ratio)에 따라 조정된 스케일링된 스트림을 상기 이동통신 단말기(206) 또는 상기 컴퓨터 단말기(207)의 4채널 멀티미디어 뷰어로 수신받고, 비디오 디코팅시 스케일러에 의해 직사각형 크기의 raw 디지털 영상 신호(YUV) 크기(size)를 상기 미리 설정된 사면체 화면 크기에 맞게 스케일링한 영상 신호를 출력하고, 타이밍 컨트롤러에 의해 4채널 카메라로 촬영되는 수평 동기(H.SYNC) 및 수직 동기(V.SYNC)가 맞추어진 동영상 및 음성 데이타에 대응하는 픽셀을 4채널 디지털 영상을 LCD 표시부로 출력한다.
참고로, 디지탈 TV나 비디오 카메라에 많이 사용되는 YUV는 빛의 밝기를 나타내는 휘도(Y) 신호와 색상신호(U,V)로 표현하는 방식으로, 흑백으로 표현하는 경우 Y 신호만 사용한다.
차량용 영상 모니터링 장치(블랙박스)(201)에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라는 아날로그 카메라로써, CMOS 이미지 센서(최저조도: 0.5Lux, 촬영각도: 가로 103.1°, 세로 83.9°), 1채널로 녹화되는 경우 640x480 또는 320x240 화면 크기에 초당 10 frames/sec, 15 frames/sec 녹화율로 8G 메모리 용량인 경우 SD/SDHC 메모리 카드에 각각 600분, 720분 동안 녹화가 가능하다.
차량의 4채널 화면 출력 방식(1,2,3,4)은 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영한 동영상과 음성 데이타를 보통 직사각형 크기의 4분할 화면방식으로 출력하거나, 또는 4채널 카메라로 레코딩된 동영상을 클리핑(잘라내기) 되지 않고, 4채널의 각각의 스케일러에 의해 미리 설정된 사면체 화면의 크기에 맞게 스케일링 비율(scaling ration, 부분 확대축소)에 따라 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)를 각각 분할된 4채널 화면에 스케일링(부분 확대 축소) 화면으로 출력하는 기능을 제공한다.
차량용 영상 모니터링 장치(201)의 전방카메라와 후방카메라의 2채널 카메라로 전방 영상과 후방 영상을 촬영하는 경우, 차량용 영상 모니터링 장치(black box)에 부착된 전방 카메라 및 후방카메라로 촬영된 2채널의 동영상과 음성 데이타를 믹서(mixer)에 의해 실시간으로 전방 카메라로 촬영한 영상 데이타를 제1 비디오 디코더 및 비디오 스케일러로부터 메인 화면 크기에 맞게 스케일링된 비디오 데이타, 및 후방 카메라로 촬영되는 영상 데이타를 분석하여 제2 비디오 디코더에 의해 영상 시퀸스의 GOP(Group Of Picture)의 첫번째 프레임인 I 프레임(Intra-coded frame)을 검출하고 그래픽 스케일러에 의해 생성된 상대적으로 작은 크기의 부화면(PIP:Picture in Picture) 영상을 생성한다. 이 경우, 믹서(mixer)는 차량의 전방 카메라의 메인화면 영상 데이타 및 차량의 후방 카메라의 부화면(PIP) 영상을 믹싱하여 LCD 표시부로 출력한다.
참고로, MPEG은 I 프레임(Intra-coded frame), P 프레임(Predictive-coded frame), B 프레임(Bidirectional-coded frame)의 3가지 프레임으로 구성되고, 예를 들면 I BB P BB P BB P BB I BB I BB P BB P BB P BB I BB..., 이런 방식으로 프레임이 구성되며, I 프레임부터 다음 I 프레임전까지 프레임 모음을 GOP(Group Of Pictures)라고 불린다. GOP는 압축을 위한 기본 비디오 단위(basic video unit)로써 I, P, B프레임 구조로 양 방향 움직임을 보상한다. I 프레임(인트라 프레임)은 공간 DCT, P 프레임(예측 프레임)은 순방향 움직임 보상과 함께 DCT, B(양방향) 프레임은 순방향/역방향 움직임 보상(motion compensation)과 함께 DCT를 한다. I, P 프레임은 Anchor 화상이라고 하여 메모리에 저장되며, B 프레임의 예측(prediction)을 위한 기초가 된다. GOP는 처음에 I 프레임으로 시작하고, I 프레임 다음에 몇 개의 I, P, B 프레임이 연속하여 구성된다.
I 프레임(Intra-coded frame)은 매크로 블록내에서 지정된 8*8 블럭으로 나눈 후, DPCM(Differential Pulse Code Modulation) 방법으로 부호화하는 DCT((Discrete Cosine Transform, 이산여현변환) 기법을 사용하여 연속된 블록 사이의 차이값을 계산한 후 가변 길이 코딩을 사용하여 변환하며, 용량이 크지만 화질이 좋다.
P 프레임(Predictive-coded frame)은 움직임(motion)이 있는 경우 옆화면에 있는 물체 자체의 모양에 큰 변화없이 이미지 블록들이 옆으로 이동하는 경우가 대부분이므로, 이전의 화면과 현재의 화면의 차이가 매우 적은 것을 이용하여 움직임(motion)이 있는 경우, 이전 화면과 현재 화면의 매우 작은 차이값을 부호화하고, 부호화와 복호화를 행할 때 이전의 I-프레임 정보와 이전의 P-프레임 정보를 사용한다. P 프레임은 이전의 I-프레임 정보와 이전의 P-프레임의 정보를 레퍼런스하여 순방향 예측으로 모션 보정(motion compensation)을 이용하여 인코딩하며, 화질도 중간, 용량도 중간이다.
B 프레임(Bidirectional-coded frame)은 이전의 I-프레임 또는 P-프레임과 B-프레임 이후의 I-프레임 또는 P-프레임의 차이값을 가지며, B-프레임을 사용하면 높은 압축률을 제공하며, 부호화와 복호화를 행할 때 이전의 I-프레임 정보와 이전의 P-프레임을 모두 사용한다. B 프레임은 이전, 이후의 I-프레임과 P-프레임 모두를 사용하여 양방향 예측 프레임으로 화질이 최하, 용량도 최하의 특징을 보인다.
도 2는 차량용 영상 모니터링 장치의 내부 구성도이다.
차량용 영상 모니터링 장치(블랙박스)(200)는 차량용 영상 모니터링 장치로 사용되는 휴대용 멀티 채널 소형 폐쇄회로 감시 장치로써 제1 프로그램 메모리(20), 제1 임시 메모리(30), 타이머(40), SD 카드 연결부(80), 키 입력부(90), 주전원 제어부(100), 제1 중앙 처리부(110), CDMA 모뎀(140), 영상 인코더(160), 음성 인코더(220), ADC(170,230), 카메라(180), 마이크(240), 영상 디코더(190), 음성 디코더(250), DAC(200,260), LCD 표시부(210), 음향 출력 장치(270)로 구성된다.
차량용 영상 모니터링 장치는 차량의 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라로부터 4채널 영상과 음성 데이타를 각각 압축/복원하고 저장하는 동작을 1개의 제어부(CPU)(110)에 의해 제어한다. 또 다른 실시예로, 전력 조절, 키 입력, 데이타 송수신 제어를 담당하는 제어부(110)는 제 1 중앙 처리부, 및 수신된 영상과 음성 데이터를 압축, 복원, SD 메모리 카드로 저장을 담당하는 제 2 중앙 처리부로 구성이 가능하다. 이 경우, 제1 중앙 처리부는 상시 동작하고, 제2 중앙 처리부는 제 1 중앙 처리부에 공급 전력 및 동작이 조절 되도록 구성된다. 제1 중앙 처리부는 전력 소모를 줄이기 위해 제2 중앙 처리부, 카메라(180), 마이크(240), LCD 표시부(210), SD 메모리 카드 연결부(80)에 전력 공급을 조절한다.
제 1 프로그램 메모리(20)는 제어부(CPU)(110)에 의해 동작되는 송수신 제어 방법 및 코덱(CODEC: enCOder/DECoder) 소프트웨어 장치 제조시 프로그램 코드로 저장되며, 전원이 차단된 상태에서도 지워지지 않으며, 전원이 공급되는 동안 제어부(CPU)(110)에 의해 실행될 프로그램 코드를 제공한다.
제1 임시 메모리(30)는 제어부(110)가 동작할 때, 수시로 사용하는 임시 데이터를 저장하며 전원이 차단되는 경우 기록된 데이터가 보존되지 않는다.
제1 임시 메모리(30)는 A/C 코덱에 의해 영상/음성 데이터의 압축시 데이터를 임시로 보관하는 임시 저장 장소로 사용되며, 영상/음성 데이터의 복원시 복원한 A/V 데이터를 임시로 보관하는 임시 저장 장소로 주로 SDRAM을 사용한다.
타이머(실시간 클럭(RTC:Real Time Clock))(40)는 제어부(CPU)(110)에 연결되며 날짜 시간을 카운트하여 시각 정보를 제공한다.
제어부(CPU)(110)는 4채널 카메라의 영상/음성 데이타 송수신 제어 및 압축/복원된 데이터를 처리하기 위한 제어 기능을 담당한다.
키 입력부(90)는 전원을 인가하거나 장치의 동작을 수동으로 제어시 키값ㅇ이 입력된다. 제어부(CPU)(110)는 동작시 키입력부(140)로부터 입력된 키 값을 읽어 동작을 조절하고, 키 입력 값을 확인하여 LCD 표시부(210)로 키 값에 따른 메뉴를 표시한다.
카메라(180a,180b,180c,180d)는 표준 영상 신호(NTSC/PAL) 카메라로 사용되는 아날로그 카메라 또는 디지털 출력 카메라가 사용하며, 렌즈 하우징 거치대를 포함하여 고정식 또는 휴대용으로 설치된다. 카메라(180a,180b,180c,180d)가 표준 영상 신호 카메라로 사용되는 아날로그 카메라인 경우, 아날로그 영상 신호를 케이블을 통해 ADC(170a,170b,170c,170d)로 전송된다. 만약, 차량용 영상 모니터링 장치의 4대의 카메라를 디지탈 카메라로 사용하는 경우, 각각의 채널별 디지탈 카메라로 촬영된 동영상 데이타는 실시간으로 ADC(170a,170b,170c,170d)를 거치지 않고 바로 영상 인코더(160)로 전송한다.
ADC(Analog-to-Digital Convertor)(170a,170b,170c,170d)는 아날로그 카메라(180a,180b,180c,180d)로부터 공급받은 아날로그 영상 신호를 디지털 영상 신호로 변환하여 영상 인코더(160)로 전송한다. 카메라(180a,180b,180c,180d)가 디지털 카메라 방식인 경우, ADC(170a-d)는 전력 공급이 중단되며, 카메라(180a,180b,180c,180d)로부터 전송된 디지털 영상 신호를 ADC(170a-d)를 거치지 않고 그대로 영상 인코더(160)로 전송된다.
A/V 코덱은 H.264 코덱을 사용하였으며, MJPEG(Motion JPEG), MPEG4(H.264), MPEG7, MPEG21 코덱, WMV 코덱 중 어느 하나의 코덱을 사용할 수도 있다.
영상 인코더(160)는 제어부(110)와 연결되고, H.264 비디오 코덱의 디지털 영상신호처리 방식을 적용한 주파수 변환기반 압축 알고리즘을 사용하여 ADC(170)로부터 수신받은 디지털 영상 데이터를 압축하여 SD/SDHC 메모리 카드로 저장한다.
음성 인코더(220)는 제어부(110)와 연결되고, 마이크(240)를 통해 입력된 아날로그 음성 신호를 ADC(230)를 의해 컨버팅된 디지털 음성 신호를 오디오 코덱에 의해 인코딩하여 SD 메모리 카드 연결부(80)에 저장된 SD/SDHC 메모리 카드로 저장한다.
영상 디코더(190)는 제어부(110)와 연결되고, 비디오 코덱의 주파수 변환기반 복원 알고리즘을 사용하여 SD/SDHC 메모리 카드에 기 저장된 압축된 영상 데이터를 복원하여 4 채널의 동영상과 음성 데이타의 정규화된 직사각형 스트림 또는 영상 디코더(190)에 연결된 스케일러에 의해 각 채널의 정규화된 직사각형 스트림을 스케일링 비율에 따라 조정된 스케일링된 스트림을 DAC(Digital-to-Analog Convertor)(200)를 통해 LCD 표시부(210)로 출력한다.
스케일러는 영상 디코더(190)와 연결되며, 차량용 영상 모니터링 장치에 부착된 각 카메라 채널마다 프레임 버퍼에 저장된 인코딩된 직사각형 크기의 영상 데이타의 GOP 프레임의 각 프레임마다 각각 4채널의 각각 미리 설정된 사면체 화면의 크기에 맞게 SVC 적응변환 파라미터의 공간적 해상도 스케일링 비율(scaling ratio, 화면의 모양의 형상 크기 부분 확대축소)에 따라 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)의 각 프레임을 미리 설정된 사면체 화면 크기로 변경하는 공간적 스케일링(화면 모양의 형상 크기의 부분 확대 축소)을 실시하여 각 채널의 프레임 버퍼에 저장한다.
음성 디코더(250)는 제어부(110)와 연결되고, 오디오 코덱에 의해 SD 메모리 카드에 기 저장된 압축된 음성 데이터를 복원하여 DAC(260)를 통해 음향 출력 장치(270)로 출력한다.
SD 메모리 카드 연결부(80)는 제어부(110)와 연결되고, 비휘발성 메모리로서 전원이 차단되어도 데이터가 보존되며 반도체식 메모리가 단단한 플라스틱 패키지 및 금속 커넥터와 일체화되어 있으며 SD 메모리 카드 또는 SDHC 메모리 카드의 착탈이 가능하다. 차량용 영상 모니터링 장치(블랙박스)의 메모리 카드는 8GB~64GB 메모리 용량으로 디지털 카메라, 전자사전 등 휴대 기기에 사용되는 8G 또는 16G bytes의 SD(Secure Digital) 카드, SDHC 카드 또는 플래시 메모리 카드 등 사용이 가능하다.
CDMA 모뎀(140)은 멀티미디어 패킷 전송 서비스를 위한 멀티미디어 세션을 설정한 후, 차량의 영상 모니터링 장치(블랙박스)에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라의 4대의 카메라로 촬영되어 SD 메모리 카드에 저장되는 4채널 동영상과 음성 데이타를 타임 라인이 맞춰 수직 동기(V.SYNC) 및 수평동기(H.SYNC)와 함께 4채널 송신 버퍼(Send Buffer)별로 버퍼링된 데이타를 Video, Audio, Data, PSI(Program Specific Information)로 멀티플렉싱(multiplexing)하여 패키타이징(packetizing)하고 각 채널별로 MPEG2-TS 데이타를 RTP/UDP/IP/CDMA 통신 프로토콜에 따라 이동통신사 기지국(BS:Base Station), 기지국 제어기(BSC:Base Station Controller)를 경유하여 이동통신망의 패킷망 경로을 통해 스트리밍 서버(205)로 실시간으로 전송한다.
스트리밍 서버(205)는 4채널별로 각각의 수신 버퍼(Receive Buffer)에 각 채널의 MPEG2-TS 스트림 데이타를 수신하여 IP/UDP/RTP 계층을 경유하여 디패킷타이징(depacketizing)하고 각 채널별로 각각 Video, Audio, Data, PSI(Program Specific Information)로 디멀티플렉싱(demultiplexing)하여 실시간으로 저장하고, 이동통신 단말기(206) 또는 컴퓨터(노트북) 단말기(207)로 차량 영상 모니터링 장치(201)로부터 촬영한 4채널 동영상과 음성 데이타를 패킷화하여 실시간 스트리밍 서비스를 제공한다.
도 3은 차량용 영상 모니터링 장치의 4채널 화면 분할 표시 방식을 도시한 도면이다.
본 발명에 따른 차량의 영상 모니터링 장치(black box)에 부착된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라이 4채널 카메라로 레코딩된 동영상과 음성 데이타를 각 채널별 기 설정된 화면의 크기에 맞게 클리핑(잘라내기)하지 않고, 통상적으로 4채널 직사각형의 동영상 채널을 사용하지 않고, 4채널로 분할된 각각 미리 설정된 사면체 화면의 크기에 맞게 스케일링(부분 확대축소)으로 실시간으로 레코딩되는 동영상을 화면에 출력하는 기능을 제공한다.
4채널 차량 영상 모니터링 장치의 스케일러는 raw 디지털 영상 신호(YUV)가 나타내는 영상의 크기(size)를, 4채널 카메라로 촬영된 영상을 임의로 4화면으로 분할된 미리 설정된 사면체 화면 크기에 맞게 스케일링한 영상 신호를 출력하고, 타이밍 컨트롤러에 의해 4채널 카메라로 촬영되는 영상 신호에 대응하도록 픽셀을 온/오프시켜 4채널 디지털 영상을 출력한다.
ITU-T H.264, ISO/IEC 14496(MPEG4) Part 10 H.264/AVC(Advanced Video Coding)의 표준화는 MPEG과 유사하게 ITU-T 연구그룹인 VCEG(Video Coding Expert Group)에 의해 시작되었다.
MPEG-4 Visual은 유연한 압축기법과 툴킷(toolkit)을 사용하여 직사각형 프레임(전통적인 비디오 데이타), 비디오 객체(시각 장면의 임의 형상 영역), 정지 이미지 및 자연 시각 정보를 제공하고, 직사각형 프레임 압축 프로파일(Simple Profile), 임의 형상 시각의 압축 객체 기반 프로파일(object-based profile), 정지 이미지 또는 "텍스쳐(texture)"를 압축하는 정지 텍스쳐 프로파일(still texture profile), Scalable 프로파일(여러개의 해상도 및 화질로 압축), 그리고 고화질의 스튜디오 응용제품을 위한 압축에 사용되는 스튜디오 프로파일(studio profile)로 구성된 압축 도구를 사용하여 이러한 프로파일(profile)에 의해 지원되는 압축도구를 사용하여 정지 텍스쳐, 비디오 객체, Scalable 객체의 코딩을 지원한다. 소형 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서에 2차원으로 촬영되는 영상에 초점을 맞추어진 샘플링된 디지털 비디오 영상 데이타를 시간적인 샘플링 비율(sampling rate)을 높이고 공간-시간 상의 샘플(picture element 또는 pixel)들의 밝기(luminance, 휘도)와 컬러(color)를 조절하여 비디오 영상 데이타를 보다 부드러운 영상으로 출력한다.
H.264 SVC(Scalable Video Coding, 스케일러블 비디오 코딩)은 MPEG(Moving Picture Expert Group)과 VCEG(Video Coding Expert Group)의 JNT(Joint VIdeo Team)에 의해 표준화된 새로운 압축/복원 기술이며, 시간(temporal), 공간(spatial) 및 화질(SNR)의 scalability를 지원하는 계층 구조를 포함한다. 공간적 스케일러빌리티(spatial scalability)를 위해 기본 계층(base layer), 움직임 예측 및 잔차신호 정보를 예측하여 동작한다. 동영상 부호화시, GOP구조를 MPEG4-AVC, 스케일러블 비디오 코딩(SVC) 기법은 스케일러블 동영상 부호화 효율을 높이기 위해 영상 시퀀스(frame sequence)의 시간적 특성을 고려하여 SVC에서 한 영상 시퀀스에 대하여 GOP의 크기를 고정하여 부호화하며, GOP의 크기와 영상 시퀀스의 시간적 특성에 따라 적응적으로 부호화한다.
H.264 SVC는 영상 정보를 부호화할 때, 공간적 스케일러빌리티(spatial scalability, 화상 크기의 변경), 시간적 스케일러빌리(Temporal Scalability, 프레임률 변경), 화질(SNR, 신호대잡음비)에 대한 스케일러빌리티를 가지도록 계층적 부호화(Layered coding)를 실시하고, 추가적으로 관심 지역(ROI: Region Of Interest)에 대한 스케일러빌리티, 객체 기반 스케일러빌리티, 기본계층(base-layer) 호환성, 저 복잡도 코덱, 인터레이스 비디오 코딩 지원, 화질(SNR) 선택을 지원하는 시스템 인터페이스, 다중 적응(multiple adaptation) 기능을 제공한다.
MPEG-2 표준은 3-계층 스케일 가능한 압축을 지원된다. 첫째 비디오는 베이스 계층(base layer)에서 압축되고, 중간 및 상위 계층은 베이스 계층의 비디오 품질을 더 향상시키기 위해 사용된다. MPEG-2는 스케일 가능 옵션으로 공간(프레임 크기, 화면 크기), 시간(프레임율), 화질(품질)(SNR:신호대잡음비)이 존재한다.
H.264 SVC 비트스트림은 기본 계층(base layer)과 향상 계층(enhancement layer)으로 계층적 부호화(Layered encoding)를 실시하고, 공간(프레임 크기, 화면 크기), 시간(프레임율), 화질(SNR:신호대잡음비)의 3팩터로 적응적으로 비디오 품질을 조정 가능하다.
A/V 미디어 스케일링 기법은 (1) 공간 해상도 스케일링(화상 크기의 변경), (2) 시간적 스케일링(프레임률 감소), (3) 화질(SNR) 스케일링(양자화 단계 감소, 색차 감소, DCT 계수 감소), (4) 내용-기반 스케일링(비디오 객체 우선순위)로 분류된다.
도 4는 본 발명에 따른 차량용 영상 모니터링 장치의 4채널 화면 분할 방법을 설명한 순서도 이다.
본 발명에 따른 CDMA 모뎀을 장착한 차량용 영상 모니터링 장치의 4채널 화면 분할 방법은 (a) 차량용 영상 모니터링 장치에 연결된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라(아날로그 카메라)로부터 각각 A/D 변환된 4채널 동영상과 음성 데이타의 인코딩시에, 채널별 SVC(Scalable Video Coding, 스케일러블 비디오 코딩) 비트스트림을 부호화된 동영상 데이타의 비트 스트림 중에서 베이스 계층(base layer) 및 향상 계층(enhancement layer)을 추출하고, 상기 향상 계층의 SVC 적응변환 파라미터(1. 공간 해상도 스케일링(미리 설정된 사면체 화면의 크기의 변경), 2. 시간적 스케일링(프레임률 감소))를 적응적으로 조정하는 단계(S100); (b) 채널 분류 후, 4채널 카메라로 레코딩된 동영상 데이타(연속되는 GOP 프레임)을 클리핑(잘라내기) 되지 않고, 각 카메라 채널마다 프레임 버퍼에 저장된 인코딩된 직사각형 크기의 영상 데이타의 GOP 프레임의 각 프레임을 각각 스케일러에 의해 4채널의 각각 미리 설정된 사면체 화면의 크기의 프레임으로 조정하고, SVC 적응변환 파라미터의 공간적 해상도 스케일링 비율(scaling ratio, 화면의 모양의 형상 크기 부분 확대축소)에 따라 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)의 각 프레임을 미리 설정된 사면체 화면 크기로 변경하는 공간적 스케일링(부분 확대 축소)을 실시하여 각 채널의 프레임 버퍼들에 저장하는 단계(S200); 및 (c) 차량의 영상 모니터링 장치에 부착된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영한 동영상과 음성 데이타를 보통 직사각형 크기의 4분할 화면방식으로 출력하거나, 또는 실시간으로 상기 각 채널의 프레임 버퍼들로부터 읽어들인 각각의 스케일링된 비디오 프레임들을 채널별로 상기 각각 미리 설정된 사면체 화면 크기로 분할된 4채널 화면으로 출력하는 단계(S300)를 포함한다.
비디오 디코딩시, 영상 디코더(190)와 연결된 스케일러는 차량용 영상 모니터링 장치에 부착된 각 카메라 4 채널마다 프레임 버퍼에 저장된 인코딩된 직사각형 크기의 영상 데이타의 GOP 프레임의 각 프레임마다 각각 정규화된 직사각형 크기의 프레임을 미리 설정된 사면체 화면의 크기의 프레임으로 화면의 형상의 크기를 조절하며, SVC 적응변환 파라미터의 공간적 해상도 스케일링 비율(scaling ratio, 화면의 모양의 형상 크기 부분 확대축소)에 따라 카메라들로부터 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)의 각 프레임을 미리 설정된 사면체 화면 크기로 변경하는 공간적 스케일링(화면 모양의 형상 크기의 부분 확대 축소)을 실시하여 각 채널의 프레임 버퍼에 저장하고 출력되도록한다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 개인용 컴퓨터의 소프트웨어와 장치를 이용하여 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 플래시 메모리, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 이상에서 설명한 바와 같이, 이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니므로, 본 발명은 본 발명의 사상 및 특허 청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있으며 본 발명의 보호 범위는 아래의 특허 청구범위를 기준으로 그와 동등한 범위 내에 있는 모든 기술 사상에 대해서까지 포함되는 것으로 해석되어야할 것이다.
201: 차량용 영상 모니터링 장치 202: CDMA 모뎀
203: 기지국(BS) 204: 기지국 제어기(BSC)
205: 스트리밍 서버 206: 이동통신 단말기
207: 컴퓨터 단말기
203: 기지국(BS) 204: 기지국 제어기(BSC)
205: 스트리밍 서버 206: 이동통신 단말기
207: 컴퓨터 단말기
Claims (4)
- 차량용 영상 모니터링 장치의 4채널 화면 분할 방법에 있어서,
(a) CDMA 모뎀을 장착한 차량용 영상 모니터링 장치에 연결된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라로부터 각각 A/D 변환된 4채널 동영상과 음성 데이타의 인코딩시에, 채널별 SVC(Scalable Video Coding) 비트스트림을 부호화된 동영상 데이타의 비트 스트림 중에서 베이스 계층(base layer) 및 향상 계층(enhancement layer)을 추출하고, 상기 향상 계층의 SVC 적응변환 파라미터(1. 공간 해상도 스케일링(미리 설정된 사면체 화면의 크기의 변경), 2. 시간적 스케일링(프레임률 감소), 3. 화질(SNR) 스케일링(양자화 단계 감소, 색차 감소, DCT 계수 감소)를 적응적으로 조정하는 단계;
(b) 채널 분류 후, 4채널 카메라로 레코딩된 동영상 데이타(연속되는 GOP 프레임)을 클리핑(잘라내기) 되지 않고, 각 채널마다 프레임 버퍼에 저장된 인코딩된 직사각형 크기의 영상 데이타의 GOP 프레임의 각 프레임을 각각 4채널의 각각 스케일러에 의해 미리 설정된 사면체 화면의 크기의 프레임으로 조정하고 SVC 적응변환 파라미터의 공간적 해상도 스케일링 비율(scaling ratio, 부분 확대축소)에 따라 실시간으로 레코딩되는 4채널 동영상 및 음성 데이타(frame sequence)의 각 프레임을 기 설정된 사면체의 화면 크기로 변경하는 공간적 스케일링(부분 확대 축소)을 실시하여 각 채널의 프레임 버퍼들에 저장하는 단계; 및
(c) 차량의 영상 모니터링 장치에 부착된 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라의 4채널 카메라로 촬영한 동영상과 음성 데이타를 보통 직사각형 크기의 4분할 화면방식으로 출력하거나, 또는 실시간으로 상기 각 채널의 프레임 버퍼들로부터 읽어들인 각각의 스케일링된 비디오 프레임들을 채널별로 상기 각각 미리 설정된 사면체 화면 크기로 분할된 4채널 화면으로 출력하는 단계;
를 포함하는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법. - 제1항에 있어서,
상기 SVC 적응변환 파라미터는
공간 해상도 스케일링을 위한 미리 설정된 사면체 화면의 크기; 시간적 스케일링을 위한 프레임률 정보를 포함하는 것을 특징으로 하는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법. - 제1항에 있어서,
(d) 상기 CDMA 모뎀을 장착한 차량용 영상 모니터링 장치로부터 멀티미디어 패킷 전송 서비스를 위한 멀티미디어 세션을 설정한 후, 상기 차량의 영상 모니터링 장치에 연결된 전방 카메라, 후방카메라, 좌측 카메라, 우측 카메라의 4대의 카메라로 촬영되는 4채널 동영상과 음성 데이타의 정규화된 직사각형 스트림 또는 스케일링 비율에 따라 조정된 스케일링 스트림을 타임 라인이 맞춰 수직 동기(V.SYNC) 및 수평동기(H.SYNC)와 함께 4채널 송신 버퍼(Send Buffer)별로 버퍼링된 데이타를 멀티플렉싱(multiplexing)하여 패키타이징하고, 각 채널별로 MPEG2-TS 데이타를 RTP/UDP/IP/CDMA 통신 프로토콜에 따라 이동통신망의 패킷망 경로를 통해 스트리밍 서버로 실시간으로 전송하는 단계; 및
(e) 이동통신 단말기 또는 컴퓨터 단말기로부터 차량용 영상 모니터링 장치의 원격 모니터링 서비스를 스트리밍 서버로 요청한 경우, 상기 스트리밍 서버로부터 4채널 카메라로 촬영된 영상과 음성 데이타의 정규화된 직사각형 스트림 또는 스케일링 비율에 따라 조정된 스케일링된 스트림을 상기 이동통신 단말기 또는 상기 컴퓨터 단말기의 4채널 멀티미디어 뷰어로 수신받고, 버퍼에 저장된 raw 디지털 영상 신호(YUV) 크기(size)를 상기 미리 설정된 사면체 화면 크기에 맞게 스케일링한 A/V 신호를 출력하고, 타이밍 컨트롤러에 의해 4채널 카메라로 촬영되는 수평 동기(H.SYNC) 및 수직 동기(V.SYNC)가 맞추어진 동영상 및 음성 데이타에 대응하는 픽셀을 4채널 디지털 영상을 LCD 표시부로 출력하는 단계;
를 더 포함하는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법. - 제1항에 있어서,
(f) 상기 차량용 영상 모니터링 장치의 전방카메라와 후방카메라의 2채널 카메라로 전방 영상과 후방 영상을 촬영하는 경우, 2채널의 동영상과 음성 데이타를 믹서(mixer)에 의해 실시간으로 전방 카메라로 촬영한 영상 데이타를 제1 비디오 디코더 및 비디오 스케일러로부터 메인 화면 크기에 맞게 스케일링된 비디오 데이타, 및 후방 카메라로 촬영되는 영상 데이타를 분석하여 제2 비디오 디코더에 의해 영상 시퀸스의 GOP(Group Of Picture)의 첫번째 프레임인 I 프레임(Intra-coded frame)을 검출하고 그래픽 스케일러에 의해 생성된 상대적으로 작은 크기의 부화면(PIP:Picture in Picture) 영상을 생성하는 단계; 및
(g) 믹서(mixer)에 의해 차량의 전방 카메라의 메인화면 영상 데이타 및 차량의 후방 카메라의 부화면(PIP) 영상을 믹싱하여 LCD 표시부로 출력하는 단계;
를 더 포함하는 차량용 영상 모니터링 장치의 4채널 화면 분할 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110029958A KR101164365B1 (ko) | 2011-03-31 | 2011-03-31 | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110029958A KR101164365B1 (ko) | 2011-03-31 | 2011-03-31 | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101164365B1 true KR101164365B1 (ko) | 2012-07-09 |
Family
ID=46716558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110029958A Expired - Fee Related KR101164365B1 (ko) | 2011-03-31 | 2011-03-31 | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101164365B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101458362B1 (ko) * | 2013-07-01 | 2014-11-06 | 주식회사 나다텔 | 차량용 블랙박스 장치 및 그 운용 방법 |
| WO2016204472A1 (ko) * | 2015-06-15 | 2016-12-22 | (주)큐알온텍 | 차량용 블랙박스의 영상 처리 장치 및 방법 |
| KR20170075141A (ko) * | 2015-12-23 | 2017-07-03 | 에스엘 주식회사 | 전자 제어 유닛을 공유하는 차량용 영상 감시 장치 |
| KR102667017B1 (ko) * | 2023-09-14 | 2024-05-24 | 주식회사 엠티오메가 | 가변 스케일링을 이용한 객체 검출 방법 및 이러한 방법을 수행하는 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100870249B1 (ko) | 2007-11-15 | 2008-11-24 | (주) 아우토스트라세 | 카메라를 이용한 차량 모니터링 시스템 |
-
2011
- 2011-03-31 KR KR1020110029958A patent/KR101164365B1/ko not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100870249B1 (ko) | 2007-11-15 | 2008-11-24 | (주) 아우토스트라세 | 카메라를 이용한 차량 모니터링 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101458362B1 (ko) * | 2013-07-01 | 2014-11-06 | 주식회사 나다텔 | 차량용 블랙박스 장치 및 그 운용 방법 |
| WO2016204472A1 (ko) * | 2015-06-15 | 2016-12-22 | (주)큐알온텍 | 차량용 블랙박스의 영상 처리 장치 및 방법 |
| KR20170075141A (ko) * | 2015-12-23 | 2017-07-03 | 에스엘 주식회사 | 전자 제어 유닛을 공유하는 차량용 영상 감시 장치 |
| KR102439439B1 (ko) * | 2015-12-23 | 2022-09-02 | 에스엘 주식회사 | 전자 제어 유닛을 공유하는 차량용 영상 감시 장치 |
| KR102667017B1 (ko) * | 2023-09-14 | 2024-05-24 | 주식회사 엠티오메가 | 가변 스케일링을 이용한 객체 검출 방법 및 이러한 방법을 수행하는 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101690163B (zh) | 快门时间补偿 | |
| KR102343700B1 (ko) | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 | |
| US20180077385A1 (en) | Data, multimedia & video transmission updating system | |
| HUP0004848A2 (hu) | Berendezés és eljárás MPEG-2 adatfolyam SMPTE-259 kompatibilis adatfolyammá történő átalakítására | |
| EP3041233A1 (en) | High frame rate-low frame rate transmission technique | |
| JP2011087195A (ja) | 画像処理装置および画像処理方法 | |
| US20060256232A1 (en) | Moving picture communication system | |
| KR101164365B1 (ko) | 차량용 영상 모니터링 장치의 4채널 화면 분할 방법 | |
| JP4040426B2 (ja) | データ送信装置 | |
| US20080152002A1 (en) | Methods and apparatus for scalable video bitstreams | |
| CN113132686A (zh) | 一种基于国产linux系统的局域网视频监控的实现方法 | |
| JP2007336260A (ja) | 映像監視装置 | |
| US20110128355A1 (en) | Image processing apparatus and image processing method | |
| US9247260B1 (en) | Hybrid bitmap-mode encoding | |
| CN101188765A (zh) | 用于对rgb图像编码和解码的方法和设备 | |
| US8208555B2 (en) | Image capturing and transmission device and image receiving and reconstruction device | |
| CN101188768A (zh) | 基于rgb编解码器发送和接收运动图像的方法和设备 | |
| JP2001346207A (ja) | 画像情報変換装置及び方法 | |
| Hintermaier et al. | A system architecture for IP-camera based driver assistance applications | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP6045051B1 (ja) | 動画像伝送装置及び動画像伝送方法 | |
| JP2002051345A (ja) | 画像情報変換装置及び方法 | |
| KR20100028749A (ko) | 다시점 비디오의 송수신 시스템 및 방법 | |
| Doshi et al. | Web based modified video decoding for mobile application | |
| KR100820019B1 (ko) | 모스트 통신에서 화상 압축 장치 및 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110331 |
|
| PA0201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120619 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20120703 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20120703 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20151006 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20151006 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160701 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170620 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170620 Start annual number: 6 End annual number: 6 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20190414 |