Poznámky z 9. prezentace z UPG
This commit is contained in:
parent
fcb7778f99
commit
35caf2ee49
1 changed files with 260 additions and 0 deletions
260
KIV UPG/09. Základy multimédií.md
Normal file
260
KIV UPG/09. Základy multimédií.md
Normal file
|
@ -0,0 +1,260 @@
|
||||||
|
# Základy multimédií
|
||||||
|
|
||||||
|
## Multimédia
|
||||||
|
|
||||||
|
- neexistuje přesná definice
|
||||||
|
- intuitivní definice
|
||||||
|
- spojení textu, audia, obrázku, animace nebo videa se zařízením, které je shopné jej prezentovat (PC, mobil, televize)
|
||||||
|
- pro účely UPG
|
||||||
|
- multimédia = video (bez zvuku i se zvukem) a audio
|
||||||
|
|
||||||
|
**Význam**
|
||||||
|
- komunikace mezi lidmi
|
||||||
|
- hlasové ovládání zařízení
|
||||||
|
- zabezpečení objektu a příbuzné
|
||||||
|
+ šíření vlastního názoru nebo umělecké produkce
|
||||||
|
+ prezentace produktu
|
||||||
|
+ vysvětlení složitějšího problému
|
||||||
|
+ upoutávky
|
||||||
|
+ ...
|
||||||
|
|
||||||
|
### Digitální video
|
||||||
|
|
||||||
|
- sekvence jednotlivých obrázků (snímků) doprovázená audiozáznamem, případně titulky
|
||||||
|
- snímky = bitmapové obrázky
|
||||||
|
- stejná velikost (rozlišení)
|
||||||
|
- stejná barevný model a bitová hloubka
|
||||||
|
- sousední snímky se odlišují jen mírně
|
||||||
|
- snímková frekvence (fps)
|
||||||
|
- minimálně 24 fps pro navození iluze plynulého pohybu
|
||||||
|
- záleží na rychlosti pohybu, který chceme zachytit
|
||||||
|
+ nejjednodušší podoba - adresář s obrázky
|
||||||
|
- nepraktické
|
||||||
|
- mnoho souborů, velmi neefektivní přístup ke snímkům
|
||||||
|
- informace o fps není součástí
|
||||||
|
- lepší je využít některý ze standardních formátů
|
||||||
|
|
||||||
|
**Velikost snímků (rozlišení)**
|
||||||
|
+ teoreticky libovolné
|
||||||
|
+ používá se standardní rozlišení nebo jeho násobky
|
||||||
|
- 240p – 320x240 (4:3)
|
||||||
|
- 360p – 480x360 (4:3) nebo 640x360 (16:9)
|
||||||
|
- 480p, 480i – 640x480 (4:3) nebo 720x480 (3:2), resp. 704x480 (5:3) nebo 853x480 (16:9)
|
||||||
|
- 720p – 1280x720 (16:9); HD
|
||||||
|
- 1080p, 1080i – 1920x1080 (16:9); FullHD
|
||||||
|
- progressive scan (p)
|
||||||
|
- pixely zpracovávány řádek po řádce zleva doprava
|
||||||
|
- interlaced scan (i)
|
||||||
|
- pixely zpracovávány ob řádek zleva doprava
|
||||||
|
- určeno pro CRT monitory, dnes nevhodné
|
||||||
|
|
||||||
|
**Datový tok**
|
||||||
|
- počet bitů za sekundu, které je potřeba přenést
|
||||||
|
- FullHD (1920x1080) film s 29.97 FPS při 24 bitech na pixel = cca 178 MB/s
|
||||||
|
- velmi velký datový tok - potřeba použít kompresi
|
||||||
|
|
||||||
|
**Kodek** (**co**der-**dec**oder)
|
||||||
|
- algoritmus pro kompresi (coder) a dekompresi (decoder)
|
||||||
|
- transformuje data do úspornější podoby dle nastavení
|
||||||
|
- různé nastavitelné parametry
|
||||||
|
- musí být k dispozici na straně příjemce
|
||||||
|
- často součástí OS, některé lze doinstalovat
|
||||||
|
|
||||||
|
### Kompresní přístupy
|
||||||
|
|
||||||
|
**Barevné podvzorkování**
|
||||||
|
- zahození barevné informace (RGB na YCbCr, YCoCg, YUV, apod.)
|
||||||
|
|
||||||
|
**Statickou část scény neukládat vícekrát**
|
||||||
|
- rozsekání obrazu na makrobloky, ty uloženy vždy jen jednou
|
||||||
|
- pro další snímek informace, kam se makroblok posunul
|
||||||
|
- čas od času potřeba restartovat
|
||||||
|
|
||||||
|
**GOP = Group of Picture Size**
|
||||||
|
- určuje, jak často se snímek má kódovat jako klíčový
|
||||||
|
- 1 - každý je klíčový
|
||||||
|
- 30 - 1 klíčový snímek + 29 rozdílových
|
||||||
|
- nejčastěji používané
|
||||||
|
- dlouhé GOP (např. 300)
|
||||||
|
- pro archivní účely
|
||||||
|
|
||||||
|
**Možnosti volby velikosti datového toku**
|
||||||
|
- konstantní velikost (CBR, constant bit rate)
|
||||||
|
- každý snímek kódován přibližně stejným počtem bytů
|
||||||
|
- jednoduché, obsah snímku ignorován - něco příliš kvalitně, něco nedostatečně
|
||||||
|
- variabilní velikost (VBR, variable bit rate)
|
||||||
|
- snímky mohou být kódovány různě velkým počtem bytů
|
||||||
|
- udává se průměrný požadovaný tok + maximální povolený
|
||||||
|
- složitější algoritmy, obvykle preferováno
|
||||||
|
|
||||||
|
**Jednoprůchodová komprese**
|
||||||
|
+ snímek okamžitě zpracován a odeslán na výstup
|
||||||
|
+ úroveň komprese pro dosažení průměrného toku nutno odhadnout
|
||||||
|
+ jediné možné pro přímý přenos TV vysílání
|
||||||
|
|
||||||
|
**Víceprůchodová komprese**
|
||||||
|
+ obvykle dvouprůchodová
|
||||||
|
+ v prvním zjistí složitost snímků, v dalším provede vlastní kompresi
|
||||||
|
+ vhodné pro archivační účely, využíváno ve spojitosti s VBR
|
||||||
|
|
||||||
|
### Standardní formáty
|
||||||
|
|
||||||
|
**MPEG-2**
|
||||||
|
- DVD filmy, digitální TV, Blu-ray
|
||||||
|
- méně náročné dekódování
|
||||||
|
|
||||||
|
**VC-1**
|
||||||
|
- vylepšený MPEG-2
|
||||||
|
- pro internetové vysílání, Blu-ray
|
||||||
|
- patentováno - pro vytváření potřeba licence
|
||||||
|
- WMV, WMA kodek
|
||||||
|
|
||||||
|
**MPEG-4**
|
||||||
|
- stále se vyvíjející formát s mnoha doplňky (part)
|
||||||
|
- náročnější kódování, vyšší nároky na dekódování
|
||||||
|
- mnohem menší datový tok
|
||||||
|
- part 2: DivX, XviD, QuickTime kodek
|
||||||
|
- part 10: H.264 kodeky
|
||||||
|
- Blu-ray, YouTube, kabelová TV, vizuálně bezettrátová komprese
|
||||||
|
- nejrozšířenější volná implementace = x264
|
||||||
|
|
||||||
|
### Vytváření videa
|
||||||
|
|
||||||
|
**Zdroj obrazu**
|
||||||
|
- uspořádaná množina obrázků vytvořených nějakým programem
|
||||||
|
- animované filmy, animované vizualizace
|
||||||
|
- oblast obrazovky
|
||||||
|
- hardwarové zařízení (web kamera, ...)
|
||||||
|
|
||||||
|
Již při vytváření je nutné rozhondout, jak bude video distribuováno:
|
||||||
|
- soubor uložený na pevném médiu
|
||||||
|
- na začátku hlavička (rozlišení, frekvence, ...)
|
||||||
|
- poté vlastní video, často menší soubory
|
||||||
|
- streamovaně prostřednictvím TV nebo internetu
|
||||||
|
- datový proud rozdělen na drobné úseky (např. několik ms)
|
||||||
|
- hlavička před každým úsekem, větší soubory
|
||||||
|
|
||||||
|
|
||||||
|
## Audio
|
||||||
|
|
||||||
|
- zvuk = mechanické vlnění
|
||||||
|
- digitální audio = sekvence amplitud mechanického vlnění (tzv. vzorků)
|
||||||
|
|
||||||
|
**Vzorkovací frekvence**
|
||||||
|
- zavisí na rychlosti zachycovaného zvuku
|
||||||
|
- 16 kHz - stačí pro mluvené slovo
|
||||||
|
- 44.1 kHz - obsáhne celý slyšitelný rozsah
|
||||||
|
- zkresluje zabarvení tónu
|
||||||
|
- používáno v audio CD
|
||||||
|
- 48 kHz - nejčastěji užívaná frekvence
|
||||||
|
- 96 kHz, 192 kHz - DVD a Blu-ray
|
||||||
|
- umožňuje další editaci zvuku
|
||||||
|
|
||||||
|
**Datový tok**
|
||||||
|
- počet bitů za sekundu, které je potřeba přenést
|
||||||
|
- hudba se vzorkovací frekvencí 192 kHz při 8 bytech na vzorek = cca 1.5 MB/s
|
||||||
|
- písnička typické délky (4 min) = cca 350 MB
|
||||||
|
- hudba k filmu (120 min) = cca 10 GB
|
||||||
|
|
||||||
|
**Audio kanály**
|
||||||
|
- audio může obsahovat více kanálů
|
||||||
|
- ukládány nezávisle
|
||||||
|
- datový tok roste lineárně s počtem kanálů
|
||||||
|
- monofonní zvuk = 1 kanál
|
||||||
|
- stereofonní zvuk = 2 kanály
|
||||||
|
- domácí kino = 6 kanálů
|
||||||
|
|
||||||
|
**Snížení datového toku**
|
||||||
|
- nižší vzorkovací frekvence (ztráta kvality)
|
||||||
|
- komprese dat
|
||||||
|
- zvukové kodeky
|
||||||
|
- obvykle specifikována požadovaná velikost toku a kodek automaticky určí snížení kvality
|
||||||
|
- snížení počtu bytů vzorku
|
||||||
|
- kvantizace rozsahu
|
||||||
|
- nejčastěji 16 bitů / vzorek (-32768 ... 32767)
|
||||||
|
- další kompresní přístupy
|
||||||
|
|
||||||
|
### Standardní formáty
|
||||||
|
|
||||||
|
**WAV**
|
||||||
|
- pouze kvantizace na 16 nebo 8 bitů
|
||||||
|
- vhodné pro audio CD nebo další zpracování
|
||||||
|
|
||||||
|
Windows Media Audio (**WMA**)
|
||||||
|
- patentováno - potřeba licence
|
||||||
|
- umožňuje digitální ochranu
|
||||||
|
- kompresní poměry běžně až 10:1
|
||||||
|
|
||||||
|
MPEG-1 Audio Part 3 (**MP3**) nebo MPEG-2 Audio Advanced Audio Coding (**AAC**)
|
||||||
|
- patentováno
|
||||||
|
- nízké nároky na dekódování
|
||||||
|
- podporuje nejen CBR, ale i VBR
|
||||||
|
|
||||||
|
**OGG** Vorbis
|
||||||
|
- open-source
|
||||||
|
- srovnatelné s předchozím
|
||||||
|
|
||||||
|
## Kontejnery
|
||||||
|
|
||||||
|
- audio i video v jednom souboru
|
||||||
|
- vyžadují dva programy
|
||||||
|
- **multiplexor** (muxer) - odesílací strana
|
||||||
|
- slučuje proudy videa, zvuku a titulkových stop do jednoho proudu dat
|
||||||
|
- podporuje typicky různé video a audio kodeky
|
||||||
|
- informace o rozlišení, typu komprese pro video/audio, počet audio kanálů a jejich mapování na reproduktory jsou součástí proudu dat
|
||||||
|
- **demultiplexor** (demuxer, splitter) - přijímací strana
|
||||||
|
- separuje ze složitého proudu data, o které je zájem
|
||||||
|
- systém správy multimédií (typicky součást OS) předá separované proudy příslušným kodekům a jejich výstupy výstupním zařízením
|
||||||
|
|
||||||
|
**Nejčastější kontejnerové struktury**
|
||||||
|
- Audio Video Interleave (**AVI**)
|
||||||
|
- MPEG, např. MPEG-2 Transport Stream (MPEG-TS) nebo MPEG-4 (ASF)
|
||||||
|
- Matroska (MKV, WebM)
|
||||||
|
- Flash Video (FLV)
|
||||||
|
- Windows Media Video (WMV)
|
||||||
|
|
||||||
|
**Pro samostatné audio**
|
||||||
|
- lze použít obecné kontejnery pro video
|
||||||
|
- specializované audio kontejnery
|
||||||
|
- WAV, MP3, ...
|
||||||
|
|
||||||
|
Pro zjištění obsahu kontejneru je potřeba použít utilitu.
|
||||||
|
|
||||||
|
## Úprava videa
|
||||||
|
|
||||||
|
**Živé video**
|
||||||
|
- veškeré úpravy se provádí hned při vytváření
|
||||||
|
|
||||||
|
**Uložené video**
|
||||||
|
- větší možnosti
|
||||||
|
- změna datového toku, změna velikosti obrazu, oříznutí snímků, komprese lepším kodekem, střih, odšumění, ...
|
||||||
|
|
||||||
|
**Komerční nástroje**
|
||||||
|
- určeny pro profesionální úpravy
|
||||||
|
- např. Adobe Premiere, Camtasia Studio, Pinnacle Studio, ...
|
||||||
|
|
||||||
|
**Volně dostupné**
|
||||||
|
- určeno pro amaterské úpravy
|
||||||
|
- např. FFmpeg, ShotCut, ...
|
||||||
|
|
||||||
|
## Multimediální prezentace
|
||||||
|
|
||||||
|
- interaktivní prezentace s videosekvencemi
|
||||||
|
|
||||||
|
**Řešení 1.**
|
||||||
|
- celá prezentace uložená jako jedno video v běžném formátu
|
||||||
|
- interakce není k dispozici, videosoubor lze snadno distribuovat a zpřístupnit
|
||||||
|
|
||||||
|
**Řešení 2.**
|
||||||
|
- uložit prezentaci v DVD nebo Blu-ray formátu
|
||||||
|
- omezené možnosti interakce
|
||||||
|
- DVD - pouze menu ke spuštění částí a výběru zvukové stopy či titulků
|
||||||
|
- Blu-ray - totéž jako DVD + vykreslování vektorové grafiky přes video s možností reakce na ovladač BR přehráče
|
||||||
|
- vše distribuovat na DVD nebo Blu-ray
|
||||||
|
|
||||||
|
**Řešení 3.**
|
||||||
|
- napsat si vlastní interaktivní aplikaci v nějakém programovacím jazyce (Java, C++, C#, ...)
|
||||||
|
- maximální možnost interakce, složitější vývoj
|
||||||
|
- funguje na pratformách, pro které je přeložena
|
||||||
|
- videosekvence mohou být součástí aplikace nebo přehrávány z internetu
|
||||||
|
- vlastní server nebo CDN
|
Loading…
Reference in a new issue