Category: IT

Ott járunk, hogy végre kihúztam a mobiltelefonos videók méregfogát.

Tényleg?

Hát, nem.

A következő filmsorozat előtt kiválogattam a hozzátartozó mobilos videókat, ráküldtem a Shutter Encoder-t és… nem lettek jók a felvételek. Összevissza rángatott mindegyik. De miért?

IS.
Azaz Image Stabilization. Magyarul képstabilizálás.
Egyszerűen nem volt bekapcsolva.
Hogyan fordulhatott elő ilyen baki?

Majd azt is elmondom, de egyelőre nézzük meg közelebbről, hogyan is működik ez az IS, milyen fajtái vannak és melyik mikor használható.

A funkció gondolom mindenki számára ismerős. Az ember keze remeg, esetleg sétál és emiatt rázkódik a kamera, bringázunk és mindenünk rázkódik, de úgy vagyunk összerakva, hogy az izmaink és legfőképpen az agyunk képes ezeket a rázkódásokat elsimítani. Mi pedig természetesen ugyanezt az elsimítást várjuk el a kamerától.
Hát, ja.

Alapvetően kétféle technika létezik: optikai és elektronikus. (Ahány kamera, annyi elnevezés, de a lényeg ugyanaz.)

1. Optikai képstabilizálás (OIS – Optical Image Stabilization)
Ez a hardveres megoldás. A mobiltelefon lencséje mögött apró mágnesek és rugók vannak, melyek fizikailag mozgatják a lencsét (vagy a szenzort), hogy kioltsák a kéz apró remegéseit.
– Előnye: mivel nincs szoftveres trükközés, nincs képvágás (crop), és a képminőség sem romlik. Kevés fénynél ez a legjobb, mert nem okoz “szellemképes” elmosódást.
– Hátránya: csak a mikrorezgéseket tudja kezelni. Sétánál, bringázásnál a nagy zökkenőket már nem tudja fizikailag követni a lencse, mert „elfogy” a helye a mozgáshoz.

2. Elektronikus (standard) stabilizálás (EIS – Electronic Image Stabilization)
Ez a szoftveres megoldás. A kamera app ilyenkor a telefon processzorát használja a kép “kivasalásához”. A szoftver egy picit „bezoomol” a képbe (kb. 5-10%-ot levág a szélekből). Ezt a levágott területet használja „biztonsági zónának”: ha megbillen a telefon, a szoftver eltolja a belső keretet az ellenkező irányba, hogy a téma középen maradjon.
– Előnye: sokkal hatékonyabb a nagyobb mozgásoknál, olyan hatást kelt, mintha egy láthatatlan gimbalon lenne a telefon.
– Hátránya: kisebb lesz a látószög a vágás miatt, és nagyon gyenge fénynél a szoftver néha furcsa, természetellenes rángásokat vagy elmosódást produkálhat.

Melyiket mikor érdemes használni?
– Mivel az optikai stabilizálás elég vérszegény, ezt akkor érdemes, ha álló helyzetből veszek fel filmet. Olyan körbeforgós, beledumálós snitteknél.
– Ha mozog a kamera – séta, bringázás – akkor viszont az elektronikus stabilizálás a nyerő. (Persze ki az, aki bringázás közben mobiltelefonnal kameráz?)

Az elektronikus stabilizáláson belül lehet játszani azzal, hogy a képből mekkora darabokat vágunk ki. Ha például a fentebb említett 5-10% helyett 20-25%-ot vágunk ki, akkor nagyon gyors mozgást is képesek leszünk stabilizálni, persze a kép mérete kisebb lesz. (Ezt nevezik Active stabilizálásnak.)

És akkor most nézzük, mit is böktem el. Pixel 9a telcsi, beépített gyári kameraszoftver. A képstabilizálás ki/bekapcsolása, nos, az el van ásva egy mély menű aljára.

Nálam itt valamiért, valamikor ki lett kapcsolva. Persze ezt még észre lehetett volna venni, feltéve, hogy az állapot ki van vezetve a képernyőre. De a gyári kameránál nincs.

Mutatom, hogyan néz ki a Blackmagic default állapota. A bal alsó sarokban látható a stabilizátor ikon, piros karikában.

Ha rákattintok, akkor feljön az állapot: standard, optical, off.

Egyszerű, mint a faék, de működik.

A Pixel gyári alkalmazásánál be kell menni egy eldugott menübe. Itt már nem lehet ki/bekapcsolni,csak állapotot állítani: locked, vagy standard.

Ha pedig ez nem elég, akkor egy további almenübe lépve lehet beállítani pl. Active módot. (Pontosabban, a beállított fps értéktől függ, hogy milyen IS módok állnak a rendelkezésemre.)

Gondoljuk át mindezt UX szempontból. Történik valami, én pedig gyorsan szeretném eldönteni, hogy szeretnék-e képstabilizálást és ha igen, akkor milyet? A gyári appnál elveszek a menüben, mert közben az akcióra figyelek, ráadásul ha már elindult a felvétel, akkor semmilyen menúbe sem tudok belépni. A vége az lesz, hogy habár a kamera mindent tud, de nem tudom beállítani, a felvétel pocsék lesz.
Mi van a Blackmagic szoftvernél? Észreveszem az akciót. Elindítom a felvételt. Aztán ha úgy érzem, hogy kell a stabilizátor, két pöttyintés a képernyőn – felvétel közben – és már a megfelelő stabilizáló algoritmus fut a felvétel alatt. (Hozzáteszem, nagyon szemléletes, hogy amikor átváltok a standard stabilizálásra, egyből érezhetően kisebb lesz a kép.)

Nos, ez lett a végső oka, hogy a gyári kameraszoftver helyett a Blackmagic-et használom. Az, hogy ez tudja a 25 fps-t, a gyári meg nem, az lehetett volna jó pont is, de mivel mindkettő VFR módban vesz, gyakorlatilag mindegy. (Emiatt nem is használom a 25-öst, a 60 fps azért csak több kép, csak simább mozgás.)
Viszont az IS kezelhetősége döntőnek bizonyult.
(Apró megjegyzés: a Blackmagic a Standard mód kiválasztásakor automatikusan bekapcsolja az Optical módot is.)

A végére még egy magyarázkodás. Miért erőltetem én ennyire ezt a mobiltelefont? A sisakon ott van a Gopro, a kézi felvételekhez meg van nálam egy camcorder, akkor mi szükség van a mobiltelcsire?
– Egyrészt a mobiltelefon mindig nálam van. Mindig. Megállok egy pihenőre, beülök egy presszóba, elsétálok megnézni egy táblát… a mobiltelefon mindig ott van a zsebemben. Ehhez képest a camcorder egy bumszli. Arról nem is beszélve, hogy nincs annyi kezem, hogy azt is cipeljem. Márpedig ha például sörözés közben kedvem támad valami felvételt készíteni, akkor a mobiltelcsi lesz kéznél.
– Biztosan van valami pszichológiai oka, de az emberek teljesen máshogy viselkednek egy mobiltelefonnal szemben, mint egy dedikált camcorderrel. A kamerától sikítófrászt kapnak és a személyiségi jogaikkal próbálnak lebunkózni. A mobiltelefonnak meg örülnek és szélesen belemosolyognak. Pedig nyilván látják, hogy éppen videót rögzítek vele. A magam részéről meghagyom a kérdést a mélylélektan művelőinek, ha nem akarok balhézni, akkor a mobiltelcsivel kamerázok. A camcorder meg marad a zoom felvételekhez.

Igényes ember a nyersanyag preparálására kizárólag a Shutter Encoder felület Interpolation opcióját használja. Különösen igaz ez akkor, ha éppen most ruházott be egy meglehetősen erős GPU-ba.

Nézzük, mit is jelent ez a számok nyelvén. Próbakonverzió.
– AVC/30fpsVFR/64mbps videó átkonvertálása HEVC/50fpsCFR/40mbps videóra.
– A videó hossza 42 másodperc.
– A konverzió: 44 perc, azaz az időarány gyakorlatilag 1:60.

Ez azért eléggé lelombozó eredmény. Még akkor is, ha az általában egy napokat feldolgozó videóimban kábé 5 percnyi mobilról felvett nyersanyag van csak. Mivel 1:60 az arány, így ez 5 órányi munka. Amivel nem is lenne különösebb probléma, ha tudnám kötegelni, csak hát úgy, hogy beolvasom a Shutter Encoderbe és egyenként konvertálom át a darabokat, úgy folyamatosan ott kell ülnöm mellette. Nem tudom éjszakára ráküldeni az egészet.

Ekkor jött az ötlet. Mi van a Shutter Encoder mögött? Az ffmpeg. Ami egy parancssori program. Mi lenne, ha megkeresném a megfelelő paramétereket és akkor elég lenne éjszakára csak egy parancsfájlt elindítanom? Felvetettem az ötletet a Gemininek és határozottan csillogni kezdett a szeme. Végre egy igazán nekivaló feladat!

Ehhez képest az első szkript le sem futott. Pedig kipróbáltam először a régi ffmpeg progimmal, majd miután hibára futott, lekaptam a legújabb ffmpeg-et, de azzal is hibaüzenetet kaptam. Elküldtem a Gemininek. Komolyan, érezni lehetett a sértődöttséget a válaszában. Közölte, hogy az első ffmpeg túl régi volt, azért nem ismerte az ő paraméterét, a másik meg túl új és az meg azért. Hiába, nem könnyű a programozók élete, különösen, ha szilíciumból vannak.

Küldött egy újabbat.

@echo off
mkdir "konvertalt" 2>nul
for %%f in (*.mp4) do (
    echo Feldolgozas: %%f...
    ffmpeg -i "%%f" -vf "minterpolate=fps=50:mi_mode=mci:mc_mode=aobmc:me_mode=bidir" -c:v libx265 -crf 20 -preset fast -c:a copy "konvertalt\%%f" -y
)
pause

Ez már lefutott és az eredményvideó minősége is megfelelt. Csak éppen a 42 másodperces videóval 1 óra 44 percet molyolt. Ez 1:148-as arány, kábé 12 órán keresztül dolgozna az 5 percnyi videóval. Hát, van még tér az optimalizálásra.

Első lépés: a minterpolate szűrő és azon belül az mi_mode=mci lecserélése. Az MCI azt jelenti, hogy Motion Compensated Interpolation, Ez a legmagasabb minőségű mód, ami pixelről pixelre elemzi a mozgást a képkockák között, és megpróbálja kiszámolni, hová mozdultak el az objektumok. 4K felbontásnál ez egy matematikai rémálom a CPU-nak, mert másodpercenként 50-szer kell elvégeznie ezt a számítást 8,3 millió pixelre. Ehelyett jön be a framerate szűrő. Ez gyakorlatilag a Shutter Encoderben a Blending algoritmus az Interpolate helyett.
Illetve vedd észre, hogy azt írtam, CPU. A fenti parancs nem használta ki a GPU-t, mint lehetőséget. Ezt is belevettük.

@echo off
mkdir "konvertalt" 2>nul
for %%f in (*.mp4) do (
    echo Feldolgozas: %%f...
    ffmpeg -i "%%f" -vf "framerate=fps=50" -c:v hevc_nvenc -preset p4 -rc vbr -cq 24 -b:v 32M -pix_fmt yuv420p -color_range pc -c:a copy "konvertalt\%%f" -y
)
pause

Lefutott. Piszok gyorsan: 31 másodperc. Csak hát a minőség… az nem lett jó. Blőrözött.
(Emellett vegyük észre, hogy itt történt egy apró színhelyesség-korrekció is.)
Mondjuk úgy, hogy a nemtetszésemet fejeztem ki. Maradjon inkább az Interpolate szűrő, csak valamivel gyengébb minőségben.

@echo off
mkdir "konvertalt" 2>nul
echo --- INDUL AZ OPTIMALIZALT EJSZAKAI MUSZAK ---

for %%f in (*.mp4) do (
    echo Feldolgozas: %%f...
    :: A minterpolate itt az alap (gyorsabb) MCI modot hasznalja, ahogy a Shutter Encoder is
    ffmpeg -i "%%f" -vf "minterpolate=fps=50:mi_mode=mci" -c:v hevc_nvenc -preset p4 -rc vbr -cq 24 -b:v 32M -pix_fmt yuv420p -color_range pc -c:a copy "konvertalt\%%f" -y
)

echo --- MINDEN FAJL KESZ! ---
pause

Visszajött a minterpolate szűrő, viszont a Gemini elhagyta az “mc_mode=aobmc:me_mode=bidir” paramétereket. (Átlapolt blokk-alapú mozgáskompenzáció, illetve kétirányú becslés.)
A szkript 55 perc alatt futott le, az már közelített a Shutter Encoder eredményéhez, viszont a mozgás még mindig blőrözött.

@echo off
setlocal enabledelayedexpansion
mkdir "konvertalt" 2>nul

for %%f in (*.mp4) do (
    echo Feldolgozas: %%f
    ffmpeg -i "%%f" -vf "minterpolate=fps=50:mi_mode=mci:mc_mode=obmc" -c:v hevc_nvenc -preset p4 -rc vbr -cq 24 -b:v 32M -pix_fmt yuv420p -color_range pc -c:a copy "konvertalt\%%f" -y
)
pause

Látható, hogy visszakerült az mc_mode paraméter, csak egy kevésbé igényes kapcsolóval. Tulajdonképpen itt értük el az optimumot. A szkript 55 perc alatt futott le és a videó minősége is jó lett. Ezt már be tudtam vállalni. Igaz, 5,5 óra kellett a munka elvégzéséhez, de éjjeli munkánál 30 perc pluszmunka nem oszt, nem szoroz.

És akkor emlékezzünk vissza, hogyan vezettem fel ezt az írást a korábbiban?

És bár nem vagyok rá büszke, mert elképesztő, mit bénáztam…

Hol van a bénázás?
Most jön.

Ez itt a Shutter Encoder grafikus felülete. Bejelölgettem a fontosabb részeket, de most egyre hívnám fel a figyelmet, a bal felső sarokban lévő bekarikázásra. Látod? Az ott egy munkaasztal. A nagy szkriptelős felbuzdulásban nem vettem észre, hogy a Shutter Encoder nem úgy működik, hogy beolvas egy fájlt és azzal dolgozik, majd beolvashatom a következőt és így tovább, nem, a Shutter Encoder munkaasztalára tetszőleges mennyiségű fájlt be tudok olvasni (ctrl+klattyintás) és mindegyikkel elvégzi a kijelölt konverziót.
Bakker.
Az egész szkriptelés tök felesleges volt. Este bedobom mind az ötpercnyi mobiltelcsis videót, bekattintom a bekattintanivalókat, elindítom, reggelre kész. Gyorsan és jó minőségben.

A végére még valami. Írtam korábban, hogy Paul Pacifico, a Shutter Encoder fejlesztője mennyire tökéletesen ismeri az ffmpeg-et. Itt van a bizonyíték. A Geminivel összefogva sem bírtuk összerakni egy délután azt a paraméterlistát az ffmpeg mögé, amely a Shutter Encoder conform by interpolate funkciója mögött volt. Ahogy a Gemini fogalmazta, a pacáknak sikerült eltalálnia azt az arany egyensúlyt a futási idő és a minőség között, melyet nekünk nem.