Multimedia

Un dato multimediale è una sequenza di bit che deve essere consumato in tempo reale (soft real-time).

• esempio di parola con una lettera mancante → spesso auto-coreggiamo l’errore nella nostra mente

• Perdita di dati

• Ritardi o "lag

Natura analogica e trasformazione digitale

TELEFONO E BANDA

• Devono poter essere usate alla stregua di un media “classico”. Un video su YouTube mi aspetto di poterlo usare esattamente come si usava
  un videoregistratore: pausa, avanti, avanti veloce, dietro, ecc. Quindi si deve strutturare non solo il dato ma tutto il sistema per riuscire a farlo con una relativa facilità.

La codifica consiste nello stabilire un formato digitale per rappresentare informazioni analogiche con sequenze di bit (formato digitale)

• 1 per i pixel bianchi

• 01 per i pixel grigi.

• 00 per i pixel neri.

• un formato di codifica che produce codice a lunghezza media uniformemente minima, ovvero ottimizzando al massimo lo spazio richiesto
Per rappresentare l'immagine utilizzando il numero minimo di bit, riducendo lo spazio necessario, assegno ad ogni colore una qtà di bit tale che
• gli elementi più frequenti hanno codici più corti
• nessun codice deve essere prefisso di un altro

• Sicurezza: proteggere i dati multimediali, con tecniche come watermarking o steganografia.
• steganografia: processo usato ad esempio da SKY per nascondere il formato di decodifica dei contenuti finché non viene autorizzato l'accesso, ad esempio pagando l'abbonamento.

• Affidabilità: garantire che il dato sia rappresentato con sufficiente precisione nonostante le informazioni mancanti, causate da perdita di dati

• La codifica ha come obiettivo primario rappresentare un dato in modo strutturato e interpretabile dal sistema

• La compressione ha lo scopo primario di ridurre lo spazio occupato dai dati, eliminando ridondanze o informazioni non essenziali ed è integrato nel processo di codifica

1. Separazione dei colori in formato YUV
• I colori dell'immagine vengono rappresentati nel formato YUV: la componente di luminanza (Y) e due componenti di crominanza (U e V). Questo formato è più efficiente rispetto al classico RGB, poiché sfrutta il fatto che il nostro sistema visivo è più sensibile alla luminanza rispetto al colore.

2. Divisione dell'immagine in blocchi 8x8 pixel
• per analizzare e comprimere le informazioni localmente
• matrici 8x8 che rappresentano l'intensità o il colore di quei pixel

3. Trasformata a coseno discreta (DCT) → (trasformazione)
• Viene applicato un filtro matematico (DCT) a ciascun blocco per convertire le matrici in frequenze. Questo permette di distinguere i blocchi con informazioni importanti da quelle meno rilevanti

4. Linearizzazione della matrice → (array)
• La matrice risultante dalla DCT (8x8) viene trasformata in un array, con i valori più significativi (calcolati dal DCT e posizionati in alto a sinistra) e quelli meno importanti (vicini allo zero) rappresentati in sequenza.

5. Compressione dei valori
• I valori vicino a zero possono essere eliminati o compressi molto efficacemente, riducendo notevolmente lo spazio occupato.

Codifica asimmetrica

• La codifica (creazione del byte-stream) è un processo complesso e computazionalmente pesante
• perché il video viene ottimizzato per eliminare la maggior quantità possibile di ridondanza.

• La decodifica (riproduzione del video) è invece semplice

MODULARITA

• Lo standard MPEG consente l’evoluzione parallela di codificatori e decodificatori,
• Nuovi codificatori possono diventare più selettivi nel ridurre informazioni ridondanti.
• Nuovi decodificatori possono migliorare la qualità visiva
Il tutto senza necessità di modificare il mezzo di codifica/decodifica

Lo streaming è un flusso costante e continuo di informazioni

• Ad esempio, quando si riproduce un video da un hard disk su uno schermo, non è richiesto a Internet.

• Allo stesso modo, una webcam che trasmette immagini al monitor lo fa in streaming, senza coinvolgere la rete.

• codifico

• salvo in storage permanente.

• lettura dati dallo storage

• elaborazione (decodifica)

• riproduzione

• Le 3 fasi avvengono in catena, ognuno gestisce un frame (si sovrappongono)

• il video deve essere visualizzato a una velocità costante di 20-25 frame al secondo, ma lettura ed elaborazione non sono sempre sincronizzati quindi il flusso di dati riprodotto nn è sempre continuo

• presenza di altri processi

• interrupt

• Nei sistemi Unix, ad esempio, la lettura dei primi blocchi di dati è relativamente veloce

• ma man mano che il file cresce, il sistema deve utilizzare meccanismi quali blocchi d puntatori che puntano ad altri blocchi di puntatori invece di mappare direttamente i blocchi di dati aumentando il tempo di lettura.
BUFFERING
Cos’è il Buffering
Il buffering consiste nell’utilizzo di una zona di memoria temporanea, chiamata buffer. Per tollerare un margine di errore tra lettura ed elaborazione
Funzionamento del Sistema Produttore-Consumatore
Il sistema segue il modello “produttore-consumatore”:
• Produttore: Preleva i dati appena disponibili dall’hard disk e li inserisce nel buffer.
• Consumatore: Utilizza un timer per prelevare i dati dal buffer e inviarli al sistema di riproduzione (play out) a intervalli regolari.
• PROCESSO PERIODICO
Importanza della Dimensione del Buffer
Il corretto dimensionamento del buffer è fondamentale per garantire una riproduzione stabile.
Problemi di un Buffer Troppo Piccolo
Un buffer troppo piccolo si riempie velocemente e viene svuotato altrettanto rapidamente, in particolare se il tempo di elaborazione è più veloce della lettura
• Buffer Underrun: Quando il buffer si svuota completamente e non ci sono dati da riprodurre. Il sistema deve compensare mostrando un fermo immagine o una schermata nera, creando una pessima esperienza per l’utente.
SOLUZIONE
Un esempio comune è quando YouTube si blocca mostrando l’icona di caricamento (la "rotella che gira"). Questo indica che il buffer si è svuotato e il sistema sta aspettando che venga riempito nuovamente per riprendere la riproduzione.
Nei contenuti live, il buffer underrun è particolarmente problematico, poiché non c’è la possibilità di riavvolgere o aspettare nuovi dati già trasmessi. In tali casi:
• svuota del tutto il buffer per ripartire dal punto corrente della trasmissione live
• rialloca più memoria, creando un buffer più grande per gestire eventuali picchi di dati futuri ed evitare che il problema si ripresenti subito dopo.
 
• Buffer Overrun: Quando il buffer è pieno e non può accettare nuovi dati, che vengono persi.
• leggo/inserisco dati più velocemente di quando li prelevo/elaboro
Problemi di un Buffer Troppo Grande
Anche un buffer troppo grande può causare problemi:
• Risorse Limitate: I dispositivi con risorse limitate, come smartphone o tablet, potrebbero non disporre di una memoria sufficiente per gestire un buffer di grandi dimensioni.
• Ritardo nella Fruizione: Se il buffer è molto grande, potrebbe essere necessario troppo tempo per riempirlo prima che la riproduzione inizi.

• Il file system deve velocizzare il tempo di accesso ai dati e il salto da una posizione ad un altra realizzata per VCR o per cambio video multimediale
VCR SFIDE E REQUISITI
Le funzionalità VCR, come riavvolgimento, avanzamento veloce e salto a un punto specifico comportano una gestione complessa dei dati digitali, poiché il sistema deve:
1. Svuotare il Buffer: Quando si sceglie un punto specifico di un video, il buffer viene svuotato e ricaricato. Questo causa un breve ritardo nel riavvio della riproduzione
2. Selezionare il Frame Giusto: I video MPEG usano frame I per iniziare la riproduzione correttamente. Se il sistema ripartisse da un frame P o B, l’immagine apparirebbe distorta, creando un effetto mosaico. Ecco perché la riproduzione non inizia mai esattamente dal punto selezionato, ma dal frame I più vicino.
---
Esempio Pratico: Cambio Canale su SKY
Quando si cambia canale su SKY, il ritardo nella visualizzazione dipende dal formato MPEG utilizzato. La trasmissione video è organizzata in blocchi chiamati GOP (Group of Pictures).
• Se cambio canale nel bel mezzo della riroduzione di un GOP, prima di cominciare a visualizzare il nuovo canale (ovvero l’avvio di un nuovo GOP per iniziare dal corrispondente frame-I), posso dover aspettare diversi secondi i gruppi GOP sono abbastanza lunghi

• soft real-time perché devono rispettare scadenze temporali (deadline), ma occasionali ritardi non interrompono completamente il sistema, anche se possono degradare la qualità dell’esperienza utente.

• periodici, pk devono essere eseguiti a intervalli regolari.
Ad esempio, un lettore video che riproduce 20 frame al secondo ha bisogno di essere schedulato ogni 1/20 di secondo per mantenere la riproduzione fluida.

• Processo A: Riproduce l’audio.
• Ha un periodo breve perché l’audio deve essere riprodotto con elevata frequenza
• tempo di elaborazione (burst) è relativamente breve.

• Processo B: Riproduce il video.
• Ha un periodo più lungo rispetto all’audio, quindi frequenza ridotta
• esecuzione è più impegnativa perché la decodifica video richiede più risorse.

• Processo C: Mostra i sottotitoli.
• Ha un periodo lungo
• esecuzione minima, poiché i sottotitoli cambiano meno frequentemente rispetto ai frame audio o video.

1. nel File System: in uno spazio apposito

2. alla fine del File Multimediale
1. AVI
2. Se l'ultima parte del file viene persa o corrotta, l'intera tabella viene persa, rendendo difficile la riproduzione.

3. lungo tutto il file multimediale
1. MP4
2. Questo rende possibile la riproduzione anche se alcune parti del file vengono danneggiate, mantenendo le funzionalità VCR.

1. Blocchi disco < Dimensione GOP:
• mappatura GOP
• suddivisione GOP in blocchi minori

2. Blocchi disco ≥ Dimensione GOP:
• Frammentazione Interna: Potrebbero rimanere porzioni di spazio inutilizzate all’interno del blocco. Per ridurre questo spreco, è possibile inserire più GOP nello stesso blocco, se lo spazio lo consente.