Nel mondo di oggi, il termine "dati" può avere molteplici significati e modi di estrarli o interpretarli. Per questo motivo, Google Cloud Platform (GCP) dispone di tre prodotti principali nel campo dell'elaborazione e dell'archiviazione dei dati. Dataproc, Dataflow e Dataprep offrono ai propri clienti numerose soluzioni ETL, in grado di soddisfare esigenze diverse.

Dataproc, Dataflow e Dataprep sono tre parti distinte della nuova era di strumenti di elaborazione dei dati nel cloud. Eseguono compiti distinti, ma sono collegati tra loro.

Dataproc è un prodotto di Google Cloud con servizio di Data Science/ML per Spark e Hadoop. In confronto, Dataflow segue un'elaborazione batch e stream dei dati. Crea una nuova pipeline per l'elaborazione dei dati e le risorse vengono prodotte o rimosse su richiesta. Mentre Dataprep è guidato dall'interfaccia utente, scala su richiesta ed è completamente automatizzato.

In questo blog di confronto tra Dataproc, Dataflow e Dataprep, vi darò un'idea di come questi tre strumenti di elaborazione dei dati differiscano tra loro.

Che cos'è Dataproc? Le sue caratteristiche

Per fare una breve cronistoria, Google ha pubblicato il suo documento di ricerca su MapReduce nel 2004. Da allora, Hadoop è diventato un attore importante nel mondo dei Big Data.

Nel 2014 Apache ha rilasciato Spark, un framework open-source per il cluster computing.
Spark dispone di un modulo robusto per lavorare sull'intero gruppo di cluster con il parallelismo dei dati. Ben presto, Apache Spark ha guadagnato popolarità ed è stato visto come un'alternativa a Hadoop.

Molte aziende hanno iniziato a utilizzare Spark e Hadoop in tandem, ma questo ha comportato costi aggiuntivi e configurazioni confuse. Ciò si è rivelato complicato e costoso.

Anche se non volete utilizzare un particolare cluster per i vostri big data, dovrete comunque pagarlo. Secondo GCP, è possibile migrare l'intera distribuzione di Spark/Hadoop verso servizi completamente gestiti. Crea meccanicamente i cluster, gestisce il cluster in Dataflow.

Dispone di un sistema di reportistica integrato e, cosa più importante, può anche chiudere o rimuovere il cluster su richiesta.

Caratteristiche:

• Con il MapReduce esistente, è possibile operare su un'immensa quantità di dati ogni giorno senza alcun problema di overhead.
• Grazie al sistema di monitoraggio integrato, è possibile trasferire i dati del cluster alle applicazioni. È possibile ottenere rapporti rapidi dal sistema e anche archiviare i dati in BigQuery di Google.
• Avvio rapido e cancellazione di cluster più piccoli memorizzati in blob storage, come e quando necessario, utilizzando Spark (Spark SQL, PySpark, Spark shell).
• Librerie di Machine Learning e Data Science di Spark per personalizzare ed eseguire algoritmi di classificazione.
  

Che cos'è il flusso di dati? Le sue caratteristiche

Le principali tecniche di elaborazione dei dati, come l'ETL, vengono tralasciate nell'ottimizzazione dei dati. Secondo Google, Dataflow è in grado di gestire e operare l'elaborazione dei dati in batch e in flusso.

L'obiettivo principale di Dataflow è semplificare i Big Data. I framework di programmazione e di esecuzione sono uniti per ottenere la parallelizzazione. Nessun dato del cluster viene tenuto inattivo in Dataflow. Al contrario, il cluster viene continuamente monitorato e rimodellato (in base all'algoritmo in uso).

Dataflow consente di eseguire attività Apache Beam con tutte le funzionalità integrate. Inoltre, è in grado di funzionare su Google Cloud Platform, che può essere lento per qualsiasi altro strumento.

Caratteristiche:

• ETL (Estrazione, trasformazione e caricamento) dei dati in più data warehouse contemporaneamente.
• Dataflow è considerato un sostituto di MapReduce per gestire un gran numero di attività di parallelizzazione.
  Può analizzare dati in tempo reale, di utenti, di gestione, finanziari o di vendita al dettaglio.
• Elabora immense quantità di dati per la ricerca e le previsioni con tecniche di data science. Come la genomica, il meteo e i dati finanziari.
  

Che cos'è Dataprep? Le sue caratteristiche

Dataprep è stato creato per risolvere tre problemi principali: mancanza di visualizzazione dei dati, dati ridondanti ed elaborazione lenta. Dataprep consente agli utenti di esplorare visivamente i dati trasformando il file in CSV, JSON o in un formato di tabella grafica.

Dataprep è in grado di gestire facilmente cluster e insiemi di dati di dimensioni pari a TB. Dataprep viene utilizzato solo come mezzo di elaborazione dei dati per un uso successivo, come ad esempio in BigQuery.

A volte, con l'utilizzo dei dati su larga scala, si verifica un problema di sicurezza. Per questo motivo Google Cloud fornisce a Dataprep la propria Gestione dell'identità e degli accessi.

Caratteristiche:

• È possibile preparare il set di dati eliminando i dati ridondanti con l'aiuto di ML e Data Science.
• È possibile trasformare i dati grezzi in una rappresentazione visiva, come grafici e tabelle.
• È possibile tenere sotto controllo la sicurezza con un'esposizione ridotta al set di dati.
  

Differenza tra Dataproc, Dataflow e Dataprep

Dataproc supporta la fornitura manuale ai cluster, mentre Dataflow supporta la fornitura automatica ai cluster. Dataprep aiuta a preparare e pulire i dati per un uso futuro.

Se i sistemi dipendono da Hadoop, è consigliabile scegliere Dataproc piuttosto che Dataflow o Dataprep. Dataproc è stato creato come servizio di estensione per Hadoop.

Se si preferisce un approccio Dev-ops di tipo pratico, si può scegliere Dataproc. Se invece si preferisce un approccio serverless, si scelga Dataflow. Dataprep, invece, è guidato dall'interfaccia utente.

Come abbiamo già visto, molti preferiscono Dataflow a Dataproc e Dataprep. Secondo le recensioni degli utenti di G2, molti affermano che Dataproc è più facile da usare rispetto a Dataflow. Al contrario, Dataprep è visto solo come uno strumento di elaborazione dei dati.

La raccolta dei dati in tempo reale con l'integrazione di Hadoop e Spark è più importante in Dataproc. Il data lake, la raccolta dei dati, la pulizia, il cloud e l'elaborazione dei carichi di lavoro sono molto apprezzati da Dataflow. L'analisi visiva e l'elaborazione dei dati con l'aiuto di Dataprep sono considerati i suoi punti di forza.

In termini di portabilità, Dataflow unisce i modelli di programmazione ed esecuzione. In questo modo, raggiunge la parallelizzazione dei dati ed è più portabile di Dataproc e Dataprep.

Analogie tra Dataproc, Dataflow e Dataprep

Nel confronto tra Dataproc, Dataflow e Dataprep, vi sono alcune somiglianze:

• È ovvio che tutti e tre sono prodotti di Google Cloud.
• Tutti i prezzi sono compresi nella stessa fascia, ovvero i nuovi clienti ricevono 300 dollari di crediti gratuiti su Dataproc, Dataflow o Dataprep nei primi 90 giorni di prova.
• L'assistenza per tutti e tre i prodotti è alla pari.
• Tutti sono classificati come elaborazione e distribuzione di Big Data.
  

Conclusione

In questo blog abbiamo distinto tra GCP Dataproc, Dataflow e Dataprep. Sono tutti alla pari per quanto riguarda l'elaborazione, la pulizia, l'ETL e la distribuzione dei dati.

Si adattano alle esigenze individuali, cioè se si hanno dipendenze dai servizi Hadoop/Apache, è chiaro che si dovrebbe scegliere Dataproc.

Anche se non si hanno dipendenze da Hadoop/Apache ma si desidera adottare un approccio manuale all'elaborazione dei big data, si può scegliere Dataproc.

Ma se si desidera sfruttare i servizi premium di Google per l'elaborazione e la distribuzione dei dati nel cloud e, allo stesso tempo, non si vuole entrare nel merito della questione, si può optare per Dataflow.

Se invece volete solo trovare anomalie o ridondanze nei dati, scegliete Dataprep. È inoltre integrato con altri prodotti premium di Google Cloud.

Per sfruttare i vantaggi di questi tre prodotti Google Cloud, è necessario comprendere le proprie esigenze. Tutti sono pensati per soddisfare requisiti specifici e sono facili da usare per le aziende di tutte le dimensioni.