[[[separator]]]
Rozdział 1 przedstawia dane, zarówno ustrukturyzowane, jak i nieustrukturyzowane, poprzez ich różne obiektowe reprezentacje oraz metody ich programowania w języku Python: od podstawowych pythonowych list przez tablice Numpy, Pandasowe ramki danych aż potensory realizowane przez biblioteki związane z uczeniem głębokim. W przypadku danych nieustrukturyzowanych ukazano podstawy przetwarzania zdjęć oraz formatu JSON. Ze względu na wykorzystanie oprogramowania Apache Spark przedstawiono również podstawy przetwarzania obiektów RDD i sparkowych ramek danych. Ponieważ użytkowanie danych oznacza nie tylko ich wytwarzanie, lecz także ich zapis, wskazano podstawowe biblioteki oraz metody(funkcyjne i obiektowe) realizujące połączenie i wykonywanie prostych zapytań na relacyjnych bazach danych. Pandasowe ramki danych są jedną z najczęściej wykorzystywanych form przechowywania informacji, dlatego określono, jakie narzędzia można wykorzystać do dołączenia metadanych, tak by inne programy mogły przetwarzać kompletny zestaw informacji. Następnym elementem jest wskazanie historycznego i zarazem biznesowego podejścia do modeli przetwarzania danych. Ich definicja była ściśle związana z biznesowymi oczekiwaniami. Podstawą była realizacja głównych zadań, które realizowane są przez systemy OLTP (ang. On-Line Transaction Processing). Biznesowa potrzeba analizy gromadzonych danych i wyciągania ukrytych informacji oraz odpowiedzi na coraz bardziej złożone zapytania wymusiła na technologii wprowadzenie rozwiązań typu hurtownie danych, które przetwarzają dane z wykorzystaniem modelu OLAP(ang. On-Line Analytic Processing). Coraz większe zaangażowanie statystyki i analityków doprowadziło do tworzenia systemów pozwalających wykonywać operacje związane z data mining i coraz szerszym zakresem realizacji zadań A czy uczenia maszynowego. Zrozumienie obiektowego myślenia o danych uzupełnione zostało o budowę prostych klas realizujących podstawowe algorytmy uczenia sieci neuronowych. Nie ma lepszego sposobu na zrozumienie działania algorytmu niż napisanie jego własnej wersji. Umiejętność posługiwania się klasami pozwala nie tylko używać gotowych bibliotek, ale również tworzyć własne rozwiązania na podstawie istniejących elementów. Nie ogranicza nas to już domyślenia o tym, jak przekształcić otrzymane dane w jakąś istniejącą formę wykorzystać istniejące biblioteki. Możemy generować własne transformatory czy nawet modele.
Rozdział 2 poświęcony został procesowi tworzenia, przetwarzania i generowania wartości biznesowej z danych w ujęciu przetwarzania wsadowego i strumieniowego. Wyjaśniono w nim podstawowe pojęcia związane ze zdarzeniami i strumieniami. Omówiona została również istotna koncepcja czasu, która jest podstawowym elementem wpływającym na otrzymywane wyniki.
Rozdział 3 z kolei to krótka charakterystyka współczesnych narzędzi informatycznych każdego analityka danych. Skrócone opisy mają przedstawić idee towarzyszące tworzeniu tych narzędzi oraz sposób ich używania.
Rozdział kończący książkę prezentuje: kody wykorzystujące obiektowe własności języka Python i realizujące przypadki biznesowych zastosowań do tworzenia prostego środowiska produkcyjnego, wykorzystania nowoczesnych bibliotek do analizy tekstów (w czasie niemal rzeczywistym), strumieniowanie danych z wykorzystaniem narzędzia Apache Spark oraz wykorzystanie algorytmu Isolation Forest do detekcji anomalii zarówno w trybie wsadowym, jak i w czasie rzeczywistym.
(fragment Przedmowy)
[[[separator]]]
Przedmowa
1 Dane i modele ich przetwarzania
1.1 Dane w Pythonie
1.2 Źródła i przechowywanie danych
1.3 Dane i metadane
1.4 Modele przetwarzania danych
1.4.1 Model tradycyjny
1.4.2 Model OLAP
1.4.3 Data mining
1.5 Obiektowość Pythona a dane
1.5.1 Klasa 0 – pusta klasa
1.5.2 Klasa 1 – rzut kością
1.5.3 Klasa 2 – błądzenie losowe
1.5.4 Obiekty i bazy danych
1.5.5 Obiektowość w pakiecie Scikit-Learn
1.5.6 Obiektowa sieć neuronowa
2 Strumienie danych
2.1 Przetwarzanie wsadowe
2.2 Przetwarzanie strumieniowe
2.2.1 Zdarzenia
2.2.2 Strumień zdarzeń
2.2.3 Komunikaty, brokerzy i dzienniki zdarzeń
2.2.4 Przetwarzanie
2.3 Czas w strumieniach danych
3 Narzędzia informatyczne
3.1 System kontroli wersji Git
3.2 Python i Jupyter Notebook
3.3 Docker
3.4 Apache Kafka
3.5 Apache Spark
3.6 Databricks
4 Przykładowe analizy
4.1 Środowisko produkcyjne z modelem ML
4.2 Analiza tekstu w czasie rzeczywistym
4.2.1 Analiza sentymentu
4.2.2 Szybkie generowanie podsumowań
4.2.3 Generowanie tekstu i tłumaczenie
4.3 Strumienie danych w Apache Spark
4.3.1 Strumienie DStream
4.3.2 Strumieniowanie na ramkach danych
4.4 Detekcja anomalii
4.4.1 Algorytm Isolation Forest
4.4.2 Detekcja anomalii w czasie rzeczywistym
Bibliografia
Opis
Wstęp
Rozdział 1 przedstawia dane, zarówno ustrukturyzowane, jak i nieustrukturyzowane, poprzez ich różne obiektowe reprezentacje oraz metody ich programowania w języku Python: od podstawowych pythonowych list przez tablice Numpy, Pandasowe ramki danych aż potensory realizowane przez biblioteki związane z uczeniem głębokim. W przypadku danych nieustrukturyzowanych ukazano podstawy przetwarzania zdjęć oraz formatu JSON. Ze względu na wykorzystanie oprogramowania Apache Spark przedstawiono również podstawy przetwarzania obiektów RDD i sparkowych ramek danych. Ponieważ użytkowanie danych oznacza nie tylko ich wytwarzanie, lecz także ich zapis, wskazano podstawowe biblioteki oraz metody(funkcyjne i obiektowe) realizujące połączenie i wykonywanie prostych zapytań na relacyjnych bazach danych. Pandasowe ramki danych są jedną z najczęściej wykorzystywanych form przechowywania informacji, dlatego określono, jakie narzędzia można wykorzystać do dołączenia metadanych, tak by inne programy mogły przetwarzać kompletny zestaw informacji. Następnym elementem jest wskazanie historycznego i zarazem biznesowego podejścia do modeli przetwarzania danych. Ich definicja była ściśle związana z biznesowymi oczekiwaniami. Podstawą była realizacja głównych zadań, które realizowane są przez systemy OLTP (ang. On-Line Transaction Processing). Biznesowa potrzeba analizy gromadzonych danych i wyciągania ukrytych informacji oraz odpowiedzi na coraz bardziej złożone zapytania wymusiła na technologii wprowadzenie rozwiązań typu hurtownie danych, które przetwarzają dane z wykorzystaniem modelu OLAP(ang. On-Line Analytic Processing). Coraz większe zaangażowanie statystyki i analityków doprowadziło do tworzenia systemów pozwalających wykonywać operacje związane z data mining i coraz szerszym zakresem realizacji zadań A czy uczenia maszynowego. Zrozumienie obiektowego myślenia o danych uzupełnione zostało o budowę prostych klas realizujących podstawowe algorytmy uczenia sieci neuronowych. Nie ma lepszego sposobu na zrozumienie działania algorytmu niż napisanie jego własnej wersji. Umiejętność posługiwania się klasami pozwala nie tylko używać gotowych bibliotek, ale również tworzyć własne rozwiązania na podstawie istniejących elementów. Nie ogranicza nas to już domyślenia o tym, jak przekształcić otrzymane dane w jakąś istniejącą formę wykorzystać istniejące biblioteki. Możemy generować własne transformatory czy nawet modele.
Rozdział 2 poświęcony został procesowi tworzenia, przetwarzania i generowania wartości biznesowej z danych w ujęciu przetwarzania wsadowego i strumieniowego. Wyjaśniono w nim podstawowe pojęcia związane ze zdarzeniami i strumieniami. Omówiona została również istotna koncepcja czasu, która jest podstawowym elementem wpływającym na otrzymywane wyniki.
Rozdział 3 z kolei to krótka charakterystyka współczesnych narzędzi informatycznych każdego analityka danych. Skrócone opisy mają przedstawić idee towarzyszące tworzeniu tych narzędzi oraz sposób ich używania.
Rozdział kończący książkę prezentuje: kody wykorzystujące obiektowe własności języka Python i realizujące przypadki biznesowych zastosowań do tworzenia prostego środowiska produkcyjnego, wykorzystania nowoczesnych bibliotek do analizy tekstów (w czasie niemal rzeczywistym), strumieniowanie danych z wykorzystaniem narzędzia Apache Spark oraz wykorzystanie algorytmu Isolation Forest do detekcji anomalii zarówno w trybie wsadowym, jak i w czasie rzeczywistym.
(fragment Przedmowy)
Spis treści
Przedmowa
1 Dane i modele ich przetwarzania
1.1 Dane w Pythonie
1.2 Źródła i przechowywanie danych
1.3 Dane i metadane
1.4 Modele przetwarzania danych
1.4.1 Model tradycyjny
1.4.2 Model OLAP
1.4.3 Data mining
1.5 Obiektowość Pythona a dane
1.5.1 Klasa 0 – pusta klasa
1.5.2 Klasa 1 – rzut kością
1.5.3 Klasa 2 – błądzenie losowe
1.5.4 Obiekty i bazy danych
1.5.5 Obiektowość w pakiecie Scikit-Learn
1.5.6 Obiektowa sieć neuronowa
2 Strumienie danych
2.1 Przetwarzanie wsadowe
2.2 Przetwarzanie strumieniowe
2.2.1 Zdarzenia
2.2.2 Strumień zdarzeń
2.2.3 Komunikaty, brokerzy i dzienniki zdarzeń
2.2.4 Przetwarzanie
2.3 Czas w strumieniach danych
3 Narzędzia informatyczne
3.1 System kontroli wersji Git
3.2 Python i Jupyter Notebook
3.3 Docker
3.4 Apache Kafka
3.5 Apache Spark
3.6 Databricks
4 Przykładowe analizy
4.1 Środowisko produkcyjne z modelem ML
4.2 Analiza tekstu w czasie rzeczywistym
4.2.1 Analiza sentymentu
4.2.2 Szybkie generowanie podsumowań
4.2.3 Generowanie tekstu i tłumaczenie
4.3 Strumienie danych w Apache Spark
4.3.1 Strumienie DStream
4.3.2 Strumieniowanie na ramkach danych
4.4 Detekcja anomalii
4.4.1 Algorytm Isolation Forest
4.4.2 Detekcja anomalii w czasie rzeczywistym
Bibliografia
Opinie
Rozdział 1 przedstawia dane, zarówno ustrukturyzowane, jak i nieustrukturyzowane, poprzez ich różne obiektowe reprezentacje oraz metody ich programowania w języku Python: od podstawowych pythonowych list przez tablice Numpy, Pandasowe ramki danych aż potensory realizowane przez biblioteki związane z uczeniem głębokim. W przypadku danych nieustrukturyzowanych ukazano podstawy przetwarzania zdjęć oraz formatu JSON. Ze względu na wykorzystanie oprogramowania Apache Spark przedstawiono również podstawy przetwarzania obiektów RDD i sparkowych ramek danych. Ponieważ użytkowanie danych oznacza nie tylko ich wytwarzanie, lecz także ich zapis, wskazano podstawowe biblioteki oraz metody(funkcyjne i obiektowe) realizujące połączenie i wykonywanie prostych zapytań na relacyjnych bazach danych. Pandasowe ramki danych są jedną z najczęściej wykorzystywanych form przechowywania informacji, dlatego określono, jakie narzędzia można wykorzystać do dołączenia metadanych, tak by inne programy mogły przetwarzać kompletny zestaw informacji. Następnym elementem jest wskazanie historycznego i zarazem biznesowego podejścia do modeli przetwarzania danych. Ich definicja była ściśle związana z biznesowymi oczekiwaniami. Podstawą była realizacja głównych zadań, które realizowane są przez systemy OLTP (ang. On-Line Transaction Processing). Biznesowa potrzeba analizy gromadzonych danych i wyciągania ukrytych informacji oraz odpowiedzi na coraz bardziej złożone zapytania wymusiła na technologii wprowadzenie rozwiązań typu hurtownie danych, które przetwarzają dane z wykorzystaniem modelu OLAP(ang. On-Line Analytic Processing). Coraz większe zaangażowanie statystyki i analityków doprowadziło do tworzenia systemów pozwalających wykonywać operacje związane z data mining i coraz szerszym zakresem realizacji zadań A czy uczenia maszynowego. Zrozumienie obiektowego myślenia o danych uzupełnione zostało o budowę prostych klas realizujących podstawowe algorytmy uczenia sieci neuronowych. Nie ma lepszego sposobu na zrozumienie działania algorytmu niż napisanie jego własnej wersji. Umiejętność posługiwania się klasami pozwala nie tylko używać gotowych bibliotek, ale również tworzyć własne rozwiązania na podstawie istniejących elementów. Nie ogranicza nas to już domyślenia o tym, jak przekształcić otrzymane dane w jakąś istniejącą formę wykorzystać istniejące biblioteki. Możemy generować własne transformatory czy nawet modele.
Rozdział 2 poświęcony został procesowi tworzenia, przetwarzania i generowania wartości biznesowej z danych w ujęciu przetwarzania wsadowego i strumieniowego. Wyjaśniono w nim podstawowe pojęcia związane ze zdarzeniami i strumieniami. Omówiona została również istotna koncepcja czasu, która jest podstawowym elementem wpływającym na otrzymywane wyniki.
Rozdział 3 z kolei to krótka charakterystyka współczesnych narzędzi informatycznych każdego analityka danych. Skrócone opisy mają przedstawić idee towarzyszące tworzeniu tych narzędzi oraz sposób ich używania.
Rozdział kończący książkę prezentuje: kody wykorzystujące obiektowe własności języka Python i realizujące przypadki biznesowych zastosowań do tworzenia prostego środowiska produkcyjnego, wykorzystania nowoczesnych bibliotek do analizy tekstów (w czasie niemal rzeczywistym), strumieniowanie danych z wykorzystaniem narzędzia Apache Spark oraz wykorzystanie algorytmu Isolation Forest do detekcji anomalii zarówno w trybie wsadowym, jak i w czasie rzeczywistym.
(fragment Przedmowy)
Przedmowa
1 Dane i modele ich przetwarzania
1.1 Dane w Pythonie
1.2 Źródła i przechowywanie danych
1.3 Dane i metadane
1.4 Modele przetwarzania danych
1.4.1 Model tradycyjny
1.4.2 Model OLAP
1.4.3 Data mining
1.5 Obiektowość Pythona a dane
1.5.1 Klasa 0 – pusta klasa
1.5.2 Klasa 1 – rzut kością
1.5.3 Klasa 2 – błądzenie losowe
1.5.4 Obiekty i bazy danych
1.5.5 Obiektowość w pakiecie Scikit-Learn
1.5.6 Obiektowa sieć neuronowa
2 Strumienie danych
2.1 Przetwarzanie wsadowe
2.2 Przetwarzanie strumieniowe
2.2.1 Zdarzenia
2.2.2 Strumień zdarzeń
2.2.3 Komunikaty, brokerzy i dzienniki zdarzeń
2.2.4 Przetwarzanie
2.3 Czas w strumieniach danych
3 Narzędzia informatyczne
3.1 System kontroli wersji Git
3.2 Python i Jupyter Notebook
3.3 Docker
3.4 Apache Kafka
3.5 Apache Spark
3.6 Databricks
4 Przykładowe analizy
4.1 Środowisko produkcyjne z modelem ML
4.2 Analiza tekstu w czasie rzeczywistym
4.2.1 Analiza sentymentu
4.2.2 Szybkie generowanie podsumowań
4.2.3 Generowanie tekstu i tłumaczenie
4.3 Strumienie danych w Apache Spark
4.3.1 Strumienie DStream
4.3.2 Strumieniowanie na ramkach danych
4.4 Detekcja anomalii
4.4.1 Algorytm Isolation Forest
4.4.2 Detekcja anomalii w czasie rzeczywistym
Bibliografia
