Nowe_uslugi_2_0_Przewodnik_po_analizie_zbiorow_danych_noweus.pdf

(586 KB) Pobierz
Tytuł oryginału: Programming Collective Intelligence: Building Smart Web 2.0 Applications
Tłumaczenie: Piotr Pilch
ISBN: 978-83-246-9298-9
© 2014 Helion S.A.
Authorized Polish translation of the English edition Programming Collective Intelligence
ISBN 9780596529321 © 2007 Toby Segaran.
This translation is published and sold by permission of O’Reilly Media, Inc.,
which owns or controls all rights to publish and sell the same.
All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means,
electronic or mechanical, including photocopying, recording or by any information storage retrieval system,
without permission from the Publisher.
Wszelkie prawa zastrzeżone. Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej
publikacji w jakiejkolwiek postaci jest zabronione. Wykonywanie kopii metodą kserograficzną,
fotograficzną, a także kopiowanie książki na nośniku filmowym, magnetycznym lub innym powoduje
naruszenie praw autorskich niniejszej publikacji.
Wszystkie znaki występujące w tekście są zastrzeżonymi znakami firmowymi bądź towarowymi ich
właścicieli.
Autor oraz Wydawnictwo HELION dołożyli wszelkich starań, by zawarte w tej książce informacje były
kompletne i rzetelne. Nie bierze jednak żadnej odpowiedzialności ani za ich wykorzystanie, ani za
związane z tym ewentualne naruszenie praw patentowych lub autorskich. Wydawnictwo HELION nie
ponosi również żadnej odpowiedzialności za ewentualne szkody wynikłe z wykorzystania informacji
zawartych w książce.
Wydawnictwo HELION
ul. Kościuszki 1c, 44-100 GLIWICE
tel. 32 231 22 19, 32 230 98 63
e-mail: helion@helion.pl
WWW: http://helion.pl (księgarnia internetowa, katalog książek)
Pliki z przykładami omawianymi w książce można znaleźć pod adresem:
ftp://ftp.helion.pl/przyklady/noweus.zip
Drogi Czytelniku!
Jeżeli chcesz ocenić tę książkę, zajrzyj pod adres
http://helion.pl/user/opinie/noweus
Możesz tam wpisać swoje uwagi, spostrzeżenia, recenzję.
Printed in Poland.
Kup książkę
Poleć książkę
Oceń książkę
Księgarnia internetowa
Lubię to! » Nasza społeczność
Spis tre ci
S owo wst pne .............................................................................................................11
Przedmowa .................................................................................................................. 13
1. Inteligencja zbiorowa — wprowadzenie ................................................................... 21
Czym jest inteligencja zbiorowa?
Czym jest uczenie maszynowe?
Ograniczenia uczenia maszynowego
Rzeczywiste przyk ady
Inne zastosowania algorytmów ucz cych
22
23
24
24
25
2. Tworzenie rekomendacji ............................................................................................. 27
Filtrowanie grupowe
Gromadzenie preferencji
Znajdowanie podobnych u ytkowników
Rekomendowanie pozycji
Dopasowywanie produktów
Tworzenie systemu rekomendowania odno ników del.icio.us
Filtrowanie oparte na pozycjach
Zastosowanie zbioru danych MovieLens
Filtrowanie oparte na u ytkownikach czy pozycjach?
wiczenia
27
28
29
34
36
38
42
45
46
47
3. Wykrywanie grup ........................................................................................................49
Porównanie uczenia nadzorowanego z nienadzorowanym
Wektory wyrazów
Grupowanie hierarchiczne
Rysowanie dendrogramu
Grupowanie kolumn
Grupowanie k- rednich
49
50
53
57
59
61
5
Kup książkę
Poleć książkę
Klastry preferencji
Wy wietlanie danych w dwóch wymiarach
Inne rzeczy, które mog by grupowane
wiczenia
64
68
71
72
4. Wyszukiwanie i klasyfikowanie ................................................................................. 73
Co znajduje si w wyszukiwarce?
Prosty przeszukiwacz
Budowanie indeksu
Odpytywanie
Klasyfikacja oparta na tre ci
U ycie odno ników zewn trznych
Uczenie na podstawie klikni
wiczenia
73
75
77
81
83
87
91
101
5. Optymalizacja ............................................................................................................ 103
Podró grupy osób
Reprezentowanie rozwi za
Funkcja kosztu
Wyszukiwanie losowe
Metoda najwi kszego wzrostu
Symulowane wy arzanie
Algorytmy genetyczne
Wyszukiwania rzeczywistych lotów
Optymalizowanie pod k tem preferencji
Wizualizacja sieci
Inne mo liwo ci
wiczenia
104
105
106
108
109
111
113
117
122
125
130
130
6. Filtrowanie dokumentów .......................................................................................... 133
Filtrowanie spamu
Dokumenty i wyrazy
Trenowanie klasyfikatora
Obliczanie prawdopodobie stw
Naiwny klasyfikator
Metoda Fishera
Utrwalanie klasyfikatorów po przeprowadzonym treningu
Filtrowanie kana ów informacyjnych blogów
Poprawianie wykrywania w a ciwo ci
U ycie interfejsu Akismet
Alternatywne metody
wiczenia
6
Spis tre ci
133
134
135
137
139
142
146
148
150
152
153
154
Kup książkę
Poleć książkę
7. Modelowanie przy u yciu drzew decyzyjnych .........................................................157
Przewidywanie rejestracji
Wprowadzenie do drzew decyzyjnych
Uczenie drzewa
Wybór najlepszego podzia u
Budowanie drzewa rekurencyjnego
Wy wietlanie drzewa
Klasyfikowanie nowych obserwacji
Przycinanie drzewa
Radzenie sobie z brakuj cymi danymi
Radzenie sobie z wynikami liczbowymi
Modelowanie cen domów
Modelowanie „atrakcyjno ci”
Kiedy stosowa drzewa decyzyjne?
wiczenia
157
159
160
162
164
166
168
169
171
172
173
176
178
179
8. Budowanie modelu cen ..............................................................................................181
Budowanie przyk adowego zbioru danych
Metoda k-najbli szych s siadów
S siednie elementy z okre lon wag
Walidacja krzy owa
Zmienne heterogeniczne
Optymalizowanie skali
Rozk ady niejednolite
U ycie rzeczywistych danych — interfejs API serwisu eBay
Kiedy u ywa metody k-najbli szych s siadów?
wiczenia
181
183
186
189
191
194
196
200
207
207
9. Zaawansowane klasyfikowanie:
metody j drowe i maszyny wektorów no nych ......................................................209
Zbiór danych swatki
Trudno ci zwi zane z danymi
Podstawowa klasyfikacja liniowa
W a ciwo ci skategoryzowane
Skalowanie danych
Metody j drowe
Maszyny wektorów no nych
Zastosowanie biblioteki LIBSVM
Dopasowywanie w serwisie Facebook
wiczenia
209
211
213
217
218
220
223
225
227
232
Spis tre ci
7
Kup książkę
Poleć książkę
Zgłoś jeśli naruszono regulamin