Tento operátor se naučí neořezaný rozhodovací strom z nominálních dat pro klasifikaci. Tento student rozhodovacího stromu funguje podobně jako Quinlanův ID3.

Popis

ID3 (Iterative Dichotomiser 3) je algoritmus používaný ke generování rozhodovacího stromu, který vynalezl Ross Quinlan. ID3 je předchůdcem algoritmu C4.5. Velmi jednoduše, ID3 sestaví rozhodovací strom z pevné sady příkladů. Výsledný strom se používá ke klasifikaci budoucích vzorků. Příklady dané sady příkladů mají několik atributů a každý příklad patří do třídy (jako ano nebo ne). Listové uzly rozhodovacího stromu obsahují název třídy, zatímco nelistový uzel je rozhodovací uzel. Rozhodovací uzel je test atributů, přičemž každá větev (do jiného rozhodovacího stromu) je možnou hodnotou atributu. ID3 používá heuristiku výběru funkcí, která mu pomáhá rozhodnout, který atribut jde do rozhodovacího uzlu. Požadovanou heuristiku lze vybrat pomocí kritérium parametr.

Algoritmus ID3 lze shrnout následovně: Vezměte všechny nepoužité atributy a vypočítejte jejich výběrové kritérium (např. informační zisk) Vyberte atribut, pro který má výběrové kritérium nejlepší hodnotu (např. minimální entropii nebo maximální informační zisk) Vytvořte uzel obsahující tento atribut

ID3 prohledává atributy instancí školení a extrahuje atribut, který nejlépe odděluje dané příklady. Pokud atribut dokonale klasifikuje trénovací sady, pak se ID3 zastaví; jinak rekurzivně pracuje s n (kde n = počet možných hodnot atributu) rozdělenými podmnožinami, aby získal jejich nejlepší atribut. Algoritmus používá chamtivé vyhledávání, což znamená, že vybírá nejlepší atribut a nikdy se neohlíží zpět, aby přehodnotil dřívější volby.

  • Z trénovacích dat jsou vytvořena srozumitelná pravidla predikce.
  • Postaví krátký strom v relativně krátkém čase.
  • Potřebuje pouze otestovat dostatek atributů, dokud nebudou klasifikována všechna data.
  • Nalezení listových uzlů umožňuje ořezat testovací data, čímž se sníží počet testů.
  • Pokud je testován malý vzorek, mohou být data přepasována nebo klasifikována.
  • Při rozhodování je testován vždy pouze jeden atribut.

Vstup

  • tréninková sada (tabulka dat) Tento vstupní port očekává sadu příkladů. Je to výstup operátoru Generate Nominal Data v přiloženém příkladu procesu. Tento operátor nemůže zpracovat číselné atributy. Jako vstup lze také použít výstup jiných operátorů.
ČTĚTE VÍCE
Jaký je zvuk klepání při studeném startu?

Výstup

  • model (Decision Tree) Rozhodovací strom je dodáván z tohoto výstupního portu. Tento klasifikační model lze nyní použít na neviditelné datové sady pro predikci atributu label.
  • example set (Data Table) Vzorová sada, která byla zadána jako vstup, je předána beze změny na výstup přes tento port. To se obvykle používá k opětovnému použití stejné sady příkladů v dalších operátorech nebo k zobrazení sady příkladů v pracovním prostoru výsledků.

parametry

  • kritérium Tento parametr určuje kritérium, podle kterého budou atributy vybrány pro rozdělení. Může mít jednu z následujících hodnot:
    • information_gain: Vypočítá se entropie všech atributů. Pro rozdělení je vybrán atribut s minimální entropií. Tato metoda má sklon k výběru atributů s velkým počtem hodnot.
    • gain_ratio: Je to varianta informačního zisku. Upravuje informační zisk pro každý atribut, aby byla umožněna šířka a jednotnost hodnot atributů.
    • gini_index: Toto je míra znečištění sady příkladů. Rozdělení na vybraný atribut vede ke snížení průměrného indexu gini výsledných podmnožin.
    • přesnost: Takový atribut je vybrán pro rozdělení, které maximalizuje přesnost celého stromu.

    Výukové procesy

    Začínáme s ID3

    Chcete-li porozumět základní terminologii stromů, prostudujte si ukázkový proces operátora rozhodovacího stromu.

    Operátor Generate Nominal Data se používá pro generování ExampleSet s nominálními atributy. Je třeba mít na paměti, že operátor ID3 neumí pracovat s číselnými atributy. Zde je vložen bod přerušení, abyste se mohli podívat na ExampleSet. Můžete vidět, že ExampleSet má tři atributy a každý atribut má tři možné hodnoty. Operátor ID3 je použit na tuto sadu příkladů s výchozími hodnotami všech parametrů. Výsledný model rozhodovacího stromu je doručen do výsledného portu procesu a lze jej vidět v pracovním prostoru výsledků.