Djupinlärning är en underkategori av maskininlärning och artificiell intelligens (AI) som har förändrat vår värld under de senaste åren. Med hjälp av kraftiga neurala nätverk kan datorer lära sig att utföra komplexa uppgifter som tidigare var reserverade för människor.
I den här artikeln kommer vi att gå igenom de tio mest populära djupinlärningsteknikerna som används idag och hur de kan tillämpas för att lösa olika problem inom olika områden.
Klassiska neurala nätverk
Klassiska neurala nätverk, även kända som helt kopplade neurala nätverk, är grundläggande djupinlärningstekniker som används för att lösa en mängd olika problem. De består av flera lager av neuroner som är kopplade till varandra genom vikter och aktiveringsfunktioner. Dessa nätverk är mycket flexibla och kan anpassas för att hantera både linjära och icke-linjära problem.
Linjära funktioner
En linjär funktion är en enkel matematisk funktion som multiplicerar sina indata med en konstant. Den används ofta som en grundläggande byggsten i klassiska neurala nätverk.
Icke-linjära funktioner
Image Source: FreeImages
Icke-linjära funktioner är mer komplexa än linjära funktioner och kan användas för att representera mer komplicerade förhållanden mellan indata och utdata. De är indelade i tre underkategorier:
- Sigmoid-kurva: En S-formad kurva med ett intervall från 0 till 1.
- Hyperbolisk tangent (tanh): En S-formad kurva med ett intervall från -1 till 1.
- Rektifierad linjär enhet (ReLU): En funktion som ger 0 om indatan är mindre än ett visst värde och en linjär multipel om indatan är större än det värdet.
Klassiska neurala nätverk fungerar bäst för problem som involverar tabulär data, klassificering och regression med reella indata samt modeller med hög flexibilitet, som de som används inom artificiella neurala nätverk (ANN).
Convolutional Neural Networks (CNN)
CNN är en avancerad typ av klassiska neurala nätverk som är särskilt lämpade för att hantera komplexa problem som involverar bild- och ljuddata. De består av flera lager av neuroner som är kopplade till varandra genom särskilda konvolutionsoperationer, vilket gör dem mycket effektiva för att hitta och lära sig mönster i data.
Arkitektur
CNN består av fyra huvudkomponenter:
- Ett inmatningslager: En tvådimensionell matris av neuroner som representerar bildens pixlar.
- Konvolutionslager: Lager av neuroner som är kopplade till varandra genom konvolutionsoperationer. Dessa lager används för att hitta mönster och egenskaper i indata.
- Samplingslager (pooling): Lager som minskar storleken på indata genom att sammanfatta eller sammanfoga information från närliggande neuroner.
- Ett utmatningslager: En enkel matris av neuroner som ger det slutliga resultatet, såsom en klassificering eller en regression.
CNN fungerar bäst för problem som involverar bildigenkänning, bildanalys, bildsegmentering, videoanalys och natural language processing (NLP).
Återkommande neurala nätverk (RNN)
RNN utvecklades för att förutsäga sekvenser av data, som tidsbaserade händelser eller ord i en text. De är särskilt användbara för att hantera data som har variabel längd, eftersom de använder tidigare tillstånd som indata för att göra nuvarande förutsägelser.
Long Short-Term Memory (LSTM)
LSTM är en typ av RNN som är utformad för att effektivt lära sig och lagra information över långa sekvenser av data. De består av tre grindar: ingång, utgång och glöm.
Gated Recurrent Units (GRU)
GRU är en annan typ av RNN som är liknande LSTM men har en enklare struktur och färre parametrar. De består av två grindar: uppdatering och återställning.
RNN fungerar bäst för:
- En-till-en: En enkel ingång kopplad till en enkel utgång, som bildklassificering.
- En-till-många: En enkel ingång kopplad till flera utgångssekvenser, som bildtextning som innefattar flera ord från en enda bild.
- Många-till-en: Serier av ingångar som genererar en enkel utgång, som känslomässig analys.
- Många-till-många: Serier av ingångar som ger serier av utgångar, som videoklassificering.
RNN används också allmänt inom språköversättning, konversationsmodellering och andra tillämpningar.
Generative Adversarial Networks (GAN)
GAN kombinerar två djupinlärningstekniker för neurala nätverk: en generator och en diskriminator. Generatornätverket skapar artificiella data, medan diskriminatornätverket hjälper till att skilja mellan verkliga och falska data.
Båda nätverken är konkurrensutsatta, eftersom generatorn ständigt producerar artificiella data som liknar verkliga data, och diskriminatorn kontinuerligt detekterar verkliga och orealistiska data. I ett scenario där det finns behov av att skapa ett bildbibliotek skulle generatornätverket generera simulerade data för autentiska bilder. Det skulle sedan generera ett dekonvolutionsneuralt nätverk.
Därefter skulle ett bildavkänningsnätverk användas för att skilja mellan verkliga och falska bilder. Med en 50% chans att vara korrekt måste detektorn förbättra sin klassificeringskvalitet eftersom generatorn blir bättre på att generera falska bilder. En sådan konkurrens skulle övergripande bidra till nätverkets effektivitet och hastighet.
Fungerar bäst i:
- Bild- och textgenerering
- Bildförbättring
- Nya läkemedelsupptäcktsprocesser
Self-Organizing Maps (SOM)
SOM, eller Self-Organizing Maps, är en djupinlärningsteknik som minskar antalet slumpmässiga variabler i en modell genom att använda oövervakad data. I denna typ av djupinlärningsteknik är utdatadimensionen fastställd som en tvådimensionell modell, eftersom varje synaps är kopplad till sina indata- och utdatanoder.
Eftersom varje datapunkt tävlar om sin modellrepresentation uppdaterar SOM vikterna för de närmaste noderna eller bästa matchande enheterna (BMU). Vikternas värde ändras beroende på närheten av en BMU. Eftersom vikterna betraktas som en nodkarakteristik i sig själva, representerar värdet nodens plats i nätverket.
Fungerar bäst i:
- När dataseten inte har några Y-axelvärden
- Projektutforskningar för att analysera datasetramverket
- Kreativa projekt inom musik, video och text med hjälp av AI
Boltzmannmaskiner
Denna nätverksmodell saknar fördefinierad riktning och har därför sina noder kopplade i en cirkulär anordning. På grund av den här särarten används den för att generera modellparametrar.
Boltzmannmaskiner-modellen skiljer sig från alla tidigare deterministiska nätverksmodeller och kallas också stokastisk.
Fungerar bäst i:
- Systemövervakning
- Inställning av en binär rekommendationsplattform
- Analysera specifika dataset
Djup förstärkningsinlärning
Innan vi går in på Deep Reinforcement Learning-tekniken är det viktigt att förstå begreppet förstärkningsinlärning. För att hjälpa ett nätverk att uppnå sitt mål kan agenten observera situationen och vidta åtgärder därefter.
Denna nätverksmodell har ett inmatningslager, ett utmatningslager och flera dolda flerlagerslager – inmatningslagret innehåller miljöns tillstånd. Modellen bygger på kontinuerliga försök att förutsäga framtida belöning för varje åtgärd som vidtas i ett givet tillstånd av omständigheten.
Fungerar bäst i:
- Brädspel som schack, poker
- Självkörande bilar
- Robotik
- Lagerhantering
- Finansiella uppgifter som tillgångsvärdering
Autoencoders
En av de vanligaste djupinlärningsteknikerna är autoencoders, som fungerar automatiskt beroende på sina indata innan de kräver en aktiveringsfunktion och avkodar det slutliga utfallet. En sådan flaskhalsbildning resulterar i att färre kategorier av data genereras och att de flesta av de inneboende datastrukturerna utnyttjas.
Fungerar bäst i:
- Funktionserkänning
- Skapa en tilltalande rekommendationsmodell
- Förbättra stora dataset med hjälp av funktioner
Bakåtpropagering
Bakåtpropagering, eller back-prop, är huvudmekanismen genom vilken neurala nätverk lär sig från dataförutsägelsefel i djupinlärning. Propagering, å andra sidan, avser dataöverföring i en viss riktning över en dedikerad kanal. Hela systemet kan fungera i framåtriktningen vid beslutstidpunkten och matar tillbaka eventuell data om nätverksbrister i omvänd riktning.
- För det första undersöker nätverket parametrarna och bestämmer sig för datan.
- För det andra vägs den med en förlustfunktion.
- För det tredje propageras det upptäckta felet bakåt för att självjustera eventuella felaktiga parametrar.
Fungerar bäst i:
- Felsökning av data
Gradient Descent
Gradient avser en lutning med en mätbar vinkel och kan matematiskt uttryckas som en relation mellan variabler. I denna djupinlärningsteknik kan förhållandet mellan felet som produceras av det neurala nätverket och dataparametrarna representeras som ”x” och ”y”. På grund av variablernas dynamiska natur i ett neuralt nätverk kan felet ökas eller minskas med små justeringar.
Målet med denna metod är att hitta den optimala lösningen. Det finns sätt att förhindra att data blir fångade i lokala minimilösningar i ett neuralt nätverk, vilket leder till långsammare och felaktiga kompileringar.
Eftersom terrängen på berget finns det särskilda funktioner i det neurala nätverket som kallas Convex Functions, som håller dataflödet vid förväntade hastigheter och når sitt lägsta möjliga värde. På grund av variationen i funktionsstartvärdena kan det finnas skillnader i de metoder genom vilka data når slutdestinationen.
Fungerar bäst i:
- Uppdatering av parametrar i en viss modell
Slutsats
Det finns flera djupinlärningstekniker som kommer med sina egna funktioner och strategier. När dessa modeller identifieras och används på rätt sätt kan de hjälpa utvecklare att uppnå avancerade lösningar baserat på ramverket de använder.