Haai daar! As verskaffer vanStick logger, Was ek besig met die hantering van data van hierdie Nifty -toestelle. Dus, ek het gedink ek sal met u deel hoe ek te werk gaan om die data wat hulle versamel, te ontleed.
Laat ons eers praat oor wat 'n stoklogger is. Dit is 'n kompakte, draagbare toestel wat allerlei omgewingsdata soos temperatuur, humiditeit en soms selfs ligvlakke kan aanteken. Hierdie klein ouens is baie handig in 'n klomp nywerhede, van voedselberging tot farmaseutiese ondernemings. Hulle sit net stil daar, versamel data mettertyd, en dan kan ons die inligting uittrek en daarvan sin maak.
As ek die data van 'n stoklogger kry, is die eerste stap om dit in 'n formaat te kry waarmee ek kan werk. Die logger kom meestal met sagteware wat die data op my rekenaar kan aflaai. Sodra dit daar is, voer ek dit gewoonlik uit as 'n CSV-lêer (komma-geskeide waardes). Dit is 'n mooi standaardformaat wat die meeste data -analise -instrumente kan lees.
Nadat ek die data in 'n CSV -lêer gekry het, skiet ek 'n sigbladprogram soos Microsoft Excel of Google Sheets op. Dit is ideaal om 'n aanvanklike ondersoek na die data te doen. Ek begin deur na die rou data te kyk om 'n gevoel te kry vir wat daar is. Ek kyk na die kolomme om te sien watter soort inligting opgeneem word. Gewoonlik sal daar 'n tydstempel -kolom wees wat vir my sê wanneer die data versamel is, en dan kolomme vir die werklike metings soos temperatuur of humiditeit.
Ek wil die data volgens die TimeStamp -kolom sorteer. Dit help my om te sien hoe die metings mettertyd verander. Ek kan vinnig enige neigings of patrone raaksien. Byvoorbeeld, as ek kyk na temperatuurdata van 'n voedselbergingsfasiliteit, sal ek miskien agterkom dat die temperatuur gedurende die dag styg en snags daal. Dit kan 'n teken wees dat die verkoelingstelsel nie so doeltreffend werk as wat dit gedurende die dag behoort nie.
'N Ander ding wat ek op hierdie stadium doen, is om na enige uitskieters te kyk. Uitskieters is datapunte wat van die res van die data af is. Dit kan veroorsaak word deur 'n fout in die logger of 'n ander eksterne faktor. Byvoorbeeld, as ek 'n enkele temperatuurlesing sien wat baie hoër is as al die ander, sal ek verder moet ondersoek. Dit kan wees dat die logger vir 'n kort periode te naby aan 'n hittebron geplaas is.
Nadat ek 'n basiese verkenning in die sigblad gedoen het, gaan ek gewoonlik oor na meer gevorderde ontleding. As ek 'n ernstige aantal geknetter moet doen, gebruik ek 'n programmeringstaal soos Python. Python het 'n klomp biblioteke wat ideaal is vir data -analise, soos Pandas en Numpy.
Met Pandas kan ek die data maklik manipuleer. Ek kan rye op grond van sekere kriteria filter, die data volgens verskillende kategorieë groepeer en opsommende statistieke bereken. Ek kan byvoorbeeld die gemiddelde temperatuur oor 'n sekere periode of die maksimum en minimum humiditeitsvlakke bereken.
Numpy, daarenteen, is ideaal om numeriese berekeninge te doen. Ek kan dit gebruik om bewerkings op skikkings van data uit te voer, soos om die standaardafwyking of korrelasie tussen verskillende veranderlikes te bereken. As ek probeer om te sien of daar 'n verband tussen temperatuur en humiditeit is, kan ek Numpy gebruik om die korrelasiekoëffisiënt te bereken.
Nadat ek al my ontleding gedoen het, moet ek die resultate aanbied op 'n manier wat maklik is om te verstaan. Ek skep gewoonlik visualisering met behulp van 'n werktuig soos Matplotlib in Python of Tableau. Visualisering is 'n uitstekende manier om ingewikkelde data op 'n eenvoudige en intuïtiewe manier te kommunikeer.
Byvoorbeeld, ek kan 'n lynkaart skep om aan te toon hoe die temperatuur mettertyd verander. Dit maak dit maklik om enige neigings of skommelinge in 'n oogopslag te sien. Ek kon ook 'n verspreidingsplot skep om die verband tussen temperatuur en humiditeit aan te toon. As daar 'n sterk korrelasie is, sal die punte op die verspreidingsplot 'n duidelike patroon vorm.
Benewens visualisering, wil ek ook 'n opsomming van my bevindings opskryf. Ek sal verduidelik wat die data toon, enige neigings of patrone wat ek opgemerk het, en enige aanbevelings wat ek op die ontleding het. Hierdie opsomming word gewoonlik ingesluit in 'n verslag wat ek aan my kliënte stuur.
Laat ons nou praat oor sommige van die uitdagings wat ek in die gesig staar wanneer ek data van 'n stoklogger ontleed. Een van die grootste uitdagings is die hantering van ontbrekende data. Soms kan die logger nie funksioneer of verbinding verloor nie, wat lei tot ontbrekende datapunte. Dit kan dit moeilik maak om 'n akkurate beeld te kry van wat aangaan.
Om die ontbrekende data te hanteer, gebruik ek 'n tegniek genaamd Interpolation. Dit behels die beraming van die ontbrekende waardes op grond van die waardes van die omliggende datapunte. Daar is verskillende metodes van interpolasie, maar een van die algemeenste is lineêre interpolasie. Dit werk deur aan te neem dat die data lineêr tussen die bekende datapunte verander.
'N Ander uitdaging is om groot hoeveelhede data te hanteer. As die logger al lank data versamel, kan die datastel redelik groot wees. Dit kan dit traag maak om te ontleed en kan ook baie geheue benodig. Om dit te hanteer, gebruik ek tegnieke soos steekproefneming. Dit behels die neem van 'n deelversameling van die data en die ontleding daarvan. Solank die monster verteenwoordigend is van die hele datastel, kan ek steeds betekenisvolle resultate kry.
So, dit is hoe ek te werk gaan om die data van 'n stoklogger te ontleed. Dit is 'n proses wat 'n kombinasie van basiese verkenning, gevorderde analise en visualisering behels. Deur hierdie stappe te volg, kan ek rou data omskep in waardevolle insigte wat my kliënte kan help om ingeligte besluite te neem.
As u op soek is na 'n stoklogger of hulp met data -ontleding nodig het, moet u nie huiwer om uit te reik nie. Ons is hier om u van topprodukte en dienste te voorsien. Of u nou 'n klein onderneming of 'n groot korporasie bedryf, ons stokloggers kan u help om u omgewingstoestande dop te hou en die kwaliteit van u produkte te verseker. Kom ons begin 'n gesprek en kyk hoe ons kan saamwerk om aan u behoeftes te voldoen.
Verwysings
- McKinney, W. (2012). Python vir data -analise: data -wrang met pandas, numpy en ipython. O'Reilly Media.
- Vanderplas, J. (2016). Python Data Science Handbook: noodsaaklike instrumente om met data te werk. O'Reilly Media.