English text below

Big data

We zijn in een datatijdperk beland en een aanzienlijk deel van de gegevens worden op vrijwillige basis door ons gedeeld. Automatisch komt de vraag naar voren wat te doen met alle beschikbare data en Big Data is één van de antwoorden daarop.

Geschiedenis van gegevens

Laten we, voordat we beginnen met definities over Big Data, de geschiedenis van data in duiken. In principe kan elke actie worden gedefinieerd als data omdat het een spoor achterlaat. Elke handtekening is dus een gegeven, net als elk telefoontje of gebruik van de bankpas. Met de opkomst van internet eind jaren 90 was het nog nooit zo eenvoudig om gegevens te verzamelen, omdat elke stap op internet kan (en waarschijnlijk zal) worden gevolgd. Na het uiteenspatten van de internet-zeepbel in 2001 en de toenemende rekenkracht van personal computers (pc's), verschoof de samenleving steeds meer van het gebruik van papier naar meer digitale middelen. We noemen dit fenomeen digitalisering, de transformatie van analoge naar digitale data.

Vanaf 2010 en de introductie van mobiel internet en de smartphone en goedkopere opslagmedia was het verzamelen van grote hoeveelheden data mogelijk. Er wordt gezegd dat 99% van de momenteel beschikbare gegevens in het afgelopen decennium zijn verzameld en opgeslagen. Dat betekent dat op het moment dat de internet-zeepbel barstte, er weinig gegevens beschikbaar waren en werden verzameld. We kunnen dus concluderen dat we in 2019 in het datatijdperk zijn aangekomen, aangezien de meeste gegevens die nu beschikbaar zijn, in het afgelopen decennium zijn verzameld of getransformeerd. Maar wat zijn de gevolgen van het hebben van zoveel gegevens?

De term Big data

De term Big Data verwijst naar de beschikbaarheid van enorme hoeveelheden gegevens die uit verschillende bronnen zijn verzameld. In tegenstelling tot 'gewone' gegevens verwijst de term Big Data naar de enorme hoeveelheid beschikbare gegevens en naar het feit dat deze vaak uit verschillende bronnen worden gecombineerd. Het kan betekenen dat de creditcardaankopen in een online winkel gecombineerd worden met het browsegedrag in dezelfde winkel en aangevuld wordt met social media data. Big Data beschrijft dus de enorme hoeveelheden gegevens die beschikbaar zijn in het datatijdperk.

Hoewel er enorme hoeveelheden gegevens beschikbaar zijn, hoeven deze niet te worden gestructureerd. Big Data kan moeilijk zijn om te analyseren en om die ​​reden beweren datawetenschappers dat 80% van het werk bestaat uit het opschonen van gegevens en het begrijpen ervan en dat slechts een klein deel de feitelijke analyse is. Wees echter niet bang, want u beschikt over veel data en deze lijkt geen structuur te hebben. Er zijn verschillende technieken beschikbaar om grote hoeveelheden gegevens te begrijpen.

Wat kunnen we doen met Big Data?

Gezien de oorsprong van Big Data is het geen wonder dat in deze paragraaf niet alleen wordt ingegaan op wat we met Big Data kunnen doen, maar deels ook op de bronnen ervan. Als eerste uitgangspunt kan Big Data worden gebruikt voor een verscheidenheid aan moderne analysetechnieken. Deze technieken omvatten vaak hogere niveaus van wiskunde en statistiek. Om met Big Data om te gaan, is geavanceerde training een studie dat zich bezighoudt met wiskunde of statistiek. Deze vakken kunnen betrekking hebben op technische disciplines, de natuurwetenschappen, computerwetenschappen, maar ook enkele sociale wetenschappen met een wiskundige kantje. De training in deze disciplines effent de basis om data te kunnen verwerken en analyseren. Op basis van dit grondwerk is dan aanvullende training nodig om Big Data te kunnen gebruiken en analyseren.

Zoals eerder uiteengezet, is de eerste stap in elke analyse het structureren van de beschikbare gegevens en het begrijpen ervan. Tijdens de cursus is het waarschijnlijk dat enorme hoeveelheden gegevens moeten worden gereorganiseerd. Dit onderdeel van het omgaan met en het nuttig maken van Big Data is essentieel. Zonder de gegevens te begrijpen, kunnen geen van de volgende stappen worden uitgevoerd. Nogmaals, terugkomend op eerdere delen van dit artikel, kan het opschonen van gegevens de meeste tijd in beslag nemen die nodig is om big data te verwerken.

Nadat die basis is gelegd, kan Big Data voor verschillende doeleinden worden gebruikt. Op het meest basale niveau kan het worden gebruikt voor analysedoeleinden. Deze analyses kunnen bijvoorbeeld ingaan op de koopvoorkeuren van klanten. Op een meer geavanceerd niveau kan het worden gebruikt om algoritmen te trainen en dus voor machine learning en / of kunstmatige intelligentie. In beide gevallen is een algoritme dan in staat om een ​​bepaalde specifieke taak uit te voeren, zoals het selecteren van kandidaten op basis van verschillende kenmerken. Ten slotte zijn er met deze apparaten natuurlijk nog andere uitdagingen die te maken hebben met ethiek, maar ook met de wetgeving.

Beschouwingen over gegevens

We leven zoals gezegd in een datatijdperk. Data is dus de brandstof voor veel bedrijven en veel bedrijfsmodellen. Denk aan het zoekalgoritme van Google dat ook omgaat met enorme hoeveelheden gegevens die op websites beschikbaar zijn. Hoewel het moeilijker was om een ​​algoritme te ontwikkelen in de tijd dat Google begon, zouden veel van de meest succesvolle bedrijfsmodellen tegenwoordig niet werken zonder gegevens. Een voorbeeld is Amazon dat werkt met sterk aangepaste aanbevelingen die gedeeltelijk gebaseerd zijn op gedrag uit het verleden, maar ook andere gegevensbronnen bevat om klanten nieuwe items voor te stellen die voor hen interessant kunnen zijn om te kopen. Daarom behoren data en vooral Big Data tegenwoordig tot de belangrijkste onderwerpen waarmee bedrijven te maken hebben.

Bent u geïnteresseerd in het onderwerp en wat u kunt doen met de data in uw bedrijf? Lees onze volgende berichten over die deal met wat er mogelijk is met gegevens. Als u grote hoeveelheden gegevens heeft en niet zeker weet hoe u deze moet begrijpen, kunnen we u er misschien mee helpen. Neem in dat geval contact op met Bas Baalmans, projectleider van GDBC die uw vragen graag beantwoordt (b.s.baalmans@rug.nl).

---------------------------------------------------------------------------------------------------------------------------------------- 

Big Data

The fundamental truth is that we have arrived in the data age and that a significant part of the data was shared by us on a voluntary basis. Automatically the question emerges what to do with all the data available and Big Data is one of the answers.

History of data

Before we start with definitions about Big Data, let us recall the history of data. Basically, every action can be defined as data because it leaves a trace. Thus, every signature is data as well as every phone call or use of bank cards. With the rise of the internet in the late '90s, it was never easier to collect data because every step on the internet can potentially (and likely will) be tracked. After the burst of the dotcom bubble in 2001 and the increasing computing power of personal computers (PCs), society more and more shifted from using paper towards more digital means. We call this phenomena digitization, the transformation of analog to digital data.

Roughly from 2010 onwards and the introduction of the mobile internet and the smartphone, and cheaper storage devices the collection of big amounts of data was possible. It is said that 99% of the currently available data was collected and stored in the past decade. That means that at the moment the dotcom bubble burst, little data was available and was being collected. Thus, we can conclude that of 2019 we have arrived in the data age as most of the data that is available now has either been collected or been transformed in just the past decade. But what are the implications of having so much data?

Big Data

The term Big Data refers to the availability of vast amounts of data that was collected from different sources. Unlike “regular” data, the term Big Data refers to the massive amount of data available as well as to the fact that it is often combined from different sources. It can mean that that from credit card purchases in an online shop is combined with browsing behavior of the same shop and complemented with social media data. Thus, Big Data describes the vast amounts of data that are available in the data age.

While vast amounts of data are available, it does not need to be structured. Big Data can be hard to tackle and for a reason, data scientist claim that 80% of the work is cleaning data and making sense of it and only a small part is the actual analysis. However, do not be afraid because you have a lot of data available and it does not seem to have any structure. There are different techniques available to make sense of huge amounts of data, some which will be discussed in the subsequent parts of our miniseries with data.

What can we do with Big Data?

Given the origin of Big Data, it should be no wonder that this paragraph will not only deals with what we can do with Big Data but partly discuss its sources. As the first starting point, Big Data can be used for a variety of modern analysis techniques. These techniques often involve higher levels of mathematics and statistics. Thus, to handle Big Data advanced training is a study subject that is involved with either mathematics or statistics is needed. These subjects can involve engineering disciplines, the natural sciences, computer sciences but also some social sciences that are on the more mathematical side. The training in these disciplines paves the groundwork to be able to handle and analysis data. Based on this groundwork, additional training is needed to be able to handle and analysis Big Data.

As outlined before, the first step in every analysis is structuring the available data and make sense of it. In the course, it is likely that vast amounts of data need to be reorganized. This part of handling and making Big Data useful is nonetheless essential. Without making sense of the data, none of the following steps can be done. Again, coming back to earlier parts of this article, the data cleaning can take up most of the actual time required to handle big data.

After the groundwork is done, Big Data can be used for a variety of purposes. On the most basic level, it can be used for analysis purposes. These analyses can deal with customer buying preferences for example. On a more advanced level, it can be used to train algorithms and thus for machine learning and/or artificial intelligence. In both cases, an algorithm is then able to perform a certain specific task such as selecting job candidates based on a variety of characteristics. Finally, with these appliances, there are of course other challenges dealing with ethics but also with the law.

Reflections on data

We live in the data age. Thus, data is the fuel for many companies and many business models. Think about the search algorithm of Google that also deals with vast amounts of data available on web sites. While it was harder to develop an algorithm in the days Google first started, nowadays without data many of the most successful business models would not work. An example is Amazon that works with highly customized recommendations that are partly based on past behavior but also include other data sources to suggest customers new items that might be interesting for them to buy. Hence, nowadays data and especially Big Data are among the most important topics firms need to deal with.

Are you interested in the topic and what you can do with the data in your company? Read our next posts to that deal with what is possible with data. If you have big amounts of data and are not sure how to make sense of it, maybe we can help you with it. In this case, contact Bas Baalmans, the managing director of GDBC who will gladly answer your q