Vanwege programma’s als digitale transformatie en de datagedreven organisatie neemt het belang van data toe. Organisaties willen ‘meer doen met data.’ Hun bestaande IT-landschap is vaak niet toereikend, dus er moet iets veranderen. Vele zoeken de oplossing in datalakes, datahubs en datafabrics, maar een data-architectuur die zeker ook de moeite waard is, is de datamesh. Terwijl datawarehouses, datalakes en datahubs primair centralistische en monolithische oplossingen zijn, is de datamesh een gedistribueerde oplossing. De data-architectuur wordt niet opgedeeld op basis van de aard van de toepassing, maar op basis van bedrijfsdomeinen.
De opdeling is niet meer transactionele systemen versus analytische-systemen. Hierdoor zullen klassieke verantwoordelijkheden binnen een IT-organisatie drastisch verschuiven. Bijvoorbeeld, single-domain engineers verantwoordelijk voor de transactionele systemen zullen ook verantwoordelijk worden voor de interfaces die ten behoeve van de organisatie analytische mogelijkheden bieden.
Streaming Analytics (ook wel Fast Data processing) wordt een steeds populairder onderwerp binnen de financiële dienstverlening, marketing, het internet of things en de gezondheidszorg. Organisaties willen in real-time reageren op gebeurtenissen zoals clickstreams, transacties, logs en sensordata. Een kenmerkende streaming analytics-oplossing volgt een ‘pipes and filters’-patroon dat bestaat uit drie hoofdstappen: het detecteren van patronen op onbewerkte eventdata (Complex Event Processing), het evalueren van de uitkomsten met behulp van business rules en machine learning-algoritmen, en het beslissen over de volgende actie. De kern van deze architectuur is de uitvoering van voorspellende modellen die werken op enorme hoeveelheden nooit eindigende datastromen.
Maar met kansen komt complexiteit. Als je overschakelt van batch naar streaming, worden tijdgerelateerde aspecten van de gegevens ineens belangrijk. Wil je de volgorde van events bewaren en de garantie hebben dat elke event maar één keer verwerkt wordt? In deze lezing zal ik een architectuur voor streaming analytics-oplossingen presenteren die veel use cases omvat, zoals bruikbare inzichten in de detailhandel, fraudedetectie in de financiële sector, log-parsing, verkeersanalyse, fabrieksgegevens, het IoT, en andere. Ik zal een aantal architectuuruitdagingen bespreken die zich zullen voordoen bij het omgaan met streaming data, zoals latency issues, event time versus server time, en exactly-once processing. Tenslotte bespreek ik enkele technologische opties als mogelijke implementaties van de architectuur.
Lees minder• Their journey to a better, faster, more structured and scalable data and information management environment using Datavault Builder
• How the model-driven development platform of Datavault Builder led to outstanding time-to-market results
• How the client increased transparency with Data Lineage and deployment module enabled a flawless deployment pipeline
Nagenoeg alle organisaties hebben ervaring met het ontwikkelen van traditionele BI-toepassingen, zoals dashboards en rapporten voor medewerkers. Maar het ontwikkelen van embeddded BI-toepassingen die gebruikt worden door klanten en toeleveranciers als onderdeel van online applicaties is onbekend terrein. Customer-facing BI-toepassingen kunnen ingezet worden om bijvoorbeeld de time to market te versnellen, de klanttevredenheid te verhogen en een groter bereik te realiseren.
Dit soort toepassingen vereist wel een andere ontwikkelaanpak en de inzet van andere technologie. In deze sessie komen onder andere de verschillende bouwstenen aan bod zoals web embedding, secure custom portal, SAAS/COTS embedding, embedding van real-time en interactieve beslispunten en action-oriented dashboards. Het belang van schaalbare cloudgebaseerde database servers, zoals Google BigQuery en Amazon RedShift, Snowflake en Starburst zullen ook ter sprake komen.
Topics:
Met wisselend succes zijn pogingen gedaan tot het opzetten van een datawarehouse binnen het pensioenbedrijf. Met een grootschalig kwaliteitsonderzoek naar relevante administraties in 2009 ontstond een nieuwe urgentie om met data aan de slag te gaan, waarbij data-integratie een centrale plaats kreeg.
Aangezien een dergelijke investering bedrijfskundig gezien een lange levensduur moet kunnen doorstaan – er waren nog geen (grootschalige) cloudoplossingen – was duurzaamheid een van de ontwerpprincipes. Naast dit principe waren ook flexibiliteit, betrouwbaarheid, beschikbaarheid en herhaalbaarheid belangrijke ontwerpprincipes. Het ontwerp is opgezet door het team dat de omgeving moest realiseren. In een periode van zes weken is een prototype gebouwd op basis van verschillende methoden en technieken. Dat heeft een ‘grand high level design’ opgeleverd voor het datamodel en de technische oplossing voor de omgeving, waarbij gekozen werd voor een iteratieve ontwikkelstrategie.
Na de realisatie van het kwaliteitsonderzoek en het bijbehorende in control statement, is de omgeving verder uitgebreid. Dat was belangrijk voor uitvoering van portfolio-analyses, diepgaande kwaliteitsanalyses, operationele aansturing en fundering voor de migratiestraat om klanten te selecteren en (commercieel) te migreren naar de nieuwe productproposities. In 2018 is dezelfde data-omgeving verder uitgebreid voor de analyse en implementatie van nieuwe wetgeving. Nu wordt de omgeving in gebruik genomen voor data science activiteiten. Zo heeft deze omgeving zijn tienjarige bestaan gevierd en vele strategische, tactische en operationele doelen kunnen voorzien van data die nodig waren om tot gewenste resultaten te komen.
Tijdens de sessie zal Mark van der Veen zijn ervaringen delen hoe waarde te halen vanuit de initiële opzet van de dataomgeving.
Lees minderIn de afgelopen jaren hebben vele organisaties geïnvesteerd in het experimenteren met Data Science, voorspellende modellen en Analytics. Vaak zien we dat deze modellen als tijdelijke ‘point solutions’ in de business worden gebruikt, met weinig aandacht voor support en met veel handwerk. De volgende uitdaging is om te bewegen van experimenteren naar operationaliseren: “Hoe de modellen en gerelateerde data science activiteiten te verplaatsen naar een beheerst IT data- en applicatielandschap.” We doen dit om een nog wijder verspreid, en belangrijker, geoperationaliseerde data omgeving binnen de organisatie te realiseren. Bovendien helpt dit om de Data Gedreven ambitie nog nadrukkelijker te adresseren.
In deze sessie zullen we u meenemen in de reis van ambitie naar operationaliseren, de Architectuur, een aantal belangrijke keuzes en hoe te migreren naar zo’n omgeving. We gaan in op de unieke uitdagingen, veel hands-on en onze lessons learned.
Many companies today are looking to migrate their existing data warehouse to the cloud as part of an a data warehouse modernisation programme. There are many reasons for doing this including the fact that many transactional data sources have now moved to the cloud or the capacity of an on-premises data warehouse has been reached with another project looming. Whatever the reason, data warehouse migration can be a daunting task because these systems are often five or ten years old. A lot may have happened in that timeframe and so there is a lot to think about. There are also a lot of temptations and decisions you can make that can increase risk of failure. This session looks at the what is involved in migrating data warehouses to the cloud environment, what options you have and how a migration can cause changes to data architecture.
AI is everywhere. Its early invasion of everyday life – from dating to policing – has succeeded beyond its proponents’ wildest dreams. Analytics and machine learning built on “big data” feature daily in the mainstream media.
In IT, BI and analytics vendors are adding artificial intelligence to enhance their offerings and tempt managers with the promise of better or faster decisions. So, how far could AI go? Will it take on a significant proportion of decision making across the entire enterprise, from operational actions to strategic management? What would be the consequences if it did?
In this session, Dr. Barry Devlin explores the challenges and potential benefits of moving from BI to AI. We explore its use in data management; its relationship to data warehouses, marts, and lakes; its emerging role in BI; its strengths and weaknesses at all levels of decision-making support; and the opportunities and threats inherent in its two main modes of deployment: automation and augmentation.
What you will learn:
In september 2018 is de ontwikkeling van het OSDU Data Platform gestart door de Open Group. Het OSDU Forum is gestart als een standaard dataplatform voor de olie- en gasindustrie, dat silo’s zal verkleinen en data in het centrum van de exploratie community zal plaatsen. Alle soorten gegevens (gestructureerd en ongestructureerd) van olie- en gasexploratie, ontwikkeling en boorputten worden in dit ene OSDU Data Platform geladen. De data zijn toegankelijk via één set API’s; enkele voor datatypes geoptimaliseerde API’s zullen later worden toegevoegd. Het platform maakt veilige, betrouwbare, wereldwijde en performante toegang tot alle data over de ondergrond en boorputten mogelijk. Het fungeert als een open, op standaarden gebaseerd ecosysteem dat innovatie stimuleert.
Op 24 maart 2021 werd de eerste operationele release gelanceerd op de publieke cloudplatforms van Amazon, Google en Microsoft. Later in 2021 zullen olie- en gasproductiegegevens en gegevens van nieuwe energiebronnen, zoals wind- en zonneparken, waterstof, geothermische energie en CCUS, worden toegevoegd aan dit ene, op open source gebaseerde energiedataplatform. Het OSDU-gegevensplatform fungeert als een ‘system of record’ en is dus de ‘master’ van die gegevens. Deze sessie bespreekt de uitdagingen die gepaard gaan met het opzetten van een dergelijk uitdagend project en platform en de opgedane ervaringen.
Topics covered include:
1. Automating an Oracle to Snowflake migration project.
2. Managing a Data Vault architecture that is growing in size and complexity.
3. How WhereScape Data Warehouse Automation performs in comparison to Allianz’s homegrown solution.
In een steeds complexer wordende en onderling verbonden wereld ontstaat toenemende behoefte aan autonome systemen die de mogelijkheden van menselijk beheer te boven gaan. Swarm Intelligence systemen vertrouwen op opkomende intelligencetechnieken voor hun probleemoplossende methoden. Beslissingen die uit deze intelligente systemen voortvloeien, zijn afhankelijk van de gegevens in uw organisatie. Het implementeren van datakwaliteit leidt tot betere data. Maar weet u of de data geschikt zijn voor het doel? Worden de gegevens in de juiste context gebruikt binnen uw BI-systemen?
Een datastrategie is nodig om uw organisatie in staat te stellen op feiten gebaseerde beslissingen te nemen met behulp van datageletterde medewerkers, ondersteund door intelligente systemen. Gamifaction en Data Literacy zijn bedoeld om uw datastrategie uit te leggen. Peter Vieveen leidt u door het proces van het definiëren van zo’n datastrategie aan de hand van het Data Management Body of Knowledge en vertelt hoe u gamification en data literacy kunt gebruiken om de datastrategie uit te leggen aan uw organisatie.
Rond 2015 begonnen Nederlandse bedrijven met het migreren van on-premise datawarehouses naar de public cloud. Het is daarbij achter niet altijd vanzelfsprekend dat de fysieke datamodellen die we op basis van deze technologie bouwen exact hetzelfde blijven als we in de on-premise wereld gewend zijn. De nieuwe technologische mogelijkheden maken namelijk niet alleen een nieuwe aanpak mogelijk, maar kunnen ook een anti-pattern zijn binnen bestaande modelleringstechnieken als Kimball of Data Vault. Of ze vragen om een net wat andere aanpak van deze technieken. Het doel van deze sessie is om u inzicht te geven in de (on)mogelijkheden op dit gebied, kijkende naar hoe dit praktisch aangepakt kan worden binnen een oplossing als Snowflake of Google BigQuery.
Voorbeelden van fysieke datamodel onderwerpen die we behandelen zijn:
Highlights van deze sessie
Op 27 februari 2020 werd in Nederland voor het eerst bij een patiënt het SARS-CoV-2 virus vastgesteld. Al snel werd het belang duidelijk van hoogwaardige data uit de gehele zorgketen bij de bestrijding van de pandemie. Iedereen doet mee: GGD, VWS, RIVM, laboratoria, ziekenhuizen, zorginstellingen, huisartsen, patiëntenfederaties, ICT-leveranciers, enzovoort.
In deze presentatie wordt een kijkje gegeven in de datakeuken van het RIVM. Wat waren de uitdagingen bij het verzamelen van alle ingrediënten en het op smaak brengen en het opdienen op het (dash)bord? Een belangrijk stuk keukengerei daarbij was in elk geval de snelkookpan. Deze sessie gaat in op de ervaringen die zijn opgedaan tijdens de ontwikkeling van het Corona-dashboard en benodigde systemen onder hoge druk en waarbij heel Nederland meekijkt.
Duurzame data-architecturen zijn nodig om het hoofd te bieden aan de veranderende rol van data binnen organisaties en om te profiteren van de nieuwe technologieën en inzichten. Een duurzame data-architectuur is geen data-architectuur die slechts de huidige en alle nieuw geïdentificeerde vereisten ondersteunt, maar een die lang kan overleven, omdat deze eenvoudig is aan te passen en uit te breiden. Als de vereisten voor datagebruik veranderen, kan een duurzame data-architectuur zich aanpassen zonder dat er ingrijpende herontwikkelings- en heropbouwoefeningen nodig zijn. Deze architecturen passen zich aan de veranderende omgeving aan.
Voor het ontwikkelen van duurzame architecturen bestaan geen magische producten. Meerdere productsoorten zijn nodig om dit te realiseren. Tevens zullen andere ontwerpprincipes toegepast moeten worden en bepaalde heilige huisjes zullen eraan moeten geloven. In deze sessie wordt ingegaan op de eisen aan duurzame data-architecturen en hoe deze ontworpen en ontwikkeld kunnen worden.
As the pandemic has proven, digital transformation is possible—and at speed. Many more aspects of business operations have moved online or have enabled remote or no-touch access. This evolution has generated another growth spurt of “big data”, from websites, social media, and the Internet of Things (IoT). With new customer behaviour likely to stick after the pandemic and working from home remaining an important factor, novel approaches to decision-making support are an increasingly important consideration for many organisations.
In this context, the recent growth in interest in and focus on the use of artificial intelligence (AI) and machine learning (ML) across all aspects of business in every industry and government raises important questions. How can AI/ML be applied at management levels in support of decision making? What new possibilities or problems does it present? How far and how fast can businesses move to benefit? What are the downsides?
The seminar
AI, combined with big data, IoT and automation, offer both the threat and the promise of revolutionising all aspects of IT, business and, indeed, society. In this half-day session, Dr Barry Devlin explores what will enable you to take full advantage of emerging AI technology in your decision-making environment. Starting from the familiar worlds of BI and analytics, we position traditional and emerging BI and analytics tools and techniques in the practical application of AI in the business world. Extrapolating from the rapid growth of AI and IoT in the consumer world, we see where and how it will drive business decision making and likely impact IT. Based on new models of decision making at the organisational and personal levels, we examine where to apply augmentation and automation in the roll-out of AI. Finally, we address the ethical, economic and social implications of widespread adoption of artificial intelligence.
Learning objectives
Intended for you
This seminar is of interest to all IT professionals and tech-savvy businesspeople directly or indirectly involved the design, delivery, and innovative use of decision making support systems, including:
We will send the course materials and meeting instructions well in advance as well as the invitation with hyperlink to join us online. The seminar will start at 09:00 and lasts until 13:00. The online meeting will be available at least one half hour earlier so please log in timely in order to check your sound and video settings beforehand.
Limited time? Join one day & conference recordings
Can you only attend one day? It is possible to attend only the first or only the second conference day and of course the full conference. The presentations by our speakers have been selected in such a way that they can stand on their own. This enables you to attend the second conference day even if you did not attend the first (or the other way around). Delegates also gain four months access to the conference recordings so there’s no need to miss out on any session.
Kijk op de agenda van Adept Events
“Langere sessies leverden de mogelijkheid tot uitdiepen en dialoog. Dat vind ik goed aan deze summit.”
“Inspirerende summit met goede sprekers die de onderwerpen vanuit verschillende hoeken mooi belichten. Organisatie en locatie: prima!!”
“Inspirerend en prima verzorgd congres. Actuele onderwerpen met veel praktische richtlijnen, handvatten en do’s en don’ts over de informatie architectuur zoals Big Data, Data Lakes, datavirtualisatie en een logisch datawarehouse.”
“Een leuk en leerzaam event!”
“As a BI Consultant I feel inspired to recommend this conference to everyone looking for practical tools to implement a long term BI Customer Service.”
“Was weer prima!”