Startseite » Architekturen

Schlagwort: Architekturen

#068 Was ist eigentlich dieses dbt?

dbt oder Data Build Tool, ist ein wesentlicher Bestandteil von Datenpipelines. Es ermöglicht in unseren BI-Projekten, SQL-Abfragen zu verwalten und Daten effizient zu transformieren. Eines der größten Vorteile von dbt ist die Fähigkeit, Änderungen an den Datenmodellen nachvollziehen zu können. Das ist besonders hilfreich, um sicherzustellen, dass man konsistente und genaue Daten in den Data Warehouses hat. Und wenn jeder im Team weiß, wie man Markdown verwendet, kann man sich dann als dbt-Experte bezeichnen? Der größte Vorteil von dbt ist die Versionierung und Dokumentation von Änderungen an den Datenmodellen, was die Nachverfolgbarkeit und Transparenz erheblich verbessert. Wenn man dann noch seinen Code gut strukturiert, mit klaren Namenskonventionen arbeitet erleichtert es das Verständnis, die Qualität und die Wartbarkeit des Codes. Erfahrt, wie dbt die Datenprozesse revolutionieren kann und ob es das Zeug hat, zum unverzichtbaren Begleiter in unserer Datenlandschaft zu werden. Wie sehen es Andreas und Marcus? Sind sie derselben Meinung oder haben sie unterschiedliche Ansichten? Welche Erfahrungen haben sie in ihren BI-Projekten mit dbt gemacht? Oder gibt es Bereiche, in denen sie unterschiedliche Meinungen haben? Natürlich gibt es auch wieder drei interessante Takeaways für euch!
#067 Wie verstehen wir Datenprodukte?

Datenprodukte sind speziell entwickelte Anwendungen, Tools oder Systeme, die aus vorhandenen Daten nützliche Informationen und Erkenntnisse generieren. Sie entstehen durch Prozesse, die Daten sammeln, verarbeiten, analysieren und präsentieren, um sie für Nutzer wertvoll und zugänglich zu machen. Aber ist das wirklich alles? Gibt es klare Definitionen, was dazu gehört, wie beispielsweise Berichte, Dashboards, Algorithmen, APIs oder ganze Analytikplattformen? Oder sind diese Themen unterschiedlich, weil jeder eine andere Sicht auf die Inhalte von Datenprodukten hat? Beginnt man mit der Sammlung von Daten aus unterschiedlichen Quellen oder klar festgelegten Systemen? Obwohl diese Themen für den Endverbraucher oft uninteressant sind, sind sie entscheidend für die Qualität und Inhalte der Datenprodukte. Welche Perspektiven gibt es bei der Erstellung und Nutzung von Datenprodukten? Aus Sicht des Erstellers eines Datenprodukts sind mehrere Elemente wichtig. Dazu gehören ein Prüfsiegel zur Qualitätssicherung, eine klare Spezifikation der Anforderungen, ein Handbuch zur Nutzung und die Bewerbung des Produkts. Aus Sicht des Konsumenten liegt der Schwerpunkt auf der Bedienbarkeit. Ein Datenprodukt muss so gestaltet sein, dass der Nutzer es leicht verstehen und anwenden kann, um die Akzeptanz zu maximieren. Datenprodukte sollen dazu beitragen, datengetriebene Entscheidungen zu erleichtern und die Effizienz sowie die Genauigkeit von Geschäftsprozessen zu steigern. Sehen Andreas und Marcus das genauso wie viele Experten oder haben sie dazu eine andere Meinung? Welche Erfahrungen haben sie in Ihren BI-Projekten damit gemacht? Natürlich gibt es auch wieder drei interessante Takeaways für euch!
#065 Das ganze BI-Projekt aus einer Hand?

Ein Anbieter, der alle notwendigen Dienstleistungen für ein BI-Projekt aus einer Hand liefert, kann viele Vorteile bieten. Dazu gehören nahtlose Integration, einheitliche Standards und eine klare Verantwortlichkeit. Die Koordination zwischen verschiedenen Teams und Technologien wird vereinfacht, was zu einer effizienteren Umsetzung führen kann. Aber manchmal ist es besser, einen Profi hinzuzuziehen. Für spezielle Themen wie Datenaufbereitung und Reporting können Spezialisten den Unterschied machen. Analytic BI ist ein weiterer wesentlicher Aspekt, der fortgeschrittene analytische Fähigkeiten und Technologien wie maschinelles Lernen und Künstliche Intelligenz umfasst. Die Fähigkeit, prädiktive Analysen durchzuführen und datengetriebene Entscheidungen zu treffen, ist für viele Unternehmen von unschätzbarem Wert. All diese Überlegungen erfordern es Experten mit tieferem Wissen und spezialisierte Fähigkeiten einzusetzen, die das Projekt auf das nächste Level heben. Schließlich kann die Zusammenarbeit mit einem Anbieter, der mehrere spezialisierte Teams bereitstellt, die beste Lösung sein. Diese Teams können sich auf ihre jeweiligen Fachgebiete konzentrieren und gleichzeitig eng zusammenarbeiten, um das Gesamtprojektziel zu erreichen. Diese Struktur bietet eine Balance zwischen spezialisierten Kenntnissen und koordinierter Umsetzung. Insgesamt bietet der Ansatz "alles aus einer Hand" für BI-Projekte eine strukturierte und effiziente Lösung. Die Einbeziehung von Spezialisten für spezifische Themen und die Nutzung einer umfassenden Datenintegrationsplattform können die Qualität und den Erfolg des Projekts erheblich steigern. Hört rein welche Erfahrungen Andreas und Marcus in Ihren BI-Projekten damit gemacht haben und warum ist ein es besser ist im Team zu arbeiten. Oder sind sie da nicht einer Meinung? Natürlich gibt es auch wieder drei interessante Takeaways für euch!
#064 Wie kann man seine BI Kosten besser steuern?

In der heutigen Folge beleuchten wir die Integration von Financial Operations (FinOps) in DevOps-Praktiken, um eine kosteneffizientere und leistungsstärkere Datenplattform in der Cloud zu schaffen. Angesichts der stetig wachsenden Anforderungen an die digitale Transformation wird die Verschmelzung dieser beiden Methoden immer entscheidender. Sorgt FinOps wirklich für eine bessere Kosteneffizienz und zeigt auf welche Kosten wirklich dahinterstecken? Haben wir alle Kosten, die bei der Nutzung von Cloud-Diensten anfallen, einschließlich Infrastruktur, Lizenzen, Personal und Tools bedacht? Verstehen wir die Kostenstruktur des Datenprodukts und wie Sie diese optimieren können? DevOps, mit seinem Fokus auf kontinuierlicher Integration, kontinuierlicher Bereitstellung und schnellem Einsatz, gewinnt durch die Einbindung von FinOps-Prinzipien erheblich an Effektivität. Wichtig ist es die vollumfängliche Betrachtung aller Kosten (intern wie extern) zu erhalten, um ein vollständiges Bild der finanziellen Ausgaben zu erhalten. Können Echtzeit-Finanzdaten über die Betriebskosten die Entscheidungen verbessern und führt das zu einer effizienteren Ressourcennutzung und einer Reduzierung finanzieller Verschwendung? Hört rein, wie die Kombination von FinOps und DevOps Ihr Unternehmen voranbringen und eine robustere, kosteneffiziente Cloud-Strategie ermöglichen kann. Welche Erfahrungen haben Andreas und Marcus in Ihren BI-Projekten damit gemacht und warum ist ein unkorrekter Plan besser als gar kein Plan? Hört mal rein wie die Kombination von FinOps und DevOps das Unternehmen voranbringen und eine robustere, kosteneffiziente Cloud-Strategie ermöglichen kann. Natürlich gibt es auch wieder drei interessante Takeaways für euch!
#063 Kaufen oder selber machen?

In der komplexen Welt des Business Intelligence (BI) steht man oft vor der grundlegenden Entscheidung: Soll man eine Lösung kaufen oder selbst entwickeln? Diese Entscheidung hängt von einer Vielzahl von Faktoren ab und ist selten einfach zu treffen. Es ist eine "It depends"-Entscheidung, die von vielen Variablen beeinflusst wird. Ein wichtiger Aspekt bei dieser Entscheidung sind die Kosten. Doch dieser umfasst weit mehr als nur den reinen finanziellen Aufwand. Natürlich spielen Budgetbeschränkungen eine Rolle, aber auch Zeit, Ressourcen und die langfristige Weiterentwicklung der Lösung sind entscheidende Faktoren. Es gilt, die Gesamtkosten zu analysieren und abzuwägen, ob der Kauf einer Lösung oder die Eigenentwicklung langfristig die wirtschaftlichste Option ist. Wenn dann die Fragen kommen, wo sollen die Daten gespeichert werden hat die Auswahl des richtigen Speicherorts Auswirkungen auf die Sicherheit, Skalierbarkeit und Verfügbarkeit der Daten. Die Wahl der Programmiersprache kann die Effizienz der Entwicklung erheblich beeinflussen. Dabei stellt sich die Frage, ob eine bereits im Unternehmen vorhandene Sprache genutzt oder eine spezialisiertere verwendet werden soll. Maßgeschneiderte Lösungen können spezifische Unternehmensanforderungen ideal erfüllen, erfordern jedoch umfangreiche Ressourcen an Know-how, Personen und Zeit. Die Erweiterbarkeit der Lösung ist ebenfalls entscheidend: Kann sie zukünftige Anforderungen und Entwicklungen berücksichtigen? Es ist wichtig, alle relevanten Aspekte sorgfältig zu prüfen, um die beste Lösung zu finden. Neben technischen Überlegungen sollten auch praktische Implikationen wie Kosten-Nutzen-Analysen, Schulungsbedarfe und potenzielle Auswirkungen auf die zukünftige Datenanalyse berücksichtigt werden. Aber was das bei Andreas und Marcus mit dem Brötchenkauf beim Bäcker oder Entscheidung beim Autokauf und individuellen Anpassungen zu tun hat? Hört einfach mal rein, welche Erfahrungen Andreas und Marcus in Ihren Projekten dazu gemacht haben. Natürlich gibt es auch wieder drei interessante Takeaways für euch!
#061 Wie nähern wir uns neuen Funktionen, wie dem Direct Lake?

Tauche ein in die faszinierende Welt des Direct Lake und entdecke, wie wir uns neuen Funktionen nähern. Hier dreht sich alles um frische Themen und Funktionen, die neue Möglichkeiten versprechen. Neue Features werden mit Begeisterung angepriesen, und es gibt keine Grenzen für die Details, die wir erkunden können. Wir tauchen tief ein, um jedes neue Feature zu verstehen und zu optimieren. Und wenn es um Framing, Syncing und Cache-Warming geht, stellen wir sicher, dass das Datenmodell und der Datenfluss optimal bleiben. So bleibt unser Reporting jederzeit einsatzbereit. Doch lassen wir auch keine Fragen offen, was 50 Shades of Direct Lake und Nicola damit zu tun haben... Auch bestehende Features und Funktionen, wie etwa den Datalake, müssen wir stets im Blick behalten. Das Produkt bleibt nicht stehen, sondern entwickelt sich kontinuierlich weiter und erhält neue Funktionen. Doch müssen wir diese immer vorab ausprobieren, bevor wir sie beim Kunden präsentieren? Oder ist der Übergang eher mit einem Beipackzettel zu neuen Medikamenten vergleichbar, der mitunter schmerzhaft sein kann? Die Veränderung ist unausweichlich. Wir hatten nie erwartet, dass sie einfach sein würde, aber wir glauben, dass sich der Aufwand lohnt. Was das Ganze mit einer Westernstadt und Kassettenrecorder zu tun hat hört euch gerne an. Es ist Zeit, den Horizont zu erweitern und die Möglichkeiten zu erkunden, die Fabric, Datalake und Direct Lake uns bieten. Lass uns diese neuen Funktionen anfassen und erleben. So erfahren wir direkt, wie sie unseren BI-Alltag erleichtern, oder nicht? Hört mal rein, wie Andreas und Marcus neue Themen und Features bei Ihrem Lieblingsprodukt sehen und was ihre Einschätzungen, Erfahrungen mit den bekannten und neuen Technologien sind. Wie ist deine Meinung dazu? Auch die 3 Dinge für den Nachhauseweg sind wieder dabei, oder?
#060 Wann teilt man Datenmodell und Visualisierung?

Ist da nach einem Rückblick auf die letzten 10 Folgen noch Zeit für ein neues Thema? Im Schnelldurchlauf geht es durch die vergangenen 10 Folgen über Erfahrungen im Home-Office, Entwicklungen, Performanceoptimierung, Standardisierung und Data Driven People. In der sich ständig wandelnden Welt der Informationstechnologie steht eine entscheidende Frage im Mittelpunkt: Sollten wir unseren Benutzern die volle Kontrolle über ihre digitalen Erfahrungen geben oder lieber die Systeme streng voneinander trennen? Es ist die ultimative Auseinandersetzung zwischen Freiheit und Sicherheit, Effizienz und Kontrolle. Auf der einen Seite steht der Self-Service, ein Konzept, das die Grenzen zwischen dem Benutzer und der IT verschwimmen lässt. Mit einem Fingertipp können Benutzer tiefe Einblicke in Datenbanken und Daten erhalten – alles ohne die Wartezeit auf IT-Support. Doch auf der anderen Seite lauert die dunkle Seite der IT – die Systemtrennung. Hier werden die Grenzen klar gezogen, um sensible Informationen zu schützen und sicherzustellen, dass wir Compliance-Vorschriften einhalten. Der Zugang ist streng reglementiert, und nur autorisierte Anwenderkreise dürfen durch die Tore dieser digitalen Festung treten. Aber müssen wir wirklich zwischen diesen beiden Welten wählen? Ist es möglich, die Freiheit über unsere Datenhoheit zu entfesseln, ohne dabei die Sicherheit zu gefährden? Vielleicht liegt die Zukunft der Informationstechnologie genau in dieser Frage – in der Kunst, die Vorteile des Self-Service zu nutzen, ohne dabei die Notwendigkeit der Systemtrennung zu vernachlässigen. Willkommen in der digitalen Ära, wo jede Entscheidung einen neuen Weg in die Zukunft ebnet. Bereit, die Grenzen des Möglichen zu überschreiten? Sind Marcus und Andreas da einer Meinung oder trennen Self-Service vs. Trennung der Systeme auch Sie? Hört mal rein, was Marcus und Andreas in ihrem BI-Leben erlebt haben, was ihre Erfahrungen mit den bekannten und neuen Technologien sind und wie Ihre Meinung dazu ist. Auch die 3 Dinge für den Nachhauseweg sind wieder dabei, oder?
#057 Wie viel Real-Time ist im BI sinnvoll?

Das Thema Echtzeitdaten im Bereich Business Intelligence (BI) ist zweifellos von großer Bedeutung, und Andreas hatte kürzlich das Vergnügen, mit Kathrin Borchert darüber zu sprechen. Ihre Betonung der Wichtigkeit von Echtzeitdaten für bestimmte Geschäftsszenarien, insbesondere in schnelllebigen Branchen wie dem E-Commerce oder der Finanzdienstleistungsbranche, war äußerst interessant. Es ist unbestreitbar, dass Live-Daten Unternehmen einen erheblichen Wettbewerbsvorteil bieten können, indem sie es ermöglichen, schnell auf Marktveränderungen zu reagieren und fundierte Entscheidungen in Echtzeit zu treffen. Allerdings sollten wir auch berücksichtigen das Near-Realtime-Daten hier oft ausreichend sein können, da sie eine schnellere Aktualisierung bieten als tägliche Daten, aber nicht unmittelbar in Echtzeit sind. Diese Art von Daten eignet sich gut für die Überwachung von KPIs und die Analyse von Trends oder Entwicklungen, oder? Auf der anderen Seite können einmal täglich aktualisierte Daten für die Analysen geeignet sein, insbesondere wenn es um Trends und strategische Entscheidungen geht. In solchen Fällen kann es ausreichen, auf vortagesaktuelle Daten zurückzugreifen, um Einblicke in die Leistung des Unternehmens zu gewinnen. Hier stellt sich jedoch die Frage, ob neue Ansätze notwendig sind, um mit der sich ständig wandelnden Geschäftswelt Schritt zu halten. Die Lambda-Architektur bietet eine Möglichkeit, verschiedene Arten von Daten zu verarbeiten und zu speichern, sowohl in Echtzeit als auch in Batch-Verarbeitung. Die Kombination von Echtzeit- und Batch-Datenverarbeitung ermöglicht es Unternehmen flexibel auf ihre spezifischen Anforderungen zu reagieren und die Vorteile beider Ansätze zu nutzen. Insgesamt ist es wichtig, die Anforderungen und Szenarien des Unternehmens genau zu verstehen, um festzustellen, wie viel Realtime im BI sinnvoll ist und was der Kunde wirklich für seine Anforderungen benötigt. Dies erfordert eine sorgfältige Abwägung zwischen den Vorteilen der Echtzeitdaten und den damit verbundenen Kosten und technischen Herausforderungen. Aber was hat das Ganze mit Lambda-Architektur, Direct Lake und dem Data Activator in Power BI zu tun? Hört rein, wie unsere Erfahrungen damit sind und was das Ganze mit Schrauben, Golf und der BI Pyramide zu tun hat. Werden wir diesmal einer Meinung sein? Natürlich dürfen die drei Dinge für den Nachhauseweg nicht fehlen – seid gespannt darauf, was die beiden Experten zu erzählen haben!
#056 Standardisierung und Flexibilität durch ein BI Produkt? Gast: Michael Jungschläger

In der Welt der Datenintegration und Datenaufbereitung stellt sich die Frage: Kann die Effizienz durch klare Leitplanken und Standardisierungen verbessert werden? Eine Schlüsselfrage ist, wie man mit diesen Prinzipien "klein starten und mitwachsen" kann. Hier kommen Konzepte wie Hubs, Links und Satelliten ins Spiel, die im Kontext des Data Vaults eine feine Granularität in der Datenorganisation für den Core ermöglichen. Der modulare Ansatz verspricht, das System jederzeit abzubilden und reproduzierbar zu machen. Welche Erfahrungen hat Michael in seinen Projekten mit solchen Ansätzen gesammelt? Wie haben sich Konzepte wie Hubs, Links und Satelliten in der Praxis bewährt, wenn es darum geht, Daten effizient aufzubereiten und zu integrieren? Eine weitere spannende Frage betrifft den Einsatz eines Technologie-Stacks im flexiblen Self-Service-Umfeld von Power BI. Hier steht die Herausforderung im Raum, die Prinzipien von Standardisierung und Freiheit in Einklang zu bringen. Wie kann man weiterhin flexibel auf sich ändernde Anforderungen und Datenquellen reagieren, während klare Entwicklungsrichtlinien eine solide Basis für Wartbarkeit und Skalierbarkeit bieten? In unserem Gespräch mit Michael werden wir auch den Zusammenhang zwischen Baukastenkonzept, iterativen Prozessen beleuchten. Was ist in diesem Zusammenhang mit User Exits gemeint? Wie tragen diese Elemente dazu bei, eine effiziente Datenintegration und -verarbeitung zu gewährleisten? Wie können iterative Prozesse bei der Datenintegration die Agilität und Anpassungsfähigkeit zu fördern? Kann man mit einem ausgewogenen Ansatz, der die Integration von Technologien, einem Standard-Tool, klaren Leitplanken und einem bewährten Vorgehensmodell wie dem Data Vault-Konzept, effiziente Datenintegration und -verarbeitung in BI-Projekten sicherstellen? Hört rein, wie Michael seine Erfahrungen mit Andreas und Marcus teilt. Werden sie diesmal einer Meinung sein? Natürlich dürfen die drei Dinge für den Nachhauseweg nicht fehlen – seid gespannt darauf, was die Experten zu erzählen haben!
#055 Wie bekommen wir Performance ins BI-System?

In der modernen Welt ist Performance der Schlüssel für eine reibungslose Funktionalität von Business Intelligence-Systemen. Es ist entscheidend, sich dabei nicht in den Details des Codes zu verlieren, sondern den Fokus auf effiziente Lösungen zu legen. Doch was geschieht, wenn Performanceprobleme auftreten? Wie steht es um den Wissensstand und die Ausbildung? Ist der vermeintlich langsame Bericht tatsächlich langsam oder nur ein Gefühl? Können Schulungen im Vorfeld einer fehlerhaften Implementierung entgegenwirken? Ein zentraler Aspekt der Berichtsperformance ist der Ort, an dem die Berechnungen stattfinden. Während in der Demo alles reibungslos ablaufen mag, können in der Produktion Engpässe entstehen, insbesondere wenn Berechnungen auf dem Server oder im Browser durchgeführt werden. Es ist von großer Bedeutung, den genauen Ort der Berechnungen zu überprüfen und sicherzustellen, dass die Serverkapazitäten ausreichend sind. Kann man durch einfache Regeln die Performance sicherstellen? Ist es sinnvoll, beim Laden der Daten Zeit in Kauf zu nehmen, um später in der Berichtsperformance Gewinne zu erzielen? Eine bewusste Ausrichtung auf Performance, nicht nur technologisch, sondern auch im Hinblick auf ökologische Nachhaltigkeit, spielt eine entscheidende Rolle. Ist dies bereits Green IT? Effiziente Abläufe tragen nicht nur zur optimalen Nutzung von Ressourcen bei, sondern minimieren auch den ökologischen Fußabdruck. In diesem Zusammenhang sind klare Verantwortlichkeiten, effektive Teamzusammenarbeit und der Einsatz geeigneter Werkzeuge entscheidend. Nur so kann gewährleistet werden, dass der ressourcenschonende Einsatz ohne Einbußen bei der Analyseperformance den Anforderungen gerecht wird. Hört rein, wie Marcus und Andreas durch ihre Erfahrungen in Kundenprojekten geprägt sind. Sind sie diesmal einer Meinung? Natürlich dürfen die drei Dinge für den Nachhauseweg nicht fehlen – seid gespannt darauf, was die beiden Experten zu erzählen haben!