Etl. 最佳实践

使用ETL分期表

大多数传统ETL流程使用三个不同和串行流程执行其负载:提取,然后是转换,最后加载到目的地。然而,对于一些大或复杂的负载,使用ETL分期表可以实现更好的性能和更不复杂性。作为我在ETL最佳实践中的持续系列的一部分,在这篇文章中,我会一些建议…


在ETL中管理坏数据

在我正在进行的关于ETL最佳实践中的最后一篇文章中,我讨论了错误处理在ETL流程中的重要性,审查了应用程序流程的最佳实践,以防止或优雅地从系统错误或数据异常中恢复。在这篇文章中,我将进一步挖掘该主题以探索用于在ETL中管理不良数据的设计模式…


What is ETL?

在我正在进行的ETL最佳实践中,我说明了已被证明是非常有效的提取转换载荷设计模式的集合。为了对主题的全面覆盖范围的兴趣,我正在添加列表一个介绍性的前预示来解决基本问题:什么是ETL?什么是ETL? Etl为提取,转换,…


ETL Error Handling

在设计适当的ETL架构时,必须有两个必须回答的关键问题。首先是,“这个过程应该做什么?”在任何其他工作继续之前,必须完成数据开始和结束点,转换,过滤等步骤。必须回答的第二个问题是“当过程失败时应该发生的事情?”也…


ETL Atomicity

我还记得我开发的第一个真正的ETL过程。我当时为医院工作,经历了一个主要的系统实现,因为我们用一个带有更多现代的医疗保健应用程序套件,替换了一个17岁的基于UNIX的系统,带有一个带有SQL Server后端的现代医疗保健应用程序。我是任务的建筑,测试和执行该转换的ETL流程。尽管…


ETL Modularity

想象一下,你已经建造了一个软件。事实上,我们将称之为这件事。你把很多工作放入了事情上,它确实是你想要的。您将物品作为更大的解决方案的一部分,并且在几个修订后,其行为被验证并且它是…


ETL Data Lineage

在我在十年半前开始的技术职业之前,我花了几年的工作在执法部门。在那个领域,一个人必须快速学习的一个事情是证据的监管链的概念。我们不得不遵循许多程序,以确保证据不仅收集和保存,…


ETL Auditing

它常常发生得多:一旦ETL进程已经过测试并成功执行,就没有进一步检查,以确保操作实际上做了它应该做的事情。有时需要一天,其他时间需要一年,但最终呼叫来自客户,同事或老板:“这个数据有什么问题?”…


ETL Logging

如果您是轮询他们喜欢最享受的任务的数据专业人员,ETL日志记录可能不会制作列表。但是,对任何ETL架构的成功是必要的,以建立适当的日志记录策略。我喜欢将一个良好的测井基础设施与房子的管道进行比较:它不是明显的,…