Etl.

ETL反attern:忽略日志记录

在我最后的Etl Antipatterns帖子中,我写了关于删除的,但记录ETL流程的非常必要的工作。 ETL操作的日志记录与文件一样(UN)作为文档,但在数据移动和转换过程的支持中同样重要。在这篇文章中,我’LL在ETL过程管理中讨论常见的错误:忽略日志。什么…


ETL反饰特:跳过文件

文档是一种资产,既讨厌和被爱。创建技术和商业文档通常被视为乏味的苦难,真正应为每个项目做的事情,但通常是一个轻松的候选人,直到以后(或完全跳过)。另一方面,良好的文件–特别是围绕数据移动和ETL过程…


ETL反饰特:负载唐的过程’t Scale

Etl. 进程开发中最重要的设计考虑之一是要处理的数据量。大多数ETL流程都有时间约束,要求它们在给定窗口内完成其负载操作,并且处理数据所需的时间通常决定负载的设计。我越常见的一个’ve seen…


ETL反attern:未能测试和验证

“如果它编译,它可以工作。” –失业的开发人员建设ETL流程非常容易。建立尽快提供准确结果的ETL进程基本上更加困难。现代ETL工具(包括我的个人收藏,SQL Server Integration Services)使其易于创建简单的负载过程。那’是一件好事,因为易于理解的前端缩短了…


ETL反attern:未能将ETL逻辑视为源代码

在大多数数据项目中,构建提取 - 变换负载(ETL)逻辑需要大量的时间。 Enterprise ETL进程必须妥善处理多件事:检索足够的数据以满足业务需求,将任何所需的转换应用于该数据,并将其加载到目的地,而不会中断任何其他业务流程。建造和验证的工作…


Etl反典:懒惰的元数据

如果数据是列车,则元数据是它行程的轨道。 ETL进程中的良好元数据定义将有助于确保数据的流程是可预测的,稳健的,并且被正确约束以避免错误。但是,许多ETL过程涉及到元数据时采取脱掉的方法。在某些情况下,这是这位洛杉矶童话设计…


ETL反图:执行满载而不是增量负载

在我的最后一篇文章中,我写了关于摄取或加载更多数据的常见反attern,而不是必要的。此简要介绍通过执行完整的数据加载而不是使用较小的增量负载来涵盖比所需的更具数据的特定情况。 ETL反图案:在此之前执行满载而不是增量负载…


ETL反attern:从编写代码开始

在我的第一个帖子中我的Etl Antipatterns,我’m将在构建提取变换负载(ETL)过程时讨论其中最常见的缺陷之一:直接跳转到写入代码作为第一步。 Etl反attern:从编写代码开始,大多数数据架构师和开发人员都很好奇的人。当我们看到一组数据时,我们想要…


Festivus 2020的十一天

We’在12月下半年重新舍入一下,这意味着它’我最喜欢的假期时间:Festivus!像你们中的许多人一样,我喜欢聚集在节日杆周围,分享历史悠久的传统,如力量的壮举和租赁的播出。但我最喜欢的斯法斯州传统在这博客上举行:十一点…


什么,为什么,何时,以及如何增量负载

当在提取,转换和加载(ETL)过程中移动数据时,最有效的设计模式是仅触摸您必须的数据,只需自上次负载运行以来新添加或修改的数据。这种增量负载模式通常会呈现最少的风险,需要更少的时间来运行,并保留…