处理复杂的数据集成,你还在编写脚本吗?
数据并不单独存在于一个数据库、文件系统、数据湖或存储库中。在记录系统中创建的数据必须满足多种业务需求,与其他数据源相集成,然后才能在分析、面向客户的应用程序或内部工作流中使用。处理例子包括:
来自电子商务应用程序的数据与用户分析、客户关系管理 (CRM) 系统中的客户数据或其他主数据源相集成,以建立客户细分并定制营销信息。物联网 (IoT) 传感器数据与运营和财务复杂数据存储相关联,用于控制吞吐量和报告制造过程的质量。员工工作流应用程序把跨多个软件即服务 (SaaS) 平台和内部数据源的数据和工具连接到一个易于使用的移动界面中。许多企业还拥有数据科学家、的数数据分析师和创新团队,他们越来越需要整合内部和外部数据源。开发预测模型的数据科学家通常会加载多个外部数据源,例如计量经济学、天气、人口普查和其他公共数据,然后将它们与内部数据源混合。进行据集人工智能试验的创新团队需要聚合大量且通常很复杂的数据源来训练和测试他们的算法。曾经在电子表格中执行分析的业务和数据分析师现在可能需要更复杂的工具来加载、加入和处理多个数据供给。
用成,编程和脚本处理数据集成对于任何具有基本编程技能的人来说,将数据从源移动到目的地的最常见方法就是开发一个简短的脚本。代码从一个或多个源中提取数据,执行任何必要的数据验证和操作,并将其推送到你还一个或多个目标。
开发人员可以使用多种方法对点对点的数据集成进行编码,例如:
将数据变化推送到其他数据库系统的数据库存储过程作为预定工作或服务来运行的脚本当应用程序的最终用户更改数据时向在编服务发出警报的webhook连接系统间数据的微服务部署到无服务器架构的小型数据处理代码片段这些编码过程可以从多个源中提取数据,在将数据传送到目标数据源之前加入、筛选、清理、验证和转换数写脚据。
编写脚本可能是一种快速简便的数据移动方法,但它并不算是专业级的数据处理方法。生产级数据处理脚本需要自动执行处理和传输数据以及处理多个操作所需的步骤步骤。
例如,处理大量数据的集成应本吗该是多线程的,并且对有许多数据源的工作也需要可靠的数据验证和异常处理。如果需要有效的业务逻辑和数据转换,开发人员应该记录这些步骤或采取其他措施来确保这些集成是可以被观察到的。
支持这些处理操作需求的脚本编程并非易事。它要求开发人员预测数据集成可能出现的问题,并相应地进行编程。此外,在使用很多实验数据源时,开发自定义脚本可能并不划算。所以最后,数据集成脚本通常难以在多个开复杂发人员之间进行知识转移和维护。
出于这些原因,许多有数据集成需求的企业通常会寻找编程和编写数据流脚本之外的方法。
作者:Isaac Sacolick是StarCIO的总裁,也是亚马逊畅销书《推的数动数字化:通过技术实现业务转型的领导者指南》的作者。Sacolick是公认的顶级社交CIO和数字化转型影响者。他在InfoWorld.com、CIO.com、他的博客Social、据集Agile和Transformation以及其他网站上发表了700多篇文章。
原文网址:https://www.infoworld.com/article/3621992/why-you成,-need-a-data-integration-platform.html
- ·标签: SpaceX IPO ITAR 美国国防
- ·标签: 国民技术 港交所上市 集成电路设计 控制芯片
- ·一文看懂2025云栖大会技术发布:阿里云大模型七连发、新一代磐久AI服务器亮相
- ·标签: 小米 MiMo-V2 库克 李宇春
- ·标签: AI
- ·标签: 澳大利亚 Meta Instagram eSafety
- ·Facebook今年上市智能眼镜,虚拟现实功能恐缺席
- ·数据分析能力分级模型,你在哪一级?
- ·标签: 百度智能云 红手指 Operator OpenClaw 龙虾应用
- ·小米发布最强大模型系列,MiMo-V2. 5 正式开启公测
- ·骗人还是文字强!MIT最新研究:DeepFake换脸还不如编辑动动笔
- ·云计算开发:Python内置函数-zip()函数详解
- ·标签: 寒武纪 优必选U1 REDMIK90至尊版 人形机器人
- ·阿里云被暂停网络安全威胁信息共享平台合作单位
- ·标签: 宇树科技 具身智能 人形机器人 科创板IPO
- ·2022年六个要避免的顶级云成本优化问题以及应对方式 译文
- ·美团发布 LongCat-Flash-Chat:560B 参数模型再创新高,智能体表现惊艳!
- ·标签: 米哈游 绝区零 番鼠鉴赏家 sijsusu
- ·信服云联合恒生电子、蓝凌、Coremail发布金融云解决方案
- ·云计算核心技术Docker教程:Docker Hub官方镜像
- ·云计算核心技术Docker教程:Docker Swarm 模式授予服务访问卷或绑定挂载的权限
- ·标签: 长安启源A07 IACC 瑞金交通事故 智能驾驶辅助
- ·哈佛推出新 AI 工具,助力治疗帕金森、阿尔茨海默和癌症
- ·标签: OPPO 段要辉 内容审核 品牌公关
- ·标签: 尚界 肖战 尚界Z7 鸿蒙智行
- ·历史性逆转!谷歌Gemini终结ChatGPT霸榜神话,登顶美区iOS免费榜
- ·https://www.thealexandrian.net/?s=小旋风万能蜘蛛池【tg:seogoogle987】,VY8
- ·https://www.unclefossil.com/search/小旋风万能蜘蛛池【tg:seogoogle987】,xlI
- ·https://www.qylaws.com/search/小旋风万能蜘蛛池【tg:seogoogle987】,Xyd
- ·https://www.lezhin.com/ko/tags/小旋风万能蜘蛛池【tg:seogoogle987】,2ET
- ·https://dict.naver.com/dict.search?dicQuery&query=小旋风万能蜘蛛池【tg:seogoogle987】WJT
- ·https://www.remit.co.jp/vi/?s=小旋风万能蜘蛛池【tg:seogoogle987】,WuS
- ·https://www.nbm.org/?action=QUERY&s=小旋风万能蜘蛛池【tg:seogoogle987】,xlh
- ·https://www.teacherspayteachers.com/Browse/Price-Range/Free/Search:小旋风万能蜘蛛池【tg:seogoogle987】,7zG
- ·https://www.sebson.de/en/search?query=小旋风万能蜘蛛池【tg:seogoogle987】,ukP
- ·https://www.vet-direct.com/search?cat=72&term=小旋风万能蜘蛛池【tg:seogoogle987】,EP8
- ·标签: 广州车展2025 元戎启行 城市NOA Robotaxi RoadAGI
- ·标签: 携程集团 无理由事假 梁建章 灵活办公
- ·Alphabet Q3营收651亿美元 其中谷歌云部门营收近50亿美元
- ·浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛欴ocker浣跨敤Amazon CloudWatch Logs 鏃ュ織璁板綍椹卞姩绋嬪簭
- ·标签: 蔚来 李斌 轻量化 新能源车
- ·亚马逊推出 Lens Live AI 功能:实时扫描购物新体验
- ·抖音发布公告打击 AI 技术滥用行为 对违规商家商家和达人采取下架、清退等措施
- ·软银豪掷225亿美元加码OpenAI,AI音乐与超级融资计划全面提速
- ·云计算开发:Python练习实例-列表使用实例
- ·“无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅?
