硬核技术
LSM Tree存储格式
(1)LSM Tree是什么 LSM Tree,即日志结构合并树(Log-Structured Merge-Tree),是一种被精心设计的数据结构,常用于处理大量写入的场景。通过对写入操作进行顺序写入优化实现性能提升。LSM tree 是很多数据库内部的核心数据结构。 (2)为什么要用LSM Tree 传统关系型数据库使用B-Tree或一些变体作为存储结构,能高效进行查找,但保存在磁盘中时它也有一...
阅读更多(1)LSM Tree是什么 LSM Tree,即日志结构合并树(Log-Structured Merge-Tree),是一种被精心设计的数据结构,常用于处理大量写入的场景。通过对写入操作进行顺序写入优化实现性能提升。LSM tree 是很多数据库内部的核心数据结构。 (2)为什么要用LSM Tree 传统关系型数据库使用B-Tree或一些变体作为存储结构,能高效进行查找,但保存在磁盘中时它也有一...
阅读更多活动回放 klustron内核研发-吴夏 甲骨文MySQL解决方案首席工程师-徐轶韬 天云数据专家工程师-乔旺龙 腾讯专家工程师-陈开旺 阿里云PolarDB高级技术专家-蔡畅 华为云数据库软件总工-彭立勋 感谢大家! ACMUG简介 ACMUG,全称为中国MySQL用户组 (All China MySQL User Group) ,是MySQL和MariaDB在中国最大的技术社区,是得到了Ora 阅读更多…
,第一期将Hubble的全貌概述出来了,本期我们将进入到每个技术的细节里面,同时大家也会对分享的内容产生更多的思考,一个是Hubble实现这些技术点的思考,一个是对技术点实现过程的思考。我们将会逐步的进行分享讲解这些技术点。
天云数据-Hubble 数据库团队第一期技术分享会于 2023 年 2 月 26 日在天云数据一楼大厅成功举办,这是一场纯技术干货的分享会,从五个部分带你走进分布式数据库的世界,第一部分:我国分布式数据库的产业现状如何?第二部分:分布式数据库逐渐成为主流;第三部分:分布式数据库解决的问题;第四部分:数据库的定位;第五部分:数据库技术发展的路线图,现将精心制作的讲解视频分享出来,与大家共同学习,如果 阅读更多…
为及时查看各分支行的目标进度,业务提出在支行查询主页设计个人存款余额和对公存款余额两个指标;对于分行权限人员,可以查到两个指标分行视角值,同时显示一个列表,显示各家支行的两个指标余额。
人民币冠字号码信息管理系统主要是为满足中国人民银行对现金冠字号码数据集中存储和查询的监管要求,根据监管要求,现金冠字号码信息管理系统拟在该行所有现金机构进行部署。
Oracle 数据迁移 Oracle映射到hubble数据类型 使用之前创建的SQL文件,编写IMPORT TABLE与要导入的表数据的模式匹配的语句。删除所有特定于Oracle的属性,重新映射所有Oracle数据类型,重构所有CREATE TABLE语句以包括主键。使用下表进行数据类型映射: Oracle数据类型 hubble数据类型 BLOB BYTES 1个 CHAR(n),CHARACTE 阅读更多…
MySQL单表迁移至Hubble 步骤一:导出需要迁移的表 步骤二:将导出的数据文件放置于集群可访问到的位置 Hubble集群中的每个节点都需要访问到需导入的数据文件。可使用httpd服务。 URL必须使用以下格式: 当前支持的类型如下: 类型 schema host 参数 示例 http http 主机地址 N/A http://localhost:8080/mydatest.sql NFS/L 阅读更多…
需求背景 随着互联网时代的到来,人们足不出户用手机就可以在手机银行中办理各种业务,便捷的网上交易使得银行系统中积累的数据量越来越大,为了保证核心数据存储系统能正常工作,该银行无法实时查询交易五年以上的历史数据,需要预约等待查询。如遇到公安办案、监管部门查交易明细等紧急重要的情况下,无法满足实时查询的需求,会出现影响办案的时效性等问题,历史数据查询难度日益增加。 银行数据存贮现状 银行核心系统可能发 阅读更多…
(1)什么是独占空间和非独占空间 数据库底层是表,表分为大表(类似银行交易表,数据量非常大)和小表(可维护的表,数据量比较小)。独占空间是指表存储在一个独立空间里;非独占空间是指各类表共用一个空间。 (2)为什么需要独占空间和非独占空间 a)由于小表数据量比较少,占一个独立空间会造成资源浪费,非独占空间会把大量小表存储在一起,共同占用一个空间;b)大表数据量非常大,一般单独存储在独占空间中,大表和 阅读更多…
(1)什么是事务隔离级别可串行化 事务隔离级别,就是为了解决解决隔离级别中“脏读可能性、不可重复读可能性、幻读可能性、加锁读”的问题。事务隔离级别越高,在并发下会产生的问题就越少,但同时付出的性能消耗也将越大,因此很多时候必须在并发性和性能之间做一个权衡。所以设立了几种事务隔离级别,以便让不同的项目可以根据自己项目的并发情况选择合适的事务隔离级别,对于在事务隔离级别之外会产生的并发问题,在代码中做 阅读更多…
利用海关跨境电商进口业务数据,经过本体定义及数据处理、融合,完成复杂网络的构建。将订单、支付单、运单、清单等近30GB的数据进行数据清洗、编码转换及数据关联。对跨境电商业务数据进行统计和分析,找出跨境交易中存在偷税漏税行为的电商企业。
平台主要从大数据的各种类型数据通过接口进行采集,数据经过处理加工后进行归集存储,金融服务平台可以从基础数据平台获取信用报告和信用分所需的数据,可以让运营人员在平台上查看归集数据的状态,查看评分模型、修改评分指标分值。
公安系统原有数据库无法实时查询三个月以上的历史数据,当并发量高时需要排队查询,时间较长,影响用户的使用情况。这种情况下就需要数据库既可以做到高效存储、高并发量快速查询,便于扩容又可以同时支持业务读写和统计分析。
利用该公司现有的2.4亿活跃用户以及500万供货商和合作伙伴所产生的交易数据,构建企业级金融供应链企业图谱与该数科公司金融内、外部各个系统之间相互关系,识别企业客户的风险。通过在业务场景下的节点定义和关系定义,搭建供应链金融企业图谱。
采用大数据及AI技术,解决客户流失率上升的问题,分析流失原因,帮助挽留客户。提前预测客户流失倾向并针对性推荐手段挽留,做的千人千面,个性化挽留。能让收展员对自己客户的收缴保费情况一目了然,指引收展员关注当前需要重点关注的客户。
点击流数据指用户访问网站时的所有访问、浏览、点击行为数据。而所有这些信息都可被保存在网站日志中,通过分析这些数据,可以获知许多对网站运营至关重要的信息。采集的数据越全面,分析就能越精准,数据与决策下沉,实现一线信息穿越。
融合HTAP技术、图技术,根据证监会对券商资管产品的监管需求,建立了资管产品间的关联关系,同时利用标签传播及闭环发现等图算法建立资管产品的风险预警,通过将所有的数据信息在业务场景下的节点定义和关系定义,搭建监管数据分析图谱。
以交易体量为依据,进一步探索多维数据模型在经营与风险分析的应用方法,同时完善接口规范的各种定义和标准。 基于复杂网络技术实现接口规范中各接口表之间的勾稽关系展现。构建图应用场景,实现对资管产品在数量、销售、投资、风控等方面的宏观掌控。
信用卡风险管理重心由贷前向贷中后移,在信审大贷的四个业务中,对风险进行快速反应、联动管控;并要求作业人员往多技能、全技能方向发展,以客户为维度开展工作,及时发现、防控及规避风险。
为方便用户对标签的开发及验证工作的快速迭代,需要每天定时同步指标清单及相关数据到统一营销门户,对同步的结果有针对性的校验措施,支持按照业务需求生成标示文件并在标识文件中存储用户所需的验证信息。
企业经常采取相互担保、循环担保等复杂的担保关系情况,这种行为容易给银行造成损失。利用企业之间的法人关系、供应链关系等相关关系,构建对公企业族谱,分析网络担保风险,进而发现潜在的风险。
在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息抽象成标签,利用这些标签将用户形象具体化,构建全景客户画像,及时洞察客情、构建个性化客户互动体验,从而为用户提供有针对性的服务。
基于复杂网络图算法和大数据技术,利用企业的既有数据,建立起企业之间链路形态,并对每种链路形态的风险特征进行了统计,以发现风险程度高的链路形态,同时发现风险程度高的“担保群”。
把申请人基础信息构建社交网络图,设计并计算出相关社交数据。构建完成社交网络后,设计并计算阶度、阶欺诈数等网络指标,从好友数量、亲密程度等网络视角衡量欺诈风险的传播。
该银行核心业务系统单次查询客户历史交易明细时间段跨度不能超过一年,一年前的交易数据以光盘库、磁带库等形式存放,导致查询效率低查询成本高,需要一套系统支持全量数据实时存储查询分析。