精彩博客

使用split_size优化的ODPS SQL的场景

使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下: 说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的...

03/20 11:57
96
0
MySQL 数据库设计经验总结

背景 此文仅在数据库设计层面进行探讨,数据库的运维与底层调优不在讨论范围之内。 更丰富的知识可以在 MySQL 官网文档 查阅。 学习官方文档也是一种好的习惯,能更系统更全面的掌握某一领域...

03/13 16:53
82
0
TiKV 源码解析系列文章(三)Prometheus(上)

作者:Breezewish 本文为 TiKV 源码解析系列的第三篇,继续为大家介绍 TiKV 依赖的周边库 rust-prometheus,本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功...

03/11 13:27
276
0
Nginx多进程高并发、低时延、高可靠机制在缓存(redis、memcache)twemproxy代理中的应用

1. 开发背景 现有开源缓存代理中间件有twemproxy、codis等,其中twemproxy为单进程单线程模型,只支持memcache单机版和redis单机版,都不支持集群版功能。 由于twemproxy无法利用多核特性,因...

02/28 15:23
4.2K
10
硬盘性能的几大误解 - 从共识算法开谈

三周前,我开源了自己写的共识库Dragonboat ,在反馈里发现一些用户对硬盘性能有不少基础性误解,但仔细想来这些坑自己一样踏过。本文从一个软件工程师角度,分享一路走来踏过的几个硬盘性能...

01/30 11:59
3.6K
12
mariadb 内存占用优化

本文由云+社区发表 作者:工程师小熊 摘要:我们在使用mariadb的时候发现有时候不能启动起来,在使用过程中mariadb占用的内存很大,在这里学习下mariadb与内存相关的配置项,对mariadb进行调...

01/23 11:59
1K
5
MySQL插入性能优化

MySQL插入性能优化 标签: 博客 [TOC] 可以从如下几个方面优化MySQL的插入性能。 代码优化 values 多个 即拼接成一个insert values sql, 例如 INSERT INTO MyTable ( Column1, Column2, Colu...

01/17 20:41
4.4K
7
开源一个千万级多组Raft库 - Dragonboat

向大家介绍Dragonboat,一个开源的Go实现的多组Raft库,项目已Apache2协议下开源?;队蠹沂杂?,也请大家点star鼓励:https://github.com/lni/dragonboat 通俗的讲,这是一个分布式共识协议...

01/15 17:33
561
0
写给社区的回顾和展望:TiDB 2019, Level Up !

作者:黄东旭 2018 年对于 TiDB 和 PingCAP 来说是一个由少年向成年的转换的一年,如果用一个关键字来概括就是「蜕变」。在这一年很欣喜的看到 TiDB 和 TiKV 在越来越多的用户使用在了越来越...

01/03 11:49
2.5K
11
美团酒旅起源数据治理平台的建设与实践

背景 作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘。在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持。经过多年的发展,美团酒旅内...

2018/12/28 10:24
598
0
举个栗子看如何做MySQL 内核深度优化

本文由云+社区发表 作者介绍:简怀兵,腾讯云数据库高级工程师,负责腾讯云CDB内核及基础设施建设;先后供职于Thomson Reuters和YY等公司,PTimeDB作者,曾获一项发明专利;从事MySQL内核开发...

2018/12/25 11:34
1K
2
Node.js和NoSQL开发比特币加密货币应用程序(下)

在使用Node.js和NoSQL开发比特币加密货币应用程序(上)中,我们创建了HD钱包,它可以为给定的种子生成无限量的密钥,每个密钥代表一个用户钱包。我们将根据主种子创建每个包含钱包的用户帐户...

2018/12/24 08:57
131
0
基于代理的数据库分库分表框架 Mycat实践

文章共 1796字,阅读大约需要 4分钟 ! 概 述 在如今海量数据充斥的互联网环境下,分库分表的意义我想在此处就不用赘述了。而分库分表目前流行的方案最起码有两种: 方案一:基于应用层的分片...

2018/12/20 07:43
893
5
【MySQL经典案例分析】 Waiting for table metadata lock

本文由云+社区发表 一、 问题是这样来的 2018年某个周末,接到连续数据库的告警,告警信息如下: 二、 苦逼的探索过程 1、总体的思路 看到too many connection的报错信息,基本上可以把问题定...

2018/12/12 11:36
524
3
MySQL驱动对应Server版本、JDK版本

昨日生产上线,临时升级MySQL版本,导致连接不上。 应用JDK版本1.5 测试环境MySQL版本5.7 驱动版本5.1.40.jar 正常 生产环境MySQL版本8.0 驱动版本5.1.40.jar 连接不上 生产环境MySQL版本8.0...

2018/12/11 17:28
624
0
基于keepalived搭建mysql双主高可用

目录 概述 环境准备 keepalived搭建 mysql搭建 mysql双主搭建 mysql双主高可用搭建 概述 传统(不借助中间件)的数据库主从搭建,如果主节点挂掉了,从节点只能读取无法写入,只能把人肉去恢复故障...

2018/11/29 17:10
2.6K
5
postgres预写式日志的内核实现详解-wal记录写入

导读: postgres预写式日志的内核实现详解-概述 如下就是将一个记录存储到wal日志文件的主要函数,本文主要是对这些函数进行逐一说明。 XLogBeginInsert(); XLogRegisterData(); XLogRegiste...

2018/11/29 13:45
409
1
HANA SQL参考及Oracle对照

HANA SQL参考及Oracle对照 在本部分中,主要参考了《SAP_HANA数据库SQL参考手册》,以及《ORACLE sql参考手册》,针对我们日常使用的sql方式、内置函数、关键字,进行了对比 1. 常用SQL写法 ...

2018/11/26 14:04
157
0
以太坊和IPFS如何存储数据

如何将JSON文件存储在IPFS上,并使用Oraclize访问智能合约中的数据呢? 以太坊是一个成熟的区块链,使开发人员能够创建智能合约,在区块链上执行的程序可以由交易触发。人们经常将区块链称为...

2018/11/23 09:32
207
0
TiDB是如何新建一张表的?

TiDB是一个开源分布式数据库,并使用Rust编写的TiKV存储数据,其中TiDB是一个SQL语法解析层,本文使用MockDB模拟本地存储数据,从语法解析到实际存储操作进行分析一张数据表是如何建出来的。...

2018/11/22 10:52
428
0

没有更多内容

加载失败,请刷新页面

Nginx多进程高并发、低时延、高可靠机制在缓存(redis、memcache)twemproxy代理中的应用

1. 开发背景 现有开源缓存代理中间件有twemproxy、codis等,其中twemproxy为单进程单线程模型,只支持memcache单机版和redis单机版,都不支持集群版功能。 由于twemproxy无法利用多核特性,因...

02/28 15:23
4.2K
10
MySQL插入性能优化

MySQL插入性能优化 标签: 博客 [TOC] 可以从如下几个方面优化MySQL的插入性能。 代码优化 values 多个 即拼接成一个insert values sql, 例如 INSERT INTO MyTable ( Column1, Column2, Colu...

01/17 20:41
4.4K
7
基于keepalived搭建mysql双主高可用

目录 概述 环境准备 keepalived搭建 mysql搭建 mysql双主搭建 mysql双主高可用搭建 概述 传统(不借助中间件)的数据库主从搭建,如果主节点挂掉了,从节点只能读取无法写入,只能把人肉去恢复故障...

2018/11/29 17:10
2.6K
5
MySQL5.7多主一从(多源复制)同步配置

多主一从,也称为多源复制,数据流向: 主库1 -> 从库s 主库2 -> 从库s 主库n -> 从库s 应用场景 数据汇总,可将多个主数据库同步汇总到一个从数据库中,方便数据统计分析。 读写分离,从库只...

2018/11/20 11:44
3.5K
18
kettle学习笔记及最佳实践

最近在用kettle迁移数据,从对kettle一点不会到比较熟悉,对于期间的一些问题和坑做了记录和总结,内容涵盖了使用的经验和技巧,踩到的坑、最佳实践和优化前后结果对比。 常用转换组件 计算形...

2018/10/23 12:56
3.2K
11
关于MySQL 通用查询日志和慢查询日志分析

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。 1)通用查询日志:记录建立的客户端连接和执行的...

2018/10/09 14:36
3.3K
6
Python以太坊交互将区块链数据存入sql数据库

关于区块链介绍性的研讨会通常以易于理解的点对点网络和银行分类账这类故事开头,然后直接跳到编写智能合约,这显得非常突兀。因此,想象自己走进丛林,想象以太坊区块链是一个你即将研究的奇...

2018/09/05 09:49
3K
2
Redis 哈希结构内存模型剖析

本文共 1231字,阅读大约需要 5分钟 ! 概述 在前文《Redis字符串类型内部编码剖析》之中已经剖析过 Redis最基本的 String类型的内部是怎么编码和存储的,本文再来阐述 Redis中使用 最为频繁...

2018/08/27 09:00
4.8K
12
MongoDB副本集配置和数据迁移实战

MongoDB副本集配置和数据迁移实战 https://gitee.com/et/ops/blob/master/MongoDB副本集配置和数据迁移实战.md 环境:Ubuntu 16.04, MongoDB 3.6 基本概念 MongoDB 的副本集就是有自动故障恢...

2018/06/30 16:48
1K
1
TiDB 源码阅读系列文章(九)Hash Join

>作者:张建 ## 什么是 Hash Join Hash Join 的基本定义可以参考维基百科:[Hash join](https://en.wikipedia.org/wiki/Hash_join)。简单来说,A 表和 B 表的 Hash Join 需要我们选择一个 In...

2018/06/07 10:25
499
0
高并发大容量NoSQL解决方案探索

大数据时代,企业对于DBA也提出更高的需求。同时,NoSQL作为近几年新崛起的一门技术,也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作,和大数据运维相关经验,分享两大方...

2018/05/14 15:39
4.9K
6
在MySQL中使用explain查询SQL的执行计划

1、什么是MySQL执行计划 要对执行计划有个比较好的理解,需要先对MySQL的基础结构及查询基本原理有简单的了解。 MySQL本身的功能架构分为三个部分,分别是 应用层、逻辑层、物理层,不只是M...

2018/05/05 18:16
2.2K
7
十个实用MySQL函数

十个实用MySQL函数,你要不要进来领走...

2017/12/29 09:46
3.6K
7
谈谈开源(一)

作者 申砾 源码面前,了无秘密 ---- 侯捷 ### 前言 很多人的『开源』是一个比较时髦且有情怀的词汇,不少公司也把开源当做 KPI 或者是技术宣传的手段。但是在我们看来,大多数人开源做的并不...

2017/09/25 19:35
1K
2
浅析开源数据库MySQL架构

数据库是所有应用系统的核心,故保证数据库稳定、高效、安全地运行是所有企业日常工作的重中之重。数据库系统一旦出现问题无法提供服务,有可能导致整个系统都无法继续工作。所以,一个成功的...

2017/09/14 15:35
2.5K
1
MySQL 死锁与日志二三事

最近线上 MySQL 接连发生了几起数据异常,都是在凌晨爆发,由于业务场景属于典型的数据仓库型应用,白天压力较小无法复现。甚至有些异?;贡冉瞎钜?,最后 root cause 分析颇费周折。那实际业...

2017/07/24 02:00
9.2K
20
数据库中间件 MyCAT 源码分析 —— SQL ON MongoDB

![wechat_mp](//www.yunai.me/images/common/wechat_mp.jpeg) > ??????关注**微信公众号**有福利: > 1. RocketMQ / MyCAT / Sharding-JDBC **所有**源码分析文章列表 > 2. Rocke...

2017/07/20 01:32
2K
2
数据库中间件 MyCAT源码分析 —— 跨库两表Join

![wechat_mp](//www.yunai.me/images/common/wechat_mp.jpeg) > ??????关注**微信公众号**有福利: > 1. RocketMQ / MyCAT / Sharding-JDBC **所有**源码分析文章列表 > 2. Rocke...

2017/07/13 21:46
1K
3
如何理解并正确使用MySql索引

1、概述 索引是存储引擎用于快速查找记录的一种数据结构,通过合理的使用数据库索引可以大大提高系统的访问性能,接下来主要介绍在MySql数据库中索引类型,以及如何创建出更加合理且高效的索...

2017/07/10 22:19
7.3K
31
MySQL基于gtid特性与xtrabackup的数据恢复

通过备份文件新建从库,将binlog跑到指定的gtid位置,可以将数据恢复到指定的时间点。

2017/07/05 17:38
2.2K
2

没有更多内容

加载失败,请刷新页面

mysql 系统设置SQL

打开、关闭日志 SET GLOBAL general_log = 'Off'; SET GLOBAL general_log = 'On'; 查看日志是否打开 show variables like '%general%';......

前天 19:35
8
0
深度分析 | MGR相同GTID产生不同transaction故障分析

本文是由爱可生运维团队出品的「MySQL专栏」系列文章,内容来自于运维团队一线实战经验,涵盖MySQL各种特性的实践,优化案例,数据库架构,HA,监控等,有扫雷功效。 爱可生开源社区持续运营...

前天 15:30
4
0
一千行 MySQL 学习笔记

/* Windows服务 */ -- 启动MySQL net start mysql -- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格) /* 连接与断开服务器 */ mysql -h 地址 -P 端口...

前天 08:33
9
0
被爱毁灭——《无声告白》的读后感作文3000字

被爱毁灭——《无声告白》的读后感作文3000字: “莉迪亚死了,可他们还不知道。1977年5月3日早晨6点30分的时候,没有人知道莉迪亚已经死了,他们只清楚一个无伤大雅的事实:莉迪亚来不及吃早...

03/22 22:56
0
0
Ubuntu中安装Elasticsearch

1.安装jre elasticsearch是使用java开发的搜索引擎,因此其运行依赖于java runtime environment,我们在这里不使用Oracel的官方jre,改为使用open-jre。 运行环境: ubuntu:18.04 jre:openj...

03/22 19:41
9
0
MySQL的binlog日志

MySQL的binlog日志 binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL...

03/22 17:06
9
0
oracle 10g使用exp管道压缩方式减小文件大小

以下给出测试方法 1、先创建命名管道 [[email protected]~]$ mknod /backup/orcl p 2、使用管道压缩的方法导出数据 [[email protected] ~] exp system/oracle file=/backup/orcl tables=test & gzi...

03/22 16:05
4
0
《大话数据结构》读后总结(四)

一、算法 1、算法效率的度量方法 1.1 事后统计方法 通过设计好的测试程序和数据,利用计算机计时器对不同算法编制的程序的运行时间进行比较,从而确定算法效率的高低。该方法具有很大缺陷,不...

03/22 13:11
8
0
Mysql-常用日期查询

今天: SELECT * FROM A WHERE create_time = create_time(now()); 昨天: SELECT * FROM A WHERE TO_DAYS( NOW( ) ) - TO_DAYS( create_time) <= 1; 最近7天: SELECT * FROM A where DATE...

03/22 11:51
9
0
mysql经典题目: 科目成绩都大于80分\每个科目的第一名\总成绩排名

数据准备: drop table if EXISTS tmp_1; create table tmp_1 (`Id` INT NOT NULL AUTO_INCREMENT, name varchar(10), subject varchar(10), score int, PRIMARY KEY(`Id`)); insert into tm...

03/22 09:05
10
0
oracle数据库使用expdp导出时,空表丢失的解决方法

执行以下SQLSelect 'alter table '||table_name||' allocate extent;' from user_tables where segment_created='NO'; 把结果全部复制出来,然后执行即可......

03/22 09:00
9
0
Authentication method 'caching_sha2_password' not supported by any of the available plugins.

这是MySQL8.0一个登录验证的问题。 第一步 初始化配置 如果已经初始化了,就直接跳过第一步 你需要知道的是:MySQL安装的路径。我的路径是:G:\mysql-8.0.11-winx64 在C:\Windows\System32路...

03/22 08:44
1
0
tpcc-mysql的安装和使用

# tpcc-mysql的安装和使用 前言 公司要做Mysql方面性能调优,大概浏览一下Mysql一些参数设置后,想开始尝试进行调整测试。但发现一个问题,测试缺乏标准。所以需要一些基准测试标准或者工具。...

03/21 20:35
12
0
RAC之间消息传输流量控制

RAC系统中,对于节点和节点之间数据块一致性的保证是通过消息的机制来保证的,也就是我们常说的gcs和ges的这些消息来确保的。这些消息分别有LMD和LMS的进程在实例之间进行传输。 LMD负责处理...

03/21 16:23
3
0
《大话数据结构》读后总结(三)

一、算法 1、定义 算法是解决特定问题求解步骤的描述,在计算机中表现为指令的有限序列,并且每条指令表示一个或多个操作。 ps:算法为了解决某个或某类问题,需要把指令表示成一定的操作序列...

03/21 13:25
11
0
orcale insert 重复数据不做操作

ORACLE sql: 1.T_DIC INSERT INTO T_DIC ( DIC_ID, DIC_TYPE, DIC_KEY )( SELECT DISTINCT '199999', 'sys_field_class999', 'apply_info999' FROM T_DIC WHERE NOT EXIST......

03/20 19:10
11
0
11g DG中的参数

11g DG中的SEC_CASE_SENSITIVE_LOGON参数 在一次配置dg完成后,备库会时不时的无法自动应用日志,后台日志报错如下: 期间排除了修改sys密码问题、网络问题、参数_system_trig_enabled问题(...

03/20 17:38
3
0
天数计算

汇总收集的,免得下次还要百度 --DATEADD ( datepart , number, date ) --在向指定日期加上一段时间的基础上,返回新的 datetime 值。 --DATEDIFF ( datepart , startdate , enddate ) --返回...

03/20 15:36
10
0
《大话数据结构》读后总结(二)

一、数据结构基本概念 1. 数据类型 数据类型:是指一组性质相同的值的集合及定义在此集合上的一些操作的总称。 在C语言中,按照取值的不同,数据类型可以分为两类: 原子类型:是不可以再分解...

03/20 13:32
19
0
使用split_size优化的ODPS SQL的场景

使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下: 说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的...

03/20 11:57
96
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
  • 习近平为传统文化“代言” 2019-03-25
  • 白蚁斗士感慨: 杭州环境越来越 利于白蚁繁殖 2019-03-25
  • 榆林发布诚信“红黑榜” 拒服兵役者进入“黑名单” 2019-03-24
  • 谈具体的吧,别装模作样了。客观事实与观察事实、科学事实有什么不同? 2019-03-24
  • 特朗普不容小觑,而我们中下层的群众也买不了什么美帝高端奢侈品 2019-03-24
  • 发达国家全这样,尊重个人的选择。[微笑][微笑] 2019-03-24
  • 5月一二三线城市房价环比都涨了,后续会咋样? 2019-03-23
  • 迪玛希全新英单《Screaming 呐喊》首发 将于D时代巡演深圳站首唱迪玛希 2019-03-23
  • 一语惊坛(6月8日):友谊勋章是给国际友人的最高荣誉。 2019-03-23
  • 中央环保督察“回头看” 发现两起虚假整改案例 2019-03-22
  • 今年省内高校招生普增 2019-03-22
  • 建立企业职工基本养老保险基金中央调剂制度 2019-03-22
  • 痛仰乐队新单曲MV《支离》正式上线 犀锐之思展露蜕变雄心痛仰乐队支离 2019-03-22
  • 11金4银!中国队包揽2018年跳水世界杯全部冠军 2019-03-21
  • 湖北出台实施意见社会公益事业信息3年内有望全公开 2019-03-21
  • 915| 319| 332| 336| 382| 313| 190| 726| 159| 24|