habse主键设计例子,hibernate主键生成策略
作者:admin 发布时间:2024-02-07 10:30 分类:资讯 浏览:8 评论:0
HBase存储架构
HBase采用了类似Google Bigtable的数据模型,即一个稀疏的、分布式的、持久化的多维映射表,每个表都由行键、列族、列限定符和时间戳组成。
hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。
hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。
但在HBase中,数据表的行组成是由多个列族组成的,每个列族下面又有许多列。列族是HBase中存储数据的最小单位,而列则是列族中的最小单位。每个列族下面可以有多个列,每个列都可以存储多个版本的数据。
由于在HBase中数据存储是Key-Value形式,若向HBase中同一张表插入相同RowKey的数据,则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上, 避免数据热点现象。
HBase调优:预分区与行键设计
像这样预先创建hbase表分区的方式,称之为预分区。hash(主键) + 年月日时(2019062315)这里只取hash(主键)的前6位,使得行键的长度正好是16,也就是8的整数倍,在64位计算机中,效果最好。
像这样预先创建hbase表分区的方式,称之为预分区。hash(主键)+年月日时(2019062315)这里只取hash(主键)的前6位,使得行键的长度正好是16,也就是8的整数倍,在64位计算机中,效果最好。
已经有自动分区了,为什么还需要预分区? HBase 在创建表的时候,会自动为表分配一个Region,当一个 Region 达到拆分条件时(shouldSplit 为 true),HBase 中该 Region 将会进行 split,分裂为2个 Region,以此类推。
目前我们已经确定了hbase存储,并且采用预分区的方式并且采用rowkey进行过滤查询,那么现在考虑rowkey的设计。
hbase的主键
1、RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。HBase是介于MapEntry(key&value)和DBRow之间的一种数据存储方式。
2、RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键。
3、hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。
4、Region 压力 2 Region 分区 首先 自增来做不是不可以。 但是有很大的局限性。 比如你用自增做主键了。 那么你的 Region 几乎都在一台机器上, 发挥不出集群的性能, 这样的设计将导致效率低下。
5、MyISAM索引文件和数据文件是分离的,索引文件仅保存数据记录的地址。而在InnoDB中,表数据文件本身就是按B+Tree组织的一个索引结构,这棵树的叶节点data域保存了完整的数据记录。
- 上一篇:设计电梯调度系统,4部电梯调度逻辑
- 下一篇:学设计还是画画,学设计画画重不重要
相关推荐
你 发表评论:
欢迎- 资讯排行
- 标签列表
- 友情链接