Loading...
墨滴

qiaozr

2021/05/17  阅读:81  主题:默认主题

一种矩阵存储的设计思想

前言

大数据体系下,NoSQL存储引擎广泛使用下,对数据存储的灵活性,压缩比,磁盘 IO 都有着很大的挑战,基于工作中遇到的问题,做的存储架构设计,做下笔记。

问题思考

{
    "id":1231,
    "code":320100,
    "name":[
        "jack",
        "tom"
    ]
}

以上数据,我们改如何存储到数据底层中呢,从内容角度出发,还是有很大的优化空间。

思考问题 其中内容值,只有 1231,320100,jack,tom,此时是否可以对存储内容进行压缩存储呢,答案是显然。 其中有两个问题需要思考下:

  1. { ,[ " : id ,code...} 作为内容中描述数据格式或者含义的字符 是否可以额外存储?

  2. 每个 value 数据类型如何表示?

矩阵数据描述与存储

还是以上面 json 为例,以下可以存储的内容,可以描述为:

  1. 行表示 数据类型

  2. 列表示 数据释义

  3. 基本数据类型可知提前设置。

  4. 增加字段时,只需要增加行数据

后续

  1. 以上只是一种设计思想,具体逻辑还有一些其他方面的问题需要考虑。

  2. 矩阵文件如何单独存储,序列化,反序列化如何与该文件如何结合使用,都需要仔细推敲。

qiaozr

2021/05/17  阅读:81  主题:默认主题

作者介绍

qiaozr