🚧 🚧 🚧 页面施工中,欢迎稍后回来!🚧 🚧 🚧

DynamoDB 使用经验

§ DynamoDB 是什么?

DynamoDB(以下简称 DDB)是 Amazon AWS 提供的 NoSQL 云服务,完全托管在 Amazon 的云服务器上, 用户不需要也无法接触程序和数据本身。 根据官方介绍,DDB 拥有 Schema Free 、高性能、高可靠性、分布式以及扩展性等特点, 支持最终一致性或者强一致性,能够降低运维的负责性并且支持灵活的弹性吞吐设置。

§ 数据模型

DDB 基本数据模型包括 Table、Item、Attribute。拿关系型数据库(RDB)作比较, Table 及数据表,Item 对应一行数据以及列名的组合,Attribute 则是 Item 数据中的任一项 列名-数据对。相较之下,DDB 的数据模型和 MongoDB 中的 collection、json、k-v 对更为接近。

创建 Table 时需要预设主键,主键类型可以是 Hash Key,或者 Hash key 和 Range Key 复合形式, 主键也相当于索引(如果不是的话)。

§ 数据类型

DDB 支持的数据类型相比 RDB 并不多:Binary、Number、String、List、Set 和 Map(可嵌套), Set 分 Binary Set、Number Set、String Set,也就是说并不支持混合类型的 Set, Map 类型可嵌套,类似 JSON 或者 Python 字典。

§ 主键设计

主键包括 Hash 和 Range 两种 key,正如其名 Hash key 指 hash 唯一,只用于定位; Range key 则拥有范围概念,可用于排序。

Hash 和 Range key 都可以是 String、Number 或者 Binary 类型。

Table 主键只可以是 Hash key 或者 Hash key + Range key,使用两个 Hash key 作为唯一区分是不允许的。

§ 二级索引

DDB 的二级索引有两种:全局二级索引(Global Secondary Index)和局部二级索引(Local Secondary Index)。 要了解两者的区别,首先要理解 DDB 的存储方式,DDB 通过 Hash key 的方式强制将数据分区, 虽然作为用户感受不到,但这正是 DDB 保证高性能的关键。也就是说数据会根据 hash 的结果存储在不同区域。

GSI:其哈希和范围键可以与表上的哈希和范围键不同的索引。GSI 被视为“全局”,是因为对索引进行的查询可以跨表中所有分区的所有数据。

LSI:哈希键与表相同、但是范围键不同的索引。LSI 的“本地”含义在于,其每个分区的范围都限定为具有相同哈希键的表分区。

GSI 和 LSI 都支持稀疏索引。

§ 与 Python 交互

AWS 提供了 boto 和 boto3 两套 Python 库,后者正在开发中,功能尚不完全。 前者则代码庞大同时对 Python 3 的支持也尚不健全,相对来说更推荐使用前者。

boto 提供了两套 DynamoDB 接口:boto.dynamodbboto.dynamodb2, 前者主要针对旧版本的 DynamoDB 服务,新启动的 DynamoDB 服务应该使用 DynamoDB v2

基本配置

创建用户(组) 获取 API key 和 Secret Key 环境设置

定义连接

创建用户(组)并获取 Access Key Id - Secret Access Key

获取 key 和 secret 之后有两种设置方法:环境变量或者连接参数。

设置 Access 环境变量可通过 aws configure 设置或者手动修改 ~/.aws/credentials 文件,两者效果是相同的。

或者在连接中设置参数:

import boto

conn = boto.dynamodb2.connect_to_region('ap-northeast-1',
                                        aws_access_key_id='YOUR_KEY',
                                        aws_secret_access_key='YOUR_SECRET')

表操作

表操作注意包括增删表、增删表的索引和投影、调整表的吞吐量。 注意表的 key 和 schema 一旦设置则不可修改。

获取表对象

table = Table('table_name', connection=conn)

这一步并没有向服务器发起请求,因此即使使用不存在的表名也不会报错。

或者你也可以详细地定义表的属性:

from boto.dynamodb2.fields import HashKey, RangeKey, GlobalAllIndex
from boto.dynamodb2.table import Table
from boto.dynamodb2.types import NUMBER

users = Table('users', schema=[
        HashKey('username'),
        RangeKey('last_name'),
    ], global_indexes=[
        GlobalAllIndex('EverythingIndex', parts=[
            HashKey('account_type'),
        ])
    ])

获表信息

table.describe()

修改表属性

table.update(throughput=dict(read=READ, write=WRITE))

注意:表名、主键、Shema、本地二级索引一旦建立都无法修改和删除!

数据操作

数据是 item,其相关操作都必定与 table 相关,对于数据的操作依旧是常见的增(put_item())、 删(delete_item())、改(put_item(data={...}, overwrite=True))、查(query_2()count())。DDB 也支持 count 计数,不过 count 并不具备强一致性,DDB 会每 6 个小时更新一次。 对于实时计数要求比较强的可以根据情况使用 scan()(数据很少时),query_count() (需要合适的索引),或者使用其它数据库或表来独立计数。

批量操作

DDB 支持批量读(batch_get)和批量写(batch_write):

with table.batch_write() as batch:
    batch.put_item(data={...})

写操作可以混合增、删、改:

with users.batch_write() as batch:
    batch.put_item(data={...})
    batch.put_item(data={...})
    batch.delete_item(username='janedoe', last_name='Doe')

Query & Scan

  • scan() 操作非常耗费资源,慎用。使用时注意使用 max_page_sizelimit 限制。
  • scan()query_2() 操作的返回值是 ResultSet 对象(生成器),惰性。

Query

query() 方法已弃用!新建数据库应该使用 query_2()query() 方法只是为了保持兼容性。

Query 操作必须包含索引中所有键,否则会报错!

DDB 查询的过滤类型并不像 RDB 那样丰富,仅支持:

  • eq:相等
  • lte:小于等于
  • lt:小于
  • gte:大于等于
  • gt:大于
  • beginswith:以 xx 字符开始
  • between:在区间 a 和 b 之间

查询命令的拼接方式类似于 Django ORM。

Query 操作必须指定索引,默认是主键,你可以也指定 Index 名称:

# 最近一小时注册的用户
recent = users.query_2(
    account_type__eq='standard_user',
    date_joined__between=[0, time.time() - (60 * 60)], # 这里使用 ``gte`` 会更方便,使用 ``between`` 是出于演示目的
    index='DateJoinedIndex'
)

query_count

query_count() 的操作类似于 query_2(),不过仅仅返回符合条件的 Item 数目。

Scan

scan() 会便利整个 Table,因此时间复杂度是 O(n),并且非常耗费系统资源。 即使如此 scan 也仅仅保证最终一致性,慎用!

query() 类似,scan() 也支持过滤操作:

  • eq:相同
  • ne:不相同
  • lte:小于等于
  • lt:小于
  • gte:大于等于
  • gt:大于
  • nnull:存在
  • null:不存在
  • contains:包含
  • ncontains:不包含
  • beginswith:以 xx 字符开始
  • in:值是列表 l 中之一
  • between:值在区间 a 和 b 之间

限制

  • 单个 Item 大小限制为 400k。官方建议大数据块切片存储,在应用层整合。
  • boto 单次请求大小为 1M。请求数据(query_2() 或者 scan())较多时应设置 max_page_size
  • 表总数限制为 256。不把它当作 Redis hash 结果来用应该不会超出这个限制。
  • 表 Schema 一旦确定不可更改。对于 Hash Key、Range Key 以外的 Attribute 建议在应用层管理。
  • LSI 建立后不可更改。但是可以增删 GSI。
  • GSI 会异步地复制 Table 中的内容,不受应用控制,因此 GSI 只能保证最终一致性。

吐槽

  • 接口的行为不统一,比如 conn.create_tableTable.create(..., connection=conn) 的参数列表并不一致;
  • 功能限制比较多;
  • GitHub Issue 提问不一定能得到反馈,有问题还是建议在 StackOverflow 上提问。

测试

搭建本地环境

DynamoDB 提供了 DynamoDBLocal 用于在本地模拟 DynamoDB 行为。 本地连接:

from boto.dynamodb2.layer1 import DynamoDBConnection

# Connect to DynamoDB Local
conn = DynamoDBConnection(
    host='localhost',
    port=8000,
    aws_access_key_id='anything',
    aws_secret_access_key='anything',
    is_secure=False)

# List all local tables
tables = conn.list_tables()

使用 Mock

§ 收费

DynamoDB 的收费和存储、读取流量相关,与 Table 数无关,但是需要考虑每个 Table 读写只是占用一个单位。

日本机房需要支付额外的消费税房。

§ 最佳实践

(To be continued ……)

§ 与其它 NoSQL 数据库的比较

Redis

DDB 和 Redis 相比之下差异较大,因此不太有可比性:

  • Redis 的数据结构更简单,整体上只是个大号的字典(Hash);
  • Redis 是内存数据库,因此容量很难扩展,但是速度要快得多;
  • Redis 支持 sorted set、ordered list 数据结构,也支持交集这样的操作,有时会很有用;
  • Redis 支持 Expire time,非常适合倒计时;

Riak

Riak 是 DynamoDB 的开源实现,同样支持 HTTP 协议操作,在使用上会非常接近 DynamoDB。

MongoDB

虽然没有开发上的渊源,但是两者在数据结构上相似度还是很高的:

  • 两者都是 Schema Free;
  • 两者都拥有很好的分布式、扩展性支持;
  • MongoDB 以 _id 为主键,类似 DDB 的 Hash key;
  • MongoDB 的 Collection 可对应 DDB 的 Table,而 DDB 的 Item 结构看起来也类似 MongoDB 的文档;
  • 两者都支持可嵌套的 Map(JSON)数据结构;

但是 MongoDB 在查询上支持更强大的索引,这点更接近于 RDB。