Coding Husky

发表于 Disqus：

在这个项目中，你将学习如何构建并训练出能够识别手写数字的神经网络。在这过程中，你会慢慢地把这个神经网络强化到提升至 99％的准确度，你还会熟悉一些深度学习的专业人士使用的工具，用于有效地训练模型。

这个项目使用的是 MNIST 数据集，这个包含 60,000 个有标记数字的集合是几届博士努力近二十年的成果。你还将用不到 100 行的 Python / TensorFlow 代码来解决上述问题。

阅读全文 »

发表于 Disqus：

一切从获取一个 soup 对象开始

1
2
3
4
5
6
7
8
9
10
try:
    req = urllib2.Request(url_page)
    url_opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
    source_code = url_opener.open(req, timeout=10).read()
    plain_text=unicode(source_code)
    soup = BeautifulSoup(plain_text)
except Exception,e:
    # handle exceptions here
    print e
    return
阅读全文 »

发表于 Disqus：

需求

用户在登录之后可以上传文件，也可以看到所有上传的文件（自己或其他用户上传的文件），并可以下载这些文件。

该系统由服务器集群（多节点）实现，每个节点能够为多个客户连接请求提供响应，当应用请求较多、节点平均负载较大时，系统会启用新的节点；当集群的总体请求量较少时，应当逐步关闭节点。

每个服务器节点都有自己的存储空间，可以保存客户上传的文件。

所有在线客户应当实时获得系统中文件信息的更新。

每个服务器节点都可能是不可靠的，k个节点故障（网络中断、节点关闭、节点崩溃……）不会对系统产生影响并介绍了如何设计、实现以及可靠性的分析等内容。

阅读全文 »

发表于 更新于 Disqus：

0. 将任务按不同的类型分开，例如 DiskIO，NetworkIO，CPU，能够有效地提升性能。

假设一个循环的任务由 1)下载文件、2)解压缩、3)保存到硬盘三个部分组成，总计运行 N 次。

如果one by one地做完三件事，总时间是 N * (t1 + t2 + t3) 如果组成流水线，总时间缩短到 N * min(t1, t2, t3)

阅读全文 »

发表于 更新于 Disqus：

在本地的Docker上Pull AWS EC2 Container Services的镜像时，遇到如下错误：

Failed to pull image "url": image pull failed for url, this may be because there are no credentials on this request. details: (unauthorized: authentication required)

解决方案是用AWS CLI工具登录Docker

1
eval `aws ecr get-login`
阅读全文 »

发表于 Disqus：

普通做法

以下是引用自某开源项目的做法：

1
2
3
4
5
FROM golang:alpine
RUN apk update && \
    apk upgrade && \
    apk add git
RUN go get github.com/author/package

这样产生的包大约是 100MB，已经很不错了，但是还是浪费了大量空间。

比如 Golang SDK 在程序运行中根本用不到，Go Get带来的源文件同样用不到。Golang是可以编译到真二进制的的语言，只要保留程序本身和必要的动态链接库（.so）即可。进一步，如果使用静态链接，那库也可以不要。

阅读全文 »

发表于 Disqus：

近期把服务器重新整了下，除了 NGINX 放在物理机上，别的全都容器化。服务器操作系统为Debian。以 Ghost 为例，过程如下：

前提

1
2
3
# HTTPS support for APT
apt-get update
apt-get install apt-transport-https ca-certificates
阅读全文 »

发表于 更新于 Disqus：

翻译自：

TURTLES ALL THE WAY DOWN - Storing Secrets in the Cloud and in the Data Center

Daniel Somerfield

Homepage | YouTube | Slides

引言

乌龟的梗是这么来的：某次霍金发表了一个关于宇宙起源的演讲，有个老太太说，你讲的都是 rubbish，宇宙是一个大乌龟扛着的！有人问，那这个乌龟站在哪里呢？老太太说，你傻叉吗，乌龟站在另一个更大的乌龟上。

阅读全文 »

发表于 更新于 Disqus：

统计一个 TXT 中的所有词语出现的平均频率（总出现次数／总共出现过的TXT文档数量），并写入 Hbase

一共用到 MapRecuce 的四个步骤：

Mapper 负责把把原来的任务分成很多Key-Value块。本题中，我们把任务分成这样的键值对：<Term#Doc, 1>

阅读全文 »
0%