DeepDive开发指南

分享未结  1  2677

Leslee LV4 2018-07-04

悬赏：20积分

# 怎样开发DeepDive应用。
## 简介

所有成功实现高品质的DeepDive应用程序绝不会一炮打响。用户从基本的第一个版本开始通常会给出相对较差的结果。然后，通过错误分析和调试反复改进质量。DeepDive提供了一套工具，旨在尽可能快速和轻松地保持每次开发迭代。

## 编写

首先，用户必须在{DDlog}中写入一个描述输入数据和要生成的数据的模式，
以及如何处理和转换数据。数据变换规则以及用Python或任何其他语言编写的用户定义函数（UDF）都可用于定义数据处理操作。然后，使用处理后的数据，可以定义一个描述一组随机变量及其相关性的统计推断模型（也可以在DDlog中）来指定系统进行何种预测。

以下页面描述了如何在DeepDive应用程序中编写每个部分：
 + 在ddlog中定义数据流 [Defining data flow in DDlog](http://deepdive.stanford.edu/writing-dataflow-ddlog)
+ 编写用户自定义的函数。 [Writing user-defined functions in Python](http://deepdive.stanford.edu/writing-udf-python)
+ 指定统计模型 [Specifying a statistical model in DDlog](http://deepdive.stanford.edu/writing-model-ddlog)

## 运行
*只要编写了一个新的DeepDive应用程序，用户就可以逐步编译和运行它。* 
例如 
+ 在声明输入文本语料库的模式之后，可以将实际数据加载到数据库中并进行查询。
+ 用户添加的新的转换规则可以递增执行。
+ 统计推断模型可以根据DDlog规范的数据构建。
+ 模型的参数可以被学习或重复使用，以预测新数据点的边际概率。

## 验证&&Debug
*基于我们对几个成功的DeepDive应用程序的观察，我们可以说用户在开发周期中移动得越快，她就越快地实现高质量。
用户可以通过评估系统的预测来确定每次迭代后最常见的错误模式。
这是通过交互式工具支持的形式错误分析完成的。
这使用户能够专注于修复造成观察错误的错误，而不是将时间浪费在某些可能只会带来改进的角落。* 
DeepDive提供了一套工具和指南来加速开发过程，这些内容将在以下页面中进行介绍： 
+ [Debugging UDFs](http://deepdive.stanford.edu/debugging-udf)
+ [Labeling data products](http://deepdive.stanford.edu/labeling)
+ [Labeling data products](http://deepdive.stanford.edu/labeling)
+ [browsing data](http://deepdive.stanford.edu/browsing)
+ [Monitoring statistics of DeepDive data with Dashboard](http://deepdive.stanford.edu/dashboard)
+ [Calibration](http://deepdive.stanford.edu/calibration)
+ [Generating negative evidence](http://deepdive.stanford.edu/generating_negative_examples)

回帖

bigvan LV1

2018-07-09

可以

0 回复