2016-11-20

コーパス開発センター -Center for corpus development-

http://pj.ninjal.ac.jp/corpus_center/
国立国語研究所コーパス開発センターでは、日本語の全貌を把握するための言語コーパス (language corpus)を構築しています。

分類語彙表-増補改訂版データベース | 国立国語研究所

https://www.ninjal.ac.jp/archives/goihyo/
本データベース版は,書籍版の『分類語彙表 −増補改訂版−』の元となったデータを加工したものです。データベースソフトに取り込めるようCSV形式になっています。レコード総数は,101,070件です
http://pj.ninjal.ac.jp/corpus_center/files/bunruidb.zip
分類語彙表増補改訂版データベース
著 者: 国立国語研究所(編)
2004年公開

2016-07-09

The Stanford Question Answering Dataset

https://stanford-qa.com/
Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every question is a segment of text, or span, from the corresponding reading passage. With 107,785 question-answer pairs on 536 articles, SQuAD is significantly larger than previous reading comprehension datasets.
質問応答データセット。

2016-03-03

GitHub - tomorinao/corpus: 友利奈緒の全セリフデータ

https://github.com/tomorinao/corpus
Charlotteのアニメにおける友利奈緒のセリフをまとめました

2016-01-16

R10 - Yahoo News Feed dataset, version 1.0 (1.5TB)

http://webscope.sandbox.yahoo.com/catalog.php?datatype=r&did=75
The dataset stands at a massive ~110B lines (1.5TB bzipped) of user-news item interaction data, collected by recording the user- news item interaction of about 20M users from February 2015 to May 2015.

2017-05-11 追記
"This Dataset is no longer available" となっている。

2015-11-21

N-gram コーパス - 日本語ウェブコーパス 2010

http://s-yata.jp/corpus/nwc2010/ngrams/
概要
ウェブページに出現する形態素 N-gram と文字 N-gram を頻度とともに収録したコーパスです.各 N-gram コーパスには,頻度 10/100/1000 以上の 1-gram から 7-gram までが収録されています.
https://twitter.com/s5yata/status/667887920817111040
s-yata.jp/corpus/nwc2010... の N-gram コーパスを Google Drive にアップロードしてみました.
https://drive.google.com/folderview?id=0B0oLhpFvWG_sbmdyVk53U0ZnQ0E&usp=sharing

2015-10-30

Translation Task - EMNLP 2011 Sixth Workshop on Statistical Machine Translation

http://statmt.org/wmt11/translation-task.html
The recurring translation task of the WMT workshops focuses on European language pairs. Translation quality will be evaluated on a shared, unseen test set of news stories. We provide a parallel corpus as training data, a baseline system, and additional resources for download.

無料でここまでできる→日本語を書くのに役立つサイト20選まとめ 読書猿Classic: between / beyond readers

http://readingmonkey.blog45.fc2.com/blog-entry-715.html

コーパス検索ツールなどが紹介されている。

Wikipedia日英京都関連文書対訳コーパス

https://alaginrc.nict.go.jp/WikiCorpus/
『Wikipedia日英京都関連文書対訳コーパス』は、高性能な多言語翻訳、情報抽出システム等の構築を支援することを目的に作成された日英対訳コーパスです。国立研究開発法人情報通信研究機構がWikipediaの日本語記事(京都関連)を英語に翻訳し、作成しました。

NAIST Text Corpus

https://sites.google.com/site/naisttextcorpus/
京都テキストコーパスで利用されている毎日新聞95年1月1日から17日まで の全記事、約2万文、1月から12月までの社説記事、約2万文、計約4万文に対して,述語と表層格(ガ格,ヲ格,ニ格)の関係,事態性名詞と表層格(ガ格, ヲ格,ニ格)の関係,事態性名詞の名詞クラス,名詞句間の共参照関係,指示連体詞・代名詞の照応関係の情報を付与したコーパスです.