UAX #38: Unicode Han Database (Unihan)

http://www.unicode.org/reports/tr38/#Unihan.zip

2.2 Unihan.zip

Included with the Unicode Character Database is a file called Unihan.zip.

Unihan.zip ファイルは下記 URL からダウンロードできる。
ftp://ftp.unicode.org/Public/UNIDATA/Unihan.zip

日本語の漢字と中国語の繁体字 (Traditional)、簡体字 (Simplified) の変換方法

[1] のテーブルの漢字「電」 (electricity) を例に説明する。
日本語の「電」の Unicode は U+96FB である。
Unihan.zip の Unihan_Variants.txt から U+96FB を探すと、下記の行がヒットする。

U+96FB kSimplifiedVariant U+7535

Unicode の U+7535 は中国語の簡体字の「电」である。
同様にして逆変換も可能だ。

関連情報として [2] も参照されたい。

[1] https://en.wikipedia.org/wiki/Chinese_characters#Comparisons_of_traditional_Chinese.2C_simplified_Chinese.2C_and_Japanese
[2] https://www.reddit.com/r/LearnJapanese/comments/57wa0c/where_can_i_find_a_mapping_of_which_kanji/

GitHub - aozorabunko/aozorabunko

https://github.com/aozorabunko/aozorabunko

GitHub に青空文庫の全データがある。

情報元
知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！ - やじうまの杜 - 窓の杜
https://forest.watch.impress.co.jp/docs/serial/yajiuma/1134357.html

Download free history data on 16 currencies, gold and silver. Backtest trading strategies on historical data.

http://www.forextester.com/data/datasources

Forex Tester allows you to import an unlimited number of currency pairs and years of history data in almost any possible text format (ASCII *.csv, *.txt) and in MetaTrader4 history format (*.hst).

為替レートのデータ。
米ドル/円は1分足のデータ。期間は2001～2017年。CSVフォーマット。

CHISE / 漢字構造情報データベース - CHaracter Information Service Environment

http://www.chise.org/ids/

ISO/IEC 10646-1:2000 の IDS 形式に基づく漢字の構造情報データベースを開発中です。

漢字（文字）の構成情報（偏と旁）が掲載されている。

MegaFace and MF2: Million-Scale Face Recognition

http://megaface.cs.washington.edu/

Challenge 1: Train on any dataset, test your method with 1 million distractors
Challenge 2: Training on 672K identities (4.7 Million photos), test at Million scale

顔認識用の67万人470万枚の画像データをダウンロードできる。

音声同期Epub - 青空朗読

http://aozoraroudoku.jp/kensaku/kensaku-epub.html

青空文庫の文章に合わせて朗読を聴くことができます。

音声 (mp3) と文 (xhtml) の対応情報 (smil) が入っているので、音声認識モデルの学習用データとして利用できそう。

GitHub - googlecreativelab/quickdraw-dataset: Documentation on how to access and use the Quick, Draw! Dataset.

https://github.com/googlecreativelab/quickdraw-dataset

The Quick Draw Dataset is a collection of 50 million drawings across 345 categories, contributed by players of the game Quick, Draw!. The drawings were captured as timestamped vectors, tagged with metadata including what the player was asked to draw and in which country the player was located.

飛行機やイヌなど 345 カテゴリの手書きベクトルデータが ndjson 形式ファイル等で公開されている。

GitHub - mdeff/fma: FMA: A Dataset For Music Analysis

https://github.com/mdeff/fma

The dataset is a dump of the Free Music Archive (FMA), an interactive library of high-quality, legal audio downloads.

Then, you got various sizes of MP3-encoded audio data:

1. fma_small.zip: 8,000 tracks of 30s, 8 balanced genres (GTZAN-like) (7.2 GiB)
2. fma_medium.zip: 25,000 tracks of 30s, 16 unbalanced genres (22 GiB)
3. fma_large.zip: 106,574 tracks of 30s, 161 unbalanced genres (93 GiB)
4. fma_full.zip: 106,574 untrimmed tracks, 161 unbalanced genres (879 GiB)

京都大学ウェブ文書リードコーパス - KWDLC - KUROHASHI-KAWAHARA LAB

http://nlp.ist.i.kyoto-u.ac.jp/index.php?KWDLC

本コーパスは、さまざまなウェブ文書のリード(冒頭)3文に各種言語情報を人手で付与したテキストコーパスです。ウェブ文書のリード3文を収集することによって、ニュース記事、百科事典記事、ブログ、商用ページなど多様なジャンル、文体の文書を含んでいます。コーパスの規模は約5,000文書です。

言語情報としては、形態素・固有表現・構文・格関係、照応・省略関係、共参照、談話関係の情報を付与しています。談話関係以外の情報は、形態素解析システムJUMAN、構文・格・照応解析システムKNPで自動解析を行い、その結果を専門家が修正したものです。談話関係については、クラウドソーシングを利用して付与しています。

Datasets · arXivTimes/arXivTimes Wiki · GitHub

https://github.com/arXivTimes/arXivTimes/wiki/Datasets

言語コーパスや画像・音声データセットのリンク。

GitHub - visipedia/inat_comp: iNaturalist competition details

https://github.com/visipedia/inat_comp

There are a total of 5,089 categories in the dataset, with 579,184 training images and 95,986 validation images.

• Training and validation images [186GB]
• Training and validation annotations [26MB]

5,089個のカテゴリーの画像データセットをダウンロードできる。
画像の書庫サイズが 186 GBもある。

雑談対話コーパス - 対話破綻検出チャレンジ

https://sites.google.com/site/dialoguebreakdowndetection/chat-dialogue-corpus

本コーパスはNTTドコモが一般公開している雑談対話APIを用いた雑談対話システムとユーザが21発話からなるやりとりを行った対話データで，116名の話者による1,146対話が収録されています．

コーパス開発センター -Center for corpus development-

http://pj.ninjal.ac.jp/corpus_center/

国立国語研究所コーパス開発センターでは、日本語の全貌を把握するための言語コーパス (language corpus)を構築しています。

分類語彙表－増補改訂版データベース | 国立国語研究所

https://www.ninjal.ac.jp/archives/goihyo/

本データベース版は，書籍版の『分類語彙表 −増補改訂版−』の元となったデータを加工したものです。データベースソフトに取り込めるようCSV形式になっています。レコード総数は，101,070件です

http://pj.ninjal.ac.jp/corpus_center/files/bunruidb.zip

分類語彙表増補改訂版データベース
著 者: 国立国語研究所（編）
2004年公開

The Stanford Question Answering Dataset

https://stanford-qa.com/

Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every question is a segment of text, or span, from the corresponding reading passage. With 107,785 question-answer pairs on 536 articles, SQuAD is significantly larger than previous reading comprehension datasets.

質問応答データセット。

GitHub - tomorinao/corpus: 友利奈緒の全セリフデータ

https://github.com/tomorinao/corpus

Charlotteのアニメにおける友利奈緒のセリフをまとめました

R10 - Yahoo News Feed dataset, version 1.0 (1.5TB)

http://webscope.sandbox.yahoo.com/catalog.php?datatype=r&did=75

The dataset stands at a massive ~110B lines (1.5TB bzipped) of user-news item interaction data, collected by recording the user- news item interaction of about 20M users from February 2015 to May 2015.

2017-05-11 追記
"This Dataset is no longer available" となっている。

N-gram コーパス - 日本語ウェブコーパス 2010

http://s-yata.jp/corpus/nwc2010/ngrams/

概要
ウェブページに出現する形態素 N-gram と文字 N-gram を頻度とともに収録したコーパスです．各 N-gram コーパスには，頻度 10/100/1000 以上の 1-gram から 7-gram までが収録されています．

https://twitter.com/s5yata/status/667887920817111040

s-yata.jp/corpus/nwc2010... の N-gram コーパスを Google Drive にアップロードしてみました．

https://drive.google.com/folderview?id=0B0oLhpFvWG_sbmdyVk53U0ZnQ0E&usp=sharing

Translation Task - EMNLP 2011 Sixth Workshop on Statistical Machine Translation

http://statmt.org/wmt11/translation-task.html

The recurring translation task of the WMT workshops focuses on European language pairs. Translation quality will be evaluated on a shared, unseen test set of news stories. We provide a parallel corpus as training data, a baseline system, and additional resources for download.

無料でここまでできる→日本語を書くのに役立つサイト２０選まとめ 読書猿Classic: between / beyond readers

http://readingmonkey.blog45.fc2.com/blog-entry-715.html

コーパス検索ツールなどが紹介されている。