バイオリン図で数値データの分布を可視化する

今更ながらデータの分布を比較する図法「バイオリン図（violin plot）」の存在を知りました。

バイオリン図とは

↑のような図です。数値データの分布の可視化や比較に使います。データ分布の描画にはカーネル密度推定が用いられています。

Matplotlibではviolinplot()関数を使うことで描画できます。

matplotlib.pyplot.violinplot(
    dataset,
    positions=None,
    vert=True,
    widths=0.5,
    showmeans=False,
    showextrema=True,
    showmedians=False,
    points=100,
    bw_method=None,
    *,
    data=None)

バイオリン図と箱ひげ図を比較してみる

似たような目的で用いられる図として「箱ひげ図（box plot）」があります。ここでは試しに数値データの分布をバイオリン図と箱ひげ図で描画して比較してみましょう。

まずは分布比較用として3種類の人工データ（単峰性、二峰性、一様分布）を作ってみます。

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(24)

data = [
    # 単峰性
    np.random.normal(scale=2, size=1000),
    # 二峰性
    np.r_[
        np.random.normal(loc=-2, size=500),
        np.random.normal(loc=2, size=500),
    ],
    # 一様分布
    np.random.uniform(-5, 5, size=1000),
]

各データのヒストグラムを個別に描画して分布を確認してみます。

_, axes = plt.subplots(nrows=len(data), ncols=1, figsize=(5, 10))
for i, x in enumerate(data):
  axes[i].hist(x, bins='auto')
plt.show()

想定通りの分布のデータが作られたことが確認できました。

では、箱ひげ図で各データの分布を比較してみます。

plt.boxplot(data)
plt.show()

二峰性や一様分布などの特徴が完全に消え、あたかも各分布が同じ特徴を持った分布であるかのように見えます。そもそも多峰性の分布や異なる形の分布を箱ひげ図で比較すること自体よくないですが、ある程度データの分布の形を仮定したまま箱ひげ図から描き始めてしまうと、今回のような図によって誤解を招く可能性があるので気をつけましょう。

今度はバイオリン図で分布を図示してみます。

plt.violinplot(data, showmedians=True)
plt.show()

箱ひげ図と違い、各データの分布がそのまま図に現れているため、より正確な比較ができます。強いて言えば、カーネル密度推定により一様分布の両端が実際よりも滑らかに描画されているため、カーネル密度推定が苦手とする形の分布を扱う場合は気をつけたほうが良いでしょう。

バイオリン図の欠点

バイオリン図の欠点について考えてみます。

• データ分布はカーネル密度推定プロットによって滑らかに描画されるため、実際にはデータが存在しない範囲にもあたかもデータが存在しているかのように見えることがある。
• ひとつのバイオリン図内にある各カーネル密度推定プロットの面積は同一ではない。値が取りうる範囲が大きかったりデータが一様に分布していると、描画されるカーネル密度推定プロットの面積が大きくなるため錯覚が起こる可能性がある。
• 知名度が低い（Wikipedia談）。しかし割と直感的に分かりやすい図法ではあると思われるので、知名度が低くても人から理解されにくいということはなさそう？

まとめ

数値データの分布を可視化・比較したい場合は、バイオリン図を使ってみましょう。単峰性のデータかつ四分位数や外れ値が重要な場合は箱ひげ図でもいいかもしれませんが、単峰性データの歪み具合を見たい程度であればバイオリン図にしてしまってもいいのではないかと思います。

参考文献

• Violin plot basics — Matplotlib 3.1.0 documentation
• matplotlib.pyplot.violinplot — Matplotlib 3.1.0 documentation

go-twitterへのpull requestがmergeされた

Go用Twitterクライアントライブラリ「go-twitter」に送っていた私のpull requestがmergeされました。

github.com

直したバグは自分がこの記事で指摘しているbufio.Scannerの仕様に起因するバグで、うちのbot並にfollowingsが多いアカウント（7,000くらい）だとUser Streams取得時にエラーもなく静かに無限ループに陥るというものでした。結構重大な上に原因を特定しにくいバグだったので、お世話になっているライブラリへの恩返しも兼ねてpull requestを送ってみました。

一応コメントが付いたら1日以内に返事するようにしていましたが、待ち時間が長くて結局mergeされるまでに27日かかりました。でも個人が趣味で書いているライブラリだし作者もずっと暇なわけじゃないしこれで普通だよなと思いました。

一応人生初pull requestでした。社怪人になってからGithubとかまともに使っていませんでしたが、あまりこういったテクノロジーに疎くなりすぎないようにしたいものです。

TensorFlowのtf.contrib.layers.batch_normの注意点

TensorFlowのtf.contrib.layers.batch_normは他のtf.contrib.layersの関数（conv2d、fully_connectedなど）にnormalizer_fnパラメーターで渡すことができ、Batch Normalizationを含めひとつの関数呼び出しにまとめることができるのでコードがスッキリして便利です。

output = tf.contrib.layers.conv2d(
    inputs,
    num_outputs=128,
    kernel_size=4,
    stride=2,
    normalizer_fn=tf.contrib.layers.batch_norm,
    normalizer_params=params,
    trainable=True)

しかし、このbatch_normやtf.contrib.layersの関数にはいくつか重要な注意点があります。

batch_normがtf.GraphKeys.UPDATE_OPSに登録したopsの更新処理を忘れないようにする

batch_normのmoving_meanやmoving_varianceの更新に関するopsはtf.GraphKeys.TRAINABLE_VARIABLESではなくtf.GraphKeys.UPDATE_OPSに登録されます。このUPDATE_OPSに登録されたopsは、以下のようにoptimizerなどが走る前に明示的に更新する必要があります。

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
  train_op = optimizer.minimize(loss)

ドキュメントにも以下のような注意書きがありますが、青色のセクションに書かれているので、NoteというよりはFYIという風に見えて見逃しやすいので気をつけましょう。

Note : when training, the moving_mean and moving_variance need to be updated. By default the update ops are placed in tf.GraphKeys.UPDATE_OPS, so they need to be added as a dependency to the train_op. For example: （コード例に続く…）

tf.contrib.layers.batch_normのis_trainingパラメーターの設定を忘れないようにする

他のtf.contrib.layersの関数と違い、tf.contrib.layers.batch_normにはtrainableだけでなくis_trainingパラメーターもあります。

batch_norm(
    inputs,
    is_training=True,
    trainable=True,
    ...)

trainableはbatch_normの内部にあるvariablesをGraphKeys.TRAINABLE_VARIABLESに登録するかどうかを制御するためのboolパラメーターなのに対して、is_trainingはmoving_meanやmoving_varianceの挙動に関するboolパラメーターです。どちらもデフォルトでTrueですが、学習以外の時は明示的にFalseを設定する必要があります。特にis_trainingがTrueのままの場合、同じ入力に対してbatch_normが毎回違う出力をしてしまい、モデルの再現性がなくなる場合があるので注意が必要です。

tf.contrib.layersの関数にnormalizer_fn=tf.contrib.layers.batch_normを指定する場合はnormalizer_paramsも設定する

冒頭にも紹介したように、tf.contrib.layersの関数はnormalizer_fnパラメーターにbatch_normを指定することで、レイヤーの計算後にBatch Normalizationを適用してくれます。しかし、normalizer_fnはデフォルトでinputsパラメーターだけ指定して呼び出され、他のパラメーターはデフォルト引数が使われます。

# 期待した通りに動かない例
# conv2d自体にtrainable=Falseを指定してもbatch_normには渡されず、
# batch_normはデフォルト引数で呼ばれる（is_training=True, trainable=True）
is_training = False
output = tf.contrib.layers.conv2d(
    inputs,
    num_outputs=128,
    kernel_size=4,
    stride=2,
    normalizer_fn=tf.contrib.layers.batch_norm,
    trainable=is_training)

この問題は、normalizer_fnを指定したtf.contrib.layersの関数のnormalizer_paramsパラメーターを使うことで解決できます。

# 正しく動く例
# batch_normにis_training=Falseとtrainable=Falseが渡される
is_training = False
normalizer_params = {'is_training': is_training, 'trainable': is_training}
output = tf.contrib.layers.conv2d(
    inputs,
    num_outputs=128,
    kernel_size=4,
    stride=2,
    normalizer_fn=tf.contrib.layers.batch_norm,
    # batch_norm用のパラメーターを指定する
    normalizer_params=normalizer_params,
    trainable=is_training)

この挙動はドキュメントからだと分かりにくいので注意しましょう。

Deep Learningで「いらすとや風人間画像生成モデル」を作った話（DCGAN、Wasserstein GAN）

フリー素材サイト「いらすとや」に出てくる人間風の画像を自動生成するモデルをDeep Learningで作りました。実装にはGoogle製のライブラリ「TensorFlow」と機械学習アルゴリズムの「DCGAN」「Wasserstein GAN」を用いています。

以下は生成された人間画像のうちそれなりにきれいなものの一例です。頬のところが赤くなっていて何となく本家いらすとやの特徴を捉えられていると思います。

「いらすとや」とは？

「いらすとや」は15,000種類以上のかわいいイラストを提供するフリー素材サイトです。皆さんもおそらく一度はどこかのWebページでいらすとやの画像が使われているのを見たことがあるのではないでしょうか。

実装した手法の概要

DCGAN、Wasserstein GANについて

人間画像生成モデルの学習にはDCGANとWasserstein GANを用いています。各アルゴリズムの詳細については既に他の方々が分かりやすい記事を書いていますのでそちらを参考にしてください。ここでは簡単な説明に留めます。

まず、GANはGenerative Adversarial Networkの略で、機械学習のアルゴリズムの一種です。「訓練データとGeneratorが生成したデータを見分けるDiscriminator」「Discriminatorを騙せるようなデータを出力するGenerator」を交互に競わせるように学習していき、最終的に訓練データに似たデータを生成できるGeneratorを作り上げることができます。

DCGANはDeep Convolutional GANの略で、GANを使いConvolutional Neural Network（CNN）を学習していく手法です。CNNを使うので画像生成に適用する事例が多いようです。論文ではBatch NormalizationやLeakyReLUといった工夫を用いることでGANによるCNNの学習が安定するとされています。

Wasserstein GANはGANの学習方法を改良したもので、Discriminator*1や目的関数を工夫することにより、GANの学習の収束しにくさやmode corruptionといった問題を軽減できるとされています。論文の著者本人がGithub上でPyTorchの実装を公開しています。

Generator

Generatorは「Discriminatorを騙せるようないらすとや風人間画像を出力するCNNベースのモデル」です。Generatorへの入力は標準正規分布*2からサンプルされた40次元の実ベクトルで、ひとつの入力ベクトルごとに対応するひとつの画像がモデルから出力されます。出力画像サイズは64x64で、各ピクセルのR、G、Bの値はそれぞれ[-1, 1]の範囲で表されます。このピクセル値を[0, 255]の範囲にリスケールすることで最終的な出力画像を得ることができます。

Discriminator

Discriminatorは「本物のいらすとやの画像とGeneratorが生成した画像を見分けることができるCNNベースのモデル」です。Discriminatorへの入力は64x64のRGB画像データです。各ピクセルのR、G、Bの値はそれぞれ[-1, 1]の範囲に正規化して入力します。出力はスカラー値で、Discriminatorが入力画像を本物のいらすとやの画像だと判定した場合は大きな値を、Generatorが生成した画像だと判定した場合は小さな値を出すように学習させます。

GeneratorとDiscriminatorの学習

DCGAN・Wasserstein GANでは、GeneratorとDiscriminatorを交互に学習させていきます。

Generatorの学習の際にはDiscriminatorのパラメーターを固定し、以下の学習を行います。

1. ベクトルをサンプルしてGeneratorに与え、画像を出力する
2. Generatorの画像をDiscriminatorに与え、スカラー値を出力する
3. が大きな値となる画像を出力できるようにGeneratorのパラメーターを更新する

学習を続けていくと、理想的にはどんな入力ベクトルを与えてもDiscriminatorを騙せるくらい本物っぽい画像が出てくるようになります（しかし実際はそんなに甘くない）。

Discriminatorの学習時はGeneratorのパラメーターを固定し、以下の学習を行います。

1. 訓練データからサンプルした本物のいらすとやの画像をDiscriminatorに与え、スカラー値を出力する
2. ベクトルをサンプルしてGeneratorに与え、画像を出力する
3. Generatorの画像をDiscriminatorに与え、を出力する
4. *3が大きな値となるようにDiscriminatorのパラメーターを更新する

学習を続けていくと、理想的にはGeneratorがどんなに本物のいらすとやっぽい画像を出力するようになっても、Discriminatorは本物と偽物を見分けることができるようになります（しかし実際はそんなn）。

学習や実装の詳細

ネットワーク構成や各パラメーターは主にDCGANとWasserstein GANの論文を参考にしていて、あまり変わったことはしていないと思います。コードも他の方々がGithub等で公開しているものと同じような感じで実装しています。

Generator、Discriminatorのネットワーク構成やパラメーター

Generatorのネットワーク構成は以下のようになっています。

• 転置畳み込み層（conv2d_transpose）*4のカーネルサイズは4、ストライドは2です。
• Batch Normalizationは最初の全結合層と前3つの転置畳み込み層で適用しています。最後の転置畳み込み層では適用していません。
• 活性化関数は、最初の全結合層と前3つの転置畳み込み層ではReLUを適用しています。最後の転置畳み込み層では出力を[-1, 1]にするためにtanhを適用しています。
• dropoutは使っていません。

Discriminatorのネットワーク構成は以下のようになっています。

• 畳み込み層のカーネルサイズは4、ストライドは2です。
• Batch Normalizationは後ろ3つの畳み込み層で適用しています。最初の畳み込み層と最後の全結合層では適用していません。
• 活性化関数は、後ろ3つの畳み込み層ではLeakyReLUを適用しています。最初の畳み込み層と最後の全結合層では適用していません。
• プーリング層やdropoutは使っていません。

訓練データ

訓練データは約15,000枚のいらすとや画像をクロールし、「ひとりの人間が載っていて背景色などがあまり複雑でない画像」約4000枚を手動フィルターして使っています。訓練データ数が非常に少ないので、論文になっているようなDCGANの適用事例と比べると難易度が高いタスクではないかと思います。

その他

学習時のbatch sizeは64、最終的なtraining step数は149,560ですが、50,000 stepsあたりからそれ程精度の変化が見られませんでした。また、Wasserstein GANの論文に倣い、勾配法はRMSProp、学習率は0.00005、weight clippingパラメーターは0.01を使いました。

ちなみに手元のMacBook Pro Late 2016だと学習に時間がかかり過ぎたので、Google Cloud Platformの無料枠$300を使い、Cloud ML EngineのCPUx1+GPUx1のマシンで学習させたところ、学習速度が5倍以上になりました（それでも100k steps学習するのに1〜2日程度）。ハイパーパラメーターを調整して複数の学習を走らせることを考えると、やはり機械学習をする上でGPU等のある程度の計算資源は必須だと思います。

学習経過

最初のうちはどんな入力に対してもランダムなモザイクのような画像が出力されます。

そこからだんだん出力画像が白くなっていき、1,000ステップあたりで髪の毛や人の肌っぽい色が目立ち始めてきます。しかし形は人間からは程遠いです。

1,500ステップくらいになるとより髪の色や肌っぽい色が強くなってきます。

4,000ステップくらいで何かしらの形が見え始めます。

7,000ステップくらいになると人の顔や髪の毛のような形が認識できるケースが増えてきます。

そこからしばらくは目や口みたいなものが顔みたいなものの中に現れたり、本当になんとも言えないぐちゃぐちゃなものが出力されたりと言った状況を繰り返します。50,000ステップくらいになると画像の粗さが減り、たまにいい感じの人間っぽい画像が出力されます。

だいたいこの時点で入力次第でモデルがいい画像を出力できるようになっていたようです。そこから先はあまり大きな変化は見られませんでした。

モデルを検証する

学習したモデルを手軽に確認してみるために、「TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ」で紹介されているようなWeb UI（インスペクター）を実装し、様々な入力ベクトルに対応する出力画像を簡単に検証できるようにしてみました。以下はインスペクターでモデルを検証している時の動画です。

DCGANで学習した「いらすとや風人間画像生成モデル」のデバッガーを作った。入力は40次元実ベクトルで、スライダーを動かすと各要素の値が変わり、それに対応する出力画像もじわじわと変化していくのが分かる（男性→女性、黒服→赤服等）。どの次元がどの特徴に対応するのか調べると面白そう。 pic.twitter.com/WgqM0Dsh1J

— CP24 (@mickey24) 2017年6月24日

これを利用すれば、入力ベクトルのどの次元の値がどの画像の特徴を表しているのかが分かる…かもしれません。

ちなみに学習時の入力ベクトルは標準正規分布からサンプルしているので、ゼロベクトルに対応する出力画像は全ての人間画像の中間表現みたいになるのかなと思って見てみたら以下のような筆舌に尽くし難い画像が出てきました。

中間人間画像が必要な方はご自由にお使いください。

入力にバイアスを掛けていい画像を出やすくする

学習したモデルに適当な入力ベクトルを与えても、必ずしもきれいな画像が出てくるとは限りません。

DCGANなどの論文ではよく本物の写真みたいな画像が生成された例が出てくると思いますが、あれらもいい画像が出てくるまで入力を変えて頑張り続けた結果だと思います。

そこで、「TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ」で紹介されているように、入力ベクトルにバイアスを掛けてモデルがいい画像だけを出力しやすくなるようにできるか試してみました。まず、いい画像が出るまでランダムな入力ベクトルをモデルに与え、画像を生成し続けます。そして、以下のようなよさげな画像が出たところで…、

その画像の入力ベクトルを保持しておきます。

[-1.0,-0.6,-0.8,-0.1,1.1,-0.7,-1.6,-1.1,0.8,0.1,-0.2,0.1,0.8,0.6,1.1,-0.9,-0.4,0.9,2.0,0.8,1.5,2.1,-2.5,1.4,-0.1,1.6,-1.0,0.2,-0.8,-0.6,-1.0,0.4,-0.6,-0.2,0.1,0.1,1.6,0.0,0.7,-0.4]

そして、それに標準偏差が小さめ（σ=0.5くらい）の正規分布からサンプルしたベクトルを加えて人間画像生成モデルに与えます。すると、以下のようにきれいで何となく元画像に似ているものが生成されます。

このように、いい画像が生成された時のベクトル周辺だけを入力として与えるようにすればきれいな画像だけが出力されやすくなりますが、その代わり出力画像は元画像に似たようなものが多くなりバリエーションは減ってしまいます。難しいところです。

ちなみにσ=0.7の正規分布からサンプルしたベクトルを加えると、より画像の変化は大きくなりましたが人間の首が千切れたりし始めました。

まとめ

機械学習アルゴリズム「DCGAN」「Wasserstein GAN」を使い、いらすとや風人間画像生成モデルを実装しました。入力次第ではそれっぽい画像が生成できるようになったので、Google Cloud Platformの無料枠$300をすべてつぎ込んで色々試した甲斐があったのではないかと思います。

本当は各いらすとやの画像タイトルとConditional GANを使い、入力ベクトルとラベル（"誕生日"、"人工知能"など）をモデルに与えるとそのラベルに対応した画像を出力するモデルをつくりたかったのですが、各ラベルに対する訓練データが少なすぎるので一旦断念しました。機会があれば試してみたいところです。

今回出来上がった人間画像生成モデルに興味がある方は、Twitterでmickey24_botに「人間画像ください」と話しかけると手軽に試すことが出来ます。ただしうちのbotはランダムな入力ベクトルを基に画像を生成するので、ほとんどの場合すり潰された人間のような画像が出てきますがご了承ください。

参考文献（サイト）

• arXiv:1511.06434 [cs.LG]: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
• arXiv:1701.07875 [stat.ML]: Wasserstein GAN
• Wasserstein GAN著者によるPyTorch実装 on Github
• TensorFlowによるDCGANでアイドルの顔画像生成 - すぎゃーんメモ
• TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ
• Chainerで顔イラストの自動生成 - Qiita
• Chainerを使ってコンピュータにイラストを描かせる - Qiita
• ディープラーニングであり得そうな間取り画像を生成させてみる - LIFULL Creators Blog

*1:Wasserstein GANの論文ではDiscriminatorを「Critic」と呼んでいますが、GANのコンテキストではDiscriminatorと言った方が通じやすそうなので、この記事ではDiscriminatorで統一します。

*2:How to Train a GAN? Tips and tricks to make GANs workという記事によると「Generatorの入力は一様分布ではなく正規分布からサンプルした方がいい」とあったのでそのようにしてみましたが、一様分布の場合と比べてどれくらい改善があったのかは不明です。

*3:Wasserstein GANでは通常のDCGANとは異なりDiscriminatorの出力のlogは取らずそのままの値を使います。

*4:conv2d_transposeをDeconvolutionと呼ぶ解説サイトをよく見かけますが、DCGANの論文によるとこれは正しい呼び方ではないとのことです。当該論文中ではfractionally-strided convolutionと呼ばれています。TensorFlowのドキュメントではtranspose of convolutionと呼ばれています。

うちのbotが「いらすとや風の人間画像」を製造できるようになった

mickey24_botが機械学習を使って「いらすとや風の人間画像（？）」を無料で製造できるようになりました。

人間製造した pic.twitter.com/dezDC1y2yy

— mickey24_bot (@mickey24_bot) 2017年6月28日

まだ以下のようにぐちゃぐちゃな画像を製造する場合がありますが大目に見てください。

人間生成したよ！ pic.twitter.com/BELXTJOXhY

— mickey24_bot (@mickey24_bot) 2017年6月28日

「いらすとや」って何？

「いらすとや」は15,000種類以上のかわいいイラストを提供するフリー素材サイトです。

使い方

以下の形式でmickey24_botにreplyを送り、最新の人間画像を手に入れましょう。

@mickey24_bot 人間画像を作って

実装

詳細記事を別に書きましたので興味がある方はこちらをどうぞ。

以上

皆さんもぜひうちのbotで人間画像を手に入れましょう。全て無料です。

関連リンク

• 雨予報bot「mickey24_bot」の使い方 ver 3.0 - ぬいぐるみライフ？
• Deep Learningで「いらすとや風人間画像生成モデル」を作った話（DCGAN、Wasserstein GAN） - ぬいぐるみライフ？

Goのbufio.Scannerは入力データの1行の長さが一定以上になるとスキャンをやめてしまう

Goのbufio.Scannerの落とし穴について。

概要

Goのbufio.Scannerはio.Readerを一行ずつ読み込んで行く時に非常に便利なライブラリなのだけど、タイトルの通り、入力データ（io.Reader）の1行の長さがScannerのバッファサイズを超えるとスキャンをやめてしまうという問題がある。バッファサイズはデフォルトでbufio.MaxScanTokenSize（65536）バイトとそれほど大きくないので、例えば大きめのCSVや各行にJSONが書かれているテキストファイルをScannerで処理するとこの問題に当たることがあるかもしれない。

以下は動作確認用コード。Go Playground上で実行してみたい方はこちらをどうぞ。

package main

import (
    "bufio"
    "fmt"
    "strings"
)

func main() {
    // 2行目が65537バイト（改行含む） > bufio.MaxScanTokenSize (65536)
    in := strings.NewReader("1st line\n" + strings.Repeat("X", 65536) + "\n3rd line\n")
    scanner := bufio.NewScanner(in)

    for scanner.Scan() {
        fmt.Println(scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        fmt.Printf("Scanner error: %q\n", err)
    }
}

実行結果

1st line
Scanner error: "bufio.Scanner: token too long"

この場合、2行目が大きすぎてScannerのバッファに格納できないので、Scanner.Scan()がfalseを返してしまう。一応スキャン後にScanner.Err()を確認すればbufio.ErrTooLongが返ってくるので問題を検出することはできるが、わざわざErr()を手動で呼ぶ必要があるのが難点（実際Scan()後にErr()を確認しないコードを何度か見たことがある）。

対策

入力データの1行の最大長が事前に分かっている場合は、bufio.Scanner.Buffer()でバッファサイズを変更するとよい。

const (
    // 初期バッファサイズ
    initialBufSize = 10000
    // バッファサイズの最大値。Scannerは必要に応じこのサイズまでバッファを大きくして各行をスキャンする。
    // この値がinitialBufSize以下の場合、Scannerはバッファの拡張を一切行わず与えられた初期バッファのみを使う。
    maxBufSize = 1000000
)

scanner := bufio.NewScanner(in)
buf := make([]byte, initialBufSize)
scanner.Buffer(buf, maxBufSize)

入力行の最大長が事前に分からず、最大長を決め打ちできない場合は、Scannerを使うことはできない。代わりに以下のようにbufio.Reader.ReadBytes()などを使って1行ずつ読み込むという方法がある（Go Playgroundはこちら）。

package main

import (
    "bufio"
    "fmt"
    "io"
    "strings"
)

func main() {
    // 2行目が65537バイト（改行含む） > bufio.MaxScanTokenSize (65536)
    in := strings.NewReader("1st line\n" + strings.Repeat("X", 65536) + "\n3rd line\n")
    reader := bufio.NewReader(in)

    for {
        line, err := reader.ReadBytes('\n')
        if err != nil && err != io.EOF {
            fmt.Printf("Reader error: %q\n", err)
            return
        }

        // ReadBytes()がdelimiter（'\n'）を見つける前にEOFに到達した場合、
        // それまでに読み込まれた行のバイト列とio.EOFが返される。
        // 従って、入力の最後の行が'\n'で終わらない場合、err == io.EOFだけ確認してループをbreakしてしまうと
        // 最後の行を処理せず捨ててしまうことになるので注意。
        allLinesProcessed := err == io.EOF && len(line) == 0
        if allLinesProcessed {
            break
        }

        // ReadBytesが返したバイト列はdelimiter（'\n'）を含む
        print(string(line))
    }
}

実行結果

1st line
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX （省略）
3rd line

一応目的は達成できるが、最終行が'\n'で終わらない場合を加味する必要があったりとScannerよりもコードが複雑化するので注意。

はてなブログに移行しました

今更ですがはてなダイアリーからはてなブログに移行しました。はてなダイアリーの新規開設受付が終了してこのままはてなダイアリーを使い続けていても近い将来にはてなブログに移行させられそうだったので、余裕があるうちにやっておきました。

旧ダイアリーへのリンクやはてブは全てこちらのブログにリダイレクトされます。一応便利。

どれくらいの頻度で更新するか分かりませんが、今後ともよろしくお願いします。最近はGoやTensorFlowにハマっているので、それらの記事が書けたらいいかなーと思っています。