Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 上記の df はパーティション数が3つなので、 /tmp/spa ...

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識 BERTについて勉強したことまとめ (2)モデル構造について BERTに ...

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...

基本: 外部キーに使われているインデックスは削除出来ない MySQL でインデックスを削除するときに、以下のようなエラーメッセージが出る事があります。 普通に読めば、そのインデックスが外部キーによって使用されているので削 ...

指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-learnのclassification_reportです。 統計解 ...

トークン取得→設定作業が地味に面倒 先日、こんな issei-m がこんな投稿をしました。 IAM で MFA を強制する方法と CLI での認証方法 – もばらぶエンジニアブログ 今はどこもセキュリティが厳しくなって、 ...

kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった＆やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どちらも各々の事前学習モデル（のパラメータ）があるとして文書分類 ...

今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています。 MFA 自体は AWS に限らず、多数の Web サービ ...

Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scala の Option, Either を触ったことがあり、基 ...

このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。（従来のRDBであるMySq ...

PyTorchで学習周りのコードを書いてたのですが、今後も検証を勧めていく上で、実験結果の記録やパラメータ変更や複数モデルの比較などをするために、何らかの学習周りのコードを扱うフレームワークを利用しようと思っていました。 ...

前回の続きです。今回はBERTにおける２つのトピック、自己教師学習と汎用性についてです。 自己教師学習 アノテーション 機械学習において、教師ありデータというものの多くは、人間が手動でラベル付をします。例えば犬の画像から ...