らくがき入門

環境と研究テーマが大幅に変わりました。だいたい何かに入門しています。

python

pandasを用いてフラグがついている列が先頭になるように行ごとにシフトする

やりたい処理は、すべての行でフラグ1が先頭にくるようにシフトしたい。 うまいやり方かどうかわからないけど、一応うまくいっているような気がする。 サンプルコード 参考にした書籍・サイト サンプルコード import numpy as np from numpy import nan impo…

numpyのarrayで複数の要素が配列内に存在するか判定する

numpy.arrayで複数の要素をリストで渡して、真偽値行列を作成してみる。 使うのは、numpy.in1dで、 指定したarray-likeな要素がある配列内に存在するかどうかを判定して、1次元の真偽値行列を返してくれる。 配列の形を合わせたいなら、reshape(arr.shape)で…

LightGBMをインストールする

LightGBMをubuntu18.04にインストールします。 LightGBMとは 勾配ブースティング LightGBMのインストール Cmakeのインストール LightGBMのインストール 参考にしたサイト LightGBMとは Microsoftが開発した勾配ブースティング(Gradient Boosting)のフレーム…

2つのnumpy arrayからDataFrameを作る

2つの同じ長さのnumpy arrayを用いてそれらを列に持つpandasのDataFrameを作成します。 In [1]: import numpy as np In [2]: import pandas as pd In [3]: arr1 = np.array(["a", "b", "c", "d"]) In [4]: arr2 = np.array([1, 2, 3, 4]) In [5]: dict_ = di…

PandasのDataFrameから特定の値を持つ行を削除する

言われてみたら簡単なんだけど、意外に思いつかなかった。 DataFrameの特定の行に含まれている値を指定して、それ以外を抽出するイメージ。 In [1]: import pandas as pd In [2]: df = pd.DataFrame([[1, 2], [2, 3], [3, 4]], columns=["a", "b"]) In [3]: …

pythonで地図上の2時点間の位置関係を求める;

2時点間の緯度、経度、高度が与えられたときに簡易的に2時点間のローカルな位置関係を求めます。 緯度・経度・高度といった情報ではローカルな2時点間の関係性が分かりづらく扱いづらいので、変換します。 具体的には、2時点間の距離とある時点からもう…

時系列データにおける定常過程と単位根過程の違いとADF検定(Pythonによる実装例あり)

前回の記事では、「時系列データの定常性を確認する」というタイトルで記事を書きました。与えられた時系列データが定常過程であれば、ARMAモデルなどの基礎的なモデルに落とし込むことができます。 今回はよく用いられる単位根検定である拡張 Dickey-Fullar…

時系列分析における系列変換

沖本本のアウトプットを共有目的と自分用のメモ目的で書きます。 時系列分析の目的 時系列分析の目的は、複雑な観測データが持つ多様な特徴のうち 分析者にとって重要な特徴のみを簡単に表現できるモデルを構築することです。 このように作成したモデルを基…

python+seleniumでWebページのデータを自動取得する

SeleniumはWebブラウザの自動操作ライブラリです。Seleniumを用いることで人間がWebブラウザ上で行う作業を自動化することができます。 Seleniumの一般的な用途としては、単純作業の自動化の他にWebアプリケーションの自動化などが挙げられます。 今回はSele…