らくがき入門

環境と研究テーマが大幅に変わりました。だいたい何かに入門しています。

pandasを用いてフラグがついている列が先頭になるように行ごとにシフトする

やりたい処理は、すべての行でフラグ1が先頭にくるようにシフトしたい。 うまいやり方かどうかわからないけど、一応うまくいっているような気がする。 サンプルコード 参考にした書籍・サイト サンプルコード import numpy as np from numpy import nan impo…

numpyのarrayで複数の要素が配列内に存在するか判定する

numpy.arrayで複数の要素をリストで渡して、真偽値行列を作成してみる。 使うのは、numpy.in1dで、 指定したarray-likeな要素がある配列内に存在するかどうかを判定して、1次元の真偽値行列を返してくれる。 配列の形を合わせたいなら、reshape(arr.shape)で…

LightGBMをインストールする

LightGBMをubuntu18.04にインストールします。 LightGBMとは 勾配ブースティング LightGBMのインストール Cmakeのインストール LightGBMのインストール 参考にしたサイト LightGBMとは Microsoftが開発した勾配ブースティング(Gradient Boosting)のフレーム…

2つのnumpy arrayからDataFrameを作る

2つの同じ長さのnumpy arrayを用いてそれらを列に持つpandasのDataFrameを作成します。 In [1]: import numpy as np In [2]: import pandas as pd In [3]: arr1 = np.array(["a", "b", "c", "d"]) In [4]: arr2 = np.array([1, 2, 3, 4]) In [5]: dict_ = di…

PandasのDataFrameから特定の値を持つ行を削除する

言われてみたら簡単なんだけど、意外に思いつかなかった。 DataFrameの特定の行に含まれている値を指定して、それ以外を抽出するイメージ。 In [1]: import pandas as pd In [2]: df = pd.DataFrame([[1, 2], [2, 3], [3, 4]], columns=["a", "b"]) In [3]: …

pythonで地図上の2時点間の位置関係を求める;

2時点間の緯度、経度、高度が与えられたときに簡易的に2時点間のローカルな位置関係を求めます。 緯度・経度・高度といった情報ではローカルな2時点間の関係性が分かりづらく扱いづらいので、変換します。 具体的には、2時点間の距離とある時点からもう…

atom上でterminalを使う

atomのプラグインであるPlatformio Ide Terminalを起動して、paneとの間を移動できるようにしました。 ほぼほぼ自分のメモ用です。 環境 ubuntu18.04 Platformio Ide Terminal atomでターミナルを起動するプラグインです。atom上でterminalを起動するのはTer…

時系列データにおける定常過程と単位根過程の違いとADF検定(Pythonによる実装例あり)

前回の記事では、「時系列データの定常性を確認する」というタイトルで記事を書きました。与えられた時系列データが定常過程であれば、ARMAモデルなどの基礎的なモデルに落とし込むことができます。 今回はよく用いられる単位根検定である拡張 Dickey-Fullar…

時系列データの定常性を考える

沖本本を基に、定常性について説明します。 定常性は時系列モデルを考える際に最も重要な概念の1つです。 定常性とは 定常性は、大雑把に言うと時系列モデルの性質です。 定常性は、同時分布だったり基本統計量に関して時間的に不変 であるという性質を表現…

時系列分析における系列変換

沖本本のアウトプットを共有目的と自分用のメモ目的で書きます。 時系列分析の目的 時系列分析の目的は、複雑な観測データが持つ多様な特徴のうち 分析者にとって重要な特徴のみを簡単に表現できるモデルを構築することです。 このように作成したモデルを基…

python+seleniumでWebページのデータを自動取得する

SeleniumはWebブラウザの自動操作ライブラリです。Seleniumを用いることで人間がWebブラウザ上で行う作業を自動化することができます。 Seleniumの一般的な用途としては、単純作業の自動化の他にWebアプリケーションの自動化などが挙げられます。 今回はSele…

ubuntuでThinkpadのトラックポイントの速度・感度を調整する

背景 Thinkpadにubuntuを入れて開発していますが、Thinkpadのトラックポイントが感度が悪く、速度も遅いのでかなりストレスフルでした。 結論からいうと苦肉の策で解決しました。 対策 色々調べた結果、以下リンクで紹介されていた方法をubuntuの起動時に実…

時系列分析入門①【事始め】

はじめに 近い将来に必要になりそうだったのでいわゆる沖本本で時系列分析を勉強し始めました。 自分へのメモのためにも書いて残しておきます。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日…

ubuntu18.04LTSでwi-fiが頻繁に切れる場合の対処法

状況 ubuntu16.04LTSからのアップグレードをしました。 ubuntu18.04LTSへのアップグレード後、 wi-fi接続はできていたのですがしばらく経つと接続できなるので調べながら色々やりました。 対処法 パッケージ更新 とりあえずパッケージの更新を行いました。 $…