Rによる統計的学習入門 こちらの書籍は以前から気になっていた 「An Introduction to Statistical Learning」 の和訳になります。 www-bcf.usc.edu 英語だとpdfがタダで読めますが、 私は英語がそこまで得意ではないので日本語で読めるとありがたいです。 ぶ…

変数重要度の有効利用 製造業においてデータ分析の目的は予測よりも要因解析であることのほうが多い。 ブログを見ていると機械学習モデルの変数重要度について解説している 素晴らしサイトを見つけた。 dropout009.hatenablog.com Permutation importanceと…

重回帰分析で交互作用を検討 重回帰分析で交互作用を検討する場合は、 中心化が必要。その時はscale関数でscale引数をFALSEにすると楽。 http://cogpsy.educ.kyoto-u.ac.jp/personal/Kusumi/datasem13/shinya2.pdf #重回帰分析 library(tidyverse) library(c…

Rを使った分散分析・実験計画法の解析 carパッケージのAnova関数を使って分散分析をやってみる。 #http://www.asakura.co.jp/G_12.php?isbn=ISBN978-4-254-12216-9 からサンプルデータをもらう df <- read.table("rei31.csv",header = TRUE,sep=",",na.strin…

2018年データサイエンスに必要なパッケージトップ7 製造ラインで発生した不良品の原因を調査するときには 工程で得られた大量のデータを分析する必要があります。 特に不良要因の仮説さえない状況下では、 探索的データ分析(EDA)が必須です。 ただ、皆さんも…

GUIでggplot2を操作する決定版パッケージesquisse ggplot2の文法を忘れてしまう。 プログラミングが面倒。 といった問題を解決する超便利なパッケージesquisseを紹介する。 #ggplot2 GUI install.packages("esquisse") library(esquisse) irisdata <- iris e…

FactoMineRとfactoextraパッケージで主成分分析 主成分分析の結果を階層型クラスター分析でクラスタリングする。 #階層型クラスター分析の結果を主成分分析を使って可視化する data("USArrests") head(USArrests) res_pca <- PCA(USArrests,ncp=3,graph = FA…

FactoMineRとfactoextraパッケージで主成分分析 FactoMineR"と"factoextraパッケージを使用すると、 主成分分析の結果を間単に可視化できた。 install.packages(c("FactoMineR","factoextra")) library(FactoMineR) library(factoextra) data(decathlon2) he…

デジタルアニーラとは it.impressbm.co.jp ネットサーフィンで気になった記事があった。 富士通がデジタルアニーラを用いたサービスをクラウドで提供し始めたそうだ。 日本の大企業らしからぬ事業化のスピードと感じる。 デジタルアニーラとは記事にも書いて…

RにLightGBMをインストール まずインストールが面倒である。 以下のHPに沿ってインストールしたが何故かエラーが起きた lightgbm.readthedocs.io 対策 ・QAで書いてあった以下の対策でうまくインストールすることができた。 https://github.com/Microsoft/Li…

ファイル名変更マクロ ファイル名をリストに沿って変更するマクロの防備メモです。 A列に現在のファイル名、B列に変更したファイル名を入れる。 Sub renamemacro() Dim i As Long 'ファイル保存先 Const MyFolder$ = "C:\Users\*****\ Const A& = 1, B& = 2 …

クラスターの数を機械的に決める クラスター分析でkmeans法を使用するときはクラスタ数を自分で決定する必要がある。 その際に参考となるGap統計量を求める。 #install.packages("factoextra") #適切なクラスター数の検討 library(factoextra) #wssの推移を…

すべてNAの列を削除 完全なる防備メモです。 #すべてNAの列を削除する #オブジェクトxのデータ数を数える > length(x) #select_if()を使ってみる。これは，第二引数である.predicateに関数を準備し， #各変数をこの関数に当てていく。そしてTRUEを返した関数…

SMOTEアルゴリズムで不均衡データを是正 是正前のIncomeの比率は FALSE TRUE 718 22027 不均衡データを是正すると要因が変わるか確認する。 #不均衡データであることがわかる #smoteで不均衡データを是正する #install.packages("DMwR") library(DMwR) acs_s…

決定木の見える化 決定木の分析結果をより分かりやすくするため、 rattleやpartykitpartykitパッケージで見える化する。 注意点は目的変数がファクターでないと エラーが起きるのでファクター化する。 #フルモデルから決定木分析をしてみる #fancyRpartPlot…

rpart関数で決定木分析 機械学習には二つの目的があると思っている。 予測 要因分析（推測） 製造業では後者の要因分析が目的になることが多いと考える。 だって技術者としては何がどのようにどれくらい影響を及ぼしているか メカニズムを解明したいでしょ？…

Lasso回帰のモデルから係数を詳しく調べてステップワイズ法のモデルと比較しよう まずはLasso回帰の解パスを見てみる。以下のようになった。 Lasso回帰 ・図の見方 左側が誤差MSEが最小値となるλの対数 右側が誤差MSEが最小となるときのMSEの上側1seとなると…

ステップワイズ法による変数選択 みんなのR（第二版）P374にステップワイズ法に 関する記述があるのでメモします。 ステップワイズ法とは説明変数の増減を繰り返して AICやBICなどの情報基準量やF値を評価し、 最適な変数を探す手法です。 データセットは引…

ラブライブ！サンシャイン!!The School Idol Movie Over the Rainbowの感想 嫁とレイトショーで鑑賞してきました。 地方ですが映画館はガラガラでした。 μ's程の爆発力はないのかな？？ 映画の内容はなんと3年生が抜けて6人でスクールアイドルを 続けていく…

制約条件理論(TOC)とは みなさんは制約条件理論(TOC)という言葉を聞いたことがありますか？ ザ・ゴールという本の名前を聞いたことがある人は いるとおもいます。 制約条件理論(TOC)の定義 個人的には以下の文章が一番しっくり来ています ■TOCとはイスラエル…

変数を生成しながら数値を代入 変数を変えながら数値を代入する方法をメモしておく。 #変数を動的に生成しながら、数値を代入 xlist<-list("AAA","BBB","CCC") syukei <- c(2,3,4) syukei[1] for (i in 1:length(xlist)){ assign(sprintf("X%d", i), syukei[…

soluthion pathにラベルを付けるには？ glmnetのplotではsoluthion pathにラベルが付かない。 変数が多いと似たような色になるので、 ラムダを変化したとき偏回帰係数の変化がわからない。 plotmoパッケージでラベルを付けることができた。 ・ コード #Ameri…

二値変数作成 条件を判断してTRUE / FALSEを追加 みんなのR（第二版）を購入しました。 気になったのはP380glmnetで訓練させる場面。 二値の変数を作成する場面で、with()関数を用いていた。 全く使ったことがなく、ググってみてもよくわからない。 とりあえ…