Atom-WSL-PyCharm相関図

Atom-WSL-PyCharm相関図を簡単にまとめましたので中間報告的に記述します。(長短含めて)

Atom-WSL-PyCharm相関図

2019/01/06
Atom
① 印刷できない。
② Flaskがない。
③ データベースがない。
④ Moduleの管理が難しい。
⑤ Pythonの各属性を色表示できる。
⑥ JupyterのModuleを引き込むことができる。
⑦ Hydrogenでstep by stepのデバッグができる。(◎)
⑧ Windows特にExplorerが生で使える。
⑨ Demo Programが多数存在する。(◎)

WSL(Windows Subsystem for Linux)
① 印刷できない。
② データベースがない。
③ Jupyterのmoduleを引き込むことができない。
④ Step by stepのデバッグができない。
⑤ Windowsとのやり取りがUSB経由である。
⑥ Pythonの各属性を色表示できる。(◎)
⑦ Flask環境下でデバッグできる。(◎)
⑧ Linuxのコマンドがじかに実行できる。(◎)
⑨ Moduleの管理が比較的しやすい。

PyCharm
① Step by stepのデバッグができない。
② 有料でないとSQLite3(DB)が使えない。
③ 慣れていない。
④ Linuxのコマンドが使えない。
⑤ Jupyterとの連携がとりにくい。
⑥ 有料でデータベースが使える。(◎)
⑦ 印刷ができる。(◎)

以上

↑人気ブログランキングに参加しています。よろしければ1票を!

5ヶ年計画Revise up(ver3.0)

Qiitaに谷CEOの記事が載ったのでそれを参考にAIエンジニアになるための道程表をリバイズアップした。有用な記事、感謝いたします。

5ヶ年計画Revise up(ver3.0)

Qiitaに谷CEOの記事が載ったのでAIエンジニアになるための道程表(5ヶ年計画)をリバイズアップした。
有用な記事感謝いたします。

layout: “post”
title: “5ヶ年計画ver3.0”
date: “2018-12-18 13:38”

AIエンジニアに最低限必要な知識
まずは、AIエンジニアに最低限必要な知識を大きく6つに分けて見ました。
ここでは、将来AIエンジニアとして業務を行うにあたり、大きく分けて6つの内容の基礎知識の全体像を把握してください。

①プログラミングスキル
– Python
– numpy、pandas、matplotlib、scikit-learn、TensorFlowやkeras

この中で特にpandasを使いこなせると良いです。
機械学習を行う上で、データ前処理が必須なのですが、データ前処理を行う上で便利なライブラリです。

②数学
– 微分、線形代数、ベクトル、行列、確率など

③統計の知識
– 標準偏差、分散、確率分布、推定、検定などなど

④機械学習の基礎知識

教師あり学習と教師なし学習
前処理、特徴量設計、学習と評価
単回帰、重回帰分析、最小二乗法、パーセプトロン、ロジスティック回帰
決定木、ランダムフォレスト、サポートベクトルマシン、K-means
ディープラーニングの実装スキル及び知識
scikit-learn
TensorFlowやKerasなどのフレームワークの知識。
scikit-learnで学習済みモデルを作るまでの流れなど。
1.データの収集とデータの前処理欠損値の補完や外れ値の削除。
2.特徴量の設計(特徴量の選択)
3.モデル開発(モデルの選択と学習)
4.モデル評価・・・交差検定、混合行列で評価など。
⑤SQLを使ってデータベースを操作する知識。
– select、insert、update、delete、where、like、limit、sum、avg、max、group by、having、order by、テーブル結合、ビュー、サブクエリ、caseなどなど。

⓺クラウドの知識
– AWSやGCPやAzureなどのクラウドインフラ回りの知識。

大きく6つもあり以外と多いなと思われたかもしれませんが、一度に全てやるのではなく、まずは①と④の2つに絞ることをお勧めします。
理由は、実際にプログラムを書き、目に見える形にすることで継続して学びやすくなるからです。
はじめに理論から入ると独学だと挫折してしまうので。

人工知能を独学で勉強するオススメの方法
必要な知識は前の節で紹介しましたが、どのようにそれらを学べば良いのでしょうか。
①から⑥を学ぶ上で、以下のような順で知識を身につけていくことをお勧めしています。

フェーズ1 pythonによる機械学習プログラミングと人工知能概論を学ぶ。
フェーズ2 機械学習プログラミング。
フェーズ3 Kaggleに挑戦。
フェーズ4 SQL、スクレイピング、クラウドなどの技術も身につける。
フェーズ5 機械学習スキルを活用してプロダクト制作をする。
フェーズ6 教える(多分これはしないと思う)。

このフェーズごとに学んでいくことがもっとも自分自身に負荷をかけず、楽しく学ぶことができると考えています。

フェーズ1ではプログラミング初学者の方を指しております。
もし、プログラミングを初めてという方は是非フェーズ1から目を通してください。

フェーズ2では実際にフェーズ1で学んだ内容をベースに、機械学習プログラミングに関する勉強方法を説明して参ります。
既にscikit-learnを使った機械学習プログラミングを行なっている方は飛ばして頂いても構いません。

フェーズ3ではKaggleといったコンペティションを通じて実践的なプログラミングを学ぶ方法を記述しています。(これもしないと思います)

フェーズ4 機械学習をやる上で、データベースからデータを取り出すことは頻繁に行われますので、SQLの知識は必須です。ここでは、SQLの他にスクレイピング(データ収集用)、クラウドなどの技術の身につけ方を紹介します。(まずはAccessから)

フェーズ5 機械学習スキルを活用してプロダクト制作に取り掛かりましょう。このレベルまで到達した方は、プロダクトを通じて学ぶことが多いです。

フェーズ6 人に教えることで自分の分かっていなかったことが明確になることがあります。なので、友人などに機械学習を教えて自分の理解を深めることもよいでしょう。

以降、6つのフェーズごとに、どのようにこれらに取り組めば良いのか、お勧めの書籍などを紹介しながら説明していきます。

# 開発環境構築

1. PCにIpython、Python、Atom設定
・AtomではPython単体でデバッグ
・WSLとemacsでWebの練習問題をコピペで開発
・WEBのTopページをデザインおよび開発
・Topページ(index.html)の下でdemo.py demo.html demo.css demo.jsを開発
・各demoxx.pyデザイン、demoxx.htmlデザイン、代表.cssデザイン
・モジュール名を標準化
・モジュール一覧表を作成

2. Git、GitHub設定ー協力者選定
・GitHubを勉強(バインダーのもの)

3. ドキュメント計画策定
・モジュール一覧表を作成
・Pythonプログラム・ジャーナル整理
・HTMLジャーナル整理
・JSプログラム・ジャーナル整理

4. 開発計画

1. Python習得計画
2. 実機練習
3. Pythonプログラミング(コマンドプロンプトとWSL上で)
4. デバッグ
5. モデル構築
6. Ipytonデバッグ(WSL上でJupyternotebook)それをAtom環境下で開発(numpy,pandasの習得)

PCにIpython、Pyton、Atom設定

– Toshiba dynabook Satellite B554/K 使用
– ドキュメンテーション
– 開発環境下でテスト
– 逐一ブログアップ

# Git、GitHub設定ー協力者選定

– GiTHub学習
– 協力者要請

# ドキュメント計画策定

– 5ヶ年計画
– 1年間のスケジュール
– 3年間のスケジュール
– 最終計画

# 読書計画

– Qiita掲載中のドキュメント精読(仕掛中)
– オブジェクト指向で何故作るのか(購入済み)
– 新しいLinuxの教科書(購入済みー実機で参照したのち熟読)
– みんなのPython(購入済みー仕掛中、早めに)
– 日経Linux(購入)
– ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装(購入済みー熟読)
– Access学習(住所録作成・MySQL Queryを中心に学習)
– Qiitaでコピペしたドキュメント勉強(仕掛中)
– (プログラミング(Python)、統計的機械学習、深層学習(Deep Learning)、機械学習のための数学、確率・統計)
– やさしく学ぶ 機械学習を理解するための数学のきほん
– Ipython Interactive Computing and Visualization Cookbook(購入済みー最後に)
– その他

↑人気ブログランキングに参加しています。よろしければ1票を!

Windows Subsystem for Linux

Pythonの開発環境でいままでVAIO上でUbuntu(native Linux)を使って行ってきた。しかし今回の内臓HDDも約2か月で壊れてしまった。しようがないので倅に一時は渡したDYNABOOKを返してもらってPCで引き続きPythonで開発することとした。Windows10の安定性を考えてである。

Windows Subsystem for Linux

Pythonの開発環境について、いままでVAIO上でUbuntuをインストールし使ってきた。
しかし今回の内臓HDDも約2か月で壊れてしまった。(外付けHDDは2度クラッシュ)
仕様がないので倅に一時は渡したDYNABOOKを返してもらってPCにて引き続き
Pythonで開発することとした。Windows10の安定性を考えてである。
コマンドプロンプトで仮想環境を作り出し数学関連のライブラリをインストール。
そののち(>atom . )でAtomを呼び出しsin curveなどをプロット。
以下にその手順を述べる。

2018/10/05

① コントロールパネルのWindows Subsystem for Linuxに☑を入れる。
② Ubuntuのインストール
③ Ubuntuにユーザーネーム、PWをセットする。
④ sudo apt updateの実施
⑤ sudo apt upgradeの実施(pip,pip3,python3.6.6も同時にインストールされる)
⑥ sudo apt install emacs
⑦ sudo apt install ibus-mozc emacs-mozc
%emacs &
VcXsrvを起動
デスクトップ上のXlaunchをクリック
%xeyes &
⑧ pip,pip3インストール which pip3→/*****/bin/pip3
⑨ jupyterのインストール
⑩ Anaconda3のインストール
C:\Users\*****\Anaconda3
⑪ Atomのインストール1.31.1
⑫ Atomのセットアップ
⑬ Ipykernelのインストール
⑭ AnacondaなしでAtomのHydrogenをいれる(CMDpromptで >atom . )
→@tomp(2018/10/03)記事参照
( https://qiita.com/tomp/items/af89e0c7aa1a3d07e27f )参照
⑮ 環境変数編集
⑯ Ipythonのインストール
⑰ コマンドプロンプトでPython36のインストール
⑱ Matplotlib等のインストール

問題点、注意点など
 HydrogenでShift+Enterでpip -m …のエラー解決(⑭で解決済み)
 Jupyter notebookでファイルが参照できない
 クロームのLinuxの最終行をクリックしyahooの最後のリンクを読む
 VcXsrvを起動デスクトップ上XLaunchをクリック
 初回時ファイアウォールの設定キャンセル
(libxcb.dll libXau.dll libX11.dll zlib1.dll libcrypto-1_1-x64.dllをセットする)
 Windows・Key+R(「shell:startup」入力)

Atom実行場面(projectの指定)

Matplotlibをインストールしたのちsin curveを描画

pandasのインストールしたのち乱数を発生させてplot


↑人気ブログランキングに参加しています。よろしければ1票を!

5ヶ年計画

リンクをクリックすると私の5ヶ年計画の文書が見られます。目標、目的はあえて述べません。それは私自身の能力によるからです。

2018-08-17-5ヶ年計画.markdown
上のリンクをクリックすると私の5ヶ年計画の文書が見られます。
目標、目的はあえて述べません。それは私自身の能力によるからです。
1.Atomのパッケージのインストールで
・markdown-writer
・markdown-scroll-sync
・tool-bar
・tool-bar-markdown-writer
を入れておく
2.Atomでmarkdownの文書を作る
3.プレビューする
4.プレビュー画面で右クリック
5.HTML文書作成をクリック
6.Wordpressテキスト画面にHTML文書をドラッグ・アンド・ドロップする
7.リンクが貼られます
以上です。

↑人気ブログランキングに参加しています。よろしければ1票を!

シスジェンのときに使うお気に入り

Ubuntuのシステムジェネレーションのときに使ったお気に入りです。

シスジェンのときに使うお気に入り

Ubuntuのシステムジェネレーションのときに使ったお気に入りです。(アイキャッチ画像)
それとそれに対応したURLです。ご自身の責任で参照・実行してください。

IT用語No.01Atom
IT用語No.02
IT用語No.03
IT用語No.04
IT用語No.05
IT用語No.06Python
IT用語No.07
IT用語No.08
IT用語No.09
IT用語No.10Ipython
IT用語No.11Anaconda
IT用語No.12GitHub
IT用語No.13

↑人気ブログランキングに参加しています。よろしければ1票を!

おさらい

おさらい

2018/08/03
WordPressの新Editor(Gurtenburg)をテストしてみた。
全然だめである。旧エディターをインストールし直して使い続ける予定である。
新エディターは不安定だし、だいたいどこに何の機能があるかわからない。
当文章も追加して更新したら「更新」エラーになってしまった。
この影響かどうかわからないが、従来のパスワードもリジェクトされてしまった。
当分切り替えるつもりはない。

2018/08/02

① Ubuntu 18.04 LTS 日本語RemixマスターUSBメモリーを作る(ISO-image)
② Live-USBメモリーの作成
③ Live-HDDの作成
・パーティションの削除
・複数のパーティションの作成
・fdisk
・fsck
・MBRの作成
・1つは’/’
・1つは’/home’
④ Firefoxのお気に入りのインポート
⑤ Firefoxのお気に入り整理
・DailyCheck
・Software
・Linux
・Ubuntu
・Atom
・GitHub
・Blogetc
・Finance
・Other
⑥ 端末の背景を白地に
⑦ やたらモジュールを入れ込まない
⑧ Atomのインストール
・パッケージのインストール
⑨ Python3.6のインストール
⑩ Mailspringのセットアップ
⑪ パーティションの中身の印刷
⑫ 壁紙の設定
⑬ 電源の設定に注意
⑭ Gitの設定
⑮ GitHubの設定
⑯ Anaconda3のインストール
⑰ Ipythonのインストール
⑱ emacs,LaTeXのインストール
———————————-
⑲ ’/’ and ‘/home’のBack Up作成
⑳ pipのインストール
㉑ Jupyterのインストール
㉒ Download the example code files
———————————-
㉓ ’/’ and ‘/home’のBack Up作成(2回め)18/07/30現在最新
㉔ FlightGearのインストール

↑人気ブログランキングに参加しています。よろしければ1票を!

notebookでturtle描画

notebookでturtle描画

Atom環境下で実績のあるturtle描画のpythonプログラムをコピペでjupyter notebookに持っていき実行してみる。
① Atomを開き目的のプログラムをコピーする。
② 端末から’jupyter notebook’と入力しブラウザーを立ち上げる。
③ WEBが動いたらNewでpython3を選択する
④ In [1]にプログラムをぺーストする
⑤ file menuで’Rename’を実行
⑥ file menuで’Download as’で’.ipynb’を選択(.pyにしても強制的になる)
⑦ save(画像参照)
⑧ ▶RUN実行(アイキャッチ画像参照)
⑨ Python Turtle graphics(クローズボタンは効かない、シャットダウン時に自動的に消える)
⑩ logout
⑪ ブラウザを閉じる
⑫ 端末で’Ctrl + C’入力-シャットダウン
⑬ 次からjupyter notebookを実行した場合’Rename’で指定したプログラム名が表示される

Turtle Graphics格納画面


↑人気ブログランキングに参加しています。よろしければ1票を!

lsmagicの扱いについて-その2

lsmagicの扱いについて-その2

結局まだ解決がついていないのだが、原書でプログラムの保存先およびIpythonでのリポジトリのPATHを提示しているのでここで述べておきます。作成元はアイキャッチ画像からも分かると思いますがcpコマンドのコピー先も表示しておきます。
/etc/asterisk/cdr_mysql.conf です。例えば
——————————
cd /usr/src/asterisk-addons/configs/cdr_mysql.conf.sample
cp lsmagic1 /etc/asterisk/cdr_mysql.conf
——————————
という具合です。
間違えていたらごめんなさい。

↑人気ブログランキングに参加しています。よろしければ1票を!

lsmagic実施

lsmagic実施

① root権限でIpythonを実施
② %lsmagic実施
③ プログラム入力
In [1]で「%lsmagic」を入力
f = open(‘lsmagic1’,’w’)→ファイルに追加のときは’a’を指定
str = In [1]
f.write(str)
f.close()
④ ファイルのアップロードでlsmagic1を開く(.ipynb→.pyへ)ただしplain Textを変換
⑤ 本当のアップロード
⑥ ファイル/フォルダー リストに表示されている→クリック
⑦ テキストをコピー,In [1]の中にペイスト
⑧ ファイル・メニューからRename,download asから.pyを選ぶ
⑨ ▶RUNでIpython②で行った結果と同じものが表示された
⑩ Atom環境下に持っていって実施したがだめ
⑪ 自動変換でもだめ、%lsmagicを直接入力してもだめだった

→原書で当たっているがそもそもコマンドを端末から入力しても’>>>’のプロンプトが出ない。In [1]…Out [1]…がプロンプトされてしまう。
Ipython(Anaconda)のインストールがまずかったのか、でもPython3.6のほうは上記のプロンプト’>>>’が出る。インストールのやり直しを何回も行っているため、怖くて現状を改変したくない。どなたかこの辺のこと知っている人はいないだろうか?当ブログの「お問い合わせ」から教えていただければありがたい。

jupyter notebookでのファイルの選択

ファイルの選択

jupyter notebookにはこの方式だとテキストだけしか渡らない

テキストをコピー

notebook側にペースト

notebook側で実行

Atom側で実施、うまく行かなかった

↑人気ブログランキングに参加しています。よろしければ1票を!

乱数発生-pythonの場合-Atomで実施

乱数発生-Pythonの場合-Atomで実施

同じテーマをIpython(.ipynb)の場合と
それをIpythonで(.py)でSAVEしてATOM環境下に持ってきてデバッグした場合を2回に分けて掲載する。その2回めである。
前回は端末より「jupyter notebook」と叩いて実行した例である。
プログラムは「.py」でSAVEしただけでCodeには一切手を入れていない。
Ipythonが自動で全部変換している。
プログラム・ファイルをただIpython下のライブラリからAtom管理下のリポジトリに移しただけである。

↑人気ブログランキングに参加しています。よろしければ1票を!