Coordination Bond

前に書いた、「 計算科学に必要なShellによるテキストファイル編集 」の続編です。 計算科学で求めた最適化構造は、慣例に従ってSupporting Informationファイルの末尾に乗せることが多いです。 Outputファイルの座標は、下記のような形で出てくることと思います。 これをこのまま貼り付けても良いのですが、空白が多く不格好です。私は、できるだけ間を詰め、フォントサイズを落とし、２カラム表記にすることで大体の構造情報は、一分子1ページになるようにしています。 この際に、数字と数字の間には、見栄えを良くするために無数のスペースが入っていたり、余分な空行があったり、体裁を整えるのが面倒です。カンマ切りのcsvに変換できたら、excelなんかでも扱えるファイルになります。 そのための処理を、今回まとめました。 ＿＿＿＿＿＿＿ 扱うファイル名を、「AAAA」 とします まず、ファイルが置かれているディレクトリまで移動し、以下のコマンドを打ってみてください。  cat -e AAAA.txt | head -n 20 自分のファイルをcat コマンドで、ターミナルに表示させています。 -e オプションで、改行の部分に隠れている記号を表示させています。 （以下の画像ファイルの「$」マークが改行コードです。） 余分なスペースを、ふっとばしたいと思います。 以下の様に、sed コマンドを使いましょう。  sed -i ".bak" -E "s/ +/,/g" AAAA.txt -i で、バックアップファイルの拡張子を指定します。 これを入れておかないとうまく行かなかったりします。 -E で、正規表現つかうぞ！と宣言しています。 "" の中身の操作をおこないますが、 s/ X / Y /g なので、XをYで全て置換、という意味です。 Xの部分に、   / +/ （ [スペース] と、[プラス記号]）が入っていますが、 プラス記号は正規表現で、「その前にあるものが繰り返し一つ以上」、という意味です。 ここではスペースが入っているので、スペースが一つ以上入っていれば、 その部分が参照されます。 Yの部分は、 何も入っていないので、...

「そんなものはない！」と 、偉い方に 怒られてしまいそうですが、どうでしょう。 twitterで京都の先生が、もう英語の発表はしなくていいぞ！と、つぶやいてはりました。 　@Dr_Kano　さんのtwitterより Googleは、なんでもすごいですが、音声の自動生成でも技術革新があったようです。 実際に、新しく開発された「 Cloud Text-to-Speech 」ページにいってみました。 下の画像のように、例文をすでに用意してくれています。 右下の、「SPEAK IT」ボタンを押すと、「私はロボットではありません」認証が出てくるので、チェックしてください。そうすれば、テキストの読み上げを開始してくれます。 どんなもんじゃい！ 。。。 みなさんもやってみましたか？ はい、私の英語よりは確実に上手です。 文章を打ち込む欄の下に、設定をいじるボタンが色々付いています。 Language から、いろんな言語を選べるのですが、インドアクセントの英語なんかも選べるのが面白い。 Voice Type のタブから、「Basic」と「WaveNet」がえらべるのですが、WaveNetが最近できた技術のようですね。Basicも、けっこうすごいですが、SiriとかGoogle音声のレベルです。 WaveNetのほうが、リエゾン（前後の単語の音声の連結）や、抑揚の付け方が自然です。 もうちょい抑揚、というか表現をつけたら、人間にかなり近いんでは。 文章全体の抑揚、間のとり方に、すこしゆらぎを入れたら、さらに人間っぽくなるのでは。 Googleはそんなことはわかっていて、あえてやっていないのだと思いますが。 ほんとにきれいな英語なの？と思う方もいると思いますが、Languageのタブから、 日本語も選べます。適当な文章を打ち込んで読ませてみたら、どんなもんかわかると思います。 （Voice name で、声を変えられますが、C,E,Fが女性の声でした。ピッチを少し上げると若い感じがして、、なんの情報やねん。） これに触発をうけました。 ということで、 これをうまく使って、発表のレベルをあげませんか？というのがこの記事の趣旨です。 自分の原稿をこれに喋...

WFH (ワークフロムホーム) やってますか？ 自宅待機命令がでて、職場とのやり取りはZoomの方も多くいらっしゃると思います。 （ Zoomはセキュリティについて騒がれ ましたが、 一生懸命修正 しているそうです。） かくいう私は、昨日、初めてZoom会議をやりました。 ディスカッションの際には、ホワイトボードに図を書くのが好きなのですが、 Zoomのホワイトボード機能では、マウスを使ってお絵かきするので、 字であったり、繊細な曲線がかけません！ペンタブほしいな〜と思いました。 こんなときは、 iPad を使えば、簡単に手書きの図をZoomを通して共有できる よ、という記事。 iPadで直接、Zoomの会議に参加することもできるのですが、自分のパソコンでZoomに参加しといて、サブ画面的にiPadを使うことができる！というところがミソです。 Zoomは、共有というボタンをクリックすると、いま開いているアプリケーションのウィンドウを共有することができます。Skype世代の自分からすると、びっくりな機能。 下の一枚目の図にある、緑色に光る「画面を共有」ボタンを押すだけで、ウィンドウの共有を開始できます。例えば、pdf であったり、パワーポイントを表示すれば、それなりのディスカッションができます。  二枚目の絵に、iPhone/iPad （ケーブル使用）という表示があります。これをクリックするだけで、iPad (or iPhone) の画面を共有できます。ケーブルにつながなくとも、Airplay経由もいけるようです。 実際に、iPadで作った手書きの図を下に示します。 適当なノートアプリ上で図を書くと、ほぼリアルタイムで情報を共有することができます。拡大、縮小も、ピンチ操作するだけです。 残念ながら、ここに書き込めるのは iPad を使っている本人だけ です。一応、コメントを書き込むツールを使えば、受け手側も「マウスを使えば」線などを書き込むことができますが。 双方向のコミュニケーションが十全にとれるとは言い難いですが、発表者が決まっている場合や講義などでは活用できるテクニックだと思います。 作った資料は、簡単に保存、共有できるのもありがたいところです。 しかしあまりにも、Zoomでのミ...

コロナウイルスの流行に端を発する、データ処理についてのシリーズ記事ですが、今回でようやくひとつのゴールに辿り着けそうです。 今日の目標は、以下のプロットを、shellからのコマンド一発で生成する方法についてです。 京阪神+αエリアのCOVID19新規発症者数の推移（4/15日10時現在） スクリプトは、shellスクリプトとpython3のスクリプトから成り立っています。 要素としては、これまでの記事で紹介したコマンドがほとんどです。 （データ列の名前だったり、少し書き換えている部分もあります。） 適当なフォルダを作って、そこに、以下の２つのファイルを作成したら、 ターミナルで「 sh COVID_count.sh 」と入力するだけで、瞬時に上のようなグラフが作成されるはずです（ ターミナルからのシェルスクリプト実行についてはこちら ）。 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ COVID_count.sh ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ mkdir $(date +%m%d) cp COVID_count.py $(date +%m%d) cd $(date +%m%d) curl https://dl.dropboxusercontent.com/s/6mztoeb6xf78g5w/COVID-19.csv | cut -d ',' -f 1,6,8,10,11,24,27 | sed -e 's|/2020||g' -e 's|,4/|,2020/4/|g' -e 's|,3/|,2020/3/|g' -e 's|,2/|,2020/2/|g' -e 's|,1/|,2020/1/|g' > COVID_19_$(date +%m%d).csv grep -e 京都府 COVID_19_$(date +%m%d).csv | cut -d ',' -f 1,3,4,5 | nkf -s > COVID_19_kyoto.csv grep -e 大阪 COVID_19_$(date +%m%d).csv | cut -d ',...

京阪神エリアのコロナウイルスの流行状況が示された情報がすぐに見つからなかったことに端を発するこの企画も、第５段です。 これまで、 1.  関西のコロナウイルス感染者の状況 2. shellを使ってデータをウェブから取得する方法 3. 1.の操作をシェルスクリプトにして、瞬時に終わらせる方法 4. ダウンロードしてきたcsvファイルを、pythonを使って結合する方法 について、レシピを載せて来ました。 ここまでエクセルで図をつくって来ましたが、回を経るごとに効率化され、 だんだんとマウスを使う回数も減ってきました。 今回は、pythonでグラフを書かせるところまでやりたいと思います。 前回同様、Jupyter Notebook 上でスクリプトを書いています。 ____________________________________ import pandas as pd osaka = pd.read_csv('COVID-19-osaka0413.csv',encoding='cp932',names=['id', 'date', 'place_diag','place_living']) osaka["date"] = pd.to_datetime(osaka["date"]) osaka.groupby("date").size().plot(grid=True) ____________________________________ この四行で、下に示したようなfigができます。（大阪の日別新規感染者数です。） もう少しこまかく説明 1. データ読み込み import pandas as pd osaka = pd.read_csv('COVID-19-osaka0413.csv',encoding='cp932',names=['id', 'date', 'place_diag','place_living']) 前...

前回までの記事で、各都道府県ごとのデータを抽出しました。 これらのデータを、それぞれ開いてexcelで集計するというやり方で、 グラフを作っていました。 それぞれのファイルをexcelで開くのも面倒です。 この記事では、Pythonをつかって、csvフォーマットのデータを連結する方法を記述します。 Python の使い方については、色々あるのですが、ここではJupyter Notebook を使って作業を進めています。 （参考： データ分析でかかせない！Jupyter Notebookの使い方 ） Pythonはただの言語なので、そのままではファイルを開いたりグラフを書いたりすることができません。csvファイルをいじるためのライブラリの中でも最もメジャーなものの一つ、pandas を使いました。 コードから先に示して、一行一行説明します。 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿ import pandas as pd osaka = pd.read_csv('COVID-19-osaka0413.csv',encoding='cp932',names=['通し番号', '確定日', '診断地','居住地']) hyogo= pd.read_csv('COVID-19-hyogo0413.csv',encoding='cp932',names=['通し番号', '確定日', '診断地','居住地']) kyoto = pd.read_csv('COVID-19-kyoto0413.csv',encoding='cp932',names=['通し番号', '確定日', '診断地','居住地']) nara = pd.read_csv('COVID-19-nara0413.csv',encoding='cp932',names=['通し番号', '確定日', '診断地','居住...