皆さん、こんにちは。 今日は、Jupyter Notebook をインストールして、Apache Spark と InterSystems IRIS に接続したいと思います。

注記: 以下にお見せする作業は Ubuntu 18.04 で Python 3.6.5 を使って実行しました。

はじめに

Apache Zeppelin の代わりに認知度が高く、よく普及していて、主に Python ユーザーの間で人気というノートブックをお探しの方は、 Jupyter notebookをおすすめします。 Jupyter notebook は、とてもパワフルで優れたデータサイエンスツールです。 大きなコミュニティが存在し、使用できるソフトウェアや連携がたくさんあります。 Jupyter Notebook では、ライブコード、数式、視覚化インターフェース、ナレーションテキストを含む文書を作成、共有できます。 機能としてデータクリーニングや変換、数値シミュレーション、統計モデリング、データの視覚化、機械学習などが含まれています。 最も重要なこととして、問題に直面したときにその解決を手伝ってくれる大きなコミュニティが存在します。

要件の確認

何かうまく行かないことがあれば、一番下の「考えられる問題と解決策」をご覧ください。

2019年 10月 17日

Anton Umnikov
InterSystems シニアクラウドソリューションアーキテクト
AWS CSAA、GCP CACE

AWS Glue は、完全に管理された ETL (抽出、変換、読み込み) サービスです。データの分類、クリーンアップ、強化、そして様々なデータストア間でデータを確実に移動させるという作業を簡単にかつコスト効率の良いかたちで行えるようにするものです。

InterSystems IRIS の場合、AWS Glue を使用すれば、大規模なデータをクラウドとオンプレミスのデータソースの両方から IRIS に移動させることができます。 ここで考えられるデータソースは、オンプレミスのデータベース、CSV、JSON、S3 バケットに保管されている Parquet ファイルならびに Avro ファイル、AWS Redshift や Aurora といったクラウドネイティブのデータベースを含みますが、これらに限定されません。

みなさん、こんにちは。 今回は ML モデルを IRIS Manager にアップロードしてテストしようと思います。

注意: Ubuntu 18.04、Apache Zeppelin 0.8.0、Python 3.6.5 で以下を実行しました。

はじめに

最近では実にさまざまなデータマイニングツールを使用して予測モデルを開発し、これまでにないほど簡単にデータを分析できるようになっています。 InterSystems IRIS Data Platform はビッグデータおよび高速データアプリケーション向けに安定した基盤を提供し、最新のデータマイニングツールとの相互運用性を実現します。

この連載記事では、InterSystems IRIS で利用できるデータマイニング機能について説明します。最初の記事ではインフラストラクチャを構成し、作業を開始する準備をしました。2 番目の記事では、Apache Spark と Apache Zeppelin を使用して花の種を予測する最初の予測モデルを構築しました。 この記事では KMeans PMML モデルを構築し、InterSystems IRIS でテストします。

NoSQLデータベースという言葉を聞かれたことがあると思います。色々な定義がありますが、簡単に言えば、文字通りSQLを使わない、つまりリレーショナルデータベース(RDB)以外のデータベースのことを指すのが一般的です。

InterSystems IRIS Data Platformでは、テーブルを定義してSQLでデータにアクセスできます。ですから、InterSystems IRIS Data Platformは厳密にNoSQLデータベースというわけではありません。しかし、InterSystems IRISの高パフォーマンスを支える「グローバル」は、40年も前からInterSystemsのコア技術として、現代で言うNoSQLデータベースを提供してきました。本稿では、InterSystems IRISの「グローバル」でグラフ構造を作り、それをPythonでアクセスする方法を紹介します。

本稿で説明する内容は動画でも公開しています。ぜひご覧ください。

NoSQL

NoSQLに分類されるデータベースには様々なデータモデルを扱うものがあります。以下に代表的なものを挙げます。

この連載記事では、InterSystemsデータプラットフォーム用のPython Gatewayについて説明します。 また、InterSystems IRISからPythonコードなどを実行します。 このプロジェクトは、InterSystems IRIS環境にPythonの力を与えます。

• 任意のPythonコードを実行する
• InterSystems IRISからPythonへのシームレスなデータ転送
• Python相互運用アダプタでインテリジェントな相互運用ビジネスプロセスを構築する
• InterSystems IRISからのPythonコンテキストの保存、調査、変更、復元

その他の記事

現時点での連載計画です（変更される可能性があります）。

• パート I：概要、展望、紹介
• パート II：インストールとトラブルシューティング
• パート III：基本機能
• パート IV：相互運用アダプタ
• パート V：Execute関数
• パート VI: Jupyter Notebook <-- 現在、この記事を参照しています
• パート VII：動的ゲートウェイ
• パート VIII：プロキシゲートウェイ
• パート IX：使用事例とML Toolkit

はじめに

Jupyter Notebookは実コード、数式、図、説明文を含むドキュメントを作成および共有できるオープンソースのWebアプリケーションです。

この拡張機能を使用すると、InterSystems IRIS BPLのプロセスをJupyterノートブックとして参照および編集できます。

この連載記事では、InterSystemsデータプラットフォーム用のPython Gatewayについて説明します。 また、InterSystems IRISからPythonコードなどを実行します。 このプロジェクトは、InterSystems IRIS環境にPythonの力を与えます。

• 任意のPythonコードを実行する
• InterSystems IRISからPythonへのシームレスなデータ転送
• Python相互運用アダプタでインテリジェントな相互運用ビジネスプロセスを構築する
• InterSystems IRISからのPythonコンテキストの保存、調査、変更、復元

その他の記事

現時点での連載計画です（変更される可能性があります）。

• パート I：概要、展望、紹介
• パート II：インストールとトラブルシューティング
• パート III：基本機能
• パート IV：相互運用アダプタ
• パート V：Execute関数 <-- 現在、この記事を参照しています
• パート VI：動的ゲートウェイ
• パート VII：プロキシゲートウェイ
• パート VIII：使用事例とML Toolkit

はじめに

皆さんこんにちは。

第4回 InterSystems IRIS プログラミングコンテスト（AI／MLコンテスト） への応募は終了しました。コンテストへのご参加、またご興味をお持ちいただきありがとうございました。

この記事では、見事受賞されたアプリケーションと開発者の方々を発表します！

🏆 審査員賞　- 特別に選ばれた審査員から最も多くの票を獲得したアプリケーションに贈られます。

🥇 1位 - $2,000 は iris-integratedml-monitor-example を開発された José Roberto Pereir さんに贈られました！

🥈 2位 - $1,000 は iris-ml-suite を開発された Renato Banza さんに贈られました！

🥉 3位 - $500 は ESKLP を開発された Aleksandr Kalinin さんに贈られました！

🏆 開発者コミュニティ賞　- 最も多くの票を獲得したアプリケーションに贈られます。

🥇 1位 - $1,000 は iris-ml-suite を開発された Renato Banza さんに贈られました！

🥈 2位 - $250 は iris-integratedml-monitor-example を開発された José Roberto Pereir さんに贈られました！

この連載記事では、InterSystemsデータプラットフォーム用のPython Gatewayについて説明します。 また、InterSystems IRISからPythonコードなどを実行します。 このプロジェクトは、InterSystems IRIS環境にPythonの力を与えます。

• 任意のPythonコードを実行する
• InterSystems IRISからPythonへのシームレスなデータ転送
• Python相互運用アダプタでインテリジェントな相互運用ビジネスプロセスを構築する
• InterSystems IRISからのPythonコンテキストの保存、調査、変更、復元

その他の記事

現時点での連載計画です（変更される可能性があります）。

• パート I：概要、展望、紹介
• パート II：インストールとトラブルシューティング
• パート III：基本機能 <-- 現在、この記事を参照しています
• パート IV：相互運用アダプタ
• パート V：Execute関数
• パート VI：動的ゲートウェイ
• パート VII：プロキシゲートウェイ
• パート VIII：使用事例とML Toolkit

はじめに

この連載記事では、InterSystemsデータプラットフォーム用のPython Gatewayについて説明します。 また、InterSystems IRISからPythonコードなどを実行します。 このプロジェクトは、InterSystems IRIS環境にPythonの力を与えます。 

• 任意のPythonコードを実行する 
• InterSystems IRISからPythonへのシームレスなデータ転送 
• Python相互運用アダプタでインテリジェントな相互運用ビジネスプロセスを構築する 
• InterSystems IRISからのPythonコンテキストの保存、調査、変更、復元 

その他の記事 

現時点での連載計画です（変更される可能性があります）。 

• パート I：概要、展望、紹介 
• パート II：インストールとトラブルシューティング <-- 現在、この記事を参照しています 
• パート III：基本機能 
• パート IV：相互運用アダプタ 
• パート V：Execute関数 
• パート VI：動的ゲートウェイ 
• パート VII：プロキシゲートウェイ 
• パート VIII：使用事例とML Toolkit 

インストール 

この記事はPython Gatewayをインストールするのに役立ちます。Python Gatewayをインストールして使用する方法はいくつか存在します。 

この連載記事では、InterSystemsデータプラットフォーム用のPython Gatewayについて説明します。 また、InterSystems IRISの最新のAI/MLツールを利用してPythonコードなどを実行します。 このプロジェクトは、InterSystems IRIS環境にPythonの力を与えます。 

• 任意のPythonコードを実行する 
• InterSystems IRISからPythonへのシームレスなデータ転送 
• Python相互運用アダプタでインテリジェントな相互運用ビジネスプロセスを構築する 
• InterSystems IRISからのPythonコンテキストの保存、調査、変更、復元 

索引 

現時点での連載計画です（変更される可能性があります）。 

• パート I：概要、展望、紹介 <-- 現在、この記事を参照しています 
• パート II：インストールとトラブルシューティング 
• パート III：基本機能 
• パート IV：相互運用アダプタ 
• パート V：Execute関数 
• パート VI：動的ゲートウェイ 
• パート VII：プロキシゲートウェイ 
• パート VIII：使用事例とML Toolkit 

概要 

Python から InterSystems IRIS へ接続する方法の1つである「Native API」(※)の使用方法ご説明します。

※ Python からのアクセスは、Native API の他に、PyODBC を利用した接続方法もあります。PyODBC の利用については別の記事でご説明します。

もくじ

最初～1:47　前回のビデオの学習（セルフラーニングビデオの索引記事もご参照ください）

1:47～3:18　今回の説明内容解説

3:18～5:14 　Python Native APIを利用するための準備

5:14～10:48　IRISに接続する～^employee(1)の作成と参照

10:48～12:49　グローバル変数のサブスクリプトのループ方法（Iteratorの使い方）

12:49～14:19　グローバル変数の削除とコネクションのクローズ

14:19～20:21　国税庁が公開している都道府県別酒類消費量をグローバル変数に登録する （東京のアルコール消費量の登録）

20:21～21:43　大阪のアルコール消費量の追加登録

21:43～24:22　^Alcoholから東京だけのデータ取得

24:22～27:22　^Alcohol全件取得

27:22～28:27　特定のサブスクリプトの情報を削除する

28:27～30:53　おまけ（Pythonの便利なパッケージをインポートし、CSVデータのグラフ化）

アイリスデータセットのK平均クラスタリング 

みなさん、こんにちは。 今回はアイリスデータセットでk平均アルゴリズムを使用します。 

注意：Ubuntu 18.04、Apache Zeppelin 0.8.0、python 3.6.5で以下を実行しました。 

概要 

K平均法は、クラスタリングの問題を解決する最も単純な教師なし学習アルゴリズムの1つです。 このアルゴリズムは、同じグループ内のオブジェクト（グループはクラスターです）が他のグループ内のオブジェクトよりも（意味的に）互いに類似するようにすべてのオブジェクトをグループ化します。 例えば、緑の芝生に赤いボールのある画像があるとします。 K平均法はすべてのピクセルを2つのクラスターに分割します。 1番目のクラスターにはボールのピクセルが含まれ、2番目のクラスターには芝生のピクセルが含まれます。 

アイリスデータセットは、3種のアイリスの花の特徴をいくつか含むテーブルです。 種には「Iris-setosa」、「Iris-versicolor」、「Iris-virginica」があります。 それぞれの花には5つの特徴（花びらの長さ、花びらの幅、がく片の長さ、がく片の幅、種 ）があります。 

要件の確認 

まず、すべての要件を確認しましょう。 次のように、ターミナルに「which python3」貼り付けてください。