完全マスター！Qlik Senseチュートリアル

エンドユーザーが「セルフサービス型のデータ分析」を直観的かつ簡単に行える機能を提供する「データディスカバリ」ツールとして位置づけられる、Qlik Senseの製品構成と特徴についてご紹介させて頂きます。

Qlik製品の主な特長は、「インメモリ(In-memory)」による高速レスポンスにより途切れることなく、「連想技術(Associative Technology)」により思考の流れに従って探索・データ分析ができる、ということにあります。ここでは、Qlikのコア技術である連想技術とインメモリについて解説させて頂きたいと思います。

Qlikは人工知能などの技術と人間の直観力・洞察力を組み合わせ、あくまでも人間をビジネス上の意思決定の中心に置いた上でマシンインテリジェンスの威力によって人間の直観力を増幅させ、分析能力や意思決定能力を強化するといったアプローチをとっています。Qlikではそのようなアプローチを拡張知能（AI: Augmented Intelligence）と呼んでいます。ここではこの拡張知能(AI)の解説をさせて頂きます。

従来型BIと比較したセルフサービスBIの特徴の説明や、アジャイルBI、データ・ディスカバリ(Data Discovery)といった用語の整理を行います。

データ準備や複数データソース統合の重要性、ビジネス・アナリストとデータ・アーキテクトの役割分担、そしてそれぞれのユーザーのニーズへのセルフサービスBIツールでのワンツールでの対応についてご説明します。

「セルフサービスBI」が大きく取り上げられて取り組みがなされる中、ビジネスに悪影響を及ぼすようなデータの一貫性欠如やプロセス上の不備などを防ぐための「ガバナンス(統制)」の確保の難しさが指摘されています。このエントリではセルフサービスBI展開に当たってのガバナンスの重要性についてお話しさせて頂きたいと思います。

利用形態に応じたQlik Senseの無償トライアルの利用開始方法の手順をご説明します。

Qlik Senseでのアプリの利用やデータ分析を行うに当たっての基本的な操作方法と、利用する画面の構成をご説明します。

Insight Advisorは、Qlikのコグニティブ・エンジンが取り込んだデータを自動的に分析して、適切なチャートの種類・軸・メジャーと集計方法などを提案してくれる機能です。本セクションでは、Insight Advisorによる新規アプリ作成から最初のダッシュボード開発まで数分で行える手順をハンズオン形式で解説します。

Qlik Sense Desktopを使って、短時間で試しにチャートやデータ・ストーリテリング作成する手順をご説明します。ソースデータとして「売上明細.xlsx」と「商品マスタ.xlsx」の2個のExcelファイルを対象としてQlik Senseに取り込み、売上分析アプリケーションを作成します。

Qlik Senseで地図のチャートを作成する手順をご紹介します。Qlik Senseでは「ポイントマップ」と「エリアマップ」という2種類の地図チャートを作成することが可能ですが、それぞれの作成手順をご説明します。

Qlik Senseでは日付型データは自動的に認識され、マスタカレンダーが作成されて、年/四半期 /月/週等といった分割された項目が個別に作成されます。ここでは、この自動生成される分割された日付項目の利用方法をご説明します。

複数の軸(次元)の視点からデータ集計を行って分析する手法を一般的に多次元データ分析と呼びますが、ここでは改めて多次元データ分析の観点からQlik Senseで使われる軸やメジャーといった用語や、多次元データの内部的なデータ保持形式についてご説明させて頂きます。

棒グラフを例にとってチャートのプロパティ設定をご説明します。チャート部品によってプロパティの設定項目は異なりますが、軸やメジャーのデータ設定、ソート設定、演算実行条件や基準線などの拡張機能、色などのスタイルの設定については多くのチャートで共通する設定項目になります。

基本となるチャートプロパティ設定を理解した上で、一通りのチャートの利用や設定方法を見てきます。

ビジュアライゼーションバンドルは、標準チャートにはないファネルチャートやサンキーチャート、レーダーチャートなど様々な新しいチャート機能を提供するものです。本セクションでは、このビジュアライゼーションバンドルの機能と使い方についてご紹介いたします。

より柔軟なダッシュボード開発を可能とするためのボタン、スライダー、日付ピッカーなどの部品を提供するダッシュボードバンドル(Dashboard Bundle)をご紹介します。

これまでのチュートリアルでは主にSumを使ったシンプルな集計を扱ってきました。Sum,Total,Count,Distinct,Avgなどの集計関数やオプションを使って、様々な集計の要件に対応するための方法をより細かくご説明します。

Qlik Senseでは軸や集計の数式などをマスターアイテムとして登録することで、部品の再利用性やメンテナンス性を高めることが出来ます。ここでは、「単一軸」と「ドリルダウン軸」、メジャーのマスターアイテム登録の方法をまずご紹介し、散布図の作成を通じて登録したマスターアイテムの利用方法をご説明します。

複数のチャートを作成してそれぞれに異なるフィルタ条件を適用し、比較分析などを行うための「並列ステート」を利用する手順をご説明します。

Qlik Senseには様々なデータベースやHadoopなどへのコネクターが付属されていますここでは、Microsoft SQL Server データベースへの接続を例にとって利用方法についてご説明します

ODBC Connector Packageを利用する以外に、ベンダー各社から提供されているODBC/OLE DBのドライバを利用して各種データソースからデータの抽出が可能です。ここでは、Accessデータベースへの接続方法を例にとってその手順をご説明します。

ここではQlik SenseからSAPへの接続形態や、SQL Connectorの利用についてご紹介させて頂きます。

QVD(QlikView Data)ファイルは、Qlik SenseもしくはQlikViewが内部的に保持するネイティブなデータ形式でそのままエクスポートされたテーブルデータになります。元データと比較して、このQVDは圧縮されてデータサイズが小さくコンパクトで、かつネイティブなデータ形式で保持されていますので、QVDからの読み取りは10～100倍高速になります。ここでは、QVDファイルの作成・読込み方法をご説明します。

Qlik Senseで管理性やパフォーマンスの観点から最適化を目指すに当たってはBIやデータウェアハウスの分野で広く受け入れられている「ディメンショナル・データモデリング」について最低限の知識を持っておくことが求められますので、ここでは「ファクト」、「ディメンション」、「スタースキーマ」、「スノーフレーク」といった基本的な事項について説明させて頂きます。

Qlik Senseにはよりインテリジェントな機能が搭載されており、データのプロファイリングを実行してテーブル関連付けの推奨を行ってくれます。ここでは、このデータプロファイリングの機能を使ったデータの取り込み方法をご説明します。

データマネージャーを利用して項目の削除、項目名の変更、計算された項目の追加などの変換処理を行う手順をご説明します。

Rank関数を利用して、レコードのランキング(順位)を表示させる手順をここでご紹介します。

データ分析では年、半期、四半期、月などの単位で前期との比較や成長率の算出などが良く行われますが、ここではQlik Sense/QlikViewで用意されているAboveやBeforeなどの関数を利用してそのような算出を行う手順をご紹介します。

時系列でのトレンドの分析を行う場合、日次や月次での集計を行うと変動幅が大きくカクカクした動きとなるため、滑らかな線で表示させてトレンドを分かりやすくするために、直近の過去12ヶ月を合計する移動12ヶ月計や、それらの期間の平均を算出したりします。ここでは、Qlik Sense/QlikViewでそれらの計算を行う方法をご紹介します。

Qlik Senseで累積グラフを作成する方法をご紹介します。

Qlik SenseではAggr関数という強力な関数が提供されています。このAggr関数を使うことにより、指定した軸と数式に基づいて仮想的なテーブルを作成し、さらにこの仮想的なテーブルに対して集計処理を行って結果を出力する、といった形で多段階の集計処理を行うことができます。このエントリではこのAggr関数についてご説明します。

値の範囲でグループ化し、軸として利用できるClass関数の利用方法をご紹介します。

「SET分析」を利用すると細かい条件を指定してその条件に合致する範囲でのみ集計対象とするなど、多岐に渡った集計の手法を活用することができます。ここではこのSET分析についてご説明します。

Qlik SenseではGUIでのウィザードベースの操作によるデータ追加や管理を行えますが、それに加えてロードスクリプトによる処理も可能です。実際のビジネスの現場では、分析する前に多岐に渡る複雑な変換処理が求められることが多いですが、ロードスクリプトによりそのような要求に対応することが出来ます。ここでは、まずQlik Senseでのデータ管理のコンセプトをご紹介した上で、ロードスクリプトの基本をご説明します。

Qlik Senseでは取り込んだ複数テーブルに同じ名称の項目が存在する場合、自動的にこれらの項目をキーとして関連付け紐付けてデータモデルを作成しますが、「合成キー」や「循環参照」が発生した場合にはデータモデルに問題がある可能性が高く、これらの発生を解消する必要性がある場合があります。ここでは「合成キー」や「循環参照」とは何か、またこれらの解消法方法についてご説明します。

年や月単位で売上データを同じフォーマットで別々のファイルで管理している場合、Qlik Senseではこれらの複数のファイルの項目名と項目数が完全に合致する場合には自動的に一つのテーブルに連結して纏めてくれます。また、微妙に項目が異なる場合でも指定を行えば強制的に一つのテーブルに連結することも出来ます。このエントリではそれらのテーブル連結についてご説明します。

Resident Loadを使うことにより、既にQlik Sense内に取り込んだテーブル上のデータを読み取ることができます。ここではResident Loadについて解説します。

証のためにアプリやチャートを試しに作ってみたりするに当たって、テストデータ作成は手間がかかる場合が多いのですが、Qlik SenseやQlikViewではロードスクリプトを利用して内部的にテストデータを作成することが可能です。ここではテストデータ作成の幾つかの手法についてご紹介します。

演算や変換処理を行うためや管理性を高める目的、もしくはパフォーマンス上の効率化の観点から複数のテーブルを一つのテーブルに結合する処理を行う場合があります。ここではそういったことを行うためのApplyMap, Lookup, Join, Keepといった処理をそれぞれ見ていきます。

ロード処理で取り込むデータを絞り込むために利用される、WhereとWhere Existsについてご紹介します。

集計と対象となるテーブルが複数存在するようなデータモデルを一般的に「マルチファクト」と呼びますが、ここではLink Tableを利用したそのようなデータモデルの扱いについてご説明します。

取り込むデータに連番の項目を追加する手順をご説明します。

Qlik SenseのロードスクリプトでFor Loopを使ったループによる繰り返し処理を行う手順についてご説明します。

PeekやPreviousの関数を使うと、ロードスクリプトで既にロード済みのレコードの項目値を取得することができます。ここでは、欠損値の補完と累積値の算出を行うケースを想定し、それらのケースにおいてPeekやPreviousの活用方法をご説明します。

ここではテンプレートとして利用可能なマスターカレンダー作成を行うスクリプトをご紹介します。

Qlik Senseではファイルの絶対・相対パスを直接指定してロードを実行できるレガシーモード(ファイルシステム等の扱いについてQlikViewと互換性があるモード)を利用する方法も提供されており、ここではレガシーモードを利用するための手順をご説明します。

ここでは、ビッグデータ活用のアプローチの一つとして「Dynamic Views」をご紹介します。

Qlik Senseのチャート部品と、汎用的なウェブの部品とを組み合わせたマッシュアップサイトを作成する手順をご紹介します。Qlik Sense Desktopに標準で付属しているDev Hubを利用することで、Qlik Senseのチャートをドラッグ&ドロップで画面上に配置したり、HTMLやCSSを利用して画像や動画などの他の汎用的なウェブ部品を配置してウェブサイトをデザインすることが出来ます。

Qlik Senseマッシュアップのサンプルコードを公開しました。このサンプルコードをQlik Sense Desktop上で動かしてみることで、お手元の環境でQlik Senseとウェブ技術を組み合わせてどのような分析用のサイトが構築可能がご体験頂くことが出来ます。

Qlik SenseのMashupデモの動画と、D3.jsのチャートをQlik Senseで活用するイメージを掴むための動画をアップしましたのでご紹介します。

D3.jsやBootstrapなどのライブラリを利用した、Qlik Sense Mashupの開発方法をご説明します。

前編に引き続き、BootstrapやD3を使ったQlik Sense Mashupの開発方法をご説明します。

Qlik SenseはHTML5, CSS, jQuery, AngularJSなどの汎用的なウェブ技術に基づいた幅広いAPIを提供しています。Qlik SenseではオープンなAPIが採用されることにより、他のウェブサイトやアプリケーションと連携を行うに当たってはより汎用的なウェブ技術に親和性が高い方法で多岐に渡るカスタマイズを行うことができます。ここではQlik Sense APIについて解説を行います。

Qlik SenseではHTML5, CSS, jQuery, AngularJSなどの汎用的なウェブ技術を利用して、標準では提供されていない新たなビジュアライゼーション部品をエクステンションとして作成することが可能です。このエントリでは、”Hello World”の簡単なエクステンションの開発を通じて、エクステンション開発の基本的な流れとプロジェクトのファイル構成について確認したいと思います。

Qlik Senseエンジンで集計されたデータをエクステンションでテーブル形式で表示する手順を見ていきたいと思います。

コードの管理性を高めるためにinitialProperties.jsとproperties.jsを別のファイルに分ける手順をご説明します。

Backend APIを利用してフェッチを繰り返し実行してデータ全体を取得する処理を実装する方法についてご説明します。

エクステンション開発においてAngularJSを活用する方法についてご説明します。

Google Chrome拡張として提供されている「Postman」と呼ばれるWeb APIのテストクライアントを利用してQlik Sense APIの動きを試す手順をご紹介します。