日記/2013-05-04/Cloudera-ImpaladにODBCで接続する-ubuntu

#blog2navi()

Cloudera-ImpaladにODBCで接続する-ubuntu †

概要 †

ネット上に、ODBCからImpalaに接続する場合まともな資料が無いので、自分が、ODBC接続した際に、試した方法を書いて見る。

ネット上にまともな資料は無く、唯一、clouderaの資料があるだけだ。 clouderaの資料はこちらからダウンロードするのInstalling and Using Cloudera Impala のConfiguring Impala to Work with ODBCの項目を参考にすること。

使用OSは、ubuntu-server 12.04 32bit

↑

事前準備 †

↑

hadoop-imapladの準備 †

Clouderaの提供しているVMをおとしてくる。こちらからVMwareを落としてくる。この環境につなぐことを想定。接続元は32bitなので。

落としたVMを普通に起動すれば、Impalaを含むすべてのシステムがたちあがる。 SELinuxが有効になっている場合には、それを切って置く。

サンプルデータの準備
- VM上でサンプルデータを提供している。サンプルをゲットするみたいなボタンをクリックすると、sample07,sample08を準備してくれる。

↑

Ubuntuの準備 †

時刻を日本時間に合わせる。
- sudo dpkg-reconfigure tzdata で Asia/Tokyoにあわせておく。ちなみに、ntpを入れておくと良い。

↑

ODBC Driverの準備 †

ODBCドライバーを準備する。 https://ccp.cloudera.com/display/SUPPORT/Downloads のページから、Cloudera Connector for MicroStrategyを利用する。落とした後、

tar -zxf ClouderaHiveODBC-v1.20.tar.gz -C /usr

として、/usr/lib以下にodbc のライブラリを置く。

↑

実際に、依存ライブラリを入れる。 †

$cd /usr/lib
$ldd libhiveodbc.so.1

をして、libhiveodbc.so.1に足りないライブラリが無いか探す。ubuntu32bitの場合は、libssl.so.6が無いと言われる。その場合は、opensslを入れて、

 libssl.so.6 -> /lib/i386-linux-gnu/libssl.so.1.0.0

この様な感じで、シンボリックリンクを貼る。

↑

odbc.ini,odbcinst.iniの準備 †

接続もとの/etc/以下に、odbc.ini,odbcinst.iniを準備する。私の環境のodbc.iniは以下の通り。

odbc.ini

場所

shibacow@ubuntu:/usr/lib$ more /etc/odbc.ini

内容

[ODBC Data Sources]
;IMPALA-SERVER=Hive ODBC Driver
IMPALA-SERVER=Hive Driver
[IMPALA-SERVER]
Driver=/usr/lib/libhiveodbc.so.1
Description=Hive ODBC Driver
Host=192.168.1.6 <- 先ほど入れてVMの環境に合わせる。
Port=21000
Database=
FRAMED=0
Trace=Yes
TraceFile=/tmp/odbc.log
Type=Beeswax

gist -> https://gist.github.com/shibacow/5517157

odbcinst.ini

場所

shibacow@ubuntu:/usr/lib$ more /etc/odbcinst.ini

内容

[ODBC Drivers]
Hive Driver=Installed
[Hive Driver]
Driver=/usr/lib/libhiveodbc.so.1
Description=Hive Driver
Setup=/usr/lib/libhiveodbc.so.1
APILevel=2
ConnectFunctions=YYY
DriverODBCVer=1.0
FileUsage=0
SQLLevel=1

gist-> https://gist.github.com/shibacow/5517164

確認ちゃんと入ったか。以下のコマンドを使って確認。

shibacow@ubuntu:/usr/lib$ odbcinst -q -s
[IMPALA-SERVER]
shibacow@ubuntu:/usr/lib$ odbcinst -q -d
[ODBC Drivers]
[Hive Driver]

となることを確認しよう。

↑

接続プログラムの準備 †

odbc.iniとodbcinst.iniの準備が済んだので、そのodbc.iniとodbcinst.iniを最初に見るように設定しよう。

/.bashrcに

export ODBCINI=/etc/odbc.ini
export ODBCSYSINI=/etc

を追加して、source ~/.bashrcをする。

↑

phpとpythonの準備 †

sudo aptitude install python-pyodbc
sudo aptitude install php php-odbc php-cli

をインストール。

↑

確認のプログラム †

php版の確認プログラムは https://gist.github.com/shibacow/5517129

python版の確認プログラムはこちら https://gist.github.com/shibacow/5517142

になる。

↑

デバックの強い味方 †

接続その他のログ
接続先の(この場合は、VM)の/var/log/impalad/implad.INFOには、どのような情報が送られてきたかのログが残る。繋がった後きられた場合、そちらのログを確認すれば有益な情報を得られる。

↑

はまりどころ。 †

↑

TSSocketがlocalhostの10000portに接続しようとする。 †

次のエラー

Thrift: Sat May  4 20:19:31 2013 TSocket::open() connect() <Host: localhost Port: 10000>Connection refused
DBOpenConnection: connect() failed: Connection refused
Traceback (most recent call last):
  File "./python_impala.py", line 13, in <module>
    if __name__=='__main__':main()
  File "./python_impala.py", line 5, in main
   con=pyodbc.connect('DSN=IMPALA-SERVER;UID=;PWD=;Database=Default;')

pyodbc.Error: ('08S01', '[08S01] [unixODBC][SQLite]Communication link failure (- 1) (SQLDriverConnectW)')

デフォルトでは、~/.odbc.iniを見てその後、/etc/odbc.iniを見てしまう。そのため、上手く接続できない。
```
export ODBCINI=/etc/odbc.ini
export ODBCSYSINI=/etc
```
を行って、/etc/odbc.iniを見るようにするか、~/.odbc.iniをきちんと作って上げる必要がある。

↑

Default TExceptionエラー †

Databaseを指定しないまま、接続しようとするとエラーが起こる。次のようなエラー
```
terminate called after throwing an instance of 'HiveException'
 what():  Default TException.
Aborted
```
pythonの場合は、
```
con=pyodbc.connect('DSN=IMPALA-SERVER;UID=;PWD=;Database=Default;')
```
とDatabaseを指定するか、odbc.iniにDatabaseの指定を行うと良い

Category: [UNIX,Hadoop,Impala] - 19:20:51

&blog2trackback();